𝗖𝗼𝗺𝗺𝗲𝗻𝘁 𝗢𝗽𝗲𝗻𝗔𝗜 𝗲𝘁 𝗔𝗻𝘁𝗵𝗿𝗼𝗽𝗶𝗰 𝗰𝗼𝗻𝗰è𝘃𝗲𝗻𝘁 𝗹𝗲𝘂𝗿𝘀 𝘀𝘆𝘀𝘁𝗲̀𝗺𝗲𝘀 𝗱'𝗜𝗔

Beaucoup de gens tentent de pratiquer l'ingénierie inverse sur les entreprises d'IA en consultant la documentation des API ou des articles de blog. Ils se concentrent sur les modèles et les points de terminaison (endpoints). Cela mène à de mauvaises conclusions.

Le modèle n'est qu'une partie du puzzle.

Des entreprises comme OpenAI et Anthropic ne se contentent pas de construire des modèles. Elles construisent des écosystèmes massifs. Elles construisent des systèmes distribués à grande échelle.

Si vous pensez qu'elles possèdent simplement de meilleurs modèles, vous passez à côté du véritable secret. Leur succès provient de la manière dont elles entraînent, déploient et améliorent ces modèles grâce à des boucles intégrées.

Un système d'IA en production à cette échelle nécessite plusieurs couches :

• Pipelines de données : pour collecter et nettoyer les données d'entraînement. • Infrastructure d'entraînement : pour gérer les coûts de calcul massifs et le parallélisme. • Couche modèle : l'architecture centrale pour la précision. • Couche d'inférence : pour fournir des réponses avec une faible latence. • Couche de sécurité : pour appliquer des garde-fous et l'alignement. • Observabilité : pour surveiller les performances et déboguer les erreurs. • Boucles de rétroaction : pour améliorer le modèle au fil du temps.

Chaque couche dépend des autres. Si vous en modifiez une, vous impactez l'ensemble du système.

L'entraînement est également un processus continu. Ces entreprises n'entraînent pas un modèle une seule fois pour s'arrêter ensuite. Elles utilisent un paradigme d'entraînement continu. Elles utilisent des milliers de GPU pour gérer des flux constants de nouvelles données.

L'alignement et la sécurité sont également au cœur de leur conception. Elles utilisent différentes stratégies pour guider le comportement des modèles :

• RLHF : utilise le feedback humain pour un alignement de haute qualité. • Constitutional AI : utilise un guidage basé sur des règles pour passer à l'échelle. • Contraintes de prompt : utilise des instructions système pour une configuration rapide. • Filtrage des sorties : utilise le post-traitement pour la modération.

Elles combinent ces méthodes pour rester robustes.

Une fois le modèle prêt, elles doivent le mettre à disposition. Elles utilisent des techniques telles que le batching, la mise en cache et la quantification. Celles-ci aident à gérer le compromis entre vitesse et coût.

Enfin, elles utilisent l'observabilité pour tout voir. Comme les sorties de l'IA ne sont pas toujours les mêmes, le débogage est difficile. On ne peut pas se contenter de regarder une seule erreur. Il faut observer des schémas à travers l'ensemble du système.

Le succès dans l'IA provient de la gestion de ces interactions complexes. Elles traitent l'IA comme un système évolutif, et non comme un produit statique.

Source : https://dev.to/stack_overflowed/how-companies-like-openai-and-anthropic-design-their-ai-systems-2537

Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi