𝗟𝗟𝗠𝘀 𝘃𝘀 𝗜𝗔 𝗴𝗲́𝗻𝗲́𝗿𝗮𝘁𝗶𝘃𝗲
L'IA générative est un terme large. Les LLM sont un type spécifique de modèle au sein de ce groupe. Vous devez comprendre les différences techniques pour construire de meilleurs systèmes.
Les LLM utilisent des Transformers pour prédire le prochain token. Ils fonctionnent via des processus autorégressifs.
Comment fonctionne un LLM :
- Le modèle reçoit un prompt.
- Il convertit le texte en tokens.
- Il calcule la probabilité du prochain token.
- Il répète cette boucle pour former des phrases.
Les modèles de diffusion fonctionnent différemment. Ils créent des images en inversant le bruit.
Comment fonctionne un modèle de diffusion :
- Le système commence par un bruit aléatoire.
- Il élimine le bruit étape par étape.
- Il suit un schéma pour révéler une image.
- Il utilise des prompts pour guider le débruitage.
Comparaison rapide : • LLM : Utilise des Transformers autorégressifs. La sortie est composée de tokens textuels. • Diffusion : Utilise un débruitage itératif. La sortie est composée de pixels. • GAN : Utilise un entraînement antagoniste. La sortie est composée de données synthétiques.
La frontière entre ces modèles évolue. La plupart des systèmes modernes utilisent désormais des architectures de base (backbones) basées sur les Transformers. L'architecture devient compositionnelle. Cela signifie que différents types de modèles travailleront ensemble au sein d'un même système.