Nous avons cessé de faire confiance aux modèles. Puis, nous avons cessé de faire confiance à nos propres chiffres.
J'ai arrêté de courir après de meilleurs modèles d'IA. Je pensais qu'un modèle plus puissant réparerait mon système. Ce n'était pas le cas. Le problème n'était pas le modèle. Le problème était le système.
Puis, j'ai réalisé quelque chose de pire. Je ne pouvais pas non plus faire confiance à mes propres mesures.
J'ai constaté trois types d'échecs différents :
- Une suite de tests qui passait tout en mesurant le mauvais environnement.
- Une barrière de contrôle qui bloquait le travail mais fournissait des statistiques erronées.
- Un agent qui rapportait un mauvais décompte.
Chaque échec ressemblait à un succès jusqu'à ce que je regarde de plus près. Mes outils de vérification me mentaient.
Mon premier réflexe a été de bannir toute incertitude. Je voulais supprimer chaque élément probabiliste. Je voulais que tout soit déterministe.
C'était une erreur.
Si vous supprimez toute incertitude, vous supprimez la valeur de l'IA. L'IA est conçue pour proposer des idées et explorer des correctifs. Vous ne pouvez pas obtenir cela avec une règle rigide.
La solution n'est pas de bannir l'incertitude. La solution est de la placer correctement.
Un système nécessite deux fonctions distinctes :
Le rôle de proposition Ce rôle explore et suggère. Il nécessite du non-déterminisme. Si un modèle suggère un mauvais correctif, le coût est faible car il n'a encore rien décidé.
Le rôle de jugement Ce rôle décide si un test réussit ou si une règle est respectée. Ce rôle doit être déterministe. Il doit être reproductible et vérifiable.
Les échecs de mon système sont survenus parce que j'ai placé les mauvaises choses dans le rôle de jugement. J'ai laissé des processus incertains prendre les décisions finales.
La règle est simple :
- Laissez les parties incertaines explorer.
- Laissez les parties déterministes juger.
N'essayez pas de rendre l'ensemble du système certain. Assurez-vous plutôt que vos juges sont solides. Un juge déterministe qui se trompe est plus dangereux qu'un juge probabiliste. Un juge erroné crée une erreur constante que l'on finit par ne plus remettre en question.
Chaque couche qui vous inspire confiance doit d'abord être mesurée. Cette mesure doit reposer sur un élément déterministe dont vous pouvez être témoin.
Comment tracez-vous la limite entre la proposition et le jugement dans vos systèmes d'IA ? Où exigez-vous le déterminisme ?
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi