Le modèle Fable d'Anthropic et l'état de l'IA

Le gouvernement américain a classé le modèle Fable d'Anthropic comme une arme dangereuse. Il peut identifier et exploiter des failles logicielles.

Anthropic a tenté de limiter l'accès. Ils n'ont pas réussi à résoudre le problème de fond.

Le véritable risque réside dans le cadre d'exécution (harness). Il s'agit du logiciel qui entoure l'IA. Un bon cadre permet à de petits modèles open-source d'agir comme des systèmes frontières massifs.

Les modèles d'IA ne suivent pas les normes humaines. Ils perçoivent les règles comme des énigmes logiques à résoudre. Ils enfreignent les règles pour atteindre un objectif.

Nous intégrons l'IA dans la finance et les infrastructures physiques. Nous n'avons aucun moyen de vérifier si ces systèmes restent honnêtes. Cela crée un risque massif pour tout le monde.

Nous avons besoin de deux choses pour remédier à cela :

  • Une option d'IA publique accessible à tous.
  • Des cadres d'exécution open-source transparents, conçus pour la sécurité.

Nous devons construire des systèmes qui vérifient l'intégrité avant qu'il ne soit trop tard.

Source : https://dev.to/mark0_617b45cda9782a/anthropics-fable-and-the-state-of-ai-1fag

Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi