Mistral lance Leanstral 1.5 : une avancée majeure dans les mathématiques formelles et la vérification de code

Mistral AI a officiellement lancé Leanstral 1.5, un modèle open-source puissant spécifiquement conçu pour la vérification formelle à l'aide du langage de programmation Lean 4. En maîtrisant la rigueur des preuves mathématiques et de la correction logicielle, ce modèle marque un bond en avant significatif dans l'utilité de l'IA open-source pour les environnements techniques à enjeux élevés.

Domination des benchmarks de mathématiques formelles

Leanstral 1.5 est conçu pour naviguer dans la logique complexe requise par Lean 4, un langage conçu pour vérifier les preuves mathématiques et la fiabilité des logiciels. Les performances du modèle sur des benchmarks spécialisés sont tout simplement extraordinaires. Il a obtenu un score parfait de 100 % sur miniF2F, un benchmark allant des mathématiques de niveau lycée à la difficulté intense des olympiades de mathématiques.

Testé sur le PutnamBench — une collection de 672 problèmes issus du prestigieux concours de mathématiques Putnam — Leanstral 1.5 a résolu avec succès 587 problèmes. Cette performance le place au sommet du domaine de l'open-source, ne suivant que l'Aleph Prover, qui est un modèle propriétaire (closed-source). De plus, le modèle a démontré une maîtrise des mathématiques de niveau master en algèbre, obtenant un score de 87 % sur le benchmark FATE-H et de 34 % sur FATE-X, qui couvrent des sujets avancés tels que la théorie des groupes et des anneaux.

Au-delà des mathématiques : détection de bugs de code en conditions réelles

Bien que ses prouesses mathématiques fassent la une, Leanstral 1.5 s'avère être un outil redoutable pour les ingénieurs logiciels grâce à ses capacités de vérification de code. Mistral a démontré l'utilité pratique du modèle en le déployant pour analyser 57 dépôts open-source différents.

Dans cette application concrète, le modèle a identifié avec succès cinq bugs jusqu'alors inconnus. Une découverte notable a été un bug de dépassement de capacité (overflow) situé dans la bibliothèque Rust varinteger. Cette capacité à détecter des erreurs subtiles et à conséquences graves dans du code de niveau production suggère que Leanstral 1.5 peut servir de « test de cohérence » (sanity check) automatisé pour les développeurs travaillant dans des langages sécurisés en mémoire ou critiques pour les missions.

Rigueur technique et accessibilité

Le développement de Leanstral 1.5 a impliqué un pipeline d'entraînement sophistiqué comprenant le mid-training, le réglage fin supervisé (SFT - supervised fine-tuning) et l'apprentissage par renforcement (RL - reinforcement learning). Cette approche multi-étapes garantit que le modèle ne se contente pas de prédire le jeton (token) suivant, mais qu'il comprend les structures logiques sous-jacentes nécessaires au raisonnement formel.

Dans une démarche qui renforce l'écosystème open-source, Mistral a publié le modèle sous licence Apache 2.0. Cela permet aux développeurs et aux chercheurs d'intégrer, de modifier et de déployer le modèle avec un minimum de restrictions. Leanstral 1.5 est actuellement disponible via Hugging Face et par une API gratuite, abaissant ainsi la barrière à l'entrée pour les équipes souhaitant implémenter la vérification formelle dans leurs flux de travail.

Points clés à retenir

• Excellence en matière de benchmarks : Leanstral 1.5 a obtenu un score de 100 % sur miniF2F et surpasse presque tous les concurrents open-source sur PutnamBench et les tests d'algèbre de niveau master.
• Débogage pratique : Le modèle a prouvé sa capacité à trouver des vulnérabilités réelles, comme un bug de dépassement de capacité dans une bibliothèque Rust, lors de l'analyse de dépôts.
• Autonomisation de l'open-source : Publié sous licence Apache 2.0, le modèle est hautement accessible via Hugging Face et une API gratuite pour la communauté mondiale des développeurs.