Mistral rilascia Leanstral 1.5: una svolta nella matematica formale e nella verifica del codice

Mistral AI ha lanciato ufficialmente Leanstral 1.5, un potente modello open-source progettato specificamente per la verifica formale utilizzando il linguaggio di programmazione Lean 4. Padroneggiando il rigore delle dimostrazioni matematiche e della correttezza del software, questo modello segna un importante passo avanti nell'utilità dell'IA open-source per ambienti tecnici ad alto rischio.

Dominare i benchmark della matematica formale

Leanstral 1.5 è progettato per navigare la complessa logica richiesta da Lean 4, un linguaggio creato per verificare le dimostrazioni matematiche e l'affidabilità del software. Le prestazioni del modello su benchmark specializzati sono niente di meno che straordinarie. Ha ottenuto un punteggio perfetto del 100% su miniF2F, un benchmark che spazia dalla matematica di livello scolastico superiore alla difficoltà intensa delle olimpiadi di matematica.

Quando testato contro PutnamBench — una raccolta di 672 problemi della prestigiosa competizione matematica Putnam — Leanstral 1.5 ha risolto con successo 587 problemi. Questa prestazione lo colloca in cima al settore open-source, superato solo dal modello closed-source Aleph Prover. Inoltre, il modello ha dimostrato padronanza della matematica di livello universitario avanzato in algebra, ottenendo l'87% nel benchmark FATE-H e il 34% in FATE-X, che coprono argomenti avanzati come la teoria dei gruppi e degli anelli.

Oltre la matematica: rilevamento di bug nel codice nel mondo reale

Sebbene la sua abilità matematica sia il titolo principale, Leanstral 1.5 si rivela uno strumento formidabile per gli ingegneri del software grazie alle sue capacità di verifica del codice. Mistral ha dimostrato l'utilità pratica del modello impiegandolo per scansionare 57 diversi repository open-source.

In questa applicazione nel mondo reale, il modello ha identificato con successo cinque bug precedentemente sconosciuti. Una scoperta degna di nota è stata un bug di overflow situato all'interno della libreria Rust varinteger. Questa capacità di individuare errori sottili e ad alto impatto in codice di livello di produzione suggerisce che Leanstral 1.5 possa fungere da "sanity check" automatizzato per gli sviluppatori che lavorano in linguaggi memory-safe o mission-critical.

Rigore tecnico e accessibilità

Lo sviluppo di Leanstral 1.5 ha comportato una sofisticata pipeline di addestramento composta da mid-training, supervised fine-tuning (SFT) e reinforcement learning (RL). Questo approccio multi-stadio assicura che il modello non si limiti a prevedere il token successivo, ma comprenda le strutture logiche sottostanti necessarie per il ragionamento formale.

In un passo che rafforza l'ecosistema open-source, Mistral ha rilasciato il modello sotto licenza Apache 2.0. Ciò consente a sviluppatori e ricercatori di integrare, modificare e distribuire il modello con restrizioni minime. Leanstral 1.5 è attualmente disponibile tramite Hugging Face e tramite un'API gratuita, abbassando la barriera all'ingresso per i team che desiderano implementare la verifica formale nei propri flussi di lavoro.

Punti chiave

• Eccellenza nei benchmark: Leanstral 1.5 ha ottenuto un punteggio del 100% su miniF2F e supera quasi tutti i concorrenti open-source su PutnamBench e nei test di algebra di livello universitario.
• Debugging pratico: Il modello ha dimostrato la sua capacità di trovare vulnerabilità nel mondo reale, come un bug di overflow in una libreria Rust, durante le scansioni dei repository.
• Potenziamento dell'open-source: Rilasciato sotto licenza Apache 2.0, il modello è altamente accessibile tramite Hugging Face e un'API gratuita per la comunità globale di sviluppatori.