Mistral brengt Leanstral 1.5 uit: een doorbraak in formele wiskunde en codeverificatie

Mistral AI heeft officieel Leanstral 1.5 gelanceerd, een krachtig open-source model dat specifiek is ontworpen voor formele verificatie met behulp van de programmeertaal Lean 4. Door de strengheid van wiskundige bewijzen en softwarecorrectheid onder de knie te krijgen, markeert dit model een belangrijke sprong voorwaarts in het nut van open-source AI voor technische omgevingen met een hoog risico.

Dominantie in benchmarks voor formele wiskunde

Leanstral 1.5 is ontworpen om de complexe logica te navigeren die vereist is door Lean 4, een taal die is gebouwd voor het verifiëren van wiskundige bewijzen en softwarebetrouwbaarheid. De prestaties van het model op gespecialiseerde benchmarks zijn niets minder dan buitengewoon. Het behaalde een perfecte score van 100 procent op miniF2F, een benchmark die varieert van wiskunde op middelbare schoolniveau tot de intense moeilijkheidsgraad van wiskundeolympiades.

Bij tests tegen de PutnamBench — een collectie van 672 problemen uit de prestigieuze Putnam-wiskundewedstrijd — loste Leanstral 1.5 succesvol 587 problemen op. Deze prestatie plaatst het model aan de top van het open-source veld, waarbij het alleen wordt ingehaald door de closed-source Aleph Prover. Bovendien toonde het model meesterschap over wiskunde op graduate-niveau in algebra, met een score van 87 procent op de FATE-H benchmark en 34 procent op FATE-X, die geavanceerde onderwerpen zoals groep- en ringtheorie behandelen.

Verder dan wiskunde: foutdetectie in echte code

Hoewel de wiskundige kracht de kop van het artikel vormt, blijkt Leanstral 1.5 ook een krachtig hulpmiddel te zijn voor software engineers dankzij de mogelijkheden voor codeverificatie. Mistral toonde het praktische nut van het model aan door het in te zetten voor het scannen van 57 verschillende open-source repositories.

In deze praktische toepassing identificeerde het model succesvol vijf voorheen onbekende bugs. Een opmerkelijke ontdekking was een overflow-bug in de varinteger Rust-bibliotheek. Dit vermogen om subtiele, ingrijpende fouten in productiecode op te sporen, suggereert dat Leanstral 1.5 kan dienen als een geautomatiseerde "sanity check" voor ontwikkelaars die werken in geheugenveilige of missiekritieke talen.

Technische strengheid en toegankelijkheid

De ontwikkeling van Leanstral 1.5 omvatte een geavanceerde trainingspipeline bestaande uit mid-training, supervised fine-tuning (SFT) en reinforcement learning (RL). Deze meerfasige aanpak zorgt ervoor dat het model niet alleen het volgende token voorspelt, maar ook de onderliggende logische structuren begrijpt die nodig zijn voor formeel redeneren.

In een zet die het open-source ecosysteem versterkt, heeft Mistral het model uitgebracht onder de Apache 2.0-licentie. Dit stelt ontwikkelaars en onderzoekers in staat om het model met minimale beperkingen te integreren, aan te passen en te implementeren. Leanstral 1.5 is momenteel beschikbaar via Hugging Face en via een gratis API, wat de drempel verlaagt voor teams die formele verificatie in hun workflows willen implementeren.

Belangrijkste punten

• Uitmuntendheid in benchmarks: Leanstral 1.5 behaalde een score van 100% op miniF2F en presteert beter dan bijna alle open-source concurrenten op PutnamBench en algebra-tests op graduate-niveau.
• Praktisch debuggen: Het model heeft bewezen in staat te zijn om tijdens repository-scans echte kwetsbaarheden te vinden, zoals een overflow-bug in een Rust-bibliotheek.
• Empowerment van open-source: Het model is uitgebracht onder de Apache 2.0-licentie en is zeer toegankelijk via Hugging Face en een gratis API voor de wereldwijde ontwikkelaarsgemeenschap.