Mistral wydaje Leanstral 1.5: Przełom w formalnej matematyce i weryfikacji kodu

Mistral AI oficjalnie zaprezentowało Leanstral 1.5 – potężny model open-source, zaprojektowany specjalnie do formalnej weryfikacji przy użyciu języka programowania Lean 4. Dzięki opanowaniu rygorów dowodów matematycznych i poprawności oprogramowania, model ten stanowi znaczący krok naprzód w użyteczności otwartej sztucznej inteligencji w środowiskach technicznych o wysokim stopniu odpowiedzialności.

Dominacja w benchmarkach formalnej matematyki

Leanstral 1.5 został zaprojektowany tak, aby radzić sobie ze złożoną logiką wymaganą przez Lean 4 – język stworzony do weryfikacji dowodów matematycznych i niezawodności oprogramowania. Wyniki modelu w specjalistycznych benchmarkach są po prostu niezwykłe. Osiągnął on idealny wynik 100 procent w miniF2F, benchmarku obejmującym zagadnienia od matematyki na poziomie szkoły średniej po ekstremalnie trudne zadania z olimpiad matematycznych.

Podczas testów z wykorzystaniem PutnamBench – zestawu 672 zadań z prestiżowego konkursu matematycznego Putnam – Leanstral 1.5 pomyślnie rozwiązał 587 problemów. Wynik ten stawia go na szczycie rozwiązań open-source, ustępując jedynie zamkniętemu modelowi Aleph Prover. Co więcej, model wykazał się biegłością w algebrze na poziomie studiów magisterskich, osiągając 87 procent w benchmarku FATE-H oraz 34 procent w FATE-X, które obejmują zaawansowane tematy, takie jak teoria grup i pierścieni.

Więcej niż matematyka: Wykrywanie błędów w kodzie w rzeczywistych zastosowaniach

Choć to biegłość matematyczna jest głównym tematem, Leanstral 1.5 okazuje się również potężnym narzędziem dla inżynierów oprogramowania dzięki swoim zdolnościom do weryfikacji kodu. Mistral wykazał praktyczną użyteczność modelu, wykorzystując go do skanowania 57 różnych repozytoriów open-source.

W tym rzeczywistym zastosowaniu model pomyślnie zidentyfikował pięć wcześniej nieznanych błędów. Jednym z istotnych odkryć był błąd przepełnienia (overflow) znajdujący się w bibliotece Rust varinteger. Zdolność do wyłapywania subtelnych, niosących poważne konsekwencje błędów w kodzie produkcyjnym sugeruje, że Leanstral 1.5 może służyć jako zautomatyzowana „kontrola rozsądku” (sanity check) dla programistów pracujących w językach zapewniających bezpieczeństwo pamięci lub w systemach krytycznych.

Rygor techniczny i dostępność

Proces rozwoju Leanstral 1.5 obejmował zaawansowany potok szkoleniowy (training pipeline), składający się z etapów mid-training, nadzorowanego dostrajania (SFT) oraz uczenia ze wzmocnieniem (RL). To wieloetapowe podejście zapewnia, że model nie tylko przewiduje kolejny token, ale rozumie podstawowe struktury logiczne niezbędne do formalnego rozumowania.

W ruchu wzmacniającym ekosystem open-source, Mistral udostępnił model na licencji Apache 2.0. Pozwala to programistom i badaczom na integrację, modyfikowanie i wdrażanie modelu przy minimalnych ograniczeniach. Leanstral 1.5 jest obecnie dostępny za pośrednictwem Hugging Face oraz poprzez darmowe API, co obniża próg wejścia dla zespołów chcących wdrożyć formalną weryfikację w swoich procesach pracy.

Kluczowe wnioski

• Doskonałość w benchmarkach: Leanstral 1.5 osiągnął wynik 100% w miniF2F i przewyższa niemal wszystkich konkurentów open-source w PutnamBench oraz testach z algebry na poziomie magisterskim.
• Praktyczne debugowanie: Model udowodnił swoją zdolność do znajdowania rzeczywistych podatności, takich jak błąd przepełnienia w bibliotece Rust, podczas skanowania repozytoriów.
• Wzmocnienie społeczności open-source: Udostępniony na licencji Apache 2.0, model jest łatwo dostępny dla globalnej społeczności programistów za pośrednictwem Hugging Face oraz darmowego API.