Pramaana Labs haalt $27 miljoen op om AI-betrouwbaarheid op te lossen met formele verificatie

Terwijl ondernemingen worstelen met de overgang van AI van experimentele pilotprogramma's naar bedrijfskritische operaties, staat de sector voor een enorme hindernis: betrouwbaarheid. Pramaana Labs wil dit gat dichten door de wiskundige strengheid van formele verificatie toe te passen op de onvoorspelbare aard van Large Language Models (LLM's).

Het overbruggen van de kloof tussen probabilistische en deterministische AI

De fundamentele spanning in moderne AI ligt in het verschil tussen probabilistisch redeneren en deterministische waarheid. Hoewel LLM's uitblinken in het verwerken van natuurlijke taal en het afhandelen van complexe, ongestructureerde gegevens, zijn ze gevoelig voor hallucinaties en logische fouten. Voor sectoren waar één enkele fout kan leiden tot een juridische of financiële catastrofe, zijn deze fouten onacceptabel.

Pramaana Labs pakt dit aan door een hybride architectuur te bouwen. Hun systeem maakt gebruik van een conventionele LLM-engine om de flexibiliteit te behouden die nodig is voor interactie in natuurlijke taal, maar voegt daar een deterministische verificatielaag aan toe. Deze laag zorgt ervoor dat de door de LLM gegenereerde output voldoet aan strikte, gecodificeerde regels, waardoor het effectief fungeert als een wiskundige vangrail tegen fouten.

Het inzetten van LEAN voor toepassingen in sectoren met een hoog risico

In tegenstelling tot standaard softwaretesten, maakt Pramaana Labs gebruik van de instrumenten van formele verificatie, waarbij ze specifiek inspiratie putten uit de open-source programmeertaal LEAN. LEAN wordt traditioneel gebruikt voor het verifiëren van complexe wiskundige bewijzen, en Pramaana is van plan deze technologie aan te passen om de "regels" van specifieke professionele domeinen te codificeren.

Het bedrijf richt zich op sectoren met een hoge gevoeligheid waar nauwkeurigheid niet onderhandelbaar is:

Om ervoor te zorgen dat deze systemen geworteld zijn in de realiteit, werkt Pramaana samen met toponderzoekers en experts uit het vakgebied. Dit omvat voormalig IRS-commissaris Danny Werfel voor belastinggerelateerde toepassingen, evenals professoren van IIT Delhi, IIT Madras en UC Berkeley om toezicht te houden op cybersecurity- en medicijnontwikkelingsprotocollen.

Waarom dit belangrijk is voor het AI-ecosysteem

De seedronde van $27 miljoen — geleid door Khosla Ventures met deelname van Accel, Boldcap, Nexus Venture Partners, Premji Invest en Unbound — signaleert een enorme verschuiving in AI-investeringen. Het "move fast and break things"-tijdperk van generatieve AI komt in contact met de "verify and validate"-vereisten van de zakelijke wereld.

Door niet-geformaliseerde kennis om te zetten in uitvoerbare, verifieerbare code (vergelijkbaar met het Franse CATALA-project), biedt Pramaana Labs een blauwdruk voor hoe AI kan worden ingezet in gereguleerde sectoren. Indien succesvol, zou deze aanpak biljoenen dollars aan waarde kunnen vrijmaken door AI veilig te laten omgaan met de menselijke gezondheid, juridische rechten en enorme financiële systemen.

Belangrijkste inzichten