OpenAI ની આંતરિક Astra સિસ્ટમે જાહેરાત કરી છે કે તેણે દસ લાંબા સમયથી ચાલી આવતા ગણિતના પ્રશ્નો માટે ઔપચારિક સાબિતીઓ (formal proofs) તૈયાર કરી છે, અને દરેક દાવાને Lean 4 માં મશીન-ચેક કરેલ વેરિફિકેશન સાથે સમર્થન આપ્યું છે. ટીમે એક ટેકનિકલ પેપર અને એક ઓપન-સોર્સ રિપોઝિટરી રિલીઝ કરી છે, જેથી કોઈપણ વ્યક્તિ એ કોડ જોઈ શકે જે કાચા તર્કને એવી સાબિતીમાં ફેરવે છે જેને કમ્પાઈલર સ્વીકારી શકે અથવા નકારી શકે. જે ડેવલપર્સ ઉચ્ચ જોખમ ધરાવતા ક્ષેત્રોમાં AI ની મદદ લેવા માંગતા હોય, તેમના માટે આ પરિણામ એક એવા વર્કફ્લો બનાવવા માટેનું નક્કર ટેમ્પલેટ છે જ્યાં મોડલ વિચારો ઉત્પન્ન કરે છે પરંતુ ક્યારેય એ નક્કી નથી કરતું કે શું સાચું છે.
Astra ની આ સફળતા શા માટે મહત્વની છે
લાર્જ લેંગ્વેજ મોડલ્સ (LLMs) વિશ્વાસપાત્ર દેખાતું લખાણ ઉત્પન્ન કરે છે, છતાં તેઓ વારંવાર તથ્યો વિશે ભ્રમ (hallucinate) પેદા કરે છે અથવા એવા તાર્કિક પગલાંઓને જોડે છે જે વાસ્તવમાં અનુસરતા નથી. ઓછા જોખમવાળા સેટિંગ્સમાં માનવ સમીક્ષક મોટાભાગની ભૂલો પકડી શકે છે, પરંતુ ફાઇનાન્સ, મેડિસિન અથવા વૈજ્ઞાનિક સંશોધનમાં, ન પકડાયેલી ભૂલની કિંમત વિનાશક હોઈ શકે છે. Astra એ LLM ની સર્જનાત્મક શક્તિ જાળવી રાખીને તેના આઉટપુટ પર આંધળો વિશ્વાસ કરવાની જરૂરિયાત દૂર કરવાનો માર્ગ બતાવે છે.
વેરિફાઇડ પરિણામ તરફ દોરી જતો માર્ગ
OpenAI ના એન્જિનિયરોએ Astra ને ત્રણ-તબક્કાની પાઇપલાઇન પર બનાવ્યું છે:
- Generation – મોડલ પુરાવાના સંભવિત પગલાં સૂચવીને પુનરાવર્તિત તર્ક લૂપ્સ ચલાવે છે.
- Exposition – માણસો અને મોડલ તે પગલાંને વાંચી શકાય તેવા વર્ણનમાં ફેરવવા માટે સહયોગ કરે છે.
- Formalization – તે વર્ણનને Lean 4 કોડમાં રૂપાંતરિત કરવામાં આવે છે, જેને કમ્પાઈલર લાઇન બાય લાઇન ચેક કરે છે.
મુખ્ય પગલું Lean 4 ને સોંપણી કરવાનું છે. સાદા ટેક્સ્ટ સમજૂતીથી વિપરીત, Lean 4 દરેક અનુમાનને કડક તાર્કિક કર્નલ મુજબ સાબિત કરવા માટે મજબૂર કરે છે. જો કમ્પાઈલર કોઈ વિસંગતતા દર્શાવે, તો પાઇપલાઇન સુધારા માટે તે ભૂલ મોડલને પાછી મોકલે છે. અંતિમ નિર્ણય LLM નહીં, પણ વેરિફાયર આપે છે.
ડેવલપર્સ અને સંસ્થાઓ માટેના જોખમો
- Reliability – જ્યારે AI-જનરેટેડ આર્ટિફેક્ટને નિયમનકારી અથવા સુરક્ષા ધોરણો પૂરા કરવાના હોય, ત્યારે એક ફોર્મલ વેરિફાયર એવો ઓડિટ ટ્રેલ પૂરો પાડે છે જેનું માત્ર મૂળ ડેવલપર જ નહીં, પણ ઓડિટર્સ પણ નિરીક્ષણ કરી શકે છે.
આ અભિગમ વધારાનો બોજ (overhead) ઉમેરે છે. વેરિફાયર સમજી શકે તેવા સ્પષ્ટીકરણો લખવા, ફોર્મલ પ્રૂફ એન્વાયરમેન્ટ જાળવવું અને વેરિફિકેશન નિષ્ફળતાઓને સમજવા માટે એન્જિનિયરોને તાલીમ આપવા માટે રોકાણની જરૂર પડે છે. દરેક ક્ષેત્ર પાસે અંતિમ નિર્ણાયક તરીકે કાર્ય કરવા માટે પરિપક્વ થીયરમ પ્રૂવર અથવા ટાઇપ સિસ્ટમ હોતી નથી.
મોટાભાગના લેખો જે વિગતો છોડી દે છે
- મશીન-રીડેબલ આઉટપુટ આવશ્યક છે. Astra એ મોડલ પાસે ક્યારેય મુક્ત-સ્વરૂપના ગદ્ય (free-form prose) ની માંગણી કરી નથી; તેણે સ્પષ્ટપણે એવા કોડ સ્નિપેટ્સ અને સ્કીમા વ્યાખ્યાઓ માંગ્યા જે Lean 4 કમ્પાઈલર ગ્રહણ કરી શકે.
- ફીડબેક લૂપ્સ અંતર ઘટાડે છે. જ્યારે કમ્પાઈલર ટાઇપ એરર અથવા અપ્રમાણિત લેમ્મા (lemma) રિપોર્ટ કરે છે, ત્યારે તે ડાયગ્નોસ્ટિક ફરીથી જનરેશન લૂપમાં મોકલવામાં આવે છે, જેનાથી મોડલ આપમેળે તેના અનુમાનમાં સુધારો કરી શકે છે.
- Human-in-the-loop વ્યૂહાત્મક રહે છે.
તમારો પોતાનો વેરિફાઇએબલ AI વર્કફ્લો બનાવવો
- જનરેશનને વેરિફિકેશનથી અલગ કરો. LLM ને એક ડિટરમિનિસ્ટિક ટૂલ—જેમ કે કમ્પાઈલર, સ્ટેટિક એનાલાઇઝર અથવા યુનિટ-ટેસ્ટ હાર્નેસ—સાથે જોડો જે દરેક દાવાને સ્વતંત્ર રીતે કન્ફર્મ કરી શકે.
- સ્ટ્રક્ચર્ડ આર્ટિફેક્ટ્સ માંગો. "અલ્ગોરિધમ સમજાવો" ને બદલે, કોડ ફાઇલ, JSON સ્કીમા અથવા પ્રૂફ સ્ક્રિપ્ટ માંગો જેને મશીન પાર્સ કરી શકે.
- મોડલમાં એરર ફીડબેક લૂપ કરો. વેરિફાયરના એરર મેસેજ મેળવો અને તેને પ્રોમ્પ્ટ્સ તરીકે પાછા મોકલો, જેથી મોડલ માનવ હસ્તક્ષેપ વગર સુધારવાનો પ્રયાસ કરી શકે.
- અગાઉથી સચોટ સ્પષ્ટીકરણો વ્યાખ્યાયિત કરો. વેરિફાયર ફક્ત તમે આપેલા નિયમો સામે જ ચેક કરી શકે છે; જો સ્પષ્ટીકરણ અસ્પષ્ટ અથવા ખોટું હશે, તો સાબિતી નિરર્થક રહેશે.
વિરોધ પક્ષના મુદ્દાઓ અને મર્યાદાઓ
આગળ શું જોવું
મુખ્ય સારાંશ
LLM ને જજ તરીકે નહીં, પણ બ્રેઈનસ્ટોર્મિંગ પાર્ટનર તરીકે ગણો. એક ડિટરમિનિસ્ટિક વેરિફાયર—પછી તે કમ્પાઈલર હોય, લિન્ટર હોય કે ફોર્મલ પ્રૂફ એન્જિન હોય—તેને અંતિમ નિર્ણય લેવા દો. જ્યારે આ બંનેને યોગ્ય રીતે જોડવામાં આવે છે, ત્યારે તમને અનિયંત્રિત ભ્રમ (hallucinations) ના છુપાયેલા જોખમ વગર જનરેટિવ AI ની ઝડપ મળે છે.