OpenAI-യുടെ ആഭ്യന്തര Astra സിസ്റ്റം പത്ത് കാലങ്ങളായുള്ള ഗണിത പ്രശ്നങ്ങൾക്ക് ഫോർമൽ പ്രൂഫുകൾ (formal proofs) തയ്യാറാക്കിയതായി അറിയിച്ചു, കൂടാതെ Lean 4 ഉപയോഗിച്ചുള്ള മെഷീൻ-ചെക്ക്ഡ് വെരിഫിക്കേഷനിലൂടെ ഓരോ അവകാശവാദവും ഇത് ഉറപ്പുവരുത്തി. ടീം ഒരു ടെക്നിക്കൽ പേപ്പറും ഓപ്പൺ സോഴ്സ് റിപ്പോസിറ്ററിയും പുറത്തിറക്കി, ഇതിലൂടെ ആർക്കും കോഡ് പരിശോധിക്കാവുന്നതാണ്; അതായത്, വെറും യുക്തിപരമായ ചിന്തകളെ ഒരു കംപൈലറിന് സ്വീകരിക്കാനോ നിരസിക്കാനോ കഴിയുന്ന ഒരു തെളിവായി മാറ്റുന്ന പ്രക്രിയ ആർക്കും കാണാം. ഉയർന്ന ഉത്തരവാദിത്തമുള്ള മേഖലകളിൽ AI-യുടെ സഹായം ആഗ്രഹിക്കുന്ന ഡെവലപ്പർമാരെ സംബന്ധിച്ചിടത്തോളം, മോഡൽ ആശയങ്ങൾ മാത്രം നിർദ്ദേശിക്കുകയും എന്നാൽ സത്യമെന്താണെന്ന് സ്വയം തീരുമാനിക്കാതെയിരിക്കുകയും ചെയ്യുന്ന ഒരു വർക്ക്ഫ്ലോ നിർമ്മിക്കാനുള്ള കൃത്യമായ മാതൃകയാണിത്.
Why the Astra breakthrough matters
ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ (LLMs) വിശ്വസനീയമെന്ന് തോന്നിക്കുന്ന ടെക്സ്റ്റുകൾ നിർമ്മിക്കുന്നുണ്ടെങ്കിലും, അവ പലപ്പോഴും വസ്തുതകൾ തെറ്റായി അവതരിപ്പിക്കുകയോ (hallucinate) യുക്തിരഹിതമായ ഘട്ടങ്ങൾ കൂട്ടിച്ചേർക്കുകയോ ചെയ്യാറുണ്ട്. കുറഞ്ഞ റിസ്കുള്ള സാഹചര്യങ്ങളിൽ ഒരു മനുഷ്യന് ഇത്തരം തെറ്റുകൾ കണ്ടെത്താൻ കഴിയും, എന്നാൽ ഫിനാൻസ്, മെഡിസിൻ അല്ലെങ്കിൽ ശാസ്ത്ര ഗവേഷണം തുടങ്ങിയ മേഖലകളിൽ ഒരു ചെറിയ പിശക് പോലും വലിയ പ്രത്യാഘാതങ്ങൾ ഉണ്ടാക്കാം. Astra ഒരു LLM-ന്റെ സർഗ്ഗാത്മകത നിലനിർത്തിക്കൊണ്ടുതന്നെ അതിന്റെ ഔട്ട്പുട്ടിനെ അന്ധമായി വിശ്വസിക്കേണ്ട സാഹചര്യം ഒഴിവാക്കാനുള്ള ഒരു വഴി കാണിച്ചുതരുന്നു.
The path that led to a verified result
OpenAI എഞ്ചിനീയർമാർ Astra-യെ മൂന്ന് ഘട്ടങ്ങളുള്ള ഒരു പൈപ്പ്ലൈൻ ഉപയോഗിച്ചാണ് നിർമ്മിച്ചത്:
- Generation – മോഡൽ വിവിധ യുക്തിപരമായ ഘട്ടങ്ങൾ (reasoning loops) പരീക്ഷിക്കുകയും തെളിവുകൾക്കുള്ള സാധ്യതകൾ നിർദ്ദേശിക്കുകയും ചെയ്യുന്നു.
- Exposition – മനുഷ്യരും മോഡലും ചേർന്ന് ആ ഘട്ടങ്ങളെ വായിക്കാവുന്ന രീതിയിലുള്ള വിവരണങ്ങളാക്കി മാറ്റുന്നു.
- Formalization – ഈ വിവരണം Lean 4 കോഡിലേക്ക് മാറ്റുന്നു, ഇത് ഒരു കംപൈലർ ഓരോ വരിയും പരിശോധിക്കുന്നു.
ഇവിടെ പ്രധാനപ്പെട്ട കാര്യം Lean 4-ലേക്ക് കൈമാറുന്നതാണ്. വെറുമൊരു ടെക്സ്റ്റ് വിശദീകരണത്തിന് പകരം, ഓരോ നിഗമനവും കർശനമായ ലോജിക്കൽ കേർണൽ (logical kernel) അനുസരിച്ച് ന്യായീകരിക്കാൻ Lean 4 നിർബന്ധിക്കുന്നു. കംപൈലർ എന്തെങ്കിലും തെറ്റ് ചൂണ്ടിക്കാണിച്ചാൽ, ആ പിശക് തിരുത്തുന്നതിനായി പൈപ്പ്ലൈൻ അത് വീണ്ടും മോഡലിലേക്ക് അയക്കുന്നു. LLM അല്ല, മറിച്ച് വെരിഫയർ ആണ് അന്തിമ തീരുമാനം നൽകുന്നത്.
Stakes for developers and organizations
- Reliability – AI നിർമ്മിച്ച ഒരു കാര്യം നിയന്ത്രണങ്ങളോ സുരക്ഷാ മാനദണ്ഡങ്ങളോ പാലിക്കേണ്ടതുണ്ടെങ്കിൽ, വെരിഫയർ ഒരു ഓഡിറ്റ് ട്രയൽ (audit trail) നൽകുന്നു. ഇത് ഡെവലപ്പർമാർക്ക് മാത്രമല്ല, ഓഡിറ്റർമാർക്കും പരിശോധിക്കാവുന്നതാണ്.
ഈ രീതിക്ക് കൂടുതൽ അധ്വാനം ആവശ്യമാണ്. വെരിഫയറിന് മനസ്സിലാകുന്ന രീതിയിൽ സ്പെസിഫിക്കേഷനുകൾ എഴുതുക, ഫോർമൽ പ്രൂഫ് എൻവയോൺമെന്റ് നിലനിർത്തുക, വെരിഫിക്കേഷൻ പരാജയങ്ങൾ മനസ്സിലാക്കാൻ എഞ്ചിനീയർമാരെ പരിശീലിപ്പിക്കുക എന്നിവയെല്ലാം നിക്ഷേപം ആവശ്യപ്പെടുന്ന കാര്യങ്ങളാണ്. എല്ലാ മേഖലകളിലും അന്തിമ തീരുമാനമെടുക്കാൻ അനുയോജ്യമായ തീറം പ്രൂവർസോ (theorem prover) ടൈപ്പ് സിസ്റ്റമോ ഉണ്ടാവണമെന്നില്ല.
The details most articles skip
- മെഷീൻ-റീഡബിൾ ഔട്ട്പുട്ട് അത്യാവശ്യമാണ്. Astra മോഡലിനോട് വെറുതെ വിവരണങ്ങൾ ചോദിക്കുകയല്ല ചെയ്തത്; മറിച്ച് Lean 4 കംപൈലറിന് ഉപയോഗിക്കാൻ കഴിയുന്ന കോഡ് സ്നിപ്പറ്റുകളും സ്കീമ ഡെഫനിഷനുകളും (schema definitions) ആണ് ആവശ്യപ്പെട്ടത്.
- ഫീഡ്ബാക്ക് ലൂപ്പുകൾ വിടവ് നികത്തുന്നു. കംപൈലർ ഒരു ടൈപ്പ് എററോ അല്ലെങ്കിൽ തെളിവ് ഇല്ലാത്ത ഒരു ലെമ്മയോ (unproven lemma) റിപ്പോർട്ട് ചെയ്യുമ്പോൾ, ആ ഡയഗ്നോസ്റ്റിക്സ് വീണ്ടും ജനറേഷൻ ലൂപ്പിലേക്ക് നൽകുന്നു, ഇത് മോഡലിന് സ്വയം തിരുത്തലുകൾ വരുത്താൻ സഹായിക്കുന്നു.
- Human-in-the-loop എന്നത് തന്ത്രപരമായ ഒന്നായി തുടരുന്നു.
Building your own verifiable AI workflow
- ജനറേഷനും വാലിഡേഷനും വേർതിരിക്കുക. ഓരോ അവകാശവാദവും സ്വതന്ത്രമായി സ്ഥിരീകരിക്കാൻ കഴിയുന്ന ഒരു കംപൈലർ, സ്റ്റാറ്റിക് അനലൈസർ അല്ലെങ്കിൽ യൂണിറ്റ്-ടെസ്റ്റ് ഹാർനെസ്സ് പോലുള്ള ഒരു ഡെറ്റർമിനിസ്റ്റിക് ടൂളിനൊപ്പം LLM-നെ ഉപയോഗിക്കുക.
- സ്ട്രക്ചേർഡ് ആർട്ടീഫാക്റ്റുകൾ ആവശ്യപ്പെടുക. "അൽഗോരിതം വിവരിക്കുക" എന്ന് പറയുന്നതിന് പകരം, ഒരു മെഷീന് വായിക്കാൻ കഴിയുന്ന കോഡ് ഫയൽ, ഒരു JSON സ്കീമ അല്ലെങ്കിൽ ഒരു പ്രൂഫ് സ്ക്രിപ്റ്റ് എന്നിവ ആവശ്യപ്പെടുക.
- എറർ ഫീഡ്ബാക്ക് മോഡലിലേക്ക് തിരികെ നൽകുക. വെരിഫയറുടെ എറർ മെസ്സേജുകൾ ശേഖരിച്ച് അവ പ്രോംപ്റ്റുകളായി നൽകുക, ഇത് മനുഷ്യന്റെ ഇടപെടലില്ലാതെ തന്നെ മോഡലിന് പിശകുകൾ തിരുത്താൻ ശ്രമിക്കാൻ അനുവദിക്കുന്നു.
- കൃത്യമായ സ്പെസിഫിക്കേഷനുകൾ മുൻകൂട്ടി നിശ്ചയിക്കുക. നിങ്ങൾ നൽകുന്ന നിയമങ്ങൾക്കനുസരിച്ച് മാത്രമേ വെരിഫയറിന് പരിശോധിക്കാൻ കഴിയൂ; സ്പെസിഫിക്കേഷൻ അവ്യക്തമോ തെറ്റോ ആണെങ്കിൽ പ്രൂഫിന് അർത്ഥമുണ്ടാകില്ല.
Counter-points and limits
What to watch next
Takeaway
ഒരു LLM-നെ ഒരു ജഡ്ജിയായല്ല, മറിച്ച് ഒരു ബ്രെയിൻസ്റ്റോമിംഗ് പങ്കാളിയായി കാണുക. ഒരു കംപൈലറോ ലിന്ററോ (linter) അല്ലെങ്കിൽ ഫോർമൽ പ്രൂഫ് എൻജിനോ ആകട്ടെ, ഒരു ഡെറ്റർമിനിസ്റ്റിക് വെരിഫയറെക്കൊണ്ട് അന്തിമ തീരുമാനം എടുപ്പിക്കുക. ഇവ രണ്ടും കൃത്യമായി കൂട്ടിയിണക്കിയാൽ, അപ്രതീക്ഷിതമായ തെറ്റുകൾ (hallucinations) സംഭവിക്കാനുള്ള സാധ്യതയില്ലാതെ തന്നെ ജനറേറ്റീവ് AI-യുടെ വേഗത നിങ്ങൾക്ക് ലഭിക്കും.