ഹാർനസ് എൻജിനീയറിംഗിന് നിശ്ചിത വിലാസമില്ല
ഹാർനസ് എൻജിനീയറിംഗ് എന്നത് നിങ്ങളുടെ സോഫ്റ്റ്വെയർ സ്റ്റാക്കിലെ ഒരു സ്ഥലമല്ല. അത് നിങ്ങളുടെ കോഡിന്റെ ഒരു സവിശേഷതയാണ്.
ഹാർനസ് എന്നത് ഒരു AI മോഡലിന് ചുറ്റുമുള്ള ഒരു വെറും ഒരു wrapper മാത്രമാണെന്ന് പലരും കരുതുന്നു. അത് തെറ്റാണ്. ഒരു മോഡലിനെ യഥാർത്ഥ ബിസിനസ് ആവശ്യങ്ങൾക്ക് ഉപയോഗപ്രദമാക്കുന്നത് ഹാർനസ് ആണ്.
ഞാൻ ഒരു ലളിതമായ ഫോർമുല ഉപയോഗിക്കുന്നു: Agent = Model × Harness.
മോഡൽ എന്നത് എൻജിനാണ്. ഹാർനസ് എന്നത് സ്റ്റിയറിംഗ്, ബ്രേക്ക്, സുരക്ഷാ സംവിധാനങ്ങൾ (safety rails) എന്നിവയാണ്.
എന്നാൽ ഇവിടെയാണ് പ്രശ്നം. മോഡലുകൾ നിരന്തരം വളർന്നുകൊണ്ടിരിക്കുകയാണ്. ഓരോ പുതിയ മോഡൽ പതിപ്പും ഹാർനസിന്റെ ചില ഭാഗങ്ങളെ ഉൾക്കൊള്ളുന്നു.
- റീസണിംഗ് മോഡലുകൾ (Reasoning models) ഇപ്പോൾ chain-of-thought ലോജിക് കൈകാര്യം ചെയ്യുന്നു.
- മികച്ച മോഡലുകൾ ടൂൾ ഉപയോഗം (tool use) സ്വാഭാവികമായി കൈകാര്യം ചെയ്യുന്നു.
- വലിയ കോൺടെക്സ്റ്റ് വിൻഡോകൾ (Long context windows) പഴയ മെമ്മറി സിസ്റ്റങ്ങളെ മാറ്റിസ്ഥാപിക്കുന്നു.
മോഡൽ ഹാർനസിനെ വിഴുങ്ങുകയാണെങ്കിൽ, നിങ്ങൾക്ക് നിർമ്മിക്കാൻ ഇനി എന്താണ് അവശേഷിക്കുന്നത്?
ഇല്ലാതാകുന്ന ഭാഗങ്ങൾ മെക്കാനിക്സ് ആണ്. ലൂപ്പുകൾ (loops), റൈട്രൈകൾ (retries), മെമ്മറി സ്റ്റിച്ചിംഗ് (memory stitching) എന്നിവ സാധാരണമായവയായി (commodities) മാറും. പ്ലംബിംഗ് (plumbing) നിർമ്മിക്കുന്നതിൽ നിങ്ങളുടെ കരിയർ പണയപ്പെടുത്തരുത്.
നിലനിൽക്കുന്ന ഭാഗങ്ങൾ സ്പെസിഫിക്കേഷനും (specification) വെരിഫിക്കേഷനും (verification) ആണ്.
- Specification: ഏജന്റിന് എന്തൊക്കെ ചെയ്യാൻ അനുവാദമുണ്ടെന്ന് നിങ്ങൾ നിർവചിക്കണം. നിങ്ങളുടെ പ്രത്യേക റീഫണ്ട് പോളിസിയോ റിസ്ക് ടോളറൻസോ (risk tolerance) ഒരു മോഡലിന് അറിയാൻ കഴിയില്ല. അത് നിങ്ങളുടെ കോഡിലാണ് ഇരിക്കുന്നത്.
- Verification: ഏജന്റ് നിങ്ങളുടെ നിയമങ്ങൾക്കുള്ളിൽ തന്നെയാണെന്ന് നിങ്ങൾ തെളിയിക്കണം. ഒരു മോഡലിന് സ്വയം വിശ്വസനീയമായി വിലയിരുത്താൻ കഴിയില്ല. ജോലികൾ പരിശോധിക്കാൻ നിങ്ങൾക്ക് ഒരു ബാഹ്യ പാളി (external layer) ആവശ്യമാണ്.
ഒരു റീഫണ്ട് ഏജന്റിനെക്കുറിച്ച് ചിന്തിക്കുക.
നിങ്ങൾ റീഫണ്ട് പരിധി ഒരു പ്രോംപ്റ്റിൽ (prompt) നൽകുകയാണെങ്കിൽ, ഒരു ഉപയോക്താവിന് മോഡലിനെ കബളിപ്പിക്കാൻ കഴിയും. എന്നാൽ ആ പരിധി നിങ്ങളുടെ കോഡിലെ ഒരു if-statement-ൽ നൽകുകയാണെങ്കിൽ, മോഡലിന് അതിനോട് തർക്കിക്കാൻ കഴിയില്ല.
ആ if-statement ആണ് ഹാർനസ് എൻജിനീയറിംഗ്.
ഹാർനസ് എൻജിനീയറിംഗ് രണ്ട് കാര്യങ്ങളെക്കുറിച്ചാണ്:
- അനുവദനീയമായ പെരുമാറ്റത്തിന്റെ പരിധി (envelope of allowed behavior) നിർവചിക്കുക.
- ഏജന്റ് അതിനുള്ളിൽ തന്നെയാണെന്ന് തെളിയിക്കുക.
മോഡൽ എന്നത് നിങ്ങൾ നിയന്ത്രിക്കുന്ന ചെടിയാണ് (plant). സ്പെസിഫിക്കേഷൻ നിങ്ങളുടെ ലക്ഷ്യമാണ് (target). ഹാർനസ് എന്നത് കൺട്രോളറാണ് (controller). ഇവാലുവേഷനുകൾ (evaluations) ഫീഡ്ബാക്ക് ആണ്.
ടൂളുകളും മെക്കാനിക്സും എല്ലാ മാസവും മാറും. എന്നാൽ സ്പെസിഫിക്കേഷനും വെരിഫിക്കേഷനും എന്ന അച്ചടക്കം മാറില്ല.
പ്ലംബിംഗ് നിർമ്മിക്കുന്നത് നിർത്തുക. നിയന്ത്രണങ്ങളും (constraints) തെളിവുകളും (proofs) നിർമ്മിക്കാൻ തുടങ്ങുക.
Source: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a
Optional learning community: https://t.me/GyaanSetuAi