કોન્ટેક્સ્ટ વિન્ડોઝ વિશાળ બની રહ્યા છે
લોકો દરેક વસ્તુ માટે 'એજન્ટ' શબ્દનો ઉપયોગ કરે છે.
જે ફંક્શન કોઈ ટૂલને કોલ કરે છે તે એજન્ટ છે. મેમરી ધરાવતો ચેટબોટ એજન્ટ છે. લૂપ ધરાવતી સ્ક્રિપ્ટ એજન્ટ છે.
આ ભૂલ ખરાબ એન્જિનિયરિંગ તરફ દોરી જાય છે. ટીમો સરળ કાર્યો માટે ઓવર-એન્જિનિયરિંગ (over-engineer) કરે છે અને જટિલ કાર્યો માટે અંડર-એન્જિનિયરિંગ (under-engineer) કરે છે. હું જોઉં છું કે ટીમો એવા વર્કફ્લો માટે એજન્ટ ઓર્કેસ્ટ્રેશન (agent orchestration) પાછળ અઠવાડિયા વિતાવે છે જેને માત્ર એક સારા પ્રોમ્પ્ટની જરૂર હોય છે.
અસલી એજન્ટની મારી વ્યાખ્યા અહીં છે.
એક એજન્ટ પાસે એક ઉદ્દેશ્ય હોય છે. તે માત્ર સૂચનાઓનું પાલન નથી કરતું. તે આગળ શું કરવું તે નક્કી કરે છે. તે નિષ્ફળતાને સંભાળે છે. તેને ખબર હોય છે કે ક્યારે અટકવું.
આ બેન્ચમાર્કનો ઉપયોગ કરો:
- જો માણસે દરેક પગલાનું માર્ગદર્શન આપવું પડે, તો તે ચેટ ઇન્ટરફેસ છે.
- જો સિસ્ટમ નિષ્ફળ ટૂલ કોલમાંથી રિકવર થાય છે, તો તે એજન્ટ તરફ આગળ વધી રહી છે.
- જો સિસ્ટમ લક્ષ્યને કાર્યોમાં વિભાજિત કરે અને તેમને સોંપે, તો તે અસલી એજન્ટ છે.
મોટાભાગના સફળ એજન્ટો મર્યાદિત (narrow) હોય છે. તેઓ એક કામ સારી રીતે કરે છે. તેઓ કસ્ટમર સપોર્ટ ટ્રાયજ (triage) અથવા ડોક્યુમેન્ટ એક્સટ્રેક્શન સંભાળે છે. તેઓ સામાન્ય રિઝનિંગ એન્જિન નથી.
સફળ ટીમો આ ત્રણ બાબતો પર ધ્યાન કેન્દ્રિત કરે છે:
- ટૂલ ડિઝાઇન: ઇન્ટરફેસ કેટલું ક્લીન છે?
- નિષ્ફળતાનું સંચાલન (Failure handling): જ્યારે ટૂલ કંઈ જ રિટર્ન ન કરે ત્યારે શું થાય છે?
- ઓબ્ઝર્વેબિલિટી (Observability): શું તમે ટ્રેસ કરી શકો છો કે એજન્ટે નિર્ણય કેમ લીધો?
અસફળ ટીમો ફક્ત એક મોડેલને બદલે નવું મોડેલ વાપરે છે અને વધુ સારા પરિણામોની અપેક્ષા રાખે છે. તેઓ સિસ્ટમ ડિઝાઇનને અવગણે છે.
LangChain અથવા CrewAI જેવા ફ્રેમવર્ક દર મહિને બદલાય છે. પેટર્ન કરતા ફ્રેમવર્કનું મહત્વ ઓછું છે.
આ પેટર્નનો ઉપયોગ કરો:
- પ્લાન કરો પછી અમલમાં મૂકો (Plan then execute): રિઝનિંગ સ્ટેપને એક્ઝિક્યુશન સ્ટેપથી અલગ કરો.
- રિટ્રીવલને રિઝનિંગથી અલગ કરો: કોન્ટેક્સ્ટ મેળવવો એ તેનો ઉપયોગ કરવા કરતાં અલગ કામ છે.
- સ્પષ્ટ હેન્ડઓફ્સ (Explicit handoffs): જ્યારે એક એજન્ટ બીજાને કામ સોંપે ત્યારે સ્ટ્રક્ચર્ડ લોગ્સનો ઉપયોગ કરો.
ફ્રેમવર્ક માત્ર સ્કેફોલ્ડિંગ છે. આર્કિટેક્ચર એ ઇમારત છે.
RAG સ્ટાન્ડર્ડ છે, પરંતુ ચંકિંગ (chunking) ઘણીવાર ખોટું હોય છે. જો તમે દસ્તાવેજોને ખરાબ રીતે વિભાજિત કરો છો, તો મોડેલ કોન્ટેક્સ્ટ ગુમાવે છે. આનાથી હેલ્યુસિનેશન (hallucinations) થાય છે.
જો તમારા RAG પરિણામો નકામા હોય, તો તમારા ચંકિંગ અને મેટાડેટા તપાસો. મોડેલ ભાગ્યે જ સમસ્યા હોય છે.
મોડેલ્સ વધુ સારા બનશે. કોન્ટેક્સ્ટ વિન્ડોઝ વધશે. ટોકન ખર્ચ ઘટશે.
આમાંથી કંઈ પણ વાસ્તવિક એન્જિનિયરિંગ પડકારને ઉકેલતું નથી. તમારે એવી સિસ્ટમ બનાવવી જોઈએ જે તમે જોતા ન હોવ ત્યારે પણ યોગ્ય રીતે કામ કરે.
ગવર્નન્સ, ઓબ્ઝર્વેબિલિટી અને વિશ્વસનીય ટૂલ ઉપયોગ પર ધ્યાન કેન્દ્રિત કરો. શ્રેષ્ઠ એન્જિનિયરો મોડેલ રિસર્ચર્સ નહીં હોય. તેઓ સિસ્ટમ ડિઝાઇનર્સ હશે જે વિશ્વસનીય AI બનાવે છે.
Source: https://dev.to/aibughunter/context-windows-are-getting-huge-heres-why-that-changes-everything-2jlh