તમારા મોડેલનું Fine-Tuning કરવાનું બંધ કરો. તમારી આર્કિટેક્ચર જ સમસ્યા છે.

ડેમો જોવામાં સારા લાગે છે. પ્રોડક્શન સિસ્ટમ્સ અલગ હોય છે. આ બંને વચ્ચે એક તફાવત છે.

અત્યારે લોકો દરેક વસ્તુને એજન્ટ કહે છે. મેમરી ધરાવતો ચેટબોટ એજન્ટ છે. લૂપ ધરાવતી સ્ક્રિપ્ટ એજન્ટ છે. આ ભૂલને કારણે એન્જિનિયરિંગમાં ભૂલો થાય છે. તમે સરળ કાર્યો માટે ઓવર-એન્જિનિયરિંગ કરો છો અને જટિલ કાર્યો માટે અન્ડર-એન્જિનિયરિંગ કરો છો.

એક એજન્ટને ઉદ્દેશ્ય (objective) ની જરૂર હોય છે. તે માત્ર સૂચનાનું પાલન નથી કરતું. તે આગળ શું કરવું તે નક્કી કરે છે. તે નિષ્ફળતાને સંભાળે છે. તેને ખબર હોય છે કે ક્યારે અટકવું.

તમારી સિસ્ટમ તપાસવા માટે આ નિયમોનો ઉપયોગ કરો:

  • જો દરેક પગલામાં માનવીય માર્ગદર્શનની જરૂર હોય, તો તે ચેટ ઇન્ટરફેસ છે.
  • જો તે નિષ્ફળ થયેલ ટૂલ કોલ (tool call) માંથી રિકવર થાય છે, તો તે એજન્ટ છે.
  • જો તે લક્ષ્યને સબ-ટાસ્ક (subtasks) માં વિભાજિત કરે છે, તો તે સાચો એજન્ટ છે.

સફળ ટીમો નવા મોડેલ્સ પાછળ નથી દોડતી. તેઓ ચોક્કસ હેતુ માટે બનાવેલા પાયપલાઇન્સ (pipelines) બનાવે છે. તેઓ આ ત્રણ બાબતો પર ધ્યાન કેન્દ્રિત કરે છે:

  • ટૂલ ડિઝાઇન: ઇન્ટરફેસ કેટલું સ્પષ્ટ છે?
  • નિષ્ફળતાનું સંચાલન (Failure handling): જ્યારે ટૂલ કંઈ જ રિટર્ન ન કરે ત્યારે શું થાય છે?
  • ઓબ્ઝર્વેબિલિટી (Observability): શું તમે દરેક નિર્ણયને ટ્રેસ કરી શકો છો?

તમે જે ફ્રેમવર્કનો ઉપયોગ કરો છો તેના કરતા તમારા પેટર્ન (patterns) વધુ મહત્વના છે. મેં વિવિધ ફ્રેમવર્કમાં આર્કિટેક્ચર ફરીથી બનાવ્યા છે અને પરિણામો સમાન જ રહે છે. ફ્રેમવર્ક એ સ્કેફોલ્ડિંગ (scaffolding) છે. આર્કિટેક્ચર એ બિલ્ડિંગ છે.

આ પેટર્નનું પાલન કરો:

  • પહેલા આયોજન કરો અને પછી અમલ કરો. રીઝનિંગ (reasoning) માટે એક સ્ટેપ અને એક્શન માટે અલગ સ્ટેપનો ઉપયોગ કરો.
  • રિટ્રીવલ (retrieval) ને રીઝનિંગ (reasoning) થી અલગ કરો. કોન્ટેક્સ્ટ મેળવવો અને કોન્ટેક્સ્ટનો ઉપયોગ કરવો એ અલગ કાર્યો છે.
  • સ્પષ્ટ હેન્ડઓફ્સ (handoffs) નો ઉપયોગ કરો. જ્યારે એક એજન્ટ બીજાને કામ સોંપે છે, ત્યારે સ્ટ્રક્ચર્ડ લોગ્સનો ઉપયોગ કરો.

RAG પ્રમાણભૂત છે, પરંતુ ચંકિંગ (chunking) ઘણીવાર ખોટું હોય છે. જો તમે દસ્તાવેજોને ખરાબ રીતે વિભાજિત કરો છો, તો મોડેલ કોન્ટેક્સ્ટ ગુમાવે છે. આના કારણે હેલ્યુસિનેશન (hallucinations) થાય છે.

જો તમારી RAG પાયપલાઇન નકામા પરિણામો આપે છે, તો તમારા ચંકિંગ અને મેટાડેટા તપાસો. એમ્બેડિંગ મોડેલને દોષ ન આપો.

એન્જિનિયરિંગ પડકાર એ એવી સિસ્ટમ બનાવવાનો છે જેના પર તમે વિશ્વાસ કરી શકો. ગવર્નન્સ, ઓબ્ઝર્વેબિલિટી અને વિશ્વસનીય ટૂલના ઉપયોગ પર ધ્યાન કેન્દ્રિત કરો. માત્ર બેન્ચમાર્ક પાછળ ન દોડો.

શ્રેષ્ઠ એન્જિનિયરો સિસ્ટમ ડિઝાઇન પર ધ્યાન કેન્દ્રિત કરશે. તેઓ એવા AI સિસ્ટમ્સ બનાવશે જેને અન્ય લોકો જાળવી શકે અને જેના પર વિશ્વાસ કરી શકે.

સ્ત્રોત: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg