મારી AI એજન્ટની અડચણ મોડેલ નહોતું. તે આર્કિટેક્ચર હતું.

ત્રણ મહિના પહેલા, એક ક્લાયન્ટ વર્કફ્લો તૂટી ગયો હતો.

મેં ડોક્યુમેન્ટ ક્લાસિફિકેશન, ટેગિંગ અને સમરીઝ માટે એક જ એજન્ટનો ઉપયોગ કર્યો હતો. તે દિવસના 50 ડોક્યુમેન્ટ્સ માટે સારી રીતે કામ કરતું હતું. પછી વોલ્યુમ 500 પર પહોંચ્યું.

એજન્ટને દરેક બેચ માટે 40 મિનિટ લાગતી હતી. તે સ્કેલ થઈ શકતું નહોતું. તે ક્રેશ થઈ ગયું.

મેં મોટા મોડેલમાં સ્વિચ નથી કર્યું. તેના બદલે, મેં એજન્ટને ત્રણ વિશિષ્ટ ભૂમિકાઓમાં વિભાજિત કર્યો. આ ભૂમિકાઓ સમાંતર (parallel) રીતે ચાલતી હતી.

થ્રુપુટ (Throughput) 40 મિનિટથી ઘટીને 4 મિનિટ થઈ ગયો. મોડેલ એ જ રહ્યું. આર્કિટેક્ચર બદલાયું.

મોટાભાગના ડેવલપર્સ સિક્વન્શિયલ (sequential) એજન્ટ્સ બનાવવાની ભૂલ કરે છે. એક જ એજન્ટ બધું ક્રમમાં કરે છે.

જો તમારી પાસે 500 ડોક્યુમેન્ટ્સ હોય અને દરેક ડોક્યુમેન્ટ માટે ત્રણ કાર્યો હોય, તો તમે એક પછી એક 1,500 LLM કોલ્સ કરો છો. જો એક કોલ માટે 2 સેકન્ડ પણ લાગે, તો તમારે 50 મિનિટ રાહ જોવી પડે છે. તમારું મોડેલ તેનો મોટાભાગનો સમય રાહ જોવામાં વિતાવે છે.

તેનો ઉકેલ એ છે કે એકસાથે ચાલતા વિશિષ્ટ એજન્ટ્સનો ઉપયોગ કરવો.

  • નાના, ફોકસ કરેલા સિસ્ટમ પ્રોમ્પ્ટ્સનો ઉપયોગ કરો.
  • સ્વતંત્ર કાર્યો એકસાથે ચલાવો.
  • કાર્યોનું સંચાલન કરવા માટે ડિસ્પેચરનો ઉપયોગ કરો.

વિશિષ્ટ એજન્ટ્સ ઝડપી અને સસ્તા છે. ચોક્કસ કાર્યો પર એક ટાઈટ પ્રોમ્પ્ટ વાળું નાનું મોડેલ મોટા જનરલ મોડેલને હરાવી દેશે.

જોકે, બધું જ પેરેલલ (parallelize) ન કરો. આ ભૂલો ટાળો:

  • એકબીજા પર આધાર રાખતા કાર્યોને પેરેલલ ન કરો. જો કાર્ય B ને કાર્ય A ના આઉટપુટની જરૂર હોય, તો તમારે તેમને ક્રમમાં ચલાવવા જ પડશે.
  • નાના કાર્યોને પેરેલલ ન કરો. એજન્ટના સંચાલનનો ઓવરહેડ પોતે કાર્ય કરતા વધુ સમય લઈ શકે છે.
  • રિટ્રીવલ સ્પીડને અવગણશો નહીં. જો તમારું સિસ્ટમ ડેટાબેઝ લુકઅપને કારણે ધીમી હોય, તો LLM કોલ્સને પેરેલલ કરવાથી કોઈ મદદ મળશે નહીં.

સ્કેલ કરવા માટે આ પગલાં અનુસરો:

  • પહેલા તમારી સિસ્ટમનું પ્રોફાઇલિંગ કરો. ખરેખર સમય ક્યાં બગડે છે તે શોધો.
  • ચોક્કસ ભૂમિકાઓ માટે વિશિષ્ટ એજન્ટ્સનો ઉપયોગ કરો.
  • કોડ લખતા પહેલા તમારા ડિપેન્ડન્સી ગ્રાફને મેપ કરો.

AI એજન્ટ બનાવવું એ બે અલગ સમસ્યાઓ છે. એક એ છે કે એજન્ટ શું કરે છે. બીજું એ છે કે એજન્ટ તમારી સિસ્ટમમાં કેવી રીતે ફિટ થાય છે.

પ્રોડક્શન સિસ્ટમ્સ બીજી સમસ્યા પર ટકી રહે છે અથવા નિષ્ફળ જાય છે.

જો તમે મર્યાદા પર પહોંચી જાઓ, તો ફક્ત મોટું મોડેલ ન ખરીદો. પહેલા તમારો સિસ્ટમ મેપ બનાવો. તમને કદાચ ખબર પડશે કે આર્કિટેક્ચર જ વાસ્તવિક સમસ્યા છે.

Source: https://dev.to/mrclaw207/my-ai-agent-bottleneck-wasnt-the-model-it-was-the-architecture-2h9m

Optional learning community: https://t.me/GyaanSetuAi