એન્ટરપ્રાઇઝ AI પ્રોજેક્ટ્સમાં એક ચોક્કસ પેટર્ન જોવા મળે છે. એક ટીમ પ્રોટોટાઇપ બનાવે છે. ડેમો પ્રભાવશાળી લાગે છે. પછી, ત્રણ મહિના પછી, સિસ્ટમ તૂટવા લાગે છે. જવાબોમાં વિચલન (drift) આવે છે. ખર્ચ વધે છે. એક કમ્પ્લાયન્સ ઓફિસર પૂછે છે કે ચોક્કસ જવાબ ક્યાંથી આવ્યો, અને રૂમમાં કોઈ કહી શકતું નથી.
આ પતન ભાગ્યે જ ખરાબ કોડથી શરૂ થાય છે. તે એક એવા આર્કિટેક્ચરલ નિર્ણયથી શરૂ થાય છે જેને લોકપ્રિયતાની સ્પર્ધાની જેમ લેવામાં આવે છે: Retrieval-Augmented Generation વિરુદ્ધ fine-tuning.
RAG અને fine-tuning એ એક જ પ્રોડક્ટના બે વર્ઝન નથી. તેઓ મૂળભૂત રીતે અલગ સાધનો છે. એક મોડેલ શું જોઈ શકે છે તેના પર નિયંત્રણ રાખે છે. બીજું મોડેલ કેવી રીતે વર્તે છે તેના પર નિયંત્રણ રાખે છે. કામ માટે ખોટી પદ્ધતિ પસંદ કરવાથી પ્રોટોટાઇપમાં ખબર નહીં પડે. તે પછીથી દેખાશે, જ્યારે બિઝનેસ તેના પર ચાલતો હશે.
ડેમોનો છટકું
જનરેટિવ AI ફીચર લોન્ચ કરવાનું દબાણ ખૂબ વધારે હોય છે. ટીમો ઘણીવાર કોઈ પદ્ધતિ એટલા માટે પસંદ કરે છે કારણ કે તેઓએ તેને કોઈ સારા ટ્યુટોરિયલમાં જોઈ હોય અથવા કોઈ વેન્ડરના સ્લાઇડ ડેક દ્વારા તે સરળ લાગતું હોય. ઇન્ફ્રાસ્ટ્રક્ચરના નિર્ણયો લેવા માટે આ એક ખરાબ રીત છે.
કંટ્રોલ્ડ ડેમોમાં fine-tuned મોડેલ જાદુઈ લાગી શકે છે. તે તમારી કંપનીના અવાજમાં બોલે છે અને તમારા પ્રોડક્ટના નામ ઓળખે છે. RAG પાઇપલાઇન પણ જાદુઈ લાગી શકે છે. તે એવા દસ્તાવેજ વિશે પ્રશ્નોના જવાબ આપે છે જેના પર તેને ક્યારેય ટ્રેનિંગ આપવામાં આવી નથી. પરંતુ ડેમો ઓપરેશનલ વાસ્તવિકતાને છુપાવે છે. જો તમારો પ્રાઇસિંગ ડેટા દર અઠવાડિયે બદલાતો હોય અને તમે ગયા ક્વાર્ટરના આંકડા પર fine-tuning કર્યું હોય, તો મોડેલ આત્મવિશ્વાસ સાથે જૂના આંકડા આપશે. જો તમારી સપોર્ટ ટીમને દરેક જવાબ કોઈ ચોક્કસ પોલિસી PDF સાથે જોડવો જરૂરી હોય, તો fine-tuned મોડેલ તમને કોઈ ફૂટનોટ્સ આપશે નહીં. તે ફક્ત ટેક્સ્ટ આપશે.