AWS એ તેની Bedrock સર્વિસમાં ક્વેરી-અવેર કમ્પ્રેશન (query-aware compression) ઉમેર્યું છે, જે ડેવલપર્સને લેંગ્વેજ મોડલ સુધી પહોંચતા પહેલા બિનજરૂરી દસ્તાવેજ ટુકડાઓને કાપી નાખવાની સુવિધા આપે છે. મોડલ સુધી પહોંચતા ટોકન્સ ઘટાડીને, આ ફીચર Retrieval-Augmented Generation (RAG) પાઇપલાઇન્સ માટેના કમ્પ્યુટ બિલને ઘટાડી શકે છે.
RAG પાઇપલાઇન્સ શા માટે વધુ ખર્ચ કરે છે
RAG સિસ્ટમ્સ પહેલા નોલેજ બેઝમાંથી ટેક્સ્ટના ફકરાઓ મેળવે છે, અને પછી તે ફકરાઓને યુઝરના પ્રશ્નનો જવાબ આપવા માટે જનરેટિવ મોડલને મોકલે છે. મોટાભાગના અમલીકરણોમાં, દરેક મેળવેલ ટુકડાને સીધો મોડલ પાસે મોકલવામાં આવે છે, ભલે ટેક્સ્ટનો મોટો ભાગ ક્વેરી સાથે સંબંધિત ન હોય. દરેક વધારાનો શબ્દ એક ટોકન બને છે, અને મોડલ જે દરેક ટોકન પ્રોસેસ કરે છે તેનાથી અન્ડરલાઇંગ API પરનો ચાર્જ વધે છે. સપોર્ટ બોટ્સ અથવા આંતરિક સર્ચ ટૂલ્સ ચલાવતી નાની અને મધ્યમ કદની કંપનીઓ માટે, ટોકન ખર્ચ ઝડપથી મોડલ કોલ્સના ખર્ચ કરતા પણ વધી શકે છે.
ક્વેરી-અવેર કમ્પ્રેશન શું કરે છે
નવી Bedrock ક્ષમતા રિટ્રાઇવલ (retrieval) અને જનરેશન વચ્ચે ફિલ્ટરિંગ સ્ટેપ ઉમેરે છે:
- સિસ્ટમ હજુ પણ ક્વેરી માટે દસ્તાવેજોનો સમાન સેટ મેળવે છે.
- મોડલ કોઈપણ ટેક્સ્ટ જુએ તે પહેલાં, એક લાઇટવેઇટ પ્રોસેસર દરેક ફકરાનું ચોક્કસ પ્રશ્ન સાથે મૂલ્યાંકન કરે છે.
- માત્ર સુસંગત માનવામાં આવતા ભાગોને જ રાખવામાં આવે છે; બાકીનું બધું નોઈઝ (noise) તરીકે ફેંકી દેવામાં આવે છે.
તમારે નવા ઇન્ડેક્સ, એમ્બેડિંગ મોડલ અથવા ફાઇન-ટ્યુન કરેલા લેંગ્વેજ મોડલની જરૂર નથી. આ ફેરફાર ફક્ત કમ્પ્રેશન લેયરને ઇનવોક કરવા માટે પાઇપલાઇનને ફરીથી ગોઠવવાનો છે.
બિઝનેસ ઇમ્પેક્ટ
કારણ કે મોડલને મોકલવામાં આવતા ટેક્સ્ટના જથ્થા સાથે ટોકન ફી વધે છે, તેથી બિનજરૂરી સ્નિપેટ્સ (snippets) દૂર કરવાથી બિલને દરેક લાઇન મુજબ ઘટાડી શકાય છે. જે કંપનીઓએ વપરાશ વધવાની સાથે તેમના RAG ખર્ચમાં મોટો વધારો જોયો છે, તેમને આનો સૌથી મોટો ફાયદો થશે.
હવે આગળ શું જોવું
- તમારા પોતાના ડેટા પર આ ફીચરનું પાયલોટ ટેસ્ટિંગ કરો: સ્ટાન્ડર્ડ RAG ફ્લો અને ક્વેરી-અવેર કમ્પ્રેશન ધરાવતા ફ્લો વચ્ચે સાઇડ-બાય-સાઇડ ટેસ્ટ કરો. ટોકન કાઉન્ટ, લેટન્સી અને જવાબની સુસંગતતા માપો.
- વેન્ડર પારદર્શિતા: થર્ડ-પાર્ટી RAG પ્લેટફોર્મ્સનું મૂલ્યાંકન કરતી વખતે, પૂછો કે શું તેઓ તેમની રિટ્રાઇવલ પાઇપલાઇન્સમાં કમ્પ્રેશન અથવા ફિલ્ટરિંગનો ઉપયોગ કરે છે. જે વેન્ડર કાચા (raw) ટુકડાઓ મોકલે છે તેના ઇન્વોઇસ માસિક ધોરણે ઊંચા આવવાની શક્યતા છે.
નિષ્કર્ષ
પાઇપલાઇનમાં એક નાનો ફેરફાર—મોડલ સુધી પહોંચતા પહેલા બિનજરૂરી ટેક્સ્ટને ફિલ્ટર કરવો—છુપા ખર્ચને નિયંત્રિત કરી શકાય તેવી લાઇન આઇટમમાં બદલી શકે છે. જે સંસ્થાઓ પહેલેથી જ Bedrock-આધારિત RAG માટે ચૂકવણી કરી રહી છે, તેમના માટે ક્વેરી-અવેર કમ્પ્રેશન સક્ષમ કરવું એ એક ઓછી મહેનતવાળું પ્રયોગ છે, પરંતુ કોઈપણ બચત તમારા ચોક્કસ ડેટા પર આધાર રાખશે.