Amazon Bedrock નો ઉપયોગ કરીને SaaS એપ્લિકેશન્સ માટે RAG આર્કિટેક્ચર
Autowired.ai પર મારા પ્રથમ પ્રોડક્શન બેચનો ખર્ચ મારા બજેટ કરતા 3 ગણો હતો.
મેં દરેક ફિલ્ડ માટે 200 દસ્તાવેજોમાંથી સંપૂર્ણ OCR ટેક્સ્ટ એક frontier model ને મોકલ્યો હતો. આ એક ભૂલ હતી. હું એવા ડેટા માટે ચૂકવણી કરી રહ્યો હતો જેની મોડેલને જરૂર નહોતી.
મેં આર્કિટેક્ચરને ફરીથી ડિઝાઇન કર્યું અને ખર્ચમાં 40% ઘટાડો કર્યો. તમે પણ આ રીતે કરી શકો છો.
- બધી વસ્તુઓ માટે LLMs નો ઉપયોગ કરવાનું બંધ કરો
તારીખ અને ટોટલ જેવા structured fields કાઢવામાં Textract ઉત્કૃષ્ટ છે. હું Textract દ્વારા પહેલેથી જ પૂર્ણ થયેલા કામને ફરીથી કરવા માટે Bedrock નો ઉપયોગ કરી રહ્યો હતો.
નવો flow ત્રણ તબક્કાઓનો ઉપયોગ કરે છે: • મોટાભાગના કામ માટે Textract નો ઉપયોગ કરો. • gap-fill call માટે માત્ર ખૂટતા ફિલ્ડ્સ જ Bedrock ને મોકલો. • અંતિમ verification call માટે Bedrock નો ઉપયોગ કરો.
જો Textract આત્મવિશ્વાસ ધરાવતું હોય, તો Bedrock ને ઓછું કામ કરવું પડશે. આનાથી તમારા token count માં તરત જ ઘટાડો થશે.
- Prompt Caching નો ઉપયોગ કરો
ફિલ્ડ ડેફિનેશન અને schemas માટેના system prompts સ્ટેટિક હોય
વિજેતા આર્કિટેક્ચરનો સારાંશ: • પુનરાવર્તિત વિનંતીઓ પર Bedrock ને સ્કીપ કરવા માટે એપ્લિકેશન કેશ. • સ્ટેટિક સિસ્ટમ સૂચનાઓ માટે Bedrock પ્રોમ્પ્ટ કેશ. • જ્યાં શક્ય હોય ત્યાં Haiku નો ઉપયોગ કરવા માટે મોડેલ ટિયરિંગ. • માત્ર જરૂરી ડેટા મોકલવા માટે કોન્ટેક્સ્ટ ફિલ્ટરિંગ.
ઓપ્ટિમાઇઝ કરતા પહેલા તમારા ટોકન્સ માપો. ડેટા તમને બતાવશે કે તમે ક્યાં પૈસા બગાડી રહ્યા છો.
સ્ત્રોત: https://dev.to/yogieee/rag-architecture-for-saas-applications-using-amazon-bedrock-10df
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi