AI મનોરંજન પાછળનું સાચું આર્કિટેક્ચર

AI લેખકો અથવા સ્ટુડિયોનું સ્થાન લેશે કે નહીં તે પૂછવાનું બંધ કરો. તે પ્રશ્નો તમને કંઈપણ બનાવવામાં મદદ કરતા નથી.

જો તમે એન્જિનિયર અથવા આર્કિટેક્ટ હોવ, તો તમારે અલગ પ્રશ્ન પૂછવો જોઈએ. જ્યારે કન્ટેન્ટ એકવાર બનાવીને વહેંચવાને બદલે 'ઓન ડિમાન્ડ' બનાવવામાં આવે, ત્યારે તેનું બેકએન્ડ કેવું દેખાય છે?

મોડેલ એ સરળ ભાગ છે. અઘરા ભાગો લેટન્સી (latency), પ્રોવેનન્સ (provenance) અને ખર્ચ છે.

  1. ઇન્ટરેક્ટિવિટી એ સ્ટ્રીમિંગની સમસ્યા છે

બેચ જનરેશન સરળ છે. તમે રાતોરાત એક ક્લિપ રેન્ડર કરી શકો છો. પરંતુ જો વપરાશકર્તા કોઈ પાત્ર સાથે ઇન્ટરેક્ટ કરે, તો પ્રતિસાદ 200ms માં મળવો જોઈએ.

આ લક્ષ્ય પ્રાપ્ત કરવા માટે, તમે ફક્ત API કોલ કરી શકતા નથી. તમારે લેટન્સી બજેટનું સંચાલન કરવું પડશે:

  • નેટવર્ક રાઉન્ડ ટ્રિપ: 40ms
  • ટોકનાઇઝેશન: 10ms
  • મોડેલ ઇન્ફરન્સ: 110ms
  • પોસ્ટ-પ્રોસેસિંગ: 25ms
  • જિટર માર્જિન: 15ms

તમારે એજ પ્લેસમેન્ટ (edge placement), KV-કેશ રીયુઝ અને સ્પેક્યુલેટિવ ડિકોડિંગની જરૂર પડશે. તમારો AI પ્રોજેક્ટ હવે એક ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ પ્રોજેક્ટ છે.

  1. પ્રોવેનન્સ એ માત્ર વિચારણાનો વિષય નથી

જ્યારે કન્ટેન્ટ સિન્થેટિક હોય, ત્યારે તમારે જાણવું જોઈએ કે તે કોણે બનાવ્યું છે અને તેને શેના દ્વારા તાલીમ આપવામાં આવી છે. તમે આને પછીથી સુધારી શકતા નથી. જો તમે લિનિયેજ (lineage) વગર લાખો એસેટ્સ જનરેટ કરો છો, તો તે ઇતિહાસ કાયમ માટે ખોવાઈ જાય છે.

તમારે તમારા ડેટા મોડેલમાં પ્રોવેનન્સને સામેલ કરવું જ જોઈએ. જનરેશનના ક્ષણે જ એટ્રિબ્યુશન અને સિગ્નેચર કેપ્ચર કરો. તેને તમારા સ્કીમામાં સ્ટોર કરો. આ તમને ક્વેરી સ્પીડ પર કાનૂની અથવા રોયલ્ટીના પ્રશ્નોના જવાબ આપવા સક્ષમ બનાવે છે.

  1. ઇકોનોમિક્સ એ મેન્યુફેક્ચરિંગની સમસ્યા છે

જનરેટિવ ટેક્સ્ટમાં 'કોસ્ટ પર ટોકન' વપરાય છે. જનરેટિવ વિડિયોમાં 'કોસ્ટ પર મિનિટ' વપરાય છે.

4K વિડિયોની એક મિનિટનો વાસ્તવિક ખર્ચ GPU-સેકન્ડ્સમાં હોય છે. મોટાભાગની કંપનીઓ એવા પાયલોટ પ્રોજેક્ટ્સ ચલાવે છે જે દેખાવમાં સારા લાગે છે પરંતુ સ્કેલ પર નિષ્ફળ જાય છે કારણ કે ખર્ચ ખૂબ વધારે હોય છે.

જીતવા માટે, તમારે તમારા ઇન્ફરન્સને ફેક્ટરીની જેમ ઇન્સ્ટ્રુમેન્ટ કરવું પડશે. યુટિલાઇઝેશન અને યીલ્ડ (yield) પર ટ્રેક રાખો. તમારી ક્વોલિટીના ધોરણોને પૂર્ણ કરે તેવું સૌથી નાનું મોડેલ વાપરો. પૈસા બચાવવા માટે જનરેટ થયેલા સેગમેન્ટ્સને કેશ (cache) કરો.

મોડેલ હેડલાઇન્સ મેળવે છે. આર્કિટેક્ચર નક્કી કરે છે કે ખરેખર શું શિપ (ship) થશે.

તમારા આગામી ડિઝાઇન રિવ્યુ માટે સારાંશ:

  • ઇન્ટરેક્ટિવિટીને સ્ટ્રીમિંગ સિસ્ટમ્સના પડકાર તરીકે ગણો.
  • પહેલા દિવસથી જ પ્રોવેનન્સને સાઇન કરેલ અને સ્ટોર કરેલ ફિલ્ડ બનાવો.
  • તમારી ફીચર ટકી રહે તે સુનિશ્ચિત કરવા માટે ડિલિવર કરેલી મિનિટ દીઠ ખર્ચ માપો.

સ્ત્રોત: https://dev.to/sauvast/the-real-architecture-behind-ai-entertainment-latency-provenance-and-cost-per-minute-bg9

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi