GPT તમે જે વિચારો છો તેના કરતાં પણ વધુ કરી શકે છે
GPT મોડલ્સ ટેક્સ્ટ સાથે આપણે કામ કરવાની રીત બદલી રહ્યા છે.
આ સફર GPT-1 થી શરૂ થઈ હતી. તેણે બતાવ્યું કે મશીનો સુસંગત વાક્યો લખી શકે છે. ત્યારબાદ GPT-2 આવ્યું અને તેણે બતાવ્યું કે આ મોડલ્સમાં કેટલી ક્ષમતા છે. પછી GPT-3 આવ્યું. 175 બિલિયન પેરામીટર્સ સાથે, તેણે સાબિત કર્યું કે મોડલ્સ માત્ર વાક્ય પૂર્ણ કરવા કરતાં પણ વધુ કરી શકે છે.
તેનું રહસ્ય Transformer આર્કિટેક્ચર છે. તે વિશાળ પ્રમાણમાં ડેટામાંથી પેટર્ન શીખે છે. તમારે દરેક નિયમ માટે પ્રોગ્રામ કરવાની જરૂર નથી. તમે તેને ચોક્કસ કાર્યો માટે fine-tune કરી શકો છો અથવા તેને માર્ગદર્શન આપવા માટે natural language નો ઉપયોગ કરી શકો છો.
પરંતુ આ મોડલ્સને production માં ચલાવવા મુશ્કેલ છે.
High latency યુઝર એક્સપિરિયન્સ બગાડી શકે છે. અમે 64 Nvidia H100 GPUs પર મોટા મોડલ્સ ચલાવ્યા હતા. વિલંબ (delay) 120ms હતો. અમારી જરૂરિયાતો માટે આ ખૂબ જ ધીમું હતું. અમે LoRA નો ઉપયોગ કરીને 6-બિલિયન-પેરામીટર ધરાવતા નાના મોડલ પર સ્વિચ કર્યું. આનાથી latency ઘટીને 38ms થઈ ગઈ. આનાથી દર મહિને અમારા $30,000 પણ બચ્યા. અમે કોડિંગની ચોકસાઈમાં થોડો ઘટાડો અનુભવ્યો, પરંતુ ઝડપ અને ખર્ચને કારણે તે ફાયદાકારક સાબિત થયું.
તમારે પૂર્વગ્રહો (biases) માટે પણ સાવધ રહેવું જોઈએ. GPT ઇન્ટરનેટ પરથી પેટર્ન શીખે છે. આનો અર્થ એ છે કે તે stereotypes અથવા તથ્યાત્મક ભૂલોનું પુનરાવર્તન કરી શકે છે. તે જ્યારે ખોટું હોય ત્યારે પણ આત્મવિશ્વાસપૂર્વક લાગે છે.
અમે આ ભૂલોને પકડવા માટે એક data pipeline બનાવી. અમે પૂર્વગ્રહયુક્ત ભાષાને ઓળખવા માટે એક rule engine નો ઉપયોગ કર્યો. શરૂઆતમાં, અમારા 4% ફ્લેગ્સ ખોટા હતા. અમે એક નાનું validation model ઉમેરીને આ સમસ્યા સુધારી. આનાથી ભૂલો 1% થી નીચે આવી ગઈ.
ખર્ચ અને ઊર્જા પણ મોટા અવરોધો છે.
મોટા મોડલ્સને ટ્રેન કરવામાં લાખો ડોલરનો ખર્ચ થાય છે. અમે ખર્ચ ઘટાડવા માટે quantization નો ઉપયોગ કરીએ છીએ. 4-bit quantization નો ઉપયોગ કરીને, અમે પ્રતિ token ખર્ચ $0.00015 થી ઘટાડીને $0.00004 કર્યો. એક મોટા SaaS પ્રોડક્ટ માટે, આનાથી વર્ષે $3 મિલિયન બચે છે.
ભવિષ્ય કાર્યક્ષમતા (efficiency) તરફ આગળ વધી રહ્યું છે. મોડલ્સને માત્ર મોટું બનાવવાને બદલે, ડેવલપર્સ તેને વધુ સ્માર્ટ અને નાનું બનાવી રહ્યા છે. આપણને એવા મોડલ્સની જરૂર છે જે ઝડપી, સસ્તા અને તેઓ શું નથી જાણતા તે બાબતે પ્રમાણિક હોય.
આ સાધનોનો સમજદારીપૂર્વક ઉપયોગ કરો. તેમની મર્યાદાઓને સમજો. તેમને ઉપયોગી રાખવા માટે guardrails બનાવો.
Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll
Optional learning community: https://t.me/GyaanSetuAi