સસ્તા દરે ફ્રન્ટિયર-ક્વોલિટી કોડિંગ
તમે ખૂબ જ ઓછા ખર્ચે ફ્રન્ટિયર-ક્વોલિટી કોડિંગ સ્કોર્સ મેળવી શકો છો.
અમે એક એવી સિસ્ટમ બનાવી છે જે મોટાભાગના કાર્યો માટે સસ્તા લોકલ મોડલનો ઉપયોગ કરે છે. તે માત્ર અઘરા પ્રશ્નોને જ ફ્રન્ટિયર મોડલ પાસે મોકલે છે. આ પદ્ધતિ માત્ર મોડલના કદને કારણે નહીં, પરંતુ તેની રચના (structure) ને કારણે સફળ થાય છે.
આ આર્કિટેક્ચર કેવી રીતે કામ કરે છે:
- બે ચેનલો: એક કેપેબિલિટી ચેનલ (capability channel - સસ્તું લોકલ મોડલ) અને એક સ્ટ્રક્ચર ચેનલ (structure channel - વેરિફિકેશન ગેટ્સ).
- વેરિફિકેશન: ગાર્ડ્સ (Guards) નક્કી કરે છે કે જવાબ વિશ્વસનીય છે કે નહીં.
- એસ્કેલેશન: જો ગાર્ડ્સ નિષ્ફળ જાય, તો સિસ્ટમ તે વિનંતીને ફ્રન્ટિયર મોડલ પર મોકલે છે.
- કેશ: કેશ લેયર સમાન પ્રશ્નોને ફરીથી ઉકેલતા અટકાવે છે.
અમારા HumanEval+ ટેસ્ટના પરિણામો:
- ફૂલ કેસ્કેડ સ્કોર: 94.5% પ્લસ કરેક્ટનેસ.
- લોકલ મોડલ સોલો સ્કોર: 84.8% પ્લસ કરેક્ટનેસ.
- સ્ટ્રક્ચર ચેનલ અંદાજે 10 પોઈન્ટ્સની ચોકસાઈ ઉમેરે છે.
અમે એબ્લેશન સ્ટડી (ablation study) દ્વારા સ્ટ્રક્ચરના મહત્વનું પરીક્ષણ કર્યું:
- સંપૂર્ણ સિસ્ટમ: 100% સાચું.
- વેરિફિકેશન દૂર કરવાથી: 75% સાચું.
- ગાર્ડ્સ દૂર કરવાથી: 50% સાચું.
જ્યારે તમે ગાર્ડ્સ દૂર કરો છો ત્યારે ચોકસાઈ અડધી થઈ જાય છે. આ સાબિત કરે છે કે સ્ટ્રક્ચર જ વિશ્વસનીયતા લાવે છે.
ખર્ચના ફાયદા:
- મિશ્ર ખર્ચ (Blended cost): પ્રતિ વિનંતી $0.00201.
- ફ્રન્ટિયર ખર્ચ: પ્રતિ વિનંતી $0.017.
- અમારી સિસ્ટમ દરેક વિનંતી માટે ફ્રન્ટિયર મોડલનો ઉપયોગ કરવા કરતા લગભગ 8 ગણી સસ્તી છે.
- 91% વિનંતીઓ લોકલ મોડલ દ્વારા પૂરી કરવામાં આવે છે.
લોંગ કોન્ટેક્સ્ટ (long context) વિશે નોંધ:
અમારું કોમ્પેક્શન લેયર (compaction layer) રો (raw) કોન્ટેક્સ્ટના 28,000 ટોકન્સની સરખામણીમાં માત્ર 165 ટોકન્સનો ઉપયોગ કરે છે. આ કાર્યક્ષમતામાં મોટો વધારો છે. અમે 208k ટોકન્સ પર ઇન્ફ્રાસ્ટ્રક્ચર લિમિટ પર પહોંચ્યા, પરંતુ આ એક સેટિંગ છે, મોડલની નિષ્ફળતા નથી.
અમે હજુ સુધી શું સાબિત કર્યું નથી:
અમારી પાસે સત્તાવાર લોંગ-હોરાઇઝન (long-horizon) બેન્ચમાર્ક નંબરો નથી. અમે RULER અને SWE-bench માટે રનર્સ બનાવ્યા છે, પરંતુ અમે તેને ક્લીન સેન્ડબોક્સમાં ચલાવ્યા નથી. અમે હજુ સુધી લોંગ-હોરાઇઝન પરફોર્મન્સ માટે સત્તાવાર પરિણામોનો દાવો કરી રહ્યા નથી.
અમારા દાવાનો સારાંશ:
અમારી સિસ્ટમ સસ્તા લોકલ મોડલ્સનો ઉપયોગ કરીને ફ્રન્ટિયર કોડિંગ સ્કોર્સ સાથે મેળ ખવડાવે છે. આ ખર્ચમાં 8 ગણો ઘટાડો કરે છે. વિશ્વસનીયતા અમારી સ્ટ્રક્ચર ચેનલમાંથી આવે છે.
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi