સેમ ઓલ્ટમેનનો દાવો: સ્કેલિંગના શંકાસ્પદોએ AI વિકાસને અવરોધ્યો છે

OpenAI ના CEO સેમ ઓલ્ટમેન સ્કેલિંગની શક્તિ પર વધુ ભાર મૂકી રહ્યા છે, તેમનું કહેવું છે કે સંશોધકોની અગાઉની પેઢીએ Large Language Models (LLMs) ની ક્ષમતાને ઓછી આંકીને પ્રગતિને અવરોધી હતી. જેમ જેમ ટ્રાન્સફોર્મર આર્કિટેક્ચરની મર્યાદાઓ વિશેની ચર્ચા તેજ બની રહી છે, તેમ ઓલ્ટમેન દાવો કરે છે કે પ્રાયોગિક પુરાવાઓ કમ્પ્યુટ અને ડેટાના સતત વિસ્તરણના પક્ષમાં છે.

બૌદ્ધિક જડતાની કિંમત

તાજેતરમાં સ્ટેનફોર્ડમાં એક કાર્યક્રમ દરમિયાન, ઓલ્ટમેને સ્કેલિંગના સમર્થકો અને શંકાસ્પદો વચ્ચેના ઘર્ષણ વિશે વાત કરી, જેમાં તેમણે ખાસ કરીને Meta ના યાન લેકન (Yann LeCun) જેવા ટીકાકારોનો ઉલ્લેખ કર્યો, જેમણે LLMs ને "ડેડ એન્ડ" (નિષ્ફળતા) તરીકે ઓળખાવ્યા છે. ઓલ્ટમેન સૂચવે છે કે સ્કેલિંગ પરિકલ્પના સામેનો મોટાભાગનો વિરોધ એ સંશોધકોના એવા અતિશય આત્મવિશ્વાસમાંથી ઉદ્ભવે છે કે AI શું નહીં કરી શકે તેના વિશેના તેમના અનુમાન.

તેમણે દલીલ કરી હતી કે ઉદ્યોગના કેટલાક અગ્રણીઓએ તેમની વ્યાવસાયિક ઓળખ ચોક્કસ સૈદ્ધાંતિક વલણો સાથે જોડી દીધી છે, જેના કારણે તેઓ તેમના જૂના માન્યતાઓને વિરુદ્ધ મળતા નવા ડેટાને સ્વીકારવા માટે અનિચ્છા ધરાવે છે. રોબોટિક્સ જેવા ક્ષેત્રોમાં પ્રગતિ માટે "world models" અનિવાર્ય છે તે સ્વીકારતા પણ, ઓલ્ટમેન માને છે કે LLMs નો વર્તમાન માર્ગ કોઈ ભટકું નથી, પરંતુ બુદ્ધિનું મુખ્ય એન્જિન છે.

પ્રાયોગિક પુરાવો: પેટર્ન મેચિંગથી આગળ વધવું

સ્કેલિંગના બચાવમાં ઓલ્ટમેનનો સૌથી મહત્વપૂર્ણ મુદ્દો એ છે કે LLMs માત્ર ટેક્સ્ટ પ્રેડિક્ટર્સમાંથી મૂળભૂત તર્ક કરવાની ક્ષમતા ધરાવતા સાધનોમાં પરિવર્તિત થઈ રહ્યા છે. તેમણે તાજેતરમાં એક સીમાચિહ્નનો ઉલ્લેખ કર્યો જ્યાં OpenAI ના એક મોડેલે સફળતાપૂર્વક એક ગાણિતિક અનુમાન (mathematical conjecture) ને ખોટું સાબિત કર્યું હતું, જે લાંબા સમયથી માનવ નિષ્ણાતો માટે વણઉકેલાયેલું હતું.

આ વિકાસ અત્યંત મહત્વપૂર્ણ છે કારણ કે તે એવા દલીલોને પડકારે છે કે LLMs માત્ર "stochastic parrots" (માત્ર શબ્દોનું પુનરાવર્તન કરનારા) છે જે સાચી શોધ કરવામાં અસમર્થ છે. ઓલ્ટમેને જણાવ્યું હતું કે, "તેથી સ્પષ્ટ છે કે, LLMs નવી જાણકારી મેળવવામાં સક્ષમ છે," અને નોંધ્યું કે ગાણિતિક સમુદાય હવે AI-સંચાલિત પુરાવાઓના અસરો સાથે સક્રિયપણે ઝઝૂમી રહ્યો છે. આ પરિવર્તન સૂચવે છે કે સ્કેલિંગ માત્ર પ્રવાહિતામાં સુધારો નથી કરતું; તે જ્ઞાનાત્મક ક્ષમતાના ક્ષિતિજને પણ વિસ્તૃત કરે છે.

નવી સીમા: તર્ક વિરુદ્ધ લાંબા ગાળાના કાર્યો (Long-Horizon Tasks)

તેમના આશાવાદ છતાં, ઓલ્ટમેન ટેકનોલોજીની વર્તમાન મર્યાદાઓ પ્રત્યે વાસ્તવિક છે. તેમણે "long-horizon tasks" — એટલે કે જટિલ કાર્યપ્રવાહો જેમાં લાંબા સમય સુધી સતત ઉચ્ચ સ્તરના નિર્ણય લેવાની ક્ષમતા અને બહુ-પગલાં આયોજનની જરૂર હોય — ના કિસ્સામાં દેખાવમાં સ્પષ્ટ તફાવત નોંધ્યો હતો. આ ચોક્કસ ક્ષેત્રોમાં, તેમણે સ્વીકાર્યું કે LLMs હજુ પણ "લોકો કરતા ઘણું ખરાબ લાગે છે."

વ્યાપક AI લેન્ડસ્કેપ માટે, આ તફાવત સંશોધનની આગામી સીમા નક્કી કરે છે. ઉદ્યોગ હવે "scaling for knowledge" ના તબક્કામાંથી "scaling for reasoning and agency" તરફ આગળ વધી રહ્યો છે. જેમ જેમ OpenAI અને Anthropic (CEO ડારિયો અમાડેઈના નેતૃત્વ હેઠળ, જેઓ ઓલ્ટમેનની સ્કેલિંગની માન્યતા સાથે સહમત છે) જેવી કંપનીઓ કમ્પ્યુટમાં અબજો ડોલર ખર્ચવાનું ચાલુ રાખે છે, તેમ લક્ષ્ય ક્ષણિક બુદ્ધિ અને વિશ્વસનીય, લાંબા ગાળાની સ્વાયત્તતા વચ્ચેના અંતરને ઘટાડવાનું છે.

મુખ્ય મુદ્દાઓ

• સ્કેલિંગ એ પ્રાથમિક ડ્રાઇવર છે: ઓલ્ટમેન દલીલ કરે છે કે વધેલા કમ્પ્યુટ અને ડેટાના પ્રભાવને ઓછો આંકવાથી ઐતિહાસિક રીતે AI ની મોટી સફળતાઓની ગતિ ધીમી પડી છે.
• નકલ કરતાં શોધ વધુ મહત્વની: જટિલ ગાણિતિક અનુમાનો ઉકેલવાની OpenAI મોડેલ્સની ક્ષમતા સાબિત કરે છે કે LLMs વાસ્તવિક જ્ઞાન નિર્માણ તરફ આગળ વધી રહ્યા છે.
• આગામી અવરોધ: જોકે સ્કેલિંગ ઘણી સમસ્યાઓ ઉકેલે છે, પરંતુ લાંબા ગાળાના અને ઉચ્ચ નિર્ણય લેવાના કાર્યોમાં માનવ સ્તરનું પ્રદર્શન એ ઉદ્યોગ માટે આગામી મોટો પડકાર છે.