Sam Altman twierdzi, że sceptycy wobec skalowania hamowali rozwój AI
CEO OpenAI, Sam Altman, podtrzymuje swoje przekonanie o potędze skalowania, argumentując, że poprzednie pokolenie badaczy hamowało postęp, niedoceniając potencjału dużych modeli językowych (LLM). W miarę jak nasila się debata na temat limitów architektur typu transformer, Altman twierdzi, że dowody empiryczne jednoznacznie przemawiają za dalszą ekspansją mocy obliczeniowej i danych.
Koszt intelektualnego dogmatyzmu
Podczas niedawnego wystąpienia na Stanfordzie, Altman odniósł się do tarć między zwolennikami skalowania a sceptykami, wspominając w szczególności krytyków takich jak Yann LeCun z Meta, który zasłynął określeniem LLM mianem „ślepej uliczki”. Altman sugeruje, że duża część oporu wobec hipotezy skalowania wynika z nadmiernej pewności badaczy co do swoich przewidywań dotyczących tego, czego AI nie potrafi zrobić.
Argumentował on, że niektórzy przedstawiciele branży powiązali swoją tożsamość zawodową z konkretnymi stanowiskami teoretycznymi, co czyni ich odpornymi na nowe dane przeczące ich długoletnim przekonaniom. Choć przyznaje, że „modele świata” są niezbędne dla postępu w takich dziedzinach jak robotyka, Altman utrzymuje, że obecna trajektoria rozwoju LLM nie jest zboczeniem z drogi, lecz głównym silnikiem inteligencji.
Dowód empiryczny: Wyjście poza dopasowywanie wzorców
Jednym z najważniejszych punktów w obronie skalowania przez Altmana jest przejście LLM od roli zwykłych przewidywaczy tekstu do narzędzi zdolnych do oryginalnego rozumowania. Przywołał niedawny kamień milowy, w którym model OpenAI z powodzeniem obalił hipotezę matematyczną, która przez długi czas pozostawała nierozwiązana przez ludzkich ekspertów.
Ten rozwój jest kluczowy, ponieważ podważa narrację, jakoby LLM były jedynie „stochastycznymi papugami” niezdolnymi do prawdziwych odkryć. „Zatem wyraźnie widać, że LLM są zdolne do odkrywania nowej wiedzy” – stwierdził Altman, zauważając, że społeczność matematyczna aktywnie mierzy się obecnie z implikacjami dowodów generowanych przez AI. Ta zmiana sugeruje, że skalowanie nie tylko poprawia płynność, ale rozszerza horyzont możliwości poznawczych.
Nowa granica: Rozumowanie a zadania długoterminowe
Mimo optymizmu, Altman zachowuje realizm w kwestii obecnych ograniczeń technologii. Zauważył wyraźną lukę w wydajności w przypadku „zadań długoterminowych” – złożonych procesów wymagających ciągłego, wysokopoziomowego osądu i wieloetapowego planowania w dłuższych okresach czasu. W tych konkretnych obszarach przyznał, że LLM wciąż „wydają się znacznie gorsze od ludzi”.
W szerszym kontekście krajobrazu AI, to rozróżnienie definiuje kolejną granicę badań. Branża przechodzi z fazy „skalowania dla wiedzy” do „skalowania dla rozumowania i sprawstwa”. Podczas gdy firmy takie jak OpenAI i Anthropic (kierowana przez CEO Dario Amodeia, który podziela przekonanie Altmana o skalowaniu) wciąż inwestują miliardy w moc obliczeniową, celem jest zniwelowanie różnicy między chwilową inteligencją a niezawodną, długoterminową autonomią.
Kluczowe wnioski
- Skalowanie jest głównym motorem napędowym: Altman argumentuje, że niedocenianie wpływu zwiększonej mocy obliczeniowej i danych historycznie spowalniało tempo przełomów w dziedzinie AI.
- Odkrywanie zamiast naśladownictwa: Zdolność modeli OpenAI do rozwiązywania złożonych hipotez matematycznych dowodzi, że LLM zmierzają w stronę autentycznego tworzenia wiedzy.
- Kolejne wąskie gardło: Choć skalowanie rozwiązuje wiele problemów, osiągnięcie poziomu ludzkiego w zadaniach długoterminowych wymagających wysokiego stopnia osądu pozostaje kolejną wielką przeszkodą dla branży.