Nikt już nie chce Twojego modelu 70B

Świat AI skupiał się dotychczas wyłącznie na skali.

Ludzie goniły za większymi modelami, większymi oknami kontekstowymi i większymi benchmarkami. Jeśli Twój model nie był potężny, nie liczyłeś się w grze.

Ta era dobiega końca.

Potężne modele robią wrażenie. Ale większość ludzi nie potrzebuje aż takiej mocy. Asystent pokładowy w samochodzie nie musi pisać wierszy. Musi rozumieć polecenie „skręć klimatyzację” i działać bez wyczerpywania baterii.

Małe, wyspecjalizowane modele przejmują stery z pięciu głównych powodów:

  • Użycie na urządzeniu: Telefony posiadają już sprzęt pozwalający na lokalne uruchamianie małych modeli. Twój asystent działa w tunelu lub podczas lotu bez dostępu do internetu.
  • Prywatność i regulacje: Szpitale i kancelarie prawne nie mogą przesyłać wrażliwych danych do zewnętrznych API. Uruchamianie małego modelu na lokalnym sprzęcie pozwala zachować dane wewnątrz budynku.
  • Niskie opóźnienia: Samochód autonomiczny nie może czekać, aż serwer w chmurze zdecyduje, czy dany kształt to pieszy. Model musi znajdować się tam, gdzie podejmowana jest decyzja.
  • Niższe koszty: Obsługa milionów zapytań za pomocą potężnego modelu pożera Twoją marżę. Dobrze dostrojony mały model jest często tańszy i bardziej zrównoważony.
  • Słaba łączność: W wielu częściach świata dostęp do internetu nie jest stały. Małe modele pozwalają produktom działać w trybie offline.

Możesz zmniejszyć modele, stosując trzy główne metody:

  • Kwantyzacja (Quantization): Zmniejszanie precyzji wag modelu w celu zaoszczędzenia miejsca.
  • Przycinanie (Pruning): Usuwanie niepotrzebnych połączeń, które nie wnoszą wartości.
  • Destylacja wiedzy (Knowledge distillation): Wykorzystanie dużego modelu do nauki mniejszego modelu, jak ma naśladować jego proces rozumowania.

Ta zmiana zmienia wymagany zestaw umiejętności.

Promptowanie gigantycznego modelu to jedna umiejętność. Wybór, dostrajanie (fine-tuning) i wdrażanie wyspecjalizowanego modelu to zupełnie inne wyzwanie inżynieryjne. Chodzi o znalezienie kompromisu między szybkością, kosztem a dokładnością.

Przestań próbować budować jedno gigantyczne narzędzie, które robi wszystko słabo. Buduj kilka małych narzędzi, które robią jedną rzecz dobrze.

Mały model to nie regres. To lepsze narzędzie do konkretnego zadania.

Źródło: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi