GPT robi więcej, niż myślisz
Modele GPT zmieniają sposób, w jaki pracujemy z tekstem.
Podróż zaczęła się od GPT-1. Pokazał on, że maszyny potrafią pisać spójne zdania. Następnie pojawił się GPT-2, demonstrując ogromny potencjał tych modeli. Potem nadszedł czas na GPT-3. Dzięki 175 miliardom parametrów udowodnił, że modele mogą robić znacznie więcej niż tylko kończyć zdania.
Sekretem jest architektura Transformer. Uczy się ona wzorców z ogromnych ilości danych. Nie trzeba programować każdej reguły z osobna. Można ją dostrajać do konkretnych zadań lub używać języka naturalnego, aby nią kierować.
Jednak uruchamianie tych modeli w środowisku produkcyjnym jest trudne.
Wysokie opóźnienia mogą zepsuć doświadczenia użytkownika. Uruchamialiśmy duże modele na 64 procesorach graficznych Nvidia H100. Opóźnienie wynosiło 120 ms. Było to zbyt wolne dla naszych potrzeb. Przeszliśmy na mniejszy model o 6 miliardach parametrów, wykorzystując LoRA. To obniżyło opóźnienie do 38 ms. Pozwoliło nam to również zaoszczędzić 30 000 USD miesięcznie. Straciliśmy nieco na dokładności generowanego kodu, ale szybkość i oszczędności sprawiły, że było warto.
Należy również uważać na stronniczość. GPT uczy się wzorców z internetu, co oznacza, że może powielać stereotypy lub błędy merytoryczne. Brzmi pewnie siebie nawet wtedy, gdy się myli.
Zbudowaliśmy potok danych, aby wyłapywać te błędy. Użyliśmy silnika reguł do oznaczania stronniczego języka. Początkowo 4% naszych oznaczeń było błędnych. Naprawiliśmy to, dodając mały model walidacyjny, co obniżyło liczbę błędów poniżej 1%.
Koszty i energia to również duże przeszkody.
Trenowanie dużych modeli kosztuje miliony dolarów. Stosujemy kwantyzację, aby obniżyć koszty. Dzięki zastosowaniu kwantyzacji 4-bitowej obniżyliśmy koszt pojedynczego tokena z 0,00015 USD do 0,00004 USD. W przypadku dużego produktu SaaS pozwala to zaoszczędzić 3 miliony USD rocznie.
Przyszłość zmierza w stronę wydajności. Zamiast po prostu powiększać modele, programiści czynią je mądrzejszymi i mniejszymi. Potrzebujemy modeli, które są szybkie, tanie i uczciwe w kwestii tego, czego nie wiedzą.
Korzystaj z tych narzędzi mądrze. Zrozum ich ograniczenia. Buduj bariery ochronne, aby pozostały pomocne.
Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll
Optional learning community: https://t.me/GyaanSetuAi