𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝟰 𝘄 𝗽𝗿𝗮𝗸𝘁𝘆𝗰𝗲

Zbudowałem bota do segregacji zgłoszeń dla firmy SaaS przy użyciu GPT-4. Dzięki temu dowiedziałem się, jak ta technologia działa w rzeczywistym świecie.

Jak to działa: OpenAI buduje te modele w dwóch etapach. Najpierst przeprowadzany jest proces wstępnego trenowania (pre-training) modelu na ogromnych zbiorach danych tekstowych. Uczy to model gramatyki i faktów. Następnie ludzie dostrajają model (fine-tuning). Uczy to model podążania za instrukcjami i zachowania zasad bezpieczeństwa.

Moja konfiguracja:

  • Użyłem punktu końcowego Azure OpenAI.
  • Użyłem FastAPI jako warstwy pośredniej.
  • Ustawiłem limit 2 tys. tokenów na zapytanie.
  • Użyłem Redis do buforowania powtarzających się zapytań.

Wyniki: Opóźnienia wynosiły około 350 ms dla krótkich wiadomości. Dłuższe wiadomości powodowały skoki do 1,2 s. Zmusiło nas to do użycia klasyfikatora słów kluczowych przy dużym obciążeniu. Koszty były wysokie. Wydawaliśmy 2000 USD miesięcznie na jeden kanał wsparcia.

Ryzyka: Model popełnia błędy. Traci kontekst w długich czatach. Może podawać nieprawdziwe fakty z dużą pewnością siebie. Nazywa się to halucynacją.

Jak to naprawiłem: Dodałem krok walidacji przy użyciu bazy wektorowej Pinecone.

  • Model generuje odpowiedź.
  • Sprawdzamy tę odpowiedź w wyselekcjonowanej bazie wiedzy.
  • Jeśli wynik podobieństwa jest niższy niż 0,78, odpowiedź jest sprawdzana przez człowieka. Ten filtr wyłapał 42% fałszywych stwierdzeń. Dodało to 120 ms do czasu odpowiedzi.

Monitoring jest kluczowy: Użyłem Prometheus i Grafana do śledzenia współczynnika błędów i zużycia tokenów. Ustawiłem alerty PagerDuty, które aktywują się, gdy halucynacje przekroczą 5% ruchu. Pozwoliło nam to naprawić wadowy szablon promptu, zanim wyrządził większe szkody.

Podsumowanie: GPT-4 to nie magia. To narzędzie, które pomaga pracować szybciej. Używaj go do kodowania, streszczania i pisania. Nie ufaj mu w kwestii krytycznych faktów bez ich samodzielnej weryfikacji.

Źródło: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi