Postawiłem agenta AI przed 20-letnią historią zgłoszeń wsparcia
Mamy system helpdesk z milionem zgłoszeń. Posiadamy 2400 instrukcji i dwie ogromne bazy kodu.
Kiedy programista pyta, czy rozwiązaliśmy już kiedyś dany problem, odpowiedź zawsze brzmi: tak. Dane są po prostu zakopane. Doświadczeni pracownicy tracą godziny na szukanie. Juniorzy tracą tygodnie.
Zbudowałem agenta AI, który ma dostęp do wszystkich tych danych. Jest już wdrożony na produkcję. Oto co się wydarzyło.
Dane nie były najtrudniejsze. Trudniejsze było wiedzieć, gdzie szukać. Jeszcze trudniej było sprawić, by agent przestał zmyślać.
Jak to działa:
- Jeden agent obsługujący język naturalny.
- Czyta bazę danych helpdesku, narzędzia projektowe, GitLab oraz SVN.
- Wykonuje wyszukiwanie wektorowe w instrukcjach i starych zgłoszeniach.
- Potrafi generować pliki takie jak .xlsx czy .docx.
- Sam wybiera narzędzia i uruchamia je równolegle.
Architektura jest prosta. Agent działa w kontenerze Node, oddzielnym od głównej aplikacji. Zrobiłem to w celu izolacji błędów. Jeśli AI zawiedzie, helpdesk nadal działa.
Największa lekcja dotyczyła promptu. Zacząłem od jednej gigantycznej ściany tekstu. Miała 40 000 tokenów. Trudno było ją utrzymać, a agent tracił koncentrację.
Zmieniłem podejście. Podzieliłem prompt na małe pliki umiejętności (skills).
- Wyszukiwanie zgłoszeń to jeden plik.
- Historia kodu to kolejny.
- Zarządzanie projektem to trzeci.
Główny prompt działa jak router. Ładuje daną umiejętność tylko wtedy, gdy jest ona potrzebna. Dzięki temu liczba tokenów spadła z 40 000 do 8 000 na zapytanie. Agent trzyma się zadania, a kod jest łatwy w aktualizacji.
Dodałem również profile użytkowników. Programista otrzymuje ścieżki kodu. Project manager otrzymuje podsumowania statusów. Agent wie, kto pyta, bez konieczności informowania go o tym.
Nie jest idealnie. Napotkaliśmy realne problemy:
- Halucynacje: Agent zmyślał fałszywe adresy URL. Rozwiązanie: Przypnij dokładne wzorce lub wymuś wyszukiwanie.
- Utrata pamięci: Agent zapominał o zasadach w długich czatach. Rozwiązanie: Wstrzykuj ustrukturyzowaną listę zadań do każdej tury rozmowy.
- Nieskończone pętle: Agent wykonywał zbyt wiele wywołań narzędzi. Rozwiązanie: Ustal ścisły limit na każde zapytanie.
- Bezpieczeństwo: Użytkownicy próbowali go oszukać. Rozwiązanie: Nie polegaj na promptach w kwestii bezpieczeństwa. Używaj poświadczeń do bazy danych w trybie tylko do odczytu w swojej infrastrukturze.
Prawdziwa praca to cotygodniowa pętla. Czytam logi. Oceniam sesje. Dopracowuję umiejętności. Aktualizuję profile.
Jeśli pominiesz tę pętlę, masz demo. Jeśli ją wykonasz, masz produkt.
Celem nie są tylko szybsze odpowiedzi. Celem jest zatrzymanie wiedzy instytucjonalnej w organizacji. Gdy pracownik odchodzi, jego wiedza zostaje w zapisach rozmów.
Podsumowanie dla Twojej implementacji:
- Zacznij od RAG opartego na własnej historii.
- Używaj plików umiejętności ładowanych leniwie (lazy-loaded) zamiast jednego wielkiego promptu.
- Używaj profili użytkowników dla spersonalizowanego kontekstu.
- Izoluj AI w osobnym kontenerze.
- Wymuszaj bezpieczeństwo poprzez infrastrukturę, a nie instrukcje.
- Czytaj logi co tydzień.
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi