Projektowanie modelu Human-in-the-loop dla agentów e-mailowych
Do kolejki wsparcia trafia prośba o zwrot pieniędzy. Twój agent AI znajduje dopasowanie w bazie wiedzy z 91% pewnością. Agent wciąż nie powinien jednak wysyłać tej odpowiedzi.
Większość zespołów postrzega nadzór ludzki jako prosty wybór: albo AI wysyła e-maile samodzielnie, albo człowiek sprawdza wszystko. Oba podejścia zawodzą.
Pełna automatyzacja prowadzi do błędnych odpowiedzi, które szkodzą Twojej marce. Pełna weryfikacja przez człowieka sprawia, że AI staje się drogim generatorem szkiców, który nie oszczędza czasu.
Zamiast przełącznika użyj pokrętła. Ustaw poziom automatyzacji w zależności od typu wiadomości.
Bramka 1: Dopasowanie wiedzy Ta bramka sprawdza, jak pewna jest odpowiedź AI.
• Pewność 85% lub wyższa: Przygotuj szkic odpowiedzi bezpośrednio na podstawie artykułu. • Pewność od 60% do 85%: Przygotuj szkic odpowiedzi, ale dołącz link do źródła, aby człowiek mógł go szybko zweryfikować. • Pewność poniżej 60%: Nie przygotowuj szkicu. Oznacz wiadomość do ręcznej weryfikacji.
Bramka 2: Poziom ryzyka Ta bramka bierze pod uwagę konsekwencje błędu. Ignoruje ona wskaźniki pewności.
• Niskie ryzyko (resetowanie haseł, FAQ): Przygotuj szkic odpowiedzi do zatwierdzenia przez człowieka. • Średnie ryzyko (zwroty, zmiany w rozliczeniach): Przygotuj szkic odpowiedzi, ale wymagaj dodatkowej weryfikacji przez człowieka. • Wysokie ryzyko (groźby prawne, oszustwa): Nie przygotowuj szkicu. Natychmiast przekaż sprawę człowiekowi.
Właśnie dlatego odpowiedź dotycząca zwrotu z 91% pewnością nie zostaje wysłana. Pewność mówi Ci, czy AI zna odpowiedź. Ryzyko mówi Ci, co się stanie, jeśli AI się pomyli. Musisz oddzielić te dwie koncepcje.
Zasada jest prosta: Zawsze pokazuj szkic przed wysłaniem. Nigdy nie używaj automatycznej wysyłki.
Nadzór ludzki to nie podatek. To sposób na zbieranie danych potrzebnych do większej automatyzacji w przyszłości. Aby przejść od modelu „szkic i zatwierdź” do pełnej automatyzacji, używaj logów, aby udowodnić swoją dokładność. Nie polegaj na przeczuciach.
Przypisz typy swoich wiadomości do tych trzech poziomów ryzyka jeszcze w tym tygodniu. Zdecyduj, gdzie nadmiernie weryfikujesz, a gdzie podejmujesz zbyt duże ryzyko.
Źródło: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc
Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi