De AI Helpdesk: Hoe je stopt met het verspillen van geld aan herhalende AI-vragen

Gebruikers stellen AI-apps steeds dezelfde vragen. De AI elke keer opnieuw om een antwoord vragen is traag. Bovendien kost het geld.

Je kunt dit oplossen met een systeem dat antwoorden onthoudt. Zie het als een helpdesk.

Hier is hoe de helpdesk werkt:

  • De Expert (LLM) Dit is het AI-model zoals GPT of Claude. Het is slim, maar traag en duur. Het doel is om de expert alleen te raadplegen voor nieuwe vragen.

  • Het Notitieboek (Cache) De helpdesk schrijft de antwoorden hier op. Het lezen van het notitieboek gaat direct en is gratis. • Woord-voor-woord notitieboek (Exact Cache): Vindt antwoorden die perfect overeenkomen. • Notitieboek met dezelfde betekenis (Semantic Cache): Vindt antwoorden, zelfs als de bewoording verandert.

  • De Betekenis-Lezer (Embedding Model) Dit hulpmiddel zet een vraag om in een "betekenis-vingerafdruk". Als twee vragen vergelijkbare vingerafdrukken hebben, betekenen ze hetzelfde.

  • De Inhoudsopgave (Vector Store) Een slimme index die de helpdesk helpt om direct de juiste pagina te vinden. Zonder dit zou het zoeken door miljoenen antwoorden te traag zijn.

  • De Receptionist (Router) Deze persoon ontvangt als eerste de vraag. Zij controleren de notitieboeken voordat ze besluiten de expert wakker te maken.

  • De Labels (Scope/Tenant Tags) Elk antwoord krijgt een label. "Iedereen" betekent dat het antwoord openbaar is. "Privé" betekent dat alleen één specifieke gebruiker het kan zien. Dit houdt persoonlijke gegevens veilig.

Hoe een vraag door de helpdesk beweegt:

  1. Een vraag komt binnen.
  2. De receptionist controleert het snelle, woord-voor-woord notitieboek.
  3. Als er geen match is, controleert de receptionist het notitieboek met dezelfde betekenis met behulp van vingerafdrukken.
  4. Als er nog steeds geen match is, wordt de expert (LLM) opgeroepen om een nieuw antwoord te schrijven.
  5. De helpdesk slaat dat antwoord op in het notitieboek voor de volgende keer.

Het Resultaat: Als je app 100.000 vragen afhandelt en de cache de helft daarvan opvangt:

  • Je bespaart 50% op je AI-rekening.
  • Wachttijden dalen van seconden naar milliseconden.
  • Je kosten groeien veel langzamer dan je aantal gebruikers.

Bron: https://dev.to/abhiram_paidi/the-ai-help-desk-how-to-stop-your-ai-app-from-re-answering-the-same-question-4650

Optionele leercommunity: https://t.me/GyaanSetuAi