Kujenga RAG Pipeline Kuanzia Mwanzo
Nilitaka kuongeza msaidizi wa AI kwenye SmartQueue.
SmartQueue ni foleni ya kazi (task queue) niliyojenga kwa kutumia Go kwa ajili ya tiketi za msaada wa IT. Sikutaka AI ya jumla. Model ya jumla haijui sheria zako mahususi za kubadilisha nywila (password reset) au miongozo yako ya dharura (outage runbooks).
Nilihitaji Retrieval-Augmented Generation (RAG). Hii huvuta ukweli kutoka kwenye nyaraka zako kwanza. Kisha huutoa ukweli huo kwa model kama muktadha (context).
Hapa kuna yale niliyojifunza wakati wa kujenga pipeline hii.
Kushindwa kwa Usambazaji (Deployment Failure)
Toleo langu la kwanza lilitumia ChromaDB kwa ajili ya vector search. Lilifanya kazi mahali (locally). Lilishindwa wakati wa usambazaji (deployment).
Niliendesha kila kitu kwenye container moja kwenye Hugging Face Spaces. Hii ilijumuisha Redis, Go API, workers, huduma ya FastAPI, na ChromaDB. Michakato mitano ilishindana kwa ajili ya kumbukumbu (memory) na CPU iliyop
Mafunzo yaliyopatikana:
- Boresha kulingana na vikwazo vyako, siyo kulingana na mpangilio wa vitabu vya kiada.
- Uthabiti mara nyingi unashinda usahihi wa kinadharia.
- Tumia utafutaji wa vector unapokuwa na mamia ya nyaraka. Tumia utafutaji wa maneno muhimu unapokuwa na kumi.
Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi