Acha Kupakia Maelekezo Yote Kwenye Kila Kikao
Watu wengi hujikita katika kuunda prompt bora zaidi. Wanapuuza kile kinachotokea kabla ya prompt kuanza. Wanapakia maelekezo mengi mno kwenye muktadha wa msaidizi.
Hii inasababisha matatizo matatu:
- Gharama kubwa za tokeni.
- Latensi kubwa.
- Uwiano mdogo wa ishara-kwa-kelele (signal-to-noise ratio).
Unapopakia faili kubwa la maelekezo kwa kila swali dogo, ni kama kusoma mwongozo mzima wa mfanyakazi kabla ya kuuliza swali rahisi. Sehemu kubwa ya taarifa hiyo haina manufaa kwa kazi inayofanyika sasa.
Kadiri unavyoongeza sheria nyingi zaidi, ndivyo unavyopunguza umuhimu wa sehemu muhimu. Muktadha mwingi haumaanishi uwezo mkubwa zaidi.
Nilitatua hili kwa kuhamia kutoka faili moja kwenda kwenye mfumo wa moduli. Nilitenganisha maelekezo yangu katika moduli maalum:
• instructions.md: Kiingilio kidogo kinachopakia kila wakati. • persona.md: Haiba na sauti. • structure.md: Muundo wa mfumo kwa ajili ya kazi za urambazaji. • workflows.md: Sheria mahususi za kumaliza vikao.
Sasa, faili kuu hufanya kazi kama router. Inaita moduli nyingine tu pale kazi inapohitaji.
Kwa mfano:
- Ikiwa unahitaji kurambaza mradi, pakia structure.md.
- Ikiwa unahitaji kumaliza kikao, pakia workflows.md.
- Ikiwa una swali la haraka, usipakie kitu kingine chochote.
Matokeo yalikuwa wazi. Kiwango changu cha msingi cha tokeni (baseline token load) kilishuka kutoka tokeni 4,800 hadi tokeni 1,450. Hiyo ni upungufu wa 70%.
Lengo si kufanya maelekezo yawe madogo. Lengo ni kutenganisha mzigo wa msingi (baseline load) na mzigo wa mahitaji (on-demand load).
Mzigo wa msingi (baseline load) ni kile unacholipa kila wakati. Lazima ukiweke kuwa kidogo sana. Mzigo wa mahitaji (on-demand load) ni kile unachopakia tu pale inapohitajika. Hii inaweza kuwa kubwa na yenye maelezo mengi.
Mbinu hii ina changamoto zake (trade-offs). Unapata ufanisi lakini unaongeza utata katika jinsi unavyoelekeza maelekezo. Lazima uhakikishe msaidizi anaweza kufikia moduli hizo kwa uhakika.
Ikiwa maelekezo yako ni madogo, usifanye hivi. Ni upotezaji wa muda. Ikiwa seti yako ya maelekezo ni kubwa na inazidi kuongezeka, fanya hivi mara moja.
Acha kumlazimisha msaidizi kubeba uzito usio wa lazima. Weka mazingira yasiyo na maelekezo yasiyohusika.
Optional learning community: https://t.me/GyaanSetuAi