𝗥𝗡𝗡𝗦, 𝗧𝗿𝗮𝗻𝘀𝗳𝗼𝗿𝗺𝗲𝗿𝘀, 𝗻𝗮 𝗦𝘁𝗮𝘁𝗲 𝗦𝗽𝗮𝗰𝗲 𝗠𝗼𝗱𝗲𝗹𝘀
Transformers ndizo zinazotawala AI leo. Lakini kuna tatizo jipya. Je, AI inakumbuka vipi taarifa kwa vipindi virefu?
Mifumo mikubwa ya lugha (Large Language Models) inavuka hatua ya maswali rahisi. Inakuwa mawakala huru (autonomous agents) na wasaidizi wa uandishi wa kodi (coding assistants). Mifumo hii inahitaji kumbukumbu ya kuaminika ili kufanya kazi.
Njia tatu za kushughulikia kumbukumbu:
RNNs (Recurrent Neural Networks)
- Nzuri kwa data za mfuatano (sequential data).
- Nyepesi (Lightweight).
- Mbaya katika kumbukumbu za masafa marefu.
Transformers
- Bora sana katika uwezo wa kufikiri (reasoning).
- Hutumia usindikaji sambamba (parallel processing).
- Gharama huongezeka haraka maandishi yanapokuwa marefu.
State Space Models (Mamba)
- Hutumia utata wa mstari (linear complexity).
- Inashughulikia muktadha mrefu vizuri.
- Hupunguza gharama za inference.
Wakati ujao hautachagua mshindi mmoja. Mifumo ya kisasa ya AI itachanganya usanifu (architectures) hizi. Kumbukumbu sasa ni changamoto ya mfumo badala ya changamoto ya modeli.
Unafikiri nini?
Jumuiya ya hiari ya kujifunza: https://t.me/GyaanSetuAi