الشبكات العصبية المتكررة (RNNs)، والمحولات (Transformers)، ونماذج فضاء الحالة (State Space Models)
تهيمن المحولات (Transformers) على مجال الذكاء الاصطناعي اليوم. ولكن هناك مشكلة جديدة تلوح في الأفق: كيف يتذكر الذكاء الاصطناعي المعلومات على فترات زمنية طويلة؟
تتجاوز النماذج اللغوية الكبيرة مرحلة الإجابة على الأسئلة البسيطة، حيث بدأت تتحول إلى وكلاء مستقلين ومساعدين في البرمجة. وتتطلب هذه الأنظمة ذاكرة موثوقة لتعمل بكفاءة.
ثلاث طرق للتعامل مع الذاكرة:
RNNs (الشبكات العصبية المتكررة)
- جيدة للبيانات المتسلسلة.
- خفيفة الوزن.
- ضعيفة في الذاكرة طويلة المدى.
Transformers (المحولات)
- ممتازة في الاستنتاج.
- تعتمد على المعالجة المتوازية.
- تزداد التكاليف بسرعة مع زيادة طول النص.
State Space Models (Mamba)
- تعتمد على التعقيد الخطي.
- تتعامل مع السياقات الطويلة بشكل جيد.
- تقلل من تكاليف الاستدلال.
لن يختار المستقبل فائزاً واحداً؛ بل ستدمج أنظمة الذكاء الاصطناعي الحديثة بين هذه البنيات. لقد أصبحت الذاكرة الآن تحدياً للنظام بدلاً من كونها تحدياً للنموذج.
ما رأيك؟
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi