𝗢𝗽𝗲𝗻-𝗦𝗼𝘂𝗿𝗰𝗲 𝗟𝗟𝗠 𝗔𝗴𝗲𝗻𝘁𝘀 𝗮𝗻𝗱 𝗟𝗼𝗰𝗮𝗹 𝗔𝗜 𝗖𝗼𝗽𝗶𝗹𝗼𝘁𝘀

اب آپ اپنے ہارڈویئر پر پیچیدہ AI سسٹمز بنا سکتے ہیں۔ لوکل AI اب محض سادہ چیٹ سے آگے بڑھ رہا ہے۔ نئے اوپن سورس ٹولز آپ کو مہنگی کلاؤڈ APIs کے بغیر ایجنٹس اور تجزیاتی سسٹمز چلانے کی اجازت دیتے ہیں۔

لوکل AI کے شعبے میں تین بڑی اپ ڈیٹس یہ ہیں:

  • ByteDance DeerFlow یہ خود مختار ایجنٹس بنانے کے لیے ایک فریم ورک ہے۔ یہ ریسرچ اور کوڈنگ جیسے طویل کاموں کو سنبھالنے کے لیے sandboxes، memories، اور subagents کا استعمال کرتا ہے۔ یہ آپ کے اپنے GPU پر لوکل ماڈلز کے ذریعے پیچیدہ ایجنٹ ورک فلو چلانے کے لیے ضروری ڈھانچہ فراہم کرتا ہے۔

  • Self-Hosted Stock Analysis یہ GitHub پر موجود ایک پروجیکٹ ہے جو ملٹی مارکیٹ اسٹاکس کا تجزیہ کرنے کے لیے LLMs کا استعمال کرتا ہے۔ یہ فیصلہ سازی کے لیے ڈیش بورڈ بنانے کے لیے ریئل ٹائم خبریں اور مارکیٹ ڈیٹا حاصل کرتا ہے۔ چونکہ یہ self-hosted ہے، اس لیے آپ اسے لوکل inference اور quantization کے ذریعے مفت چلا سکتے ہیں۔ یہ مالیاتی ڈیٹا کے ساتھ اوپن ماڈلز کے استعمال کے لیے ایک بلیو پرنٹ ہے۔

  • Real-Time Desktop AI Copilots لائیو کالز کے لیے AI کو پائلٹ بنانا مشکل کام ہے۔ ڈویلپرز ریئل ٹائم speech-to-text اور LLM پروسیسنگ کے لیے ضروری لیٹنسی (latency) کے مسائل کو حل کر رہے ہیں۔ اس میں ماڈل لوڈنگ کو بہتر بنانا اور موثر inference engines کا استعمال شامل ہے تاکہ یہ یقینی بنایا جا سکے کہ AI عام ڈیسک ٹاپ مشینوں پر تیزی سے جواب دے سکے۔

یہ ٹولز ظاہر کرتے ہیں کہ جدید AI بنانے کے لیے آپ کو کلاؤڈ کے بڑے بجٹ کی ضرورت نہیں ہے۔ آپ کو صرف صحیح اوپن سورس فریم ورکس اور بہتر شدہ (optimized) لوکل ماڈلز کی ضرورت ہے۔

Source: https://dev.to/soytuber/open-source-llm-agents-local-ai-copilots-deerflow-stock-analysis-desktop-inference-508f

Optional learning community: https://t.me/GyaanSetuAi