ஓப்பன்-சோர்ஸ் LLM ஏஜென்ட்கள் மற்றும் லோக்கல் AI கோபைலட்கள்

இப்போது உங்கள் சொந்த வன்பொருளில் (hardware) சிக்கலான AI அமைப்புகளை உருவாக்க முடியும். லோக்கல் AI என்பது வெறும் சாதாரண சாட்டிங்கிற்கு அப்பாற்பட்டு வளர்ந்து வருகிறது. புதிய ஓப்பன்-சோர்ஸ் கருவிகள் மூலம், விலையுயர்ந்த கிளவுட் API-கள் இல்லாமலேயே ஏஜென்ட்கள் மற்றும் பகுப்பாய்வு அமைப்புகளை இயக்க முடியும்.

லோக்கல் AI துறையில் உள்ள மூன்று முக்கிய மாற்றங்கள் இதோ:

  • ByteDance DeerFlow இது தன்னாட்சி ஏஜென்ட்களை (autonomous agents) உருவாக்குவதற்கான ஒரு கட்டமைப்பாகும் (framework). ஆராய்ச்சி மற்றும் கோடிங் போன்ற நீண்ட காலப் பணிகளைக் கையாள இது சாண்ட்பாக்ஸ்கள் (sandboxes), நினைவகங்கள் (memories) மற்றும் துணை ஏஜென்ட்களைப் (subagents) பயன்படுத்துகிறது. உங்கள் சொந்த GPU-வில் உள்ளூர் மாடல்களைப் (local models) பயன்படுத்தி, மேம்பட்ட ஏஜென்ட் பணிப்பாய்வுகளை (agent workflows) இயக்குவதற்குத் தேவையான கட்டமைப்பை இது வழங்குகிறது.

  • Self-Hosted Stock Analysis இந்த GitHub திட்டம் பல சந்தை பங்குகளை (multi-market stocks) பகுப்பாய்வு செய்ய LLM-களைப் பயன்படுத்துகிறது. இது முடிவெடுக்கும் டேஷ்போர்டை (decision dashboard) உருவாக்க நிகழ்நேர செய்திகள் மற்றும் சந்தை தரவுகளைப் பெறுகிறது. இது சுய-ஹோஸ்டட் (self-hosted) என்பதால், லோக்கல் இன்ஃபரன்ஸ் (local inference) மற்றும் குவாண்ட்டைசேஷன் (quantization) மூலம் இதை நீங்கள் இலவசமாக இயக்கலாம். நிதித் தரவுகளுடன் ஓப்பன் மாடல்களைப் பயன்படுத்துவதற்கான ஒரு முன்மாதிரியாக (blueprint) இது உள்ளது.

  • Real-Time Desktop AI Copilots நேரடி அழைப்புகளுக்கான (live calls) AI கோபைலட்டை உருவாக்குவது கடினமானது. நிகழ்நேர பேச்சு-லிருந்து-உரை (speech-to-text) மற்றும் LLM செயலாக்கத்திற்குத் தேவையான லேட்டன்சி (latency) சிக்கல்களை டெவலப்பர்கள் தீர்த்து வருகின்றனர். சாதாரண டெஸ்க்டாப் இயந்திரங்களில் AI விரைவாகப் பதிலளிப்பதை உறுதி செய்ய, மாடல் லோடிங்கை மேம்படுத்துவதும் (optimizing model loading) திறமையான இன்ஃபரன்ஸ் என்ஜின்களைப் (inference engines) பயன்படுத்துவதும் இதில் அடங்கும்.

மேம்பட்ட AI-ஐ உருவாக்க உங்களுக்குப் பெரிய அளவிலான கிளவுட் பட்ஜெட் தேவையில்லை என்பதை இந்தத் கருவிகள் காட்டுகின்றன. சரியான ஓப்பன்-சோர்ஸ் கட்டமைப்புகள் மற்றும் மேம்படுத்தப்பட்ட லோக்கல் மாடல்கள் மட்டுமே உங்களுக்குத் தேவை.

Source: https://dev.to/soytuber/open-source-llm-agents-local-ai-copilots-deerflow-stock-analysis-desktop-inference-508f

Optional learning community: https://t.me/GyaanSetuAi