ಓಪನ್-ಸೋರ್ಸ್ LLM ಏಜೆಂಟ್‌ಗಳು ಮತ್ತು ಲೋಕಲ್ AI ಕೋಪೈಲೊಟ್‌ಗಳು

ಈಗ ನೀವು ನಿಮ್ಮ ಸ್ವಂತ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಸಂಕೀರ್ಣವಾದ AI ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸಬಹುದು. ಲೋಕಲ್ AI ಈಗ ಕೇವಲ ಸರಳ ಚಾಟ್‌ಗಿಂತಲೂ ಮಿಗಿಲಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ. ಹೊಸ ಓಪನ್-ಸೋರ್ಸ್ ಪರಿಕರಗಳು ದುಬಾರಿ ಕ್ಲೌಡ್ APIಗಳಿಲ್ಲದೆ ಏಜೆಂಟ್‌ಗಳು ಮತ್ತು ವಿಶ್ಲೇಷಣಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಚಲಾಯಿಸಲು ನಿಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ.

ಲೋಕಲ್ AI ಕ್ಷೇತ್ರದಲ್ಲಿನ ಮೂರು ಪ್ರಮುಖ ಅಪ್‌ಡೇಟ್‌ಗಳು ಇಲ್ಲಿವೆ:

  • ByteDance DeerFlow ಇದು ಸ್ವಾಯತ್ತ ಏಜೆಂಟ್‌ಗಳನ್ನು (autonomous agents) ನಿರ್ಮಿಸಲು ಬಳಸುವ ಒಂದು ಫ್ರೇಮ್‌ವರ್ಕ್ ಆಗಿದೆ. ಸಂಶೋಧನೆ ಮತ್ತು ಕೋಡಿಂಗ್‌ನಂತಹ ದೀರ್ಘಾವಧಿಯ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಇದು ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್‌ಗಳು, ಮೆಮೊರಿಗಳು ಮತ್ತು ಸಬ್-ಏಜೆಂಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ನಿಮ್ಮ ಸ್ವಂತ GPU ಮೇಲೆ ಲೋಕಲ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸಿ ಅತ್ಯಾಧುನಿಕ ಏಜೆಂಟ್ ವರ್ಕ್‌ಫ್ಲೋಗಳನ್ನು ಚಲಾಯಿಸಲು ಅಗತ್ಯವಿರುವ ರಚನೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ.

  • Self-Hosted Stock Analysis ಈ GitHub ಪ್ರಾಜೆಕ್ಟ್ ಬಹು-ಮಾರುಕಟ್ಟೆ ಸ್ಟಾಕ್‌ಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಲು LLMಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಅನ್ನು ರಚಿಸಲು ನೈಜ-ಸಮಯದ ಸುದ್ದಿ ಮತ್ತು ಮಾರುಕಟ್ಟೆ ಡೇಟಾವನ್ನು ಪಡೆಯುತ್ತದೆ. ಇದು ಸೆಲ್ಫ್-ಹೋಸ್ಟ್ ಆಗಿರುವುದರಿಂದ, ನೀವು ಲೋಕಲ್ inference ಮತ್ತು quantization ಬಳಸಿ ಇದನ್ನು ಉಚಿತವಾಗಿ ಚಲಾಯಿಸಬಹುದು. ಹಣಕಾಸಿನ ಡೇಟಾದೊಂದಿಗೆ ಓಪನ್ ಮಾಡೆಲ್‌ಗಳನ್ನು ಬಳಸಲು ಇದು ಒಂದು ನೀಲನಕ್ಷೆಯಾಗಿದೆ.

  • Real-Time Desktop AI Copilots ಲೈವ್ ಕರೆಗಳಿಗಾಗಿ AI ಕೋಪೈಲೊಟ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು ಕಷ್ಟಕರವಾಗಿದೆ. ನೈಜ-ಸಮಯದ speech-to-text ಮತ್ತು LLM ಪ್ರೊಸೆಸಿಂಗ್‌ಗೆ ಅಗತ್ಯವಿರುವ latency ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಡೆವಲಪರ್‌ಗಳು ಶ್ರಮಿಸುತ್ತಿದ್ದಾರೆ. ಇದು ಸಾಮಾನ್ಯ ಡೆಸ್ಕ್‌ಟಾಪ್ ಯಂತ್ರಗಳಲ್ಲಿ AI ವೇಗವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಮಾಡೆಲ್ ಲೋಡಿಂಗ್ ಅನ್ನು ಉತ್ತಮಗೊಳಿಸುವುದು ಮತ್ತು ದಕ್ಷ inference engines ಬಳಸುವುದು ಒಳಗೊಂಡಿದೆ.

ಸುಧಾರಿತ AI ಅನ್ನು ನಿರ್ಮಿಸಲು ನಿಮಗೆ ಬೃಹತ್ ಕ್ಲೌಡ್ ಬಜೆಟ್ ಅಗತ್ಯವಿಲ್ಲ ಎಂಬುದನ್ನು ಈ ಪರಿಕರಗಳು ತೋರಿಸುತ್ತವೆ. ನಿಮಗೆ ಕೇವಲ ಸರಿಯಾದ ಓಪನ್-ಸೋರ್ಸ್ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳು ಮತ್ತು ಉತ್ತಮಗೊಳಿಸಲಾದ ಲೋಕಲ್ ಮಾಡೆಲ್‌ಗಳು ಬೇಕು.

ಮೂಲ: https://dev.to/soytuber/open-source-llm-agents-local-ai-copilots-deerflow-stock-analysis-desktop-inference-508f

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi