Nvidia ತನ್ನ Personal AI Router (PAIR) ಗೆ ಬೀಟಾ ಪ್ರವೇಶವನ್ನು (beta access) ತೆರೆದಿದೆ. ಇದು ಉಚಿತ, ಓಪನ್-ಸೋರ್ಸ್ ಸಾಧನವಾಗಿದ್ದು, ಮನೆಯ ನೆಟ್ವರ್ಕ್ನಲ್ಲಿರುವ ಬಳಕೆಯಿಲ್ಲದ (idle) PCಗಳು, ಲ್ಯಾಪ್ಟಾಪ್ಗಳು ಮತ್ತು Mac ಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ. ಇದರಿಂದಾಗಿ ಡೆವಲಪರ್ಗಳು Ollama ಅಥವಾ LM Studio ನಂತಹ ಫ್ರೇಮ್ವರ್ಕ್ಗಳನ್ನು ಬಳಸಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (LLMs) ಸ್ಥಳೀಯವಾಗಿ (locally) ಚಲಾಯಿಸಬಹುದು.
ಮನೆಯಲ್ಲೇ ನಿರ್ಮಿಸಿದ AI ಕ್ಲಸ್ಟರ್ ಏಕೆ ಮುಖ್ಯ
PAIR ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ
PAIR ಸಂಪೂರ್ಣ ಸಾಫ್ಟ್ವೇರ್ ಆಗಿದೆ; ಇದಕ್ಕೆ ಯಾವುದೇ ಪ್ರತ್ಯೇಕ ಹಾರ್ಡ್ವೇರ್ ಬಾಕ್ಸ್ ಇಲ್ಲ. ನೀವು ಇದನ್ನು ಇನ್ಸ್ಟಾಲ್ ಮಾಡಿದ ನಂತರ, ಪ್ರೋಗ್ರಾಂವು ತನ್ನ ಪರಿಶೀಲನಾ ಪಟ್ಟಿಯಲ್ಲಿರುವ (checklist) ಸಾಧನಗಳಿಗಾಗಿ ಸ್ಥಳೀಯ ನೆಟ್ವರ್ಕ್ ಅನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡುತ್ತದೆ:
- Nvidia GeForce RTX 20-series GPUs ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೊಸದು
- Nvidia RTX Pro GPUs
- Nvidia DGX Spark systems
- M4 ಚಿಪ್ಗಳು ಅಥವಾ ಅದಕ್ಕಿಂತ ಹೊಸದನ್ನು ಹೊಂದಿರುವ Apple ಸಾಧನಗಳು
ಇದು Windows, Linux ಮತ್ತು macOS ನಲ್ಲಿ ಚಲಿಸುತ್ತದೆ. ಇದು ಹೊಂದಾಣಿಕೆಯಾಗುವ (compatible) ಯಂತ್ರವನ್ನು ಕಂಡಾಗ, ಒಂದು ಸಾಧನದಲ್ಲಿ ತೋರಿಸಲಾಗುವ ಆರು ಅಂಕಿಯ ಕೋಡ್ ಅನ್ನು ಟೈಪ್ ಮಾಡುವ ಮೂಲಕ ನೀವು ಅದನ್ನು ಪೇರ್ ಮಾಡಬಹುದು. Mutual TLS ಎಲ್ಲಾ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಎನ್ಕ್ರಿಪ್ಟ್ ಮಾಡುತ್ತದೆ, ಇದರಿಂದ ಮನೆಯ Wi-Fi ನೆಟ್ವರ್ಕ್ನಲ್ಲಿಯೂ ಸಹ ಮಾಡೆಲ್ ಡೇಟಾ ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ಗಳು ಗೌಪ್ಯವಾಗಿರುತ್ತವೆ.
ನಂತರ ರೂಟರ್ ಕೇವಲ ಬಳಕೆಯಿಲ್ಲದ (idle) ಯಂತ್ರಗಳಿಗೆ ಮಾತ್ರ ಕೆಲಸವನ್ನು ಹಂಚಿಕೆ ಮಾಡುತ್ತದೆ. ನೀವು ನಿಮ್ಮ ಡೆಸ್ಕ್ಟಾಪ್ನಲ್ಲಿ ಗೇಮ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿದರೆ, PAIR ಆ ಯಂತ್ರದ ಸಂಪನ್ಮೂಲಗಳನ್ನು (resources) ಬಳಸುವುದು ನಿಲ್ಲಿಸುತ್ತದೆ.
ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅನ್ನು ಪ್ರದರ್ಶಿಸಲು ಆರಂಭಿಕ ಅಪ್ಲಿಕೇಶನ್ಗಳು
Nvidia ವಿಂಡೋಸ್ ಬಳಕೆದಾರರಿಗಾಗಿ ಮೂರು ಆರಂಭಿಕ AI ಏಜೆಂಟ್ಗಳನ್ನು ಒಟ್ಟಿಗೆ ನೀಡಿದೆ:
- Perplexity Portable Computer
- Hermes Agent
- OpenClaw
ಈ ಅಪ್ಲಿಕೇಶನ್ಗಳು ನೀವು ಕ್ಲೌಡ್ ಕ್ರೆಡೆನ್ಶಿಯಲ್ಸ್ ಇಲ್ಲದೆಯೇ ಸ್ಥಳೀಯ AI ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಜೋಡಿಸಬಹುದು ಎಂದು ಸಾಬೀತುಪಡಿಸುತ್ತವೆ, ಇದು "ಎಲ್ಲವನ್ನೂ ಮನೆಯಲ್ಲೇ ಚಲಾಯಿಸಿ" ಎಂಬ ಪರಿಕಲ್ಪನೆಯನ್ನು ಬಲಪಡಿಸುತ್ತದೆ.
ಪ್ರಯೋಜನಗಳು ಮತ್ತು ಮಿತಿಗಳು
ಬಳಕೆದಾರರು ಗಮನಿಸಬೇಕಾದ ಅಂಶಗಳು
- ಬಳಕೆಯಿಲ್ಲದ ಸಮಯದ ಲಭ್ಯತೆ (Idle time availability) – ಸಾಧನಗಳು ಎಷ್ಟು ಹೆಚ್ಚಾಗಿ ಬಳಕೆಯಿಲ್ಲದೆ ಇರುತ್ತವೆಯೋ, ಅಷ್ಟು ರೂಟರ್ನ ಮೌಲ್ಯ ಹೆಚ್ಚಾಗುತ್ತದೆ. ವಿಡಿಯೋ ಸ್ಟ್ರೀಮ್ ಮಾಡುವ ಅಥವಾ ನಿರಂತರವಾಗಿ ಗೇಮ್ ಆಡುವ ಕುಟುಂಬಗಳಲ್ಲಿ ಇದರ ಪ್ರಯೋಜನಗಳು ಸೀಮಿತವಾಗಿರಬಹುದು.
- ನೆಟ್ವರ್ಕ್ ವಿಳಂಬ (Network latency) – Wi-Fi ಜಿಟ್ಟರ್ (jitter) ಅನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ; ವೈರ್ಡ್ LAN ಕೇಬಲ್ ಇಂಟರ್-ನೋಡ್ ಸಂವಹನವನ್ನು ವೇಗವಾಗಿರಿಸುತ್ತದೆ.
- ವಿದ್ಯುತ್ ಬಳಕೆ (Power draw) – GPUಗಳು ಹೆಚ್ಚಿನ ವಿದ್ಯುತ್ ಬಳಸುತ್ತವೆ. ಅವುಗಳನ್ನು ಗಂಟೆಗಟ್ಟಲೆ ಚಲಾಯಿಸುವುದು ಮನೆಯ ವಿದ್ಯುತ್ ಬಿಲ್ ಅನ್ನು ಹೆಚ್ಚಿಸಬಹುದು, ವಿಶೇಷವಾಗಿ ದರಗಳು ಹೆಚ್ಚಿರುವ ಪ್ರದೇಶಗಳಲ್ಲಿ.
- ಕಾರ್ಯಕ್ಷಮತೆಯ ಮಿತಿ (Performance ceiling) – ಮನೆಯ ನೆಟ್ವರ್ಕ್ ಮೂಲಕ ಸಂಪರ್ಕಗೊಂಡಿರುವ ಮಿಡ್-ರೇಂಜ್ GPUಗಳು, ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ನಿರ್ಮಿಸಲಾದ ಸರ್ವರ್ಗಳಿಗೆ ಸಮನಾಗಿರುವುದಿಲ್ಲ. ಸಂಕೀರ್ಣ ಮಾದರಿಗಳಿಗೆ (complex models) ಇಂದಿಗೂ ಕ್ಲೌಡ್-ಗ್ರೇಡ್ ಹಾರ್ಡ್ವೇರ್ ಅಗತ್ಯವಿರಬಹುದು.
ವ್ಯಾಪಕ ಚಿತ್ರಣ
Nvidia ನ ಈ ಕ್ರಮವು "ಎಡ್ಜ್ AI" (edge AI) ಅಲೆಯ ಮೇಲೆ ಸಾಗುತ್ತಿದೆ, ಇಲ್ಲಿ ಇನ್ಫರೆನ್ಸ್ (inference) ದೂರದ ಡೇಟಾ ಸೆಂಟರ್ ಬದಲಿಗೆ ಡೇಟಾ ಮೂಲದ ಹತ್ತಿರವೇ ನಡೆಯುತ್ತದೆ. PAIR ಅನ್ನು ಓಪನ್-ಸೋರ್ಸ್ ಮಾಡುವ ಮೂಲಕ, Nvidia ಡೆವಲಪರ್ಗಳು ಸಾಧನ ಡ್ರೈವರ್ಗಳನ್ನು ಸೇರಿಸಲು, ಹೊಸ ಮಾಡೆಲ್ ಫ್ರೇಮ್ವರ್ಕ್ಗಳನ್ನು ಪ್ಲಗ್ ಮಾಡಲು ಅಥವಾ ಕಸ್ಟಮ್ ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಆಹ್ವಾನಿಸುತ್ತಿದೆ. ಈ ಬೀಟಾ ಕಾರ್ಯಕ್ರಮವು ಜನಪ್ರಿಯವಾದರೆ, ಓಪನ್-ಸೋರ್ಸ್ ಕಂಟೇನರ್ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳಂತೆ (ecosystems), ಸಮುದಾಯವು ನಿರ್ಮಿಸಿದ ಅಪ್ಲಿಕೇಶನ್ಗಳ ಮಾರುಕಟ್ಟೆಯು ಹೊರಹೊಮ್ಮಬಹುದು.
ಗಮನಿಸಬೇಕಾದ ಅಂಶಗಳು
- ಪೂರ್ಣ ಬಿಡುಗಡೆಯ ವೇಳಾಪಟ್ಟಿ (Full release timeline) – Nvidia ಇನ್ನೂ ಸ್ಥಿರ-ವರ್ಷನ್ (stable-version) ದಿನಾಂಕವನ್ನು ನಿಗದಿಪಡಿಸಿಲ್ಲ, ಆದ್ದರಿಂದ ಬೀಟಾ ಸ್ಥಿರತೆ ಮತ್ತು ವೈಶಿಷ್ಟ್ಯಗಳ ಪೂರ್ಣತೆಯ ಬಗ್ಗೆ ಅನಿಶ್ಚಿತತೆ ಇದೆ.
- ಹಾರ್ಡ್ವೇರ್ ಬೆಂಬಲದ ವಿಸ್ತರಣೆ (Hardware support expansion) – AMD GPUಗಳು ಅಥವಾ ಹೊಸ Apple ಸಿಲಿಕಾನ್ ಅನ್ನು ಸೇರಿಸುವುದು ಬಳಕೆದಾರರ ಸಂಖ್ಯೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.
- ಸಮುದಾಯದ ಕೊಡುಗೆಗಳು (Community contributions) – ಓಪನ್-ಸೋರ್ಸ್ ರೆಪೊ (repo) ಪ್ಲಗಿನಗಳು, ಮಾನಿಟರಿಂಗ್ ಡ್ಯಾಶ್ಬೋರ್ಡ್ಗಳು ಮತ್ತು ಕಸ್ಟಮ್ ಶೆಡ್ಯೂಲಿಂಗ್ ಪಾಲಿಸಿಗಳ ಕೇಂದ್ರವಾಗುವ ಸಾಧ್ಯತೆಯಿದೆ.
- ಶಕ್ತಿ-ದಕ್ಷತೆಯ ಸಾಧನಗಳು (Energy-efficiency tools) – ವಿದ್ಯುತ್ ವೆಚ್ಚಗಳು ಹೆಚ್ಚಾದಂತೆ, PAIR ಪವರ್-ಕ್ಯಾಪಿಂಗ್ ಅಥವಾ ಡೈನಾಮಿಕ್ ಥ್ರೊಟಲಿಂಗ್ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸೇರಿಸಬಹುದು.
ಸಾರಾಂಶ
Nvidia ನ Personal AI Router ಹವ್ಯಾಸಿಗಳಿಗೆ ಮತ್ತು ಸಣ್ಣ ಪ್ರಮಾಣದ ಡೆವಲಪರ್ಗಳಿಗೆ ತಮ್ಮ ಬಳಕೆಯಿಲ್ಲದ ಮನೆಯ ಕಂಪ್ಯೂಟರ್ಗಳನ್ನು ಒಂದು ಸಾಧಾರಣ, ಗೌಪ್ಯತೆ-ಕೇಂದ್ರಿತ AI ಕ್ಲಸ್ಟರ್ ಆಗಿ ಪರಿವರ್ತಿಸಲು ಒಂದು ಮಾರ್ಗವನ್ನು ನೀಡುತ್ತದೆ. ಇದು ವೃತ್ತಿಪರ GPU ಫಾರ್ಮ್ಗಳನ್ನು ಬದಲಾಯಿಸುವುದಿಲ್ಲ, ಆದರೆ ನೆಟ್ವರ್ಕ್ ವೇಗವಾಗಿರಲು, ಸಾಧನಗಳು ಸಾಕಷ್ಟು ಸಮಯ ಬಳಕೆಯಿಲ್ಲದೆ ಇರಲು ಮತ್ತು ವಿದ್ಯುತ್ ಬಿಲ್ ನಿಯಂತ್ರಣದಲ್ಲಿರಲು ಸಿದ್ಧರಿರುವವರಿಗೆ ಇದು ಕ್ಲೌಡ್ ವೆಚ್ಚಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು.