ಇಪ್ಪತ್ತು ವರ್ಷಗಳ Linux, ಮತ್ತು ಈಗ ನಾನು ನನ್ನದೇ ಆದ AI ಅನ್ನು ನಡೆಸುತ್ತಿದ್ದೇನೆ

ನಾನು ಸುಮಾರು 20 ವರ್ಷಗಳಿಂದ Linux ಮತ್ತು Ubuntu ಅನ್ನು ಬಳಸುತ್ತಿದ್ದೇನೆ. ನನ್ನ ಪ್ರಯಾಣವು 2007 ರಲ್ಲಿ ಪ್ರಾರಂಭವಾಯಿತು, ಆಗ ನನ್ನ ತಂದೆ Ubuntu ಅನ್ನು ಇನ್‌ಸ್ಟಾಲ್ ಮಾಡುವ ಬಗ್ಗೆ ನನಗೆ ಇಮೇಲ್ ಕಳುಹಿಸಿದ್ದರು.

ಇಂದು, ದೊಡ್ಡ ಟ್ರೆಂಡ್ ಎಂದರೆ AI. ಹೆಚ್ಚಿನ ಜನರು ಲಾರ್ಜ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್‌ಗಳಿಗಾಗಿ (large language models) ಹೆಚ್ಚಿನ ಶುಲ್ಕವನ್ನು ಪಾವತಿಸುತ್ತಾರೆ. Copilot ಮತ್ತು Anthropic ನಂತಹ ಕಂಪನಿಗಳು ತಮ್ಮ ಲೈಸೆನ್ಸ್‌ಗಳನ್ನು ಪದೇ ಪದೇ ಬದಲಾಯಿಸುತ್ತವೆ. ಇದರಿಂದ ವೆಚ್ಚವು ವೇಗವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ.

ಇದನ್ನು ಪರಿಹರಿಸಲು ನಾನು ಓಪನ್ ಸೋರ್ಸ್ ಅನ್ನು ಬಳಸುತ್ತೇನೆ. ನಾನು ನನ್ನ Apple Silicon Mac ನಲ್ಲಿ ಸ್ಥಳೀಯ AI ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇನೆ.

ನಾನು Ollama ಬದಲಿಗೆ oMLX ಅನ್ನು ಬಳಸುತ್ತೇನೆ. ಇದು Mac ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಉತ್ತಮವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ನಾನು Hugging Face ನಿಂದ ಮಾಡೆಲ್‌ಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡುತ್ತೇನೆ. ನಾನು mlx-community ಬಿಲ್ಡ್‌ಗಳನ್ನು ಬಳಸುತ್ತೇನೆ. ಅವು 4-bit quantized ಆಗಿರುತ್ತವೆ. ಇದು 60GB ಮಾಡೆಲ್ ಅನ್ನು 17GB ಡಿಸ್ಕ್ ಸ್ಪೇಸ್‌ಗೆ ಹೊಂದಿಸುತ್ತದೆ.

ನಾನು oMLX ಅನ್ನು Homebrew ಸೇವೆಯಾಗಿ ಯಾವಾಗಲೂ ಚಾಲನೆಯಲ್ಲಿಡುತ್ತೇನೆ. ನಾನು ಲಾಗ್ ಇನ್ ಆದಾಗ ಇದು ಪ್ರಾರಂಭವಾಗುತ್ತದೆ ಮತ್ತು ಕ್ರ್ಯಾಶ್ ಆದರೆ ಮರುಪ್ರಾರಂಭವಾಗುತ್ತದೆ.

ನಾನು ಇದನ್ನು ಹೇಗೆ ಸೆಟಪ್ ಮಾಡಿದ್ದೇನೆ ಎಂದರೆ:

• brew trust jundot/omlx • brew services start omlx

ನೀವು trust ಹಂತವನ್ನು ಬಿಟ್ಟರೆ, Homebrew ವಿಫಲವಾಗುತ್ತದೆ.

ನಾನು ಬಳಸದಿದ್ದಾಗ oMLX idle ಆಗಿರುತ್ತದೆ. ನಾನು ಅದನ್ನು ಬಳಸಿದಾಗ ಮಾತ್ರ ಅದು ನನ್ನ CPU ಮತ್ತು GPU ಅನ್ನು ಬಳಸುತ್ತದೆ. ನಾನು ಅದನ್ನು Zed editor ಅಥವಾ opencode terminal ನಂತಹ ನನ್ನ ಪರಿಕರಗಳಿಗೆ ಸಂಪರ್ಕಿಸುತ್ತೇನೆ.

ನನ್ನ ಯಂತ್ರದಲ್ಲಿ ನನಗೆ ಸಿಗುವ ವೇಗ ಇಲ್ಲಿದೆ:

Nemotron ಒಂದು mixture-of-experts ಮಾಡೆಲ್ ಆಗಿದೆ. ಇದು ಪ್ರತಿ ಟೋಕನ್‌ಗಾಗಿ ತನ್ನ weights ನ ಒಂದು ಸಣ್ಣ ಭಾಗವನ್ನು ಮಾತ್ರ ಬಳಸುವುದರಿಂದ ತುಂಬಾ ವೇಗವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ.

ಸ್ಥಳೀಯ ಮಾಡೆಲ್‌ಗಳನ್ನು ಚಲಾಯಿಸುವುದು ನನಗೆ ಸ್ವಾತಂತ್ರ್ಯ ನೀಡುತ್ತದೆ. ನಾನು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ಲೂಪ್‌ನಲ್ಲಿ ಚಲಾಯಿಸಬಹುದು ಅಥವಾ launchd ಬಳಸಿ ಕಾರ್ಯಗಳನ್ನು ಶೆಡ್ಯೂಲ್ ಮಾಡಬಹುದು. ವಾರಕ್ಕೊಮ್ಮೆ ಮಾಡಬೇಕಾದ ಪರಿಶೀಲನೆಗಳು ಮತ್ತು ದೈನಂದಿನ ಯೋಜನೆಗಾಗಿ ನಾನು ಕೆಲಸಗಳನ್ನು ಹೊಂದಿದ್ದೇನೆ. API ವೆಚ್ಚಗಳು ಅಥವಾ ಟೋಕನ್ ಮಿತಿಗಳ ಬಗ್ಗೆ ಚಿಂತಿಸದೆ ನಾನು ರಾತ್ರಿಯಿಡೀ ಭಾರೀ ಕೆಲಸಗಳನ್ನು ಮಾಡಬಹುದು.

ನಾನು VoiceInk ಮತ್ತು Whisper ಅನ್ನು ಸಹ ಸ್ಥಳೀಯವಾಗಿ ಬಳಸುತ್ತೇನೆ. ಇದು ಡೇಟಾವನ್ನು ಮೂರನೇ ವ್ಯಕ್ತಿಗಳಿಗೆ ಕಳುಹಿಸದೆ ಆಡಿಯೊವನ್ನು ಟ್ರಾನ್ಸ್‌ಕ್ರೈಬ್ ಮಾಡಲು ನನಗೆ ಅನುಮತಿಸುತ್ತದೆ.

Apple Silicon ಹಾರ್ಡ್‌ವೇರ್ ದುಬಾರಿಯಾಗಿದೆ. ಆದಾಗ್ಯೂ, ಇದು ನೀವು ಈಗಾಗಲೇ ಪಾವತಿಸಿದ ಶಕ್ತಿಯನ್ನು ನಿಮ್ಮದೇ ಆದ AI ಅನ್ನು ಚಲಾಯಿಸಲು ಬಳಸಲು ಅನುಮತಿಸುತ್ತದೆ.

ನನ್ನ ಸಂಪೂರ್ಣ ಸೆಟಪ್ ಅನ್ನು ನೀವು ಇಲ್ಲಿ ಕಾಣಬಹುದು: github.com/kenahrens/mac-local-ai

ಮೂಲ (Source): https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi