𝗧𝘄𝗲𝗻𝘁𝘆 𝗬𝗲𝗮𝗿𝘀 𝗼𝗳 𝗟𝗶𝗻𝘂𝘅, 𝗮𝗻𝗱 𝗡𝗼𝘄 𝗜 𝗥𝘂𝗻 𝗠𝘆 𝗢𝘄𝗻 𝗔𝗜

Nimetumia Linux na Ubuntu kwa karibu miaka 20. Safari yangu ilianza mwaka 2007 wakati baba yangu alipotuma barua pepe kuhusu kuweka Ubuntu.

Leo, mwelekeo mkubwa ni AI. Watu wengi hulipia ada kubwa kwa ajili ya mifumo mikubwa ya lugha (large language models). Kampuni kama Copilot na Anthropic hubadilisha leseni zao mara kwa mara. Gharama huongezeka haraka.

Ninatumia chanzo huru (open source) kutatua hili. Nimejenga mfumo wa AI wa ndani (local AI stack) kwenye Mac yangu ya Apple Silicon.

Ninatumia oMLX badala ya Ollama. Inafanya kazi vizuri zaidi kwenye vifaa vya Mac. Ninapakua mifumo kutoka Hugging Face. Ninatumia matoleo ya mlx-community. Yamefanyiwa quantization ya bit 4. Hii inafanya mfumo wa GB 60 uweze kutoshea kwenye nafasi ya diski ya GB 17.

Ninaifanya oMLX iendelee kufanya kazi wakati wote kama huduma ya Homebrew. Inaanza ninapoingia na hujizungusha upya ikikwama.

Hivi ndivyo nilivyoiweka:

• brew trust jundot/omlx • brew services start omlx

Ukiruka hatua ya kuamini, Homebrew itafeli.

oMLX inakaa bila kufanya kazi wakati siitumii. Inatumia CPU na GPU yangu tu ninapoiita. Naiunganisha na zana zangu kama edita ya Zed au terminal ya opencode.

Hii ndiyo kasi ninayopata kwenye mashine yangu:

Nemotron ni mfumo wa mixture-of-experts. Unafanya kazi kwa kasi zaidi kwa sababu unatumia sehemu ndogo tu ya uzito (weights) wake kwa kila token.

Kuendesha mifumo ya ndani kunanipa uhuru. Ninaweza kuendesha skripti kwenye mzunguko au kupanga kazi kwa kutumia launchd. Nina kazi za orodha za ukaguzi za kila wiki na upangaji wa kila siku. Ninaweza kuendesha kazi nzito usiku kucha bila kuwa na wasiwasi kuhusu gharama za API au mipaka ya token.

Pia ninatumia VoiceInk na Whisper ndani. Hii inaniruhusu kunakili sauti bila kutuma data kwa wahusika wengine.

Vifaa vya Apple Silicon ni ghali. Hata hivyo, vinakuwezesha kutumia nguvu uliyokwisha lipia ili kuendesha AI yako mwenyewe.

Unaweza kupata mpangilio wangu kamili hapa: github.com/kenahrens/mac-local-ai

Chanzo: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi