𝟮𝟬 𝗧𝗮𝗵𝘂𝗻 𝗟𝗶𝗻𝘂𝘅, 𝗱𝗮𝗻 𝗦𝗲𝗸𝗮𝗿𝗮𝗻𝗴 𝗦𝗮𝘆𝗮 𝗝𝗮𝗹𝗮𝗻𝗸𝗮𝗻 𝗔𝗜 𝗦𝗲𝗻𝗱𝗶𝗿𝗶

Saya telah menggunakan Linux dan Ubuntu selama hampir 20 tahun. Perjalanan saya bermula pada tahun 2007 apabila ayah saya menghantar e-mel tentang pemasangan Ubuntu.

Hari ini, trend utama ialah AI. Kebanyakan orang membayar yuran yang tinggi untuk model bahasa besar. Syarikat seperti Copilot dan Anthropic sering menukar lesen mereka. Kos meningkat dengan cepat.

Saya menggunakan sumber terbuka untuk menyelesaikan masalah ini. Saya membina stack AI tempatan pada Mac Apple Silicon saya.

Saya menggunakan oMLX berbanding Ollama. Ia berfungsi lebih baik pada perkakasan Mac. Saya memuat turun model daripada Hugging Face. Saya menggunakan binaan mlx-community. Ia adalah kuantisasi 4-bit. Ini membolehkan model 60GB dimuatkan ke dalam ruang cakera 17GB.

Saya memastikan oMLX sentiasa berjalan sebagai perkhidmatan Homebrew. Ia bermula apabila saya log masuk dan bermula semula jika ia terhenti (crash).

Berikut adalah cara saya menyediakannya:

• brew trust jundot/omlx • brew services start omlx

Jika anda melangkau langkah 'trust', Homebrew akan gagal.

oMLX berada dalam keadaan pegun (idle) apabila saya tidak menggunakannya. Ia hanya menggunakan CPU dan GPU saya apabila saya memanggilnya. Saya menyambungkannya ke alatan saya seperti editor Zed atau terminal opencode.

Berikut adalah kelajuan yang saya perolehi pada mesin saya:

Nemotron ialah model mixture-of-experts. Ia berjalan jauh lebih pantas kerana ia hanya menggunakan sebahagian kecil pemberatnya (weights) untuk setiap token.

Menjalankan model tempatan memberi saya kebebasan. Saya boleh menjalankan skrip dalam gelung (loop) atau menjadualkan tugasan dengan launchd. Saya mempunyai tugasan untuk senarai semak mingguan dan perancangan harian. Saya boleh menjalankan tugasan berat semalaman tanpa perlu risau tentang kos API atau had token.

Saya juga menggunakan VoiceInk dan Whisper secara tempatan. Ini membolehkan saya mentranskripsi audio tanpa menghantar data kepada pihak ketiga.

Perkakasan Apple Silicon adalah mahal. Walau bagaimanapun, ia membolehkan anda menggunakan kuasa yang telah anda bayar untuk menjalankan AI anda sendiri.

Anda boleh mencari tetapan penuh saya di sini: github.com/kenahrens/mac-local-ai

Sumber: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9

Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi