20 Năm với Linux, và Giờ đây Tôi Tự vận hành AI của riêng mình

Tôi đã sử dụng Linux và Ubuntu trong gần 20 năm. Hành trình của tôi bắt đầu vào năm 2007 khi bố tôi gửi cho tôi một email về việc cài đặt Ubuntu.

Ngày nay, xu hướng lớn nhất là AI. Hầu hết mọi người đều phải trả phí cao cho các mô hình ngôn ngữ lớn. Các công ty như Copilot và Anthropic thường xuyên thay đổi giấy phép của họ. Chi phí tăng lên rất nhanh.

Tôi sử dụng mã nguồn mở để giải quyết vấn đề này. Tôi đã xây dựng một ngăn xếp AI cục bộ trên chiếc Mac chạy chip Apple Silicon của mình.

Tôi sử dụng oMLX thay vì Ollama. Nó hoạt động tốt hơn trên phần cứng Mac. Tôi tải các mô hình từ Hugging Face. Tôi sử dụng các bản build từ mlx-community. Chúng được lượng tử hóa 4-bit. Điều này giúp một mô hình 60GB chỉ chiếm 17GB dung lượng đĩa.

Tôi để oMLX chạy liên tục dưới dạng một dịch vụ Homebrew. Nó sẽ khởi động khi tôi đăng nhập và tự khởi động lại nếu bị lỗi.

Đây là cách tôi thiết lập:

• brew trust jundot/omlx • brew services start omlx

Nếu bạn bỏ qua bước trust, Homebrew sẽ thất bại.

oMLX sẽ ở trạng thái nghỉ khi tôi không sử dụng. Nó chỉ sử dụng CPU và GPU của tôi khi tôi gọi nó. Tôi kết nối nó với các công cụ của mình như trình soạn thảo Zed hoặc terminal opencode.

Đây là tốc độ tôi đạt được trên máy của mình:

Nemotron là một mô hình mixture-of-experts. Nó chạy nhanh hơn nhiều vì nó chỉ sử dụng một phần nhỏ các trọng số cho mỗi token.

Việc chạy các mô hình cục bộ mang lại cho tôi sự tự do. Tôi có thể chạy các tập lệnh theo vòng lặp hoặc lập lịch các tác vụ với launchd. Tôi có các tác vụ cho danh sách kiểm tra hàng tuần và lập kế hoạch hàng ngày. Tôi có thể chạy các tác vụ nặng qua đêm mà không lo lắng về chi phí API hay giới hạn token.

Tôi cũng sử dụng VoiceInk và Whisper cục bộ. Điều này cho phép tôi chuyển soạn âm thanh mà không cần gửi dữ liệu cho bên thứ ba.

Phần cứng Apple Silicon rất đắt đỏ. Tuy nhiên, nó cho phép bạn tận dụng sức mạnh mà bạn đã trả tiền để chạy AI của riêng mình.

Bạn có thể tìm thấy toàn bộ thiết lập của tôi tại đây: github.com/kenahrens/mac-local-ai

Nguồn: https://dev.to/kenahrens/twenty-years-of-linux-and-now-i-run-my-own-ai-4ab9

Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi