𝗞𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗮𝘀𝗶𝗸𝗮𝗻 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝗱𝗲𝗻𝗴𝗮𝗻 𝗟𝘆𝗻𝗸𝗿 𝗺𝗲𝗹𝗮𝗹𝘂𝗶 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁 𝗧𝗲𝗿𝘀𝘂𝗮𝗶
Berhenti menyambungkan pembekal secara terus ke aplikasi sembang anda. Gunakan gerbang (gateway) sebagai ganti.
Jika anda menjalankan LibreChat, anda boleh mengemaskan tetapan anda dengan meletakkan gerbang di antara aplikasi dan model anda. LibreChat menyokong endpoint yang serasi dengan OpenAI. Anda boleh menghalakan LibreChat ke Lynkr dan membiarkan Lynkr mengendalikan penghalaan (routing), caching, dan pertukaran pembekal.
Ini memastikan aplikasi anda kekal stabil.
Seni Bina: • Pelayar menyambung ke LibreChat. • LibreChat menyambung ke Lynkr. • Lynkr menyambung ke OpenAI, Anthropic, Ollama, atau yang lain.
LibreChat menguruskan UI, ejen, dan fail. Lynkr menguruskan penghalaan, caching, dan kawalan model.
Cara Menetapkannya:
Pasang Lynkr: npm install -g lynkr
Konfigurasikan fail .env anda untuk Lynkr: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true
Mulakan Lynkr: lynkr start
Sahkan endpoint: curl http://localhost:8081/
URL asas anda untuk LibreChat ialah: http://localhost:8081/v1
Dalam LibreChat, tambah endpoint tersuai yang serasi dengan OpenAI dengan tetapan ini: • Base URL: http://localhost:8081/v1 • API Key: sebarang nilai • Model: nama yang dikenali oleh Lynkr (seperti gpt-4o-mini)
Nota untuk pengguna Docker: Jika LibreChat berjalan dalam Docker, gunakan http://host.docker.internal:8081/v1 dan bukannya localhost.
Mengapa Ini Penting:
Anda mendapat kemudahalihan pembekal (provider portability). Anda boleh bertukar daripada OpenRouter ke Bedrock tanpa perlu mengubah konfigurasi LibreChat anda.
Anda boleh menggunakan alias model. Daripada memilih model mentah, anda boleh mencipta nama yang stabil dalam Lynkr seperti:
- chat-fast (menghala ke model murah)
- chat-quality (menghala ke model yang kuat)
Anda mendapat kebolehpercayaan yang lebih baik. Anda boleh menetapkan backend utama dan backend sandaran (fallback). Jika satu gagal, Lynkr akan bertukar ke yang lain secara automatik.
Asingkan tanggungjawab anda. Biarkan LibreChat mengendalikan pengalaman pengguna dan biarkan Lynkr mengendalikan infrastruktur.
Komuniti pembelajaran pilihan: https://t.me/GyaanSetuAi