ตั้งค่า LibreChat ด้วย Lynkr ผ่าน Custom Endpoints

เลิกเชื่อมต่อผู้ให้บริการ (providers) เข้ากับแอปแชทของคุณโดยตรง แล้วเปลี่ยนมาใช้ gateway แทน

หากคุณใช้งาน LibreChat คุณสามารถจัดระเบียบการตั้งค่าให้สะอาดขึ้นได้โดยการวาง gateway ไว้ระหว่างแอปและโมเดลของคุณ LibreChat รองรับ endpoint ที่เข้ากันได้กับ OpenAI คุณสามารถชี้ LibreChat ไปที่ Lynkr เพื่อให้ Lynkr จัดการเรื่องการกำหนดเส้นทาง (routing), การทำแคช (caching) และการสลับผู้ให้บริการ (provider switching)

สิ่งนี้จะช่วยให้แอปของคุณมีความเสถียร

สถาปัตยกรรม: • Browser เชื่อมต่อกับ LibreChat • LibreChat เชื่อมต่อกับ Lynkr • Lynkr เชื่อมต่อกับ OpenAI, Anthropic, Ollama หรืออื่นๆ

LibreChat จัดการ UI, agents และไฟล์ต่างๆ Lynkr จัดการเรื่อง routing, caching และการควบคุมโมเดล

วิธีการตั้งค่า:

  1. ติดตั้ง Lynkr: npm install -g lynkr

  2. ตั้งค่าไฟล์ .env สำหรับ Lynkr: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true

  3. เริ่มการทำงานของ Lynkr: lynkr start

  4. ตรวจสอบ endpoint: curl http://localhost:8081/

Base URL สำหรับ LibreChat ของคุณคือ: http://localhost:8081/v1

ใน LibreChat ให้เพิ่ม custom OpenAI-compatible endpoint ด้วยการตั้งค่าดังนี้: • Base URL: http://localhost:8081/v1 • API Key: ค่าใดก็ได้ • Model: ชื่อที่ Lynkr รู้จัก (เช่น gpt-4o-mini)

หมายเหตุสำหรับผู้ใช้ Docker: หาก LibreChat รันอยู่ใน Docker ให้ใช้ http://host.docker.internal:8081/v1 แทน localhost

ทำไมเรื่องนี้ถึงสำคัญ:

คุณจะได้รับความสามารถในการสลับผู้ให้บริการ (provider portability) คุณสามารถเปลี่ยนจาก OpenRouter เป็น Bedrock ได้โดยไม่ต้องแก้ไขการตั้งค่าใน LibreChat

คุณสามารถใช้ model aliases ได้ แทนที่จะต้องเลือกโมเดลดิบๆ คุณสามารถสร้างชื่อที่คงที่ใน Lynkr ได้ เช่น:

คุณจะได้รับความน่าเชื่อถือที่มากขึ้น คุณสามารถตั้งค่า backend หลักและ backend สำรอง (fallback backend) ได้ หากตัวหนึ่งล้มเหลว Lynkr จะสลับไปยังอีกตัวหนึ่งโดยอัตโนมัติ

แยกหน้าที่ความรับผิดชอบออกจากกัน ให้ LibreChat จัดการเรื่องประสบการณ์ผู้ใช้ (user experience) และให้ Lynkr จัดการเรื่องโครงสร้างพื้นฐาน (infrastructure)

แหล่งที่มา: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

ชุมชนแห่งการเรียนรู้เพิ่มเติม (ไม่บังคับ): https://t.me/GyaanSetuAi