Konfiguracja LibreChat z Lynkr za pomocą niestandardowych punktów końcowych

Przestań łączyć dostawców bezpośrednio ze swoją aplikacją czatową. Zamiast tego użyj bramy (gateway).

Jeśli korzystasz z LibreChat, możesz uporządkować swoją konfigurację, umieszczając bramę między aplikacją a modelami. LibreChat obsługuje punkty końcowe (endpoints) zgodne z OpenAI. Możesz skierować LibreChat do Lynkr i pozwolić Lynkr zarządzać routingiem, buforowaniem (caching) oraz przełączaniem dostawców.

Dzięki temu Twoja aplikacja pozostaje stabilna.

Architektura: • Przeglądarka łączy się z LibreChat. • LibreChat łączy się z Lynkr. • Lynkr łączy się z OpenAI, Anthropic, Ollama lub innymi.

LibreChat zarządza interfejsem użytkownika (UI), agentami i plikami. Lynkr zarządza routingiem, buforowaniem i kontrolą modeli.

Jak to skonfigurować:

  1. Zainstaluj Lynkr: npm install -g lynkr

  2. Skonfiguruj plik .env dla Lynkr:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

  1. Uruchom Lynkr: lynkr start

  2. Zweryfikuj punkt końcowy: curl http://localhost:8081/

Twój adres URL podstawowy (Base URL) dla LibreChat to: http://localhost:8081/v1

W LibreChat dodaj niestandardowy punkt końcowy zgodny z OpenAI z następującymi ustawieniami: • Base URL: http://localhost:8081/v1 • API Key: dowolna wartość • Model: nazwa, którą rozpoznaje Lynkr (np. gpt-4o-mini)

Uwaga dla użytkowników Dockera: Jeśli LibreChat działa w Dockerze, użyj http://host.docker.internal:8081/v1 zamiast localhost.

Dlaczego to jest ważne:

Zyskujesz przenośność dostawców. Możesz przełączyć się z OpenRouter na Bedrock bez dotykania konfiguracji LibreChat.

Możesz używać aliasów modeli. Zamiast wybierać surowe modele, możesz tworzyć w Lynkr stabilne nazwy, takie jak:

Zyskujesz lepszą niezawodność. Możesz skonfigurować główny backend oraz zapasowy (fallback) backend. Jeśli jeden zawiedzie, Lynkr automatycznie przełączy się na drugi.

Rozdzielaj odpowiedzialności. Pozwól LibreChat zarządzać doświadczeniem użytkownika (UX), a Lynkr infrastrukturą.

Źródło: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi