カスタムエンドポイントを介して LibreChat を Lynkr で設定する

プロバイダーをチャットアプリに直接接続するのはやめましょう。代わりにゲートウェイを使用してください。

LibreChat を運用している場合、アプリとモデルの間にゲートウェイを配置することで、セットアップを整理できます。LibreChat は OpenAI 互換のエンドポイントをサポートしています。LibreChat の接続先を Lynkr に向けることで、ルーティング、キャッシュ、プロバイダーの切り替えを Lynkr に任せることができます。

これにより、アプリの安定性が保たれます。

アーキテクチャ: • ブラウザが LibreChat に接続します。 • LibreChat が Lynkr に接続します。 • Lynkr が OpenAI、Anthropic、Ollama、またはその他のサービスに接続します。

LibreChat は UI、エージェント、ファイルを管理します。 Lynkr はルーティング、キャッシュ、モデル制御を管理します。

設定方法:

  1. Lynkr をインストールする: npm install -g lynkr

  2. Lynkr 用に .env ファイルを設定する: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true

  3. Lynkr を起動する: lynkr start

  4. エンドポイントを確認する: curl http://localhost:8081/

LibreChat 用のベース URL は http://localhost:8081/v1 です。

LibreChat で、以下の設定を使用してカスタム OpenAI 互換エンドポイントを追加します: • Base URL: http://localhost:8081/v1 • API Key: 任意の値 • Model: Lynkr が認識できる名前（gpt-4o-mini など）

Docker ユーザーへの注意: LibreChat が Docker で動作している場合は、localhost の代わりに http://host.docker.internal:8081/v1 を使用してください。

なぜこれが重要なのか:

プロバイダーのポータビリティ（移植性）が得られます。LibreChat の設定を変更することなく、OpenRouter から Bedrock へ切り替えることができます。

モデルのエイリアスを使用できます。生のモデルを選択する代わりに、Lynkr 内で以下のような安定した名前を作成できます:

信頼性が向上します。プライマリのバックエンドとフォールバック用のバックエンドを設定できます。一方が失敗した場合、Lynkr が自動的にもう一方に切り替えます。

責務を分離しましょう。ユーザーエクスペリエンスは LibreChat に、インフラストラクチャは Lynkr に任せましょう。

ソース: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

オプションの学習コミュニティ: https://t.me/GyaanSetuAi