Sanidi LibreChat kwa kutumia Lynkr kupitia Custom Endpoints

Acha kuunganisha watoa huduma (providers) moja kwa moja kwenye programu yako ya chat. Badala yake, tumia gateway.

Ikiwa unatumia LibreChat, unaweza kurahisisha mpangilio wako kwa kuweka gateway kati ya programu na mifano (models) yako. LibreChat inasaidia OpenAI-compatible endpoints. Unaweza kuelekeza LibreChat kwenye Lynkr na kuruhusu Lynkr ishughulikie upitishaji (routing), caching, na kubadilisha watoa huduma.

Hii huifanya programu yako iwe thabiti.

Muundo (Architecture): • Kivinjari (Browser) kinaunganishwa na LibreChat. • LibreChat inaunganishwa na Lynkr. • Lynkr inaunganishwa na OpenAI, Anthropic, Ollama, au nyinginezo.

LibreChat inadhibiti UI, mawakala (agents), na faili. Lynkr inadhibiti upitishaji (routing), caching, na udhibiti wa mifano (model control).

Jinsi ya Kusanidi:

  1. Sakinisha Lynkr: npm install -g lynkr

  2. Sanidi faili yako ya .env kwa ajili ya Lynkr: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true

  3. Anzisha Lynkr: lynkr start

  4. Hakiki endpoint: curl http://localhost:8081/

URL yako ya msingi kwa LibreChat ni: http://localhost:8081/v1

Ndani ya LibreChat, ongeza custom OpenAI-compatible endpoint kwa mipangilio hii: • Base URL: http://localhost:8081/v1 • API Key: thamani yoyote • Model: jina ambalo Lynkr linatambua (kama gpt-4o-mini)

Kumbuka kwa watumiaji wa Docker: Ikiwa LibreChat inafanya kazi ndani ya Docker, tumia http://host.docker.internal:8081/v1 badala ya localhost.

Kwa Nini Hii Ni Muhimu:

Unapata uwezo wa kubadilisha watoa huduma kwa urahisi (provider portability). Unaweza kubadilisha kutoka OpenRouter kwenda Bedrock bila kugusa mpangilio wako wa LibreChat.

Unaweza kutumia majina mbadala ya mifano (model aliases). Badala ya kuchagua mifano ghafi, unaweza kuunda majina thabiti ndani ya Lynkr kama:

Unapata uaminifu bora zaidi. Unaweza kuweka backend kuu na backend mbadala (fallback). Ikiwa moja itafeli, Lynkr itabadilisha kwenda nyingine kiotomatiki.

Gawanya majukumu yako. Acha LibreChat ishughulikie uzoefu wa mtumiaji (user experience) na uache Lynkr ishughulikie miundombinu (infrastructure).

Chanzo: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

Jumuiya ya hiari ya kujifunza: https://t.me/GyaanSetuAi