𝗖𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝘄𝗶𝘁𝗵 𝗟𝘆𝗻𝗸𝗿 𝘃𝗶𝗮 𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀

तुमच्या चॅट ॲपला थेट प्रोव्हायडर्सशी जोडणे थांबवा. त्याऐवजी गेटवेचा वापर करा.

जर तुम्ही LibreChat वापरत असाल, तर ॲप आणि तुमचे मॉडेल्स यांच्यामध्ये गेटवे ठेवून तुम्ही तुमची सेटअप अधिक सुटसुटीत करू शकता. LibreChat OpenAI-सुसंगत (compatible) एंडपॉइंट्सना सपोर्ट करते. तुम्ही LibreChat ला Lynkr कडे वळवू शकता आणि राउटिंग (routing), कॅशिंग (caching) आणि प्रोव्हायडर स्विचिंगची जबाबदारी Lynkr ला सोपवू शकता.

यामुळे तुमचे ॲप स्थिर राहते.

आर्किटेक्चर (The Architecture): • ब्राउझर LibreChat शी कनेक्ट होतो. • LibreChat Lynkr शी कनेक्ट होतो. • Lynkr OpenAI, Anthropic, Ollama किंवा इतर सेवांशी कनेक्ट होतो.

LibreChat UI, एजंट्स आणि फाइल्स व्यवस्थापित करते. Lynkr राउटिंग, कॅशिंग आणि मॉडेल कंट्रोल व्यवस्थापित करते.

सेटअप कसा करायचा:

  1. Lynkr इंस्टॉल करा: npm install -g lynkr

  2. Lynkr साठी तुमची .env फाईल कॉन्फिगर करा:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

  1. Lynkr सुरू करा: lynkr start

  2. एंडपॉइंट तपासा: curl http://localhost:8081/

LibreChat साठी तुमचा बेस URL आहे: http://localhost:8081/v1

LibreChat मध्ये, खालील सेटिंग्जसह एक कस्टम OpenAI-सुसंगत एंडपॉइंट जोडा: • Base URL: http://localhost:8081/v1 • API Key: कोणतेही मूल्य (any value) • Model: Lynkr ला ओळखता येईल असे नाव (उदा. gpt-4o-mini)

Docker वापरकर्त्यांसाठी टीप: जर LibreChat Docker मध्ये चालत असेल, तर localhost ऐवजी http://host.docker.internal:8081/v1 वापरा.

हे का महत्त्वाचे आहे:

तुम्हाला प्रोव्हायडर पोर्टेबिलिटी मिळते. तुम्ही तुमच्या LibreChat कॉन्फिगरेशनमध्ये कोणताही बदल न करता OpenRouter कडून Bedrock कडे स्विच करू शकता.

तुम्ही मॉडेल अलिआस (aliases) वापरू शकता. थेट मॉडेल्स निवडण्याऐवजी, तुम्ही Lynkr मध्ये खालीलप्रमाणे स्थिर नावे तयार करू शकता:

तुम्हाला अधिक विश्वासार्हता मिळते. तुम्ही एक प्रायमरी बॅकएंड आणि एक फॉलबॅक (fallback) बॅकएंड सेट करू शकता. जर एक निकामी झाले, तर Lynkr आपोआप दुसऱ्यावर स्विच होते.

तुमच्या जबाबदाऱ्या वेगळ्या ठेवा. युजर एक्सपिरियन्स (user experience) साठी LibreChat ला आणि इन्फ्रास्ट्रक्चरसाठी (infrastructure) Lynkr ला काम करू द्या.

स्रोत: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi