𝗖𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝘄𝗶𝘁𝗵 𝗟𝘆𝗻𝗸𝗿 𝘃𝗶𝗮 𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀

अपने चैट ऐप को सीधे प्रोवाइडर्स से जोड़ना बंद करें। इसके बजाय एक गेटवे का उपयोग करें।

यदि आप LibreChat चलाते हैं, तो आप ऐप और अपने मॉडल्स के बीच एक गेटवे रखकर अपने सेटअप को व्यवस्थित (clean up) कर सकते हैं। LibreChat, OpenAI-compatible एंडपॉइंट्स को सपोर्ट करता है। आप LibreChat को Lynkr की ओर पॉइंट कर सकते हैं और राउटिंग, कैशिंग और प्रोवाइडर स्विचिंग का काम Lynkr को सौंप सकते हैं।

यह आपके ऐप को स्थिर (stable) रखता है।

आर्किटेक्चर: • ब्राउज़र LibreChat से जुड़ता है। • LibreChat, Lynkr से जुड़ता है। • Lynkr, OpenAI, Anthropic, Ollama, या अन्य से जुड़ता है।

LibreChat UI, एजेंट्स और फाइलों को मैनेज करता है। Lynkr राउटिंग, कैशिंग और मॉडल कंट्रोल को मैनेज करता है।

इसे कैसे सेटअप करें:

  1. Lynkr इंस्टॉल करें: npm install -g lynkr

  2. Lynkr के लिए अपनी .env फ़ाइल कॉन्फ़िगर करें:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

  1. Lynkr शुरू करें: lynkr start

  2. एंडपॉइंट को सत्यापित (verify) करें: curl http://localhost:8081/

LibreChat के लिए आपका बेस URL है: http://localhost:8081/v1

LibreChat में, इन सेटिंग्स के साथ एक कस्टम OpenAI-compatible एंडपॉइंट जोड़ें: • Base URL: http://localhost:8081/v1 • API Key: कोई भी वैल्यू • Model: वह नाम जिसे Lynkr पहचानता हो (जैसे gpt-4o-mini)

Docker उपयोगकर्ताओं के लिए नोट: यदि LibreChat Docker में चलता है, तो localhost के बजाय http://host.docker.internal:8081/v1 का उपयोग करें।

यह क्यों महत्वपूर्ण है:

आपको प्रोवाइडर पोर्टेबिलिटी मिलती है। आप अपने LibreChat कॉन्फ़िगरेशन को छेड़े बिना OpenRouter से Bedrock पर स्विच कर सकते हैं।

आप मॉडल एलियास (aliases) का उपयोग कर सकते हैं। रॉ मॉडल्स चुनने के बजाय, आप Lynkr में स्थिर नाम बना सकते हैं जैसे:

आपको बेहतर विश्वसनीयता (reliability) मिलती है। आप एक प्राइमरी बैकएंड और एक फॉलबैक बैकएंड सेटअप कर सकते हैं। यदि एक विफल हो जाता है, तो Lynkr स्वचालित रूप से दूसरे पर स्विच कर देता है।

अपनी जिम्मेदारियों को अलग रखें। यूजर एक्सपीरियंस को LibreChat को संभालने दें और इंफ्रास्ट्रक्चर को Lynkr को संभालने दें।

स्रोत: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi