কাস্টম এন্ডপয়েন্টের মাধ্যমে Lynkr ব্যবহার করে LibreChat কনফিগার করুন

আপনার চ্যাট অ্যাপের সাথে সরাসরি প্রোভাইডার কানেক্ট করা বন্ধ করুন। পরিবর্তে একটি গেটওয়ে ব্যবহার করুন।

আপনি যদি LibreChat ব্যবহার করেন, তবে অ্যাপ এবং আপনার মডেলগুলোর মাঝে একটি গেটওয়ে বসিয়ে আপনার সেটআপটি আরও গোছানো করতে পারেন। LibreChat, OpenAI-compatible এন্ডপয়েন্ট সাপোর্ট করে। আপনি LibreChat-কে Lynkr-এর দিকে নির্দেশ করতে পারেন এবং Lynkr-কে রাউটিং, ক্যাশিং এবং প্রোভাইডার সুইচিংয়ের কাজ করতে দিতে পারেন।

এটি আপনার অ্যাপকে স্থিতিশীল রাখে।

আর্কিটেকচার: • ব্রাউজার LibreChat-এর সাথে কানেক্ট হয়। • LibreChat, Lynkr-এর সাথে কানেক্ট হয়। • Lynkr, OpenAI, Anthropic, Ollama বা অন্যান্যদের সাথে কানেক্ট হয়।

LibreChat UI, এজেন্ট এবং ফাইলগুলো ম্যানেজ করে। Lynkr রাউটিং, ক্যাশিং এবং মডেল কন্ট্রোল ম্যানেজ করে।

এটি কীভাবে সেটআপ করবেন:

  1. Lynkr ইনস্টল করুন: npm install -g lynkr

  2. Lynkr-এর জন্য আপনার .env ফাইল কনফিগার করুন:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

  1. Lynkr শুরু করুন: lynkr start

  2. এন্ডপয়েন্টটি যাচাই করুন: curl http://localhost:8081/

LibreChat-এর জন্য আপনার বেস URL হলো: http://localhost:8081/v1

LibreChat-এ, নিচের সেটিংসগুলো দিয়ে একটি কাস্টম OpenAI-compatible এন্ডপয়েন্ট যোগ করুন: • Base URL: http://localhost:8081/v1 • API Key: any value • Model: Lynkr যে নামটি চেনে (যেমন gpt-4o-mini)

Docker ব্যবহারকারীদের জন্য নোট: যদি LibreChat Docker-এ চলে, তবে localhost-এর পরিবর্তে http://host.docker.internal:8081/v1 ব্যবহার করুন।

কেন এটি গুরুত্বপূর্ণ:

আপনি প্রোভাইডার পোর্টেবিলিটি (portability) পাবেন। আপনার LibreChat কনফিগারেশনে কোনো পরিবর্তন না করেই আপনি OpenRouter থেকে Bedrock-এ সুইচ করতে পারবেন।

আপনি মডেল এলিয়াস (alias) ব্যবহার করতে পারেন। সরাসরি র (raw) মডেল বেছে নেওয়ার পরিবর্তে, আপনি Lynkr-এ স্থিতিশীল নাম তৈরি করতে পারেন যেমন:

আপনি আরও ভালো নির্ভরযোগ্যতা পাবেন। আপনি একটি প্রাইমারি ব্যাকএন্ড এবং একটি ফলব্যাক (fallback) ব্যাকএন্ড সেটআপ করতে পারেন। যদি একটি কাজ না করে, Lynkr স্বয়ংক্রিয়ভাবে অন্যটিতে সুইচ করবে।

আপনার দায়িত্বগুলো আলাদা রাখুন। ইউজার এক্সপেরিয়েন্স হ্যান্ডেল করতে LibreChat-কে দিন এবং ইনফ্রাস্ট্রাকচার হ্যান্ডেল করতে Lynkr-কে দিন।

উৎস: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi