کسٹم اینڈ پوائنٹس کے ذریعے Lynkr کے ساتھ LibreChat کو کنفیگر کریں

کस्टम اینڈ پوائنٹس کے ذریعے Lynkr کے ساتھ LibreChat کو کنفیگر کریں

اپنے چیٹ ایپ کو براہ راست فراہم کنندگان (providers) سے جوڑنا بند کریں۔ اس کے بجائے ایک گیٹ وے (gateway) استعمال کریں۔

اگر آپ LibreChat چلا رہے ہیں، تو آپ ایپ اور اپنے ماڈلز کے درمیان ایک گیٹ وے رکھ کر اپنے سیٹ اپ کو منظم بنا سکتے ہیں۔ LibreChat، OpenAI کے ہم آہنگ (compatible) اینڈ پوائنٹس کو سپورٹ کرتا ہے۔ آپ LibreChat کو Lynkr کی طرف موڑ سکتے ہیں اور Lynkr کو روٹنگ (routing)، کیشنگ (caching)، اور فراہم کنندہ کی تبدیلی (provider switching) سنبھالنے دے سکتے ہیں۔

یہ آپ کی ایپ کو مستحکم رکھتا ہے۔

آرکیٹیکچر (The Architecture): • براؤزر LibreChat سے منسلک ہوتا ہے۔ • LibreChat Lynkr سے منسلک ہوتا ہے۔ • Lynkr OpenAI، Anthropic، Ollama، یا دیگر سے منسلک ہوتا ہے۔

LibreChat UI، ایجنٹس اور فائلوں کا انتظام کرتا ہے۔ Lynkr روٹنگ، کیشنگ اور ماڈل کنٹرول کا انتظام کرتا ہے۔

اسے کیسے سیٹ اپ کریں:

1. Lynkr انسٹال کریں: npm install -g lynkr

2. Lynkr کے لیے اپنی .env فائل کنفیگر کریں:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

3. Lynkr شروع کریں: lynkr start

4. اینڈ پوائنٹ کی تصدیق کریں: curl http://localhost:8081/

LibreChat کے لیے آپ کا بیس یو آر ایل (base URL) یہ ہے: http://localhost:8081/v1

LibreChat میں، ان سیٹنگز کے ساتھ ایک کسٹم OpenAI-compatible اینڈ پوائنٹ شامل کریں: • Base URL: http://localhost:8081/v1 • API Key: کوئی بھی ویلیو • Model: وہ نام جسے Lynkr پہچانتا ہو (جیسے gpt-4o-mini)

Docker صارفین کے لیے نوٹ: اگر LibreChat Docker میں چل رہا ہے، تو localhost کے بجائے http://host.docker.internal:8081/v1 استعمال کریں۔

یہ کیوں اہم ہے:

آپ کو فراہم کنندہ کی پورٹیبلٹی (portability) حاصل ہوتی ہے۔ آپ LibreChat کی کنفیگریشن کو چھیڑے بغیر OpenRouter سے Bedrock پر سوئچ کر سکتے ہیں۔

آپ ماڈل کے عرفی نام (aliases) استعمال کر سکتے ہیں۔ خام ماڈلز (raw models) کے انتخاب کے بجائے، آپ Lynkr میں مستحکم نام بنا سکتے ہیں جیسے:

• chat-fast (ایک سستے ماڈل کی طرف روٹ کرتا ہے)
• chat-quality (ایک طاقتور ماڈل کی طرف روٹ کرتا ہے)

آپ کو بہتر بھروسہ مندی (reliability) ملتی ہے۔ آپ ایک پرائمری بیک اینڈ اور ایک فال بیک (fallback) بیک اینڈ سیٹ اپ کر سکتے ہیں۔ اگر ایک ناکام ہو جائے تو Lynkr خود بخود دوسرے پر سوئچ کر جاتا ہے۔

اپنی ذمہ داریوں کو الگ رکھیں۔ LibreChat کو صارف کے تجربے (user experience) کو سنبھالنے دیں اور Lynkr کو انفراسٹرکچر سنبھالنے دیں۔

Source: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

Optional learning community: https://t.me/GyaanSetuAi