కస్టమ్ ఎండ్‌పాయింట్ల ద్వారా Lynkr తో LibreChat ని కాన్ఫిగర్ చేయండి

మీ చాట్ యాప్‌కు ప్రొవైడర్లను నేరుగా కనెక్ట్ చేయడం ఆపండి. దానికి బదులుగా ఒక గేట్‌వేని ఉపయోగించండి.

మీరు LibreChat ఉపయోగిస్తుంటే, యాప్ మరియు మీ మోడల్స్ మధ్య ఒక గేట్‌వేని ఉంచడం ద్వారా మీ సెటప్‌ను క్రమబద్ధీకరించవచ్చు. LibreChat, OpenAI-అనుకూల ఎండ్‌పాయింట్లను సపోర్ట్ చేస్తుంది. మీరు LibreChatని Lynkr కి పాయింట్ చేయవచ్చు మరియు రూటింగ్, క్యాషింగ్ మరియు ప్రొవైడర్ స్విచ్చింగ్‌ను Lynkr చూసుకునేలా చేయవచ్చు.

ఇది మీ యాప్‌ను స్థిరంగా ఉంచుతుంది.

ఆర్కిటెక్చర్: • బ్రౌజర్ LibreChat కి కనెక్ట్ అవుతుంది. • LibreChat, Lynkr కి కనెక్ట్ అవుతుంది. • Lynkr, OpenAI, Anthropic, Ollama లేదా ఇతర వాటికి కనెక్ట్ అవుతుంది.

LibreChat UI, ఏజెంట్లు మరియు ఫైళ్లను నిర్వహిస్తుంది. Lynkr రూటింగ్, క్యాషింగ్ మరియు మోడల్ కంట్రోల్‌ను నిర్వహిస్తుంది.

దీన్ని ఎలా సెటప్ చేయాలి:

  1. Lynkr ని ఇన్‌స్టాల్ చేయండి: npm install -g lynkr

  2. Lynkr కోసం మీ .env ఫైల్‌ను కాన్ఫిగర్ చేయండి: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true

  3. Lynkr ని ప్రారంభించండి: lynkr start

  4. ఎండ్‌పాయింట్‌ను ధృవీకరించండి: curl http://localhost:8081/

LibreChat కోసం మీ బేస్ URL: http://localhost:8081/v1

LibreChatలో, ఈ సెట్టింగ్‌లతో ఒక కస్టమ్ OpenAI-అనుకూల ఎండ్‌పాయింట్‌ను జోడించండి: • Base URL: http://localhost:8081/v1 • API Key: ఏదైనా విలువ • Model: Lynkr గుర్తించే పేరు (ఉదాహరణకు gpt-4o-mini)

Docker వినియోగదారుల కోసం గమనిక: ఒకవేళ LibreChat Dockerలో నడుస్తుంటే, localhost కి బదులుగా http://host.docker.internal:8081/v1 ని ఉపయోగించండి.

ఇది ఎందుకు ముఖ్యం:

మీరు ప్రొవైడర్ పోర్టబిలిటీని పొందుతారు. మీ LibreChat కాన్ఫిగరేషన్‌ను మార్చకుండానే మీరు OpenRouter నుండి Bedrock కి మారవచ్చు.

మీరు మోడల్ ఏలియాస్‌లను ఉపయోగించవచ్చు. నేరుగా మోడళ్లను ఎంచుకోవడానికి బదులుగా, Lynkrలో ఇలాంటి స్థిరమైన పేర్లను సృష్టించవచ్చు:

మీరు మెరుగైన విశ్వసనీయతను పొందుతారు. మీరు ఒక ప్రైమరీ బ్యాకెండ్ మరియు ఒక ఫాల్‌బ్యాక్ బ్యాకెండ్‌ను సెటప్ చేయవచ్చు. ఒకటి విఫలమైతే, Lynkr ఆటోమేటిక్‌గా మరొక దానికి మారుతుంది.

మీ బాధ్యతలను వేరుగా ఉంచండి. యూజర్ ఎక్స్‌పీరియన్స్ కోసం LibreChatని, ఇన్‌ఫ్రాస్ట్రక్చర్ కోసం Lynkrని ఉపయోగించండి.

మూలం: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

ఐచ్ఛిక అభ్యాస కమ్యూనిటీ: https://t.me/GyaanSetuAi