𝗖𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝘄𝗶𝘁𝗵 𝗟𝘆𝗻𝗸𝗿 𝘃𝗶𝗮 𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀

𝗖𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝘄𝗶𝘁𝗵 𝗟𝘆𝗻𝗸𝗿 𝘃𝗶𝗮 𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀

ਆਪਣੇ ਚੈਟ ਐਪ ਨੂੰ ਸਿੱਧੇ ਪ੍ਰੋਵਾਈਡਰਾਂ ਨਾਲ ਜੋੜਨਾ ਬੰਦ ਕਰੋ। ਇਸ ਦੀ ਬਜਾਏ ਇੱਕ ਗੇਟਵੇ (gateway) ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਜੇਕਰ ਤੁਸੀਂ LibreChat ਚਲਾਉਂਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਐਪ ਅਤੇ ਆਪਣੇ ਮਾਡਲਾਂ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਗੇਟਵੇ ਰੱਖ ਕੇ ਆਪਣੇ ਸੈੱਟਅੱਪ ਨੂੰ ਸਾਫ਼-ਸੁਥਰਾ ਬਣਾ ਸਕਦੇ ਹੋ। LibreChat, OpenAI-ਅਨੁਕੂਲ (compatible) ਐਂਡਪੁਆਇੰਟਸ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਤੁਸੀਂ LibreChat ਨੂੰ Lynkr ਵੱਲ ਮੋੜ ਸਕਦੇ ਹੋ ਅਤੇ Lynkr ਨੂੰ ਰੂਟਿੰਗ, ਕੈਸ਼ਿੰਗ, ਅਤੇ ਪ੍ਰੋਵਾਈਡਰ ਬਦਲਣ ਦੀ ਜ਼ਿੰਮੇਵਾਰੀ ਸੌਂਪ ਸਕਦੇ ਹੋ।

ਇਹ ਤੁਹਾਡੀ ਐਪ ਨੂੰ ਸਥਿਰ (stable) ਰੱਖਦਾ ਹੈ।

ਆਰਕੀਟੈਕਚਰ (The Architecture): • ਬ੍ਰਾਊਜ਼ਰ LibreChat ਨਾਲ ਜੁੜਦਾ ਹੈ। • LibreChat, Lynkr ਨਾਲ ਜੁੜਦਾ ਹੈ। • Lynkr, OpenAI, Anthropic, Ollama, ਜਾਂ ਹੋਰਾਂ ਨਾਲ ਜੁੜਦਾ ਹੈ।

LibreChat UI, ਏਜੰਟਸ ਅਤੇ ਫਾਈਲਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦਾ ਹੈ। Lynkr ਰੂਟਿੰਗ, ਕੈਸ਼ਿੰਗ ਅਤੇ ਮਾਡਲ ਕੰਟਰੋਲ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦਾ ਹੈ।

ਇਸ ਨੂੰ ਕਿਵੇਂ ਸੈੱਟਅੱਪ ਕਰੀਏ:

1. Lynkr ਇੰਸਟਾਲ ਕਰੋ: npm install -g lynkr

2. Lynkr ਲਈ ਆਪਣੀ .env ਫਾਈਲ ਕੰਫਿਗਿਅਰ ਕਰੋ: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true

3. Lynkr ਸ਼ੁਰੂ ਕਰੋ: lynkr start

4. ਐਂਡਪੁਆਇੰਟ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ: curl http://localhost:8081/

LibreChat ਲਈ ਤੁਹਾਡਾ ਬੇਸ URL ਹੈ: http://localhost:8081/v1

LibreChat ਵਿੱਚ, ਇਹਨਾਂ ਸੈਟਿੰਗਾਂ ਨਾਲ ਇੱਕ ਕਸਟਮ OpenAI-ਅਨੁਕੂਲ ਐਂਡਪੁਆਇੰਟ ਜੋੜੋ: • Base URL: http://localhost:8081/v1 • API Key: ਕੋਈ ਵੀ ਮੁੱਲ (any value) • Model: ਇੱਕ ਨਾਮ ਜਿਸਨੂੰ Lynkr ਪਛਾਣਦਾ ਹੋਵੇ (ਜਿਵੇਂ gpt-4o-mini)

Docker ਵਰਤੋਂਕਾਰਾਂ ਲਈ ਨੋਟ: ਜੇਕਰ LibreChat Docker ਵਿੱਚ ਚੱਲ ਰਿਹਾ ਹੈ, ਤਾਂ localhost ਦੀ ਬਜਾਏ http://host.docker.internal:8081/v1 ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ:

ਤੁਹਾਨੂੰ ਪ੍ਰੋਵਾਈਡਰ ਪੋਰਟੇਬਿਲਟੀ (portability) ਮਿਲਦੀ ਹੈ। ਤੁਸੀਂ ਆਪਣੀ LibreChat ਕੰਫਿਗਰੇਸ਼ਨ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ OpenRouter ਤੋਂ Bedrock 'ਤੇ ਜਾ ਸਕਦੇ ਹੋ।

ਤੁਸੀਂ ਮਾਡਲ ਐਲੀਏਸ (aliases) ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਸਿੱਧੇ ਮਾਡਲਾਂ ਦੀ ਚੋਣ ਕਰਨ ਦੀ ਬਜਾਏ, ਤੁਸੀਂ Lynkr ਵਿੱਚ ਅਜਿਹੇ ਸਥਿਰ ਨਾਮ ਬਣਾ ਸਕਦੇ ਹੋ:

• chat-fast (ਸਸਤੇ ਮਾਡਲ ਵੱਲ ਰੂਟ ਕਰਦਾ ਹੈ)
• chat-quality (ਮਜ਼ਬੂਤ ਮਾਡਲ ਵੱਲ ਰੂਟ ਕਰਦਾ ਹੈ)

ਤੁਹਾਨੂੰ ਬਿਹਤਰ ਭਰੋਸੇਯੋਗਤਾ ਮਿਲਦੀ ਹੈ। ਤੁਸੀਂ ਇੱਕ ਪ੍ਰਾਇਮਰੀ ਬੈਕਐਂਡ ਅਤੇ ਇੱਕ ਫਾਲਬੈਕ (fallback) ਬੈਕਐਂਡ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ। ਜੇਕਰ ਇੱਕ ਫੇਲ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ Lynkr ਆਪਣੇ ਆਪ ਦੂਜੇ 'ਤੇ ਬਦਲ ਜਾਂਦਾ ਹੈ।

ਆਪਣੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਨੂੰ ਵੱਖ ਰੱਖੋ। LibreChat ਨੂੰ ਯੂਜ਼ਰ ਐਕਸਪੀਰੀਅੰਸ (user experience) ਸੰਭਾਲਣ ਦਿਓ ਅਤੇ Lynkr ਨੂੰ ਇਨਫਰਾਸਟ੍ਰਕਚਰ (infrastructure) ਸੰਭਾਲਣ ਦਿਓ।

ਸਰੋਤ: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi