𝗖𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝘄𝗶𝘁𝗵 𝗟𝘆𝗻𝗸𝗿 𝘃𝗶𝗮 𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀

உங்கள் சாட் ஆப்பிற்கு (chat app) வழங்குநர்களை (providers) நேரடியாக இணைப்பதைத் தவிர்க்கவும். அதற்குப் பதிலாக ஒரு கேட்வேயைப் (gateway) பயன்படுத்தவும்.

நீங்கள் LibreChat-ஐப் பயன்படுத்தினால், ஆப்பிற்கும் உங்கள் மாடல்களுக்கும் (models) இடையில் ஒரு கேட்வேயை வைப்பதன் மூலம் உங்கள் அமைப்பை (setup) எளிமையாக்கலாம். LibreChat, OpenAI-க்கு இணக்கமான (compatible) எண்ட்பாயிண்டுகளை (endpoints) ஆதரிக்கிறது. நீங்கள் LibreChat-ஐ Lynkr-க்குத் திருப்பலாம், அதன் மூலம் ரூட்டிங் (routing), கேச்சிங் (caching) மற்றும் வழங்குநர் மாற்றங்களை (provider switching) Lynkr கையாளும்.

இது உங்கள் ஆப்பை நிலையானதாக (stable) வைத்திருக்கும்.

கட்டமைப்பு (The Architecture): • பிரவுசர் LibreChat-உடன் இணைகிறது. • LibreChat, Lynkr-உடன் இணைகிறது. • Lynkr, OpenAI, Anthropic, Ollama அல்லது பிறவற்றுடன் இணைகிறது.

LibreChat, UI, ஏஜென்ட்கள் (agents) மற்றும் கோப்புகளைக் (files) கையாள்கிறது. Lynkr, ரூட்டிங், கேச்சிங் மற்றும் மாடல் கட்டுப்பாட்டை (model control) கையாள்கிறது.

இதை எவ்வாறு அமைப்பது (How to Set It Up):

  1. Lynkr-ஐ நிறுவவும் (Install Lynkr): npm install -g lynkr

  2. Lynkr-க்காக உங்கள் .env கோப்பை (file) கட்டமைக்கவும்:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

  1. Lynkr-ஐத் தொடங்கவும் (Start Lynkr): lynkr start

  2. எண்ட்பாயிண்டைச் சரிபார்க்கவும் (Verify the endpoint): curl http://localhost:8081/

LibreChat-க்கான உங்கள் அடிப்படை URL (base URL): http://localhost:8081/v1

LibreChat-இல், பின்வரும் அமைப்புகளுடன் ஒரு தனிப்பயன் (custom) OpenAI-இணக்கமான எண்ட்பாயிண்டைச் சேர்க்கவும்: • Base URL: http://localhost:8081/v1 • API Key: any value • Model: Lynkr அடையாளம் காணக்கூடிய ஒரு பெயர் (உதாரணமாக gpt-4o-mini)

Docker பயனர்களுக்கான குறிப்பு: LibreChat Docker-இல் இயங்கினால், localhost-க்கு பதிலாக http://host.docker.internal:8081/v1 என்பதைப் பயன்படுத்தவும்.

இது ஏன் முக்கியமானது (Why This Matters):

நீங்கள் வழங்குநர் மாற்றத்திறனைப் (provider portability) பெறுகிறீர்கள். உங்கள் LibreChat கட்டமைப்பை மாற்றாமலேயே OpenRouter-லிருந்து Bedrock-க்கு மாற முடியும்.

நீங்கள் மாடல் ஏலியாஸ்களைப் (model aliases) பயன்படுத்தலாம். நேரடி மாடல்களைத் தேர்ந்தெடுப்பதற்குப் பதிலாக, Lynkr-இல் நிலையான பெயர்களை உருவாக்கலாம்:

நீங்கள் சிறந்த நம்பகத்தன்மையைப் பெறுகிறீர்கள். ஒரு முதன்மை பேக்எண்ட் (primary backend) மற்றும் ஒரு மாற்று பேக்எண்ட் (fallback backend)-ஐ நீங்கள் அமைக்கலாம். ஒன்று தோல்வியடைந்தால், Lynkr தானாகவே மற்றொன்றுக்கு மாறும்.

உங்கள் பொறுப்புகளைத் தனித்தனியாக வைத்திருங்கள். பயனர் அனுபவத்தை (user experience) LibreChat கையாளட்டும், உள்கட்டமைப்பை (infrastructure) Lynkr கையாளட்டும்.

ஆதாரம் (Source): https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

விருப்பமான கற்றல் சமூகம் (Optional learning community): https://t.me/GyaanSetuAi