𝗖𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝘄𝗶𝘁𝗵 𝗟𝘆𝗻𝗸𝗿 𝘃𝗶𝗮 𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀

പ്രൊവൈഡറുകളെ നേരിട്ട് നിങ്ങളുടെ ചാറ്റ് ആപ്പുമായി ബന്ധിപ്പിക്കുന്നത് ഒഴിവാക്കുക. പകരം ഒരു ഗേറ്റ്‌വേ ഉപയോഗിക്കുക.

നിങ്ങൾ LibreChat ആണ് ഉപയോഗിക്കുന്നതെങ്കിൽ, ആപ്പിനും നിങ്ങളുടെ മോഡലുകൾക്കും ഇടയിൽ ഒരു ഗേറ്റ്‌വേ ഉപയോഗിക്കുന്നതിലൂടെ നിങ്ങളുടെ സെറ്റപ്പ് കൂടുതൽ ലളിതമാക്കാം. LibreChat, OpenAI-compatible എൻഡ്പോയിന്റുകളെ പിന്തുണയ്ക്കുന്നു. നിങ്ങൾക്ക് LibreChat-നെ Lynkr-ലേക്ക് തിരിച്ചുവിടാം, അങ്ങനെ റൂട്ടിംഗ് (routing), കാഷിംഗ് (caching), പ്രൊവൈഡർ മാറ്റൽ (provider switching) എന്നിവ Lynkr കൈകാര്യം ചെയ്യും.

ഇത് നിങ്ങളുടെ ആപ്പിന്റെ സ്ഥിരത നിലനിർത്തുന്നു.

ആർക്കിടെക്ചർ (The Architecture): • ബ്രൗസർ LibreChat-മായി ബന്ധപ്പെടുന്നു. • LibreChat Lynkr-മായി ബന്ധപ്പെടുന്നു. • Lynkr OpenAI, Anthropic, Ollama അല്ലെങ്കിൽ മറ്റുള്ളവയുമായി ബന്ധപ്പെടുന്നു.

LibreChat UI, ഏജന്റുകൾ, ഫയലുകൾ എന്നിവ നിയന്ത്രിക്കുന്നു. Lynkr റൂട്ടിംഗ്, കാഷിംഗ്, മോഡൽ കൺട്രോൾ എന്നിവ നിയന്ത്രിക്കുന്നു.

എങ്ങനെ സെറ്റപ്പ് ചെയ്യാം:

  1. Lynkr ഇൻസ്റ്റാൾ ചെയ്യുക: npm install -g lynkr

  2. Lynkr-നായി നിങ്ങളുടെ .env ഫയൽ കോൺഫിഗർ ചെയ്യുക:

MODEL_PROVIDER=ollama
OLLAMA_ENDPOINT=http://localhost:11434
OLLAMA_MODEL=qwen2.5-coder:latest
PORT=8081
PROMPT_CACHE_ENABLED=true
SEMANTIC_CACHE_ENABLED=true

  1. Lynkr സ്റ്റാർട്ട് ചെയ്യുക: lynkr start

  2. എൻഡ്പോയിന്റ് പരിശോധിക്കുക: curl http://localhost:8081/

LibreChat-നുള്ള നിങ്ങളുടെ ബേസ് URL ഇതാണ്: http://localhost:8081/v1

LibreChat-ൽ, താഴെ പറയുന്ന ക്രമീകരണങ്ങളോടെ ഒരു കസ്റ്റം OpenAI-compatible എൻഡ്പോയിന്റ് ചേർക്കുക: • Base URL: http://localhost:8081/v1 • API Key: ഏതെങ്കിലും ഒരു വാല്യൂ (any value) • Model: Lynkr തിരിച്ചറിയുന്ന ഒരു പേര് (ഉദാഹരണത്തിന് gpt-4o-mini)

Docker ഉപയോക്താക്കൾക്കുള്ള കുറിപ്പ്: LibreChat Docker-ലാണ് പ്രവർത്തിക്കുന്നതെങ്കിൽ, localhost-ന് പകരം http://host.docker.internal:8081/v1 ഉപയോഗിക്കുക.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്:

നിങ്ങൾക്ക് പ്രൊവൈഡർ പോർട്ടബിലിറ്റി (provider portability) ലഭിക്കുന്നു. LibreChat കോൺഫിഗറേഷനിൽ മാറ്റം വരുത്താതെ തന്നെ നിങ്ങൾക്ക് OpenRouter-ൽ നിന്ന് Bedrock-ലേക്ക് മാറാൻ കഴിയും.

നിങ്ങൾക്ക് മോഡൽ ഏലിയാസുകൾ (model aliases) ഉപയോഗിക്കാം. നേരിട്ടുള്ള മോഡലുകൾ തിരഞ്ഞെടുക്കുന്നതിന് പകരം, Lynkr-ൽ നിങ്ങൾക്ക് താഴെ പറയുന്നതുപോലെ സ്ഥിരമായ പേരുകൾ സൃഷ്ടിക്കാം:

നിങ്ങൾക്ക് മികച്ച വിശ്വാസ്യത ലഭിക്കുന്നു. നിങ്ങൾക്ക് ഒരു പ്രൈമറി ബാക്കെൻഡും (primary backend) ഒരു ഫാള்பാക്ക് ബാക്കെൻഡും (fallback backend) സജ്ജീകരിക്കാം. ഒന്ന് പരാജയപ്പെട്ടാൽ, Lynkr സ്വയമേവ മറ്റൊന്നിലേക്ക് മാറുന്നു.

ഉത്തരവാദിത്തങ്ങൾ വേർതിരിച്ചു വെക്കുക. യൂസർ എക്സ്പീരിയൻസ് കൈകാര്യം ചെയ്യാൻ LibreChat-നെയും ഇൻഫ്രാസ്ട്രക്ചർ കൈകാര്യം ചെയ്യാൻ Lynkr-നെയും അനുവദിക്കുക.

സ്രോതസ്സ്: https://dev.to/lynkr/how-to-configure-librechat-with-lynkr-using-a-custom-openai-compatible-endpoint-3423

ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi