𝗖𝘂𝘀𝘁𝗼𝗺 𝗘𝗻𝗱𝗽𝗼𝗶𝗻𝘁𝘀를 통해 𝗟𝘆𝗻𝗸𝗿로 𝗟𝗶𝗯𝗿𝗲𝗖𝗵𝗮𝘁 𝗰𝗼𝗻𝗳𝗶𝗴𝘂𝗿𝗲하기
채팅 앱에 프로바이더를 직접 연결하지 마세요. 대신 게이트웨이를 사용하세요.
LibreChat을 실행 중이라면, 앱과 모델 사이에 게이트웨이를 배치하여 설정을 깔끔하게 정리할 수 있습니다. LibreChat은 OpenAI 호환 엔드포인트를 지원합니다. LibreChat의 연결 대상을 Lynkr로 지정하면, Lynkr가 라우팅, 캐싱 및 프로바이더 전환을 처리하도록 할 수 있습니다.
이를 통해 앱의 안정성을 유지할 수 있습니다.
아키텍처: • 브라우저가 LibreChat에 연결합니다. • LibreChat이 Lynkr에 연결합니다. • Lynkr가 OpenAI, Anthropic, Ollama 또는 기타 서비스에 연결합니다.
LibreChat은 UI, 에이전트 및 파일을 관리합니다. Lynkr는 라우팅, 캐싱 및 모델 제어를 관리합니다.
설정 방법:
Lynkr 설치: npm install -g lynkr
Lynkr를 위한 .env 파일 구성: MODEL_PROVIDER=ollama OLLAMA_ENDPOINT=http://localhost:11434 OLLAMA_MODEL=qwen2.5-coder:latest PORT=8081 PROMPT_CACHE_ENABLED=true SEMANTIC_CACHE_ENABLED=true
Lynkr 시작: lynkr start
엔드포인트 확인: curl http://localhost:8081/
LibreChat용 기본 URL은 다음과 같습니다: http://localhost:8081/v1
LibreChat에서 다음 설정으로 커스텀 OpenAI 호환 엔드포인트를 추가하세요: • Base URL: http://localhost:8081/v1 • API Key: 아무 값이나 입력 • Model: Lynkr가 인식하는 이름 (예: gpt-4o-mini)
Docker 사용자 참고 사항: LibreChat이 Docker에서 실행되는 경우, localhost 대신 http://host.docker.internal:8081/v1을 사용하세요.
이것이 중요한 이유:
프로바이더 이식성을 확보할 수 있습니다. LibreChat 설정을 변경하지 않고도 OpenRouter에서 Bedrock으로 전환할 수 있습니다.
모델 별칭(alias)을 사용할 수 있습니다. 원시 모델을 직접 선택하는 대신, Lynkr에서 다음과 같이 안정적인 이름을 만들 수 있습니다:
- chat-fast (저렴한 모델로 라우팅)
- chat-quality (성능이 뛰어난 모델로 라우팅)
신뢰성이 향상됩니다. 기본 백엔드와 폴백(fallback) 백엔드를 설정할 수 있습니다. 하나가 실패하면 Lynkr가 자동으로 다른 백엔드로 전환합니다.
역할을 분리하세요. LibreChat은 사용자 경험을 담당하고, Lynkr는 인프라를 담당하게 하세요.
선택 사항 학습 커뮤니티: https://t.me/GyaanSetuAi