Ubuntu 24.04에 Jina Serve 배포하기

Jina Serve는 뉴럴 검색 및 AI 애플리케이션 구축을 도와줍니다. 클라우드 네이티브 런타임을 사용하여 배칭(batching)과 마이크로서비스를 관리합니다.

이 가이드는 Docker Compose와 보안 HTTPS를 위한 Traefik을 사용하여 Ubuntu 24.04에 Jina Flow를 배포하는 방법을 설명합니다.

배포 단계:

  1. 프로젝트 구조 설정 executor를 위한 디렉토리를 생성하고 해당 디렉토리로 이동합니다.

  2. executor 모듈 작성 텍스트 처리를 담당할 Python 스크립트를 생성합니다. 여기서 index 및 search 엔드포인트를 정의할 수 있습니다.

  3. 의존성 정의 requirements.txt 파일에 jina와 docarray를 나열합니다.

  4. 로더(loader) 설정 config.yml 파일을 사용하여 Python 모듈을 Jina에 연결합니다.

  5. Flow 정의 프로토콜과 포트를 설정하기 위해 flow.yml 파일을 생성합니다.

  6. Docker 이미지 빌드 flow와 의존성을 하나의 컨테이너로 만들기 위해 Dockerfile을 작성합니다.

  7. 환경 변수 설정 .env 파일을 사용하여 SSL 인증서를 위한 도메인과 이메일을 관리합니다.

  8. Docker Compose 설정 Traefik을 사용하여 자동 HTTPS를 처리합니다. 이를 통해 API 보안을 보장할 수 있습니다.

  9. 스택 시작 docker compose up을 실행하여 서비스를 빌드하고 시작합니다.

실행이 완료되면 curl 명령어로 API를 테스트할 수 있습니다. /index 엔드포인트로 텍스트를 보내 처리된 결과를 받을 수 있습니다.

AI 서비스를 위한 다음 단계: • 임베딩(embedding) 및 랭킹(ranking)을 위한 executor 추가. • 더 빠른 처리를 위해 GPU 이미지 사용. • 데이터를 저장하기 위해 Qdrant 또는 Weaviate와 같은 벡터 스토어에 연결.

Source: https://dev.to/vultr/deploying-jina-serve-open-source-neural-search-and-ai-serving-framework-on-ubuntu-2404-1m8g

Optional learning community: https://t.me/GyaanSetuAi