Xây dựng MCP Server và Client với Spring AI và Ollama
Các mô hình AI nên làm được nhiều hơn là chỉ trả lời câu hỏi. Chúng cần tương tác với các hệ thống bên ngoài và thực hiện các hành động thực tế.
Model Context Protocol (MCP) giúp điều này trở nên khả thi. Đây là một giao thức mở cho phép các ứng dụng AI chia sẻ công cụ, dữ liệu và các prompt bằng một ngôn ngữ chung.
Tôi đã xây dựng một hệ thống hoàn chỉnh sử dụng:
- Java 17 và Spring Boot
- Spring AI 1.0.0
- Ollama cho các LLM chạy cục bộ
- Docker để triển khai
- WebFlux để streaming thời gian thực
Kiến trúc: • Người dùng gửi một prompt thông qua Rest API. • MCP Client sử dụng Spring AI để giao tiếp với LLM. • LLM sử dụng Ollama để xử lý yêu cầu cục bộ. • Nếu LLM cần thực hiện hành động, nó sẽ gọi MCP Server. • MCP Server thực thi công cụ và trả về dữ liệu.
Những gì bạn có thể xây dựng với hệ thống này:
- Tools: Các hành động như lấy thông tin thời tiết hoặc tìm kiếm cơ sở dữ liệu.
- Resources: Dữ liệu như tài liệu hoặc các tệp cấu hình.
- Prompts: Các mẫu có thể tái sử dụng để hướng dẫn AI.
Trong dự án này, mô hình sử dụng một công cụ để tìm kiếm các bất động sản bị định giá thấp. Nó trả về kết quả thời gian thực thông qua một stream. Bạn có thể chạy toàn bộ thiết lập này cục bộ bằng Docker và mô hình Granite4:3b.
Kiểm tra toàn bộ mã nguồn và hướng dẫn từng bước trên GitHub.
Nguồn: https://dev.to/jlcastrillon91/building-an-mcp-server-and-client-with-spring-ai-and-ollama-ccl
Cộng đồng học tập tùy chọn: https://t.me/GyaanSetuAi