Spring AI మరియు Ollama తో ఒక MCP Server మరియు Client ని నిర్మించడం

AI మోడల్స్ కేవలం ప్రశ్నలకు సమాధానాలు ఇవ్వడమే కాకుండా, అంతకంటే ఎక్కువ చేయాలి. అవి బాహ్య వ్యవస్థలతో (external systems) పరస్పర చర్యలు జరపాలి మరియు నిజమైన పనులను చేయగలగాలి.

Model Context Protocol (MCP) దీనిని సాధ్యం చేస్తుంది. ఇది ఒక ఓపెన్ ప్రోటోకాల్, ఇది AI అప్లికేషన్లు ఒకే భాషను ఉపయోగించి టూల్స్, డేటా మరియు ప్రాంప్ట్‌లను పంచుకోవడానికి అనుమతిస్తుంది.

నేను వీటిని ఉపయోగించి ఒక పూర్తి వ్యవస్థను నిర్మించాను:

  • Java 17 మరియు Spring Boot
  • Spring AI 1.0.0
  • లోకల్ LLMల కోసం Ollama
  • డిప్లాయ్‌మెంట్ కోసం Docker
  • రియల్-టైమ్ స్ట్రీమింగ్ కోసం WebFlux

ఆర్కిటెక్చర్ (The Architecture): • యూజర్ ఒక Rest API ద్వారా ప్రాంప్ట్‌ను పంపుతారు. • MCP Client, LLMతో మాట్లాడటానికి Spring AIని ఉపయోగిస్తుంది. • LLM రిక్వెస్ట్‌ను లోకల్‌గా ప్రాసెస్ చేయడానికి Ollamaని ఉపయోగిస్తుంది. • ఒకవేళ LLM ఏదైనా చర్య తీసుకోవాల్సి వస్తే, అది MCP Serverని పిలుస్తుంది. • MCP Server ఆ టూల్‌ను అమలు చేసి, డేటాను తిరిగి పంపుతుంది.

దీనితో మీరు ఏమి నిర్మించవచ్చు:

  • Tools: వాతావరణ సమాచారాన్ని సేకరించడం లేదా డేటాబేస్‌లను వెతకడం వంటి పనులు.
  • Resources: డాక్యుమెంట్లు లేదా కాన్ఫిగరేషన్ ఫైల్స్ వంటి డేటా.
  • Prompts: AIని నడిపించడానికి ఉపయోగపడే మళ్ళీ మళ్ళీ వాడుకోగలిగే (reusable) టెంప్లేట్లు.

ఈ ప్రాజెక్ట్‌లో, మోడల్ తక్కువ విలువ కలిగిన ఆస్తులను (undervalued properties) కనుగొనడానికి ఒక టూల్‌ను ఉపయోగిస్తుంది. ఇది స్ట్రీమ్ ద్వారా రియల్-టైమ్ ఫలితాలను అందిస్తుంది. మీరు Docker మరియు Granite4:3b మోడల్‌ని ఉపయోగించి మొత్తం సెటప్‌ను లోకల్‌గా రన్ చేయవచ్చు.

పూర్తి కోడ్ మరియు స్టెప్-బై-స్టెప్ గైడ్‌ను GitHubలో చూడండి.

Source: https://dev.to/jlcastrillon91/building-an-mcp-server-and-client-with-spring-ai-and-ollama-ccl

Optional learning community: https://t.me/GyaanSetuAi