AI ഏജന്റുകൾക്കായി ഒരു സെർവർലെസ്സ് വെബ് സെർച്ച് സർവീസ് നിർമ്മിക്കുന്നു

AI ഏജന്റുകൾക്ക് നിലവിലെ വസ്തുതകൾ കണ്ടെത്താൻ വെബ് സെർച്ച് ആവശ്യമാണ്.

പല ടീമുകൾ ഏജന്റുകൾ നിർമ്മിക്കുമ്പോൾ, അവർ പലപ്പോഴും വ്യത്യസ്ത സെർച്ച് പ്രൊവൈഡർമാരെയാണ് ഉപയോഗിക്കുന്നത്. ഇത് വലിയൊരു ആശയക്കുഴപ്പമുണ്ടാക്കുന്നു. ഇതിന്റെ ഫലമായി വ്യത്യസ്ത API-കൾ, വ്യത്യസ്ത ചിലവുകൾ, ചിതറിക്കിടക്കുന്ന ടൂളുകൾ എന്നിവ ഉണ്ടാകുന്നു.

PostNL-ൽ, AWS-ൽ ഒരു കേന്ദ്രീകൃത സെർച്ച് സർവീസ് നിർമ്മിച്ചുകൊണ്ട് ഞങ്ങൾ ഇതിന് പരിഹാരം കണ്ടെത്തി.

ഞങ്ങൾ ഇപ്രകാരം പ്രവർത്തിക്കുന്ന ഒരു സിസ്റ്റം നിർമ്മിച്ചു:

• എല്ലാ ടീമുകൾക്കും ഒരൊറ്റ ഇന്റർഫേസ്. • നിരവധി സെർച്ച് ബാക്കെൻഡുകൾക്കുള്ള പിന്തുണ. • കുറഞ്ഞ പ്രവർത്തനഭാരം. • കുറഞ്ഞ ചിലവ്. • ഒന്നും തകരാറിലാക്കാതെ പ്രൊവൈഡർമാരെ മാറ്റാനുള്ള കഴിവ്.

ഞങ്ങളുടെ ആർക്കിടെക്ചറിൽ ഒരു റൂട്ടിംഗ് ലെയർ (routing layer) ഉപയോഗിക്കുന്നു. ഈ ലെയർ നിങ്ങളുടെ AI ആപ്ലിക്കേഷനും സെർച്ച് പ്രൊവൈഡറും തമ്മിലാണ് പ്രവർത്തിക്കുന്നത്.

സിസ്റ്റത്തിന്റെ പ്രധാന ഭാഗങ്ങൾ:

റൂട്ടറിനായി ഞങ്ങൾ Go തിരഞ്ഞെടുത്തത് അത് വേഗതയുള്ളതും കുറഞ്ഞ മെമ്മറി ഉപയോഗിക്കുന്നതുമായതുകൊണ്ടാണ്. ഒരു ചെറിയ Lambda ഫംഗ്ഷനായി ഇത് മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നു. ഉപയോഗം കൂടുന്നതിനനുസരിച്ച് ഈ സെറ്റപ്പ് സ്വയമേവ സ്കെയിൽ (scale) ചെയ്യും.

ഞങ്ങൾ ഒരു ഹെക്സഗണൽ ആർക്കിടെക്ചറും (hexagonal architecture) ഉപയോഗിച്ചു. ഇതിനർത്ഥം നിങ്ങൾ ഏത് സെർച്ച് എഞ്ചിനാണ് ഉപയോഗിക്കുന്നത് എന്നതിനെ കോർ ലോജിക് ബാധിക്കില്ല എന്നാണ്. ഇന്ന് ഞങ്ങൾ SearXNG ആണ് ഉപയോഗിക്കുന്നത്. നാളെ ഒരു പുതിയ അഡാപ്റ്റർ (adapter) ചേർക്കുന്നതിലൂടെ മാത്രം ഞങ്ങൾക്ക് ഒരു കൊമേഴ്‌സ്യൽ പ്രൊവൈഡറിലേക്ക് മാറാൻ കഴിയും. ഉപയോക്താക്കൾക്ക് ഈ മാറ്റം ഒരിക്കലും അറിയില്ല.

ലക്ഷ്യം ലളിതമാണ്. ഞങ്ങൾ സെർച്ച് ഡാറ്റ നൽകുന്നു. AI ഏജന്റ് യുക്തിപരമായ ചിന്തകളും (reasoning) ഉത്തരങ്ങളും കൈകാര്യം ചെയ്യുന്നു.

ഈ സേവനം കേന്ദ്രീകരിക്കുന്നതിലൂടെ, ടീമുകൾ സെർച്ച് API-കളെക്കുറിച്ച് ആശങ്കപ്പെടുന്നത് നിർത്തി മികച്ച AI സൊല്യൂഷനുകൾ നിർമ്മിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു.

Source: https://dev.to/aws-builders/building-a-serverless-multi-backend-web-search-service-for-ai-agents-on-aws-1219

Optional learning community: https://t.me/GyaanSetuAi