உங்கள் ஏஜென்ட் அனைத்தையும் சரிபார்த்தது. இருப்பினும் அது தவறாக இருந்தது.

நான் ஒரு மல்டி-ஏஜென்ட் (multi-agent) பணிப்பாய்வை (workflow) இயக்குகிறேன். ஒரு மாடல் வடிவமைக்கிறது. ஒன்று குறியீட்டை (code) எழுதுகிறது. மற்றொன்று அதைச் சரிபார்க்கிறது. இறுதி முடிவை நான் அங்கீகரிக்கிறேன்.

சமீபத்தில், மூன்று தோல்விகள் இந்த பணிப்பாய்வு வழியாகச் சென்றன. ஒவ்வொரு ஏஜென்ட்டும் தனது வேலையைச் சரியாகச் செய்தது. அமைப்பு சீராக இருந்தது, இருப்பினும் அது தொடர்ந்து தவறாகவே இருந்தது.

இது ஒரு அறிவுத்திறன் சார்ந்த பிரச்சனை அல்ல. இது ஒரு எல்லை சார்ந்த பிரச்சனை (boundary problem). நீங்கள் வழங்கும் சூழலுக்குள் (context), நீங்கள் எதைக் கேட்கிறீர்களோ அதை மட்டுமே ஒரு ஏஜென்ட் செய்யும். சரிபார்க்க வேண்டிய புதிய விஷயங்களை அது தானாகவே கண்டறியாது.

இதோ மூன்று நிஜ உலகத் தோல்விகளும் அவற்றைச் சரிசெய்யும் முறைகளும்:

  1. வெற்றியில் மறைந்திருக்கும் தோல்வி ஒரு ETL பணிப்பாய்வு ஒரு API-லிருந்து தரவை எடுத்தது. API அமர்வு (session) காலாவதியானது. ஒரு பிழை குறியீட்டிற்கு (error code) பதிலாக, API ஒரு HTTP 200-ஐத் திருப்பி அனுப்பியது, ஆனால் அதனுள் JSON-இல் ஒரு பிழைச் செய்தி இருந்தது. ஏஜென்ட் பிழை குறியீட்டைச் சரிபார்த்தது, எதுவும் இல்லை என்பதைக் கண்டறிந்தது, மேலும் தரவு சரியானது என்று கருதியது.
  • தீர்வு: செமாண்டிக் சரிபார்ப்பைப் (semantic validation) பயன்படுத்துங்கள். ஒரு அழைப்பு (call) வெற்றியடைந்ததா என்பதை மட்டும் சரிபார்க்க வேண்டாம். திரும்பப் பெறப்பட்ட தரவு எதிர்பார்க்கப்பட்ட அமைப்பு மற்றும் வரி எண்ணிக்கையுடன் (row count) பொருந்துகிறதா என்பதைச் சரிபார்க்கவும்.
  1. விடுபட்ட ஆவணங்கள் (Missing artifacts) ஒரு கோட் ஜெனரேட்டர் (code generator) ஒரு சிப்பிற்கான (chip) C கோப்புகளை உருவாக்கியது. மதிப்பாய்வாளர் (reviewer) குறியீடு சரியாக இருப்பதை உறுதி செய்தார். இருப்பினும், ஜெனரேட்டர் தேவையான விட்ஜெட் டேபிள் (widget table) கோப்பை உருவாக்கவில்லை. மதிப்பாய்வாளர் இருந்த கோப்புகளைச் சரிபார்த்தார், ஆனால் விடுபட்ட கோப்புகளைச் சரிபார்க்கவில்லை.
  • தீர்வு: வெளியீட்டின் முழுமையைச் சரிபார்க்கவும். எப்போதும் தேவையான கோப்புகளை முதலில் பட்டியலிடுங்கள். அடுத்த கட்டத்திற்குச் செல்வதற்கு முன், ஒவ்வொரு கோப்பும் இருப்பதை உறுதி செய்யவும் மற்றும் அது காலியாக இல்லை என்பதை உறுதிப்படுத்தவும்.
  1. தவறான தொழில்நுட்பக் கோரிக்கைகள் (False technical claims) ஒரு SDK கோப்புறை RISC-V சிப்பிற்கானது என்று கூறப்பட்டது, ஆனால் அதன் ஹெடர் கமெண்ட்கள் (header comments) அது CSKY ப்ராசஸருக்கானது என்று கூறின. ஏஜென்ட் கோப்புறைப் பெயர் மற்றும் கமெண்ட்களை நம்பியது. அந்தத் தகவல் தவறானது என்பதை நிரூபிக்கும் உண்மையான மெஷின் இன்ஸ்ட்ரக்ஷன்களை (machine instructions) அது புறக்கணித்தது.
  • தீர்வு: உண்மைத் தரவு சரிபார்ப்பைப் (ground-truth verification) பயன்படுத்துங்கள். ஒரு கோப்பு ஏதேனும் ஒரு தகவலைக் கூறினால், ஒரு கமெண்ட் மூலம் அந்தத் தகவலைச் சோதிக்கவும். கமெண்ட்கள் அல்லது கோப்புறைப் பெயர்களை நம்ப வேண்டாம். மூலத் தரவை (raw data) நம்புங்கள்.

நீங்கள் எதைச் சரிபார்க்கச் சொல்கிறீர்களோ அதை மட்டுமே ஏஜென்ட்கள் சரிபார்க்கும். "வேறு என்ன தவறாக இருக்கலாம்?" என்று அவை கேட்காது.

நீங்கள் எல்லைகளை வடிவமைக்க வேண்டும். உங்கள் பணிப்பாய்வின் விளிம்புகளில் சரிபார்ப்புச் சோதனைப் புள்ளிகளை (verification checkpoints) நீங்கள் உருவாக்க வேண்டும்.

Source: https://dev.to/antonio_zhu_e726fd856cd86/your-agent-checked-everything-it-was-still-wrong-18kd

Optional learning community: https://t.me/GyaanSetuAi