ಸ್ವಯಂಚಾಲಿತ ಕಾರ್ಯವಿಧಾನಗಳಲ್ಲಿ (Automated Workflows) LLM ಇಮೇಲ್‌ಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುವುದು

ಒಂದು LLM ಏಜೆಂಟ್ ಇಮೇಲ್‌ಗಳನ್ನು ಕಳುಹಿಸಲು ಅಥವಾ ಟಿಕೆಟ್‌ಗಳನ್ನು ಅನುಮೋದಿಸಲು ಪ್ರಾರಂಭಿಸಿದಾಗ, ಸಮಸ್ಯೆ ಬದಲಾಗುತ್ತದೆ. ಇದು ಕೇವಲ ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ (prompt) ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ ಎಂಬ ವಿಷಯವಾಗಿ ಉಳಿಯುವುದಿಲ್ಲ. ಈಗ, ನಿಮ್ಮ ವ್ಯವಸ್ಥೆಯು ಮೂರು ಪದರಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ: ನಿರ್ಧಾರ (decision), ಅನುಷ್ಠಾನ (execution), ಮತ್ತು ಪರಿಶೀಲನೆ (verification).

ನೀವು ಈ ಪದರಗಳನ್ನು ಬೆರೆಸಿದರೆ, ಏಜೆಂಟ್ ವಾಸ್ತವವಾಗಿ ಏನು ಮಾಡಿತು ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ನಿಮ್ಮ ತಂಡವು ಕಷ್ಟಪಡುತ್ತದೆ.

ಇಮೇಲ್ ಹಂತವು ಹೆಚ್ಚಾಗಿ ಕಾರ್ಯವಿಧಾನದ (workflow) ಅಂತ್ಯದಂತೆ ಕಾಣುತ್ತದೆ. ಆದರೆ ವಾಸ್ತವದಲ್ಲಿ, ವಿಫಲತೆಗಳು ಮೊದಲು ಕಾಣಿಸಿಕೊಳ್ಳುವುದು ಇಲ್ಲೇ. ಏಜೆಂಟ್ ಒಂದು ವಿನಂತಿಯನ್ನು ಸರಿಯಾಗಿ ವರ್ಗೀಕರಿಸಬಹುದು, ಆದರೆ ಅದನ್ನು ತಪ್ಪು ವ್ಯಕ್ತಿಗೆ ಕಳುಹಿಸಬಹುದು ಅಥವಾ ಅವಧಿ ಮುಗಿದ ಲಿಂಕ್ ಅನ್ನು ಬಳಸಬಹುದು. ನೀವು ಪರೀಕ್ಷೆಗಳು (tests) ಮತ್ತು ಟ್ರೇಸ್‌ಗಳನ್ನು (traces) ಪ್ರತ್ಯೇಕಿಸಬೇಕು.

ಸ್ಥಿರವಾದ ವಿನ್ಯಾಸವು ಬುದ್ಧಿವಂತಿಕೆಯನ್ನು (intelligence) ಏಕಕಾಲದಲ್ಲಿ ಪರೀಕ್ಷಿಸಲು ಪ್ರಯತ್ನಿಸುವುದಿಲ್ಲ. ಬದಲಾಗಿ, ನಿಮ್ಮ ವ್ಯವಸ್ಥೆಯನ್ನು ಸಣ್ಣ ಒಪ್ಪಂದಗಳಾಗಿ (contracts) ವಿಂಗಡಿಸಿ:

  • ಇನ್‌ಪುಟ್ ಕಾಂಟ್ರಾಕ್ಟ್ (Input Contract): ಏಜೆಂಟ್ ಯಾವ ಡೇಟಾವನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ಅದು ಯಾವ ಕ್ರಮಗಳನ್ನು ವಿನಂತಿಸಬಹುದು ಎಂಬುದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ.
  • ಎಕ್ಸಿಕ್ಯೂಷನ್ ಕಾಂಟ್ರಾಕ್ಟ್ (Execution Contract): ಒಂದು ಕ್ರಮವು ನಿರ್ದಿಷ್ಟ ಇಮೇಲ್ ಆಗಿ ಹೇಗೆ ಬದಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿ.
  • ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ ಕಾಂಟ್ರಾಕ್ಟ್ (Observability Contract): ಲಾಗ್‌ಗಳು (logs), ಸ್ವೀಕರಿಸಿದ ಸಂದೇಶಗಳು ಮತ್ತು ಅಂತಿಮ ವ್ಯವಸ್ಥೆಯ ಸ್ಥಿತಿಯನ್ನು (system state) ಜೋಡಿಸಿ.

ಇಮೇಲ್ ತರ್ಕವನ್ನು (logic) ಮುಕ್ತ ಪ್ರಾಂಪ್ಟ್‌ನಿಂದ ಹೊರಗಿಡಿ. LLM send_followup_email ನಂತಹ ಕ್ರಮವನ್ನು ಸೂಚಿಸಬಹುದು. ಆದಾಗ್ಯೂ, ಮಾಡೆಲ್ ಹೆಡರ್‌ಗಳು (headers), ಸ್ವೀಕರಿಸುವವರು ಅಥವಾ ಮರುಪ್ರಯತ್ನದ ನೀತಿಗಳನ್ನು (retry policies) ನಿರ್ಧರಿಸಬಾರದು. ಈ ಪರಿವರ್ತನೆಗಳಿಗಾಗಿ ಡೆಟರ್ಮಿನಿಸ್ಟಿಕ್ ಕೋಡ್ (deterministic code) ಬಳಸಿ.

ಈ ವಿಧಾನವು ಕಾರ್ಯಾಚರಣೆಯ ಅಪಾಯವನ್ನು (operational risk) ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. LLM ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ, ವ್ಯವಸ್ಥೆಯು ದೃಢೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಎಕ್ಸಿಕ್ಯೂಟರ್ ಕಳುಹಿಸುತ್ತದೆ.

ಸ್ಪಷ್ಟ ಗೋಚರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳಲು, ಈ ನಾಲ್ಕು ಸಂಕೇತಗಳನ್ನು (signals) ಪತ್ತೆಹಚ್ಚಿ:

  • ಏಜೆಂಟ್ ತೆಗೆದುಕೊಂಡ ನಿರ್ಧಾರ ಮತ್ತು ಬಳಸಿದ ಸಂದರ್ಭ (context).
  • ಇಮೇಲ್ ಎಕ್ಸಿಕ್ಯೂಟರ್‌ಗೆ ಕಳುಹಿಸಲಾದ ಅಂತಿಮ ಕಮಾಂಡ್.
  • ಪ್ರತ್ಯೇಕ ಇನ್‌ಬಾಕ್ಸ್‌ನಲ್ಲಿ ಸ್ವೀಕರಿಸಿದ ಸಂದೇಶ.
  • ಲಿಂಕ್ ಕ್ಲಿಕ್ ಮಾಡಿದ ನಂತರ ಅಥವಾ ಕ್ರಮವನ್ನು ಖಚಿತಪಡಿಸಿದ ನಂತರದ ಅಂತಿಮ ಪರಿಣಾಮ.

ಆರಂಭಿಕ ಘಟನೆಯಿಂದ ಅಂತಿಮ ಕ್ಲಿಕ್ ವರೆಗೆ ಹಂಚಿಕೆಯ trace_id ಅನ್ನು ಬಳಸಿ. ಇದು ತಪ್ಪುಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಕಂಡುಹಿಡಿಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ವಿಫಲತೆಯು ಮಾಡೆಲ್‌ನಲ್ಲಿ, ಟೂಲ್ ಪಾಲಿಸಿಯಲ್ಲಿ ಅಥವಾ ವರ್ಕರ್‌ನಲ್ಲಿ ಸಂಭವಿಸಿದೆಯೇ ಎಂಬುದು ನಿಮಗೆ ತಿಳಿಯುತ್ತದೆ.

ಉತ್ತಮ ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವಿಕೆಗಾಗಿ ಈ ಚೆಕ್‌ಲಿಸ್ಟ್ ಅನ್ನು ಅನುಸರಿಸಿ:

  • ಪ್ರತಿ ಎಕ್ಸಿಕ್ಯೂಷನ್‌ಗೆ ತನ್ನದೇ ಆದ trace_id ಇರುತ್ತದೆ.
  • LLM ಕೇವಲ ಮಾನ್ಯವಾದ ಸ್ಕೀಮಾದೊಳಗೆ (valid schema) ಕ್ರಮಗಳನ್ನು ವಿನಂತಿಸುತ್ತದೆ.
  • ಇಮೇಲ್ ಎಕ್ಸಿಕ್ಯೂಟರ್ ಸ್ವೀಕರಿಸುವವರು ಮತ್ತು ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಮರು-ಪರಿಶೀಲಿಸುತ್ತದೆ.
  • ಪ್ರತಿ ಪರೀಕ್ಷಾ ಸನ್ನಿವೇಶವು ತನ್ನದೇ ಆದ ಪ್ರತ್ಯೇಕ ಇನ್‌ಬಾಕ್ಸ್ ಅನ್ನು ಬಳಸುತ್ತದೆ.
  • ಅಂತಿಮ ಕ್ಲಿಕ್ ನಿರೀಕ್ಷಿತ ಸ್ಥಿತಿ ಬದಲಾವಣೆಯನ್ನು ಖಚಿತಪಡಿಸುತ್ತದೆ.
  • ಲಾಗ್‌ಗಳು ಊಹಿಸದೆ ಪ್ರಕರಣವನ್ನು ಅನುಸರಿಸಲು ನಿಮಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತವೆ.

ಈ ಹಂತಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುವುದು ಸ್ವಲ್ಪ ಹೆಚ್ಚಿನ ಕೆಲಸವನ್ನು ಸೇರಿಸುತ್ತದೆ. ಆದರೆ ಇದು ನಿಮಗೆ ಅಮೂಲ್ಯವಾದದ್ದನ್ನು ನೀಡುತ್ತದೆ: ಒಂದು ಇಮೇಲ್ ಏಕೆ ಕಳುಹಿಸಲ್ಪಟ್ಟಿತು ಅಥವಾ ಅದು ಏಕೆ ವಿಫಲವಾಯಿತು ಎಂಬುದನ್ನು ವಿವರಿಸುವ ಸಾಮರ್ಥ್ಯ.

ಮೂಲ: https://dev.to/silviutech/como-aislar-emails-de-agentes-llm-en-flujos-automatizados-sin-perder-trazabilidad-26ac

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi