Một quy trình (pipeline) bán tự động với bốn tác nhân (agent) có thể cắt giảm tình trạng ảo giác (hallucinations) trong phân tích dữ liệu khám phá (EDA) bằng cách tách biệt các mô hình ngôn ngữ lớn (LLM) khỏi việc tính toán số liệu và chỉ để chúng thực hiện các quyết định mang tính đánh giá. Thiết kế này cho phép mô hình quyết định cần kiểm tra cái gì, trong khi mã code thuần túy chạy trong môi trường sandbox sẽ thực hiện các phép tính thực tế, mang lại kết quả có thể kiểm chứng từng bước một.
Tại sao chỉ sử dụng một lần gọi LLM lại rủi ro
Việc yêu cầu một LLM "hãy nhìn vào bảng tính này và cho tôi biết điều gì thú vị" sẽ chỉ trả về một khối văn bản duy nhất. Mô hình có thể tự bịa ra các con số, trộn lẫn lập luận với kết quả đầu ra và không để lại dấu vết nào về cách dẫn đến kết luận đó. Khi nó xảy ra hiện tượng ảo giác—như một thống kê bịa đặt hoặc một mối tương quan sai lệch—sẽ không có điểm kiểm soát nào để phát hiện lỗi trước khi nó đến tay người dùng.
Ý tưởng đằng sau một quy trình bán tự động
Quy trình làm việc mới chia EDA thành bốn giai đoạn cố định, mỗi giai đoạn được xử lý bởi một tác nhân riêng. Các tác nhân tuân theo mô hình “lập kế hoạch rồi hành động” (plan-then-act): trước tiên chúng quyết định thao tác nào là cần thiết, sau đó chuyển thao tác đó cho mã code chạy trong sandbox để thực hiện. LLM không bao giờ thực hiện các phép tính số học hay thao tác tệp; nó chỉ đưa ra đánh giá về tính phù hợp.
Bốn tác nhân
- Tác nhân làm sạch dữ liệu (Data-cleaning agent) – kiểm tra các kiểu cột, đánh dấu các giá trị thiếu và quyết định các chiến lược gán giá trị (imputation) hoặc chuyển đổi kiểu dữ liệu.
- Tác nhân phân tích cột (Column-analysis agent) – lựa chọn các hình thức trực quan hóa phù hợp (biểu đồ histogram, biểu đồ hộp, v.v.) cho từng biến dựa trên kiểu dữ liệu và phân phối của nó.
- Tác nhân phân tích mối quan hệ (Relationship-analysis agent) – đánh giá mọi cặp cột, chọn ra những cặp xứng đáng được kiểm tra thống kê sâu hơn và sắp xếp chúng theo tiềm năng mang lại thông tin hữu ích.
- Tác nhân viết báo cáo (Report-writing agent) – chuyển đổi các biểu đồ đã tạo và các thống kê đã tính toán thành các lời giải thích bằng ngôn ngữ tự nhiên, làm nổi bật các mẫu hình đáng chú ý và các lưu ý quan trọng.
Mỗi giai đoạn chạy độc lập, vì vậy các tác nhân phân tích cột và phân tích mối quan hệ có thể thực hiện song song, giúp rút ngắn thời gian của toàn bộ quy trình.
Cách kiểm soát mức độ tự động
Quy tắc an toàn của quy trình rất đơn giản: bất kỳ mã code nào mô hình viết ra đều chạy bên trong một sandbox để cách ly nó khỏi hệ thống máy chủ. Nếu việc thực thi thất bại, lỗi sẽ được phản hồi lại cho mô hình, mô hình sẽ có tối đa hai lần thử để sửa lại mã trước khi quy trình bị hủy bỏ. Điều này ngăn chặn các vòng lặp vô tận và đảm bảo rằng mô hình không bao giờ trực tiếp thao tác với các tệp hoặc thực hiện các phép tính số học.
Vì vai trò của mô hình chỉ giới hạn ở việc quyết định cần tính toán cái gì, nên các con số thực tế luôn đến từ mã code có tính xác định (deterministic code). Nếu tác nhân phân tích mối quan hệ nghi ngờ có mối liên hệ giữa “Order ID” và “Month”, sandbox sẽ chạy một hàm tương quan, trả về giá trị chính xác, và chỉ sau đó mô hình mới đưa ra nhận xét về việc liệu mối tương quan đó có khả năng là quan hệ nhân quả hay chỉ là ngẫu nhiên.
Những gì giải quyết được – và cái giá phải trả
Giảm thiểu ảo giác. Bằng cách tách biệt lập luận khỏi tính toán, quy trình này loại bỏ nguồn gốc phổ biến nhất của các thống kê bịa đặt: việc mô hình tự đoán số thay vì để mã code tạo ra chúng.
Tính mô-đun. Việc thêm một giai đoạn mới—chẳng hạn như một tác nhân dự báo chuỗi thời gian—không yêu cầu phải viết lại toàn bộ prompt. Mỗi tác nhân là một mô-đun độc lập có thể cắm vào trình tự cố định.
Tăng tốc độ. Việc thực thi song song các tác nhân độc lập giúp cắt giảm thời gian thực tế so với một lần gọi LLM nguyên khối (monolithic) vốn phải thực hiện tuần tự từng bước.
Chi phí về độ phức tạp. Sự đánh đổi là một kiến trúc phức tạp hơn. Các nhóm cần phải duy trì môi trường sandbox, xử lý các vòng lặp phản hồi lỗi và điều phối nhiều tác nhân.
Những điều cần theo dõi tiếp theo
- Tích hợp công cụ. Các khung làm việc (framework) mã nguồn mở giúp trừu tượng hóa bước thực thi trong sandbox có thể giảm bớt gánh nặng kỹ thuật và giúp mô hình này dễ tiếp cận hơn.
- Các giao thức tác nhân tiêu chuẩn hóa. Khi có nhiều nhóm áp dụng quy trình đa tác nhân hơn, các giao diện chung cho các tác nhân “lập kế hoạch rồi hành động” có thể xuất hiện, giúp dễ dàng tương tác với nhau.
Bài học cốt lõi rất rõ ràng: hãy cho LLM sự tự do để tư duy, chứ không phải quyền năng để tính toán. Bằng cách giới hạn quyền tự chủ của nó trong việc đánh giá và chuyển mọi con số qua mã code biệt lập, một quy trình EDA bán tự động sẽ tạo ra các kết quả mà bạn có thể kiểm tra, tin tưởng và chia sẻ mà không lo sợ những con số "ma".
Source: https://dev.to/sraveend/agentic-but-only-semi-autonomous-designing-an-eda-pipeline-you-can-trust-4ha9
Community discussion: https://t.me/GyaanSetuAi