Các lớp kiểm soát cần có trước khi cho AI agent đọc dữ liệu, gọi công cụ hoặc thực hiện hành động thật.
AI agent khác chatbot ở khả năng chọn bước tiếp theo và gọi công cụ. Chính khả năng hành động làm agent hữu ích, đồng thời tạo rủi ro nếu quyền hạn và điều kiện dừng không rõ ràng.
Bốn lớp kiểm soát
Lớp 1 giới hạn dữ liệu agent được đọc. Lớp 2 chỉ cấp đúng công cụ cần thiết. Lớp 3 bắt buộc phê duyệt với hành động gửi, xóa, thanh toán hoặc thay đổi quyền. Lớp 4 ghi log đầy đủ đầu vào, quyết định và kết quả công cụ.
Phân loại hành động
Chia hành động thành ba mức: chỉ đọc có thể chạy tự động; tạo bản nháp cần kiểm tra theo mẫu; hành động không thể hoàn tác bắt buộc người dùng xác nhận. Không dùng một khóa có toàn quyền cho mọi công cụ.
Điều kiện dừng
Agent phải dừng khi thiếu dữ liệu quan trọng, công cụ trả lỗi lặp lại, kết quả mâu thuẫn hoặc vượt ngân sách. Khi dừng, hệ thống cần giải thích đã làm gì và người dùng cần bổ sung điều gì.
Kiểm thử trước khi triển khai
Tạo bộ tình huống gồm dữ liệu thiếu, yêu cầu mơ hồ, nội dung độc hại, lỗi API và hành động vượt quyền. Chỉ triển khai khi agent từ chối hoặc xin xác nhận đúng ở tất cả tình huống rủi ro.
