The Production Readiness Checklist for Agentic Workflows

Tác tử (agent) là ranh giới giữa AI trợ giúp và AI hành động. Chúng cũng là ranh giới giữa một hệ thống bạn có thể vận hành và một hệ thống vận hành bạn.

Quy trình agentic là một bước nhảy so với một lần gọi mô hình đơn lẻ. Lần gọi mô hình hỏi một câu và nhận một câu trả lời. Tác tử nối nhiều lần gọi lại với nhau, ra quyết định giữa chúng, gọi công cụ, lặp cho đến khi xong, rồi hành động dựa trên kết quả. Lần gọi mô hình có một chế độ lỗi: câu trả lời sai. Tác tử có nhiều chế độ lỗi: quyết định sai, vòng lặp vô hạn, lệnh gọi công cụ làm điều không thể đảo ngược, chuỗi trượt khỏi quỹ đạo đúng một bước sau thời điểm không ai còn theo dõi.

Danh sách dưới đây là thứ tôi dùng trước khi một tác tử chạm vào quy trình thực. Hai mươi điểm, năm hạng mục. Nếu tác tử vượt qua hết, nó sẵn sàng cho sản xuất. Nếu không, nó là một thí nghiệm kèm một lần triển khai.

Tác tử hành động. Nghĩa là tác tử có quyền — và quyền phải được giới hạn như bất kỳ tác nhân nào khác trong hệ thống của bạn.

Bốn điểm đầu tiên: tác tử có định danh riêng, không phải định danh chung của con người. Định danh theo nguyên tắc đặc quyền tối thiểu — tác tử chỉ làm được điều nhiệm vụ đòi hỏi, không gì hơn. Quyền được giới hạn theo nhiệm vụ, không theo vai trò. Mọi hành động của tác tử đều truy xuất được — nhật ký kiểm toán cho thấy tác tử nào, lần chạy nào, yêu cầu nào, hành động nào. Một tác tử hành động bằng thông tin xác thực của con người, với quyền rộng, không thể truy xuất, là một rủi ro chưa bùng phát.

Tác tử là một quy trình, không phải một lần gọi, nên nó cần khả năng quan sát ở cấp quy trình.

Bốn điểm tiếp theo: các bước của tác tử được ghi lại, không chỉ đầu ra cuối cùng. Tác tử phát ra năm tín hiệu — độ tin cậy, độ trễ, nâng cấp, ghi đè, trôi dạt — ở cấp bước, để bước thất bại hiện ra thay vì cả lần chạy thành bí ẩn. Trạng thái của tác tử có thể kiểm tra giữa lúc chạy, để bạn thấy nó đang làm gì. Và tác tử có ngân sách: số bước tối đa, chi phí tối đa, thời lượng tối đa. Tác tử lặp mãi là tác tử không có ngân sách, và ngân sách là thứ biến vòng lặp vô hạn từ sự cố thành một dòng nhật ký.

Tác tử là một hệ thống bên trong hệ thống của bạn. Nó có định danh riêng, giới hạn riêng, và phép đo từ xa riêng — hoặc nó không được lên sản xuất.

Tác tử hành động, nên các bề mặt kiểm soát phải là thật.

Bốn điểm nữa: tác tử có công tắc dừng khẩn cấp ở mọi ranh giới: tạm dừng, hoàn tác, dừng cứng (theo bài trước). Các hành động không thể đảo ngược của tác tử — gửi đi, xóa, mua, gọi ngoài — bị chặn sau một lần phê duyệt của con người trừ khi rủi ro đã được chứng minh là thấp. Tác tử có đường nâng cấp tích hợp, để khi độ tin cậy giảm hoặc nhiệm vụ ra ngoài phạm vi, nó bàn giao cho con người thay vì cứ đẩy tiếp. Và tác tử có thiết kế bán kính ảnh hưởng: sự thất bại của một lần chạy không thể lan sang mọi lần chạy khác.

Tác tử là một hệ thống sẽ thất bại, nên các chế độ lỗi phải được thiết kế trước.

Bốn điểm nữa: tác tử thử lại lỗi tạm thời với độ lùi (backoff), và ngừng thử khi lỗi là vĩnh viễn. Tác tử xử lý lỗi một phần — lệnh gọi công cụ thành công và lệnh thất bại, được xử lý tường minh, không phải tình cờ. Đầu ra của tác tử được kiểm tra theo schema và chuẩn chất lượng trước khi hành động — đầu ra sai định dạng bị bắt trước khi thành hành động sai. Và tác tử có tính lũy đẳng ở chỗ quan trọng: lần chạy thử lại không gửi trùng, tính phí trùng, tạo trùng.

Tác tử chạy liên tục, nên quản trị phải chạy cùng nó.

Bốn điểm cuối: hành vi của tác tử được đánh phiên bản — prompt, mô hình, định nghĩa công cụ, và cấu hình đều nằm trong quản lý phiên bản, để một thay đổi là một diff, không phải một bí ẩn. Tác tử có nhịp đánh giá, nghĩa là đầu ra của nó được con người lấy mẫu và xem xét theo lịch, không được tin mặc định. Các quyết định của tác tử nuôi bộ đánh giá (eval suite), để mỗi lần chạy là một điểm dữ liệu và bộ đánh giá phát hiện sự suy giảm trước khách hàng. Và tác tử có một người sở hữu — một con người được nêu tên, chịu trách nhiệm cho hành vi của nó, có ngân sách, xem xét nó theo nhịp. Tác tử không chủ là thứ không ai để ý cho đến khi nó làm điều gì đó đắt đỏ.

Câu hỏi khép lại danh sách kiểm tra

Hai mươi điểm là nhiều để ghi nhớ. Câu hỏi khép lại cô đọng chúng thành một câu: nếu tác tử này làm sai điều gì đó ngay bây giờ, chúng ta biết bằng cách nào, và có thể ngăn nó nhanh đến đâu?

Câu trả lời là bản một câu của danh sách kiểm tra. Nếu câu trả lời là "nhật ký kiểm toán sẽ cho thấy, tín hiệu sẽ gắn cờ, và công tắc dừng khẩn cấp sẽ chặn nó" — tác tử đã sẵn sàng. Nếu câu trả lời là một khoảng lặng — tác tử cần thêm việc, và khoảng lặng chính là phát hiện.

Một tác tử hành động cần định danh, giới hạn, phép đo từ xa, kiểm soát, độ tin cậy và quản trị — hai mươi điểm, năm hạng mục, một câu hỏi khép lại. Hãy chạy danh sách kiểm tra trước khi tác tử chạm vào quy trình thực. Tác tử vẫn sẽ khiến bạn bất ngờ. Danh sách kiểm tra là cách để những bất ngờ luôn nằm trong tầm kiểm soát.

Think this argument fits your event? Tell me about the room — the calendar is selective.