Thiết lập ngưỡng tin cậy giúp giành được lòng tin trên production
Thiết lập ngưỡng tin cậy giúp giành được lòng tin trên production
Một trong những quyết định thực tế nhất mà một nhóm AI đưa ra cũng là một trong những quyết định bị bỏ qua nhiều nhất: "Ở mức tin cậy nào thì hệ thống này nên leo thang cho con người?"
Đặt ngưỡng quá cao, hệ thống sẽ tự ý mắc những lỗi lẽ ra phải bị chặn. Đặt quá thấp, bạn sẽ chôn vùi người vận hành trong đống cảnh báo sai (false positive). Chốt một con số mà không có bằng chứng, là bạn đã đưa ra một quyết định quản trị quyết định năng lực xử lý thực tế của hệ thống — mà không ai nhận ra.
Điều đáng khích lệ là: quyết định này hoàn toàn có thể nắm bắt được. Các tổ chức đầu tư để làm đúng nó sẽ giành được lợi thế cấu trúc tích lũy theo thời gian.
Ba cách các nhóm thiết lập ngưỡng đúng
Tôi đã chứng kiến các nhóm chuyển từ phỏng đoán sang chính xác trong việc thiết lập ngưỡng. Họ tuân theo ba phương pháp:
1. Họ bắt đầu từ dữ liệu vận hành, không phải chỉ số của mô hình.** Sai lầm đầu tiên của hầu hết các nhóm là dùng độ chính xác của mô hình làm tham chiếu ngưỡng. Độ chính xác của mô hình cho bạn biết hệ thống hoạt động ra sao trên một bộ kiểm thử. Nó không cho biết điều gì xảy ra khi hệ thống sai trên production. Các nhóm mà tôi thấy thành công đều bắt đầu bằng việc phân tích kết quả leo thang thực tế — thứ gì bị ghi đè, thứ gì được chấp nhận và thứ gì bị bỏ sót. Dữ liệu vận hành đó hé lộ chi phí thực của false positive và false negative trong bối cảnh cụ thể của bạn.
2. Họ đặt các ngưỡng khác nhau cho các loại quyết định khác nhau.** Một ngưỡng duy nhất áp cho mọi quy trình là dấu hiệu của sự quản trị non nớt. Các nhóm thắng ở quy mô lớn nhận ra rằng các quyết định khác nhau có hệ quả khác nhau. Một gợi ý phân loại sản phẩm có thể chấp nhận mức tin cậy thấp hơn so với một khuyến nghị về giá. Một tác nhân kích hoạt quy trình nội bộ có thể dễ dãi hơn một hành động hướng tới khách hàng. Sự trừu tượng đúng đắn là "các tầng bậc", chứ không phải "các con số".
3. Họ coi ngưỡng là động, không phải tĩnh.** Những nhóm giỏi nhất không đặt ngưỡng một lần rồi quên đi. Họ theo dõi tỷ lệ leo thang, các mẫu ghi đè và các vòng phản hồi. Khi hệ thống cải thiện, ngưỡng được siết chặt — trao cho AI nhiều quyền tự chủ hơn ở những nơi nó đã giành được điều đó. Điều này tạo ra một vòng tuần hoàn tích cực: hệ thống giành được lòng tin, lòng tin cho phép thêm quyền tự chủ, nhiều quyền tự chủ tạo ra nhiều dữ liệu hơn, và nhiều dữ liệu hơn lại cải thiện hệ thống.
Một khung để bắt đầu
Nếu bạn đang thiết lập ngưỡng lần đầu và muốn một cách tiếp cận thực tế, đây là một khung gợi ý:
- Lập bản đồ hệ quả.** Với mỗi quyết định hệ thống của bạn đưa ra, hãy ước tính chi phí của một quyết định tự động sai so với chi phí của một lần leo thang không cần thiết.
- Hiệu chỉnh từ dữ liệu quan sát được.** Chạy hệ thống ở chế độ ẩn (shadow) hoặc có con người rà soát trong hai tuần. Ghi lại điểm tin cậy cùng với quyết định của người vận hành. Bạn sẽ nhanh chóng tìm ra ngưỡng mà tại đó hệ thống chính xác một cách đáng tin cậy, và điểm mà sự không chắc chắn bắt đầu làm giảm chất lượng.
- Xây dựng nhịp rà soát.** Lên lịch rà soát ngưỡng sau mỗi lần cập nhật mô hình quan trọng, sau mỗi lần khối lượng tăng 10 lần, và ít nhất mỗi quý. Ngưỡng không phải là một con số trên biểu đồ. Đó là một quyết định quản trị cần được xem xét lại khi hệ thống của bạn trưởng thành.
Ngưỡng tin cậy không phải là một chi tiết kỹ thuật. Đó là một trong những quyết định quản trị có đòn bẩy cao nhất mà bạn sẽ đưa ra. Làm đúng chúng, AI của bạn sẽ giành được lòng tin theo cách truyền thống: qua hiệu suất nhất quán và có thể quan sát được.
Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.
Bắt đầu trò chuyện