Con số quyết định liệu AI của bạn có thực sự hoạt động hay không (Và không ai thiết lập nó)

Ở đâu đó trong mọi khung quản trị AI, luôn có một con số. Đó là ngưỡng mà dưới nó, một quyết định phải được chuyển lên cho con người, và trên nó, quyết định có thể diễn ra tự động. Một điểm tin cậy 0,85. Một mức xếp hạng rủi ro 3. Một phép đối chiếu tương đồng trên 90%.

Chỉ một con số này quyết định tỷ lệ tự chủ thực tế của hệ thống. Và ở hầu hết các tổ chức, nó được thiết lập một lần bởi một người không còn nhớ lý do, và chưa bao giờ được xem xét lại.

Ngưỡng này là quyết định quản trị có hệ quả lớn nhất mà hầu hết các nhóm không bao giờ đưa ra một cách tường minh. Nó quyết định thông lượng, tỷ lệ lỗi, khối lượng công việc của con người và rủi ro vận hành. Và nó thường là tham số ít được xem xét nhất trong toàn bộ hệ thống.

Tốc độ của một con số duy nhất

Ngưỡng đặt ở 0,9 nghĩa là hệ thống chuyển mọi thứ dưới mức tin cậy đó lên xử lý. Nếu phân bố độ tin cậy của mô hình bên dưới chỉ có 30% đầu ra nằm trên 0,9, thì hệ thống đang chạy ở mức 30% tự chủ — 70% còn lại rơi vào hàng đợi của con người. Ngưỡng đặt ở 0,7 có thể tự động xử lý 80% đầu ra, nhưng với cái giá là chấp nhận các quyết định có độ tin cậy thấp hơn làm quyết định cuối cùng.

Không giá trị nào vốn dĩ đúng. Nhưng lựa chọn giữa chúng quyết định liệu hệ thống chủ yếu tự vận hành với thỉnh thoảng phải nâng cấp xử lý, hay chủ yếu thủ công với thỉnh thoảng tự động hóa. Đó không phải là một sự khác biệt tầm thường. Nó thay đổi nhu cầu nhân sự, kỳ vọng về độ trễ, ngân sách lỗi và mức độ phơi nhiễm rủi ro.

Vấn đề không phải là các nhóm đặt sai ngưỡng. Vấn đề là hầu hết các nhóm hoàn toàn không đặt nó. Họ kế thừa từ giá trị mặc định của mô hình, hoặc chấp nhận bất cứ thứ gì nhà cung cấp đã cấu hình, hoặc chọn một con số tròn trịa có cảm giác an toàn. Con số trở thành hạ tầng, âm thầm chi phối mọi quyết định mà hệ thống đưa ra hoặc trì hoãn.

Một ngưỡng chưa bao giờ được thiết lập một cách có chủ ý thì không thể được bảo vệ một cách có chủ ý. Và một ngưỡng không thể bảo vệ sẽ bị thay đổi dưới áp lực, không có phân tích, vào thời điểm tồi tệ nhất có thể.

Ba câu hỏi về ngưỡng

Một ngưỡng có thể bảo vệ được đòi hỏi câu trả lời tường minh cho ba câu hỏi:

Hệ quả của một quyết định tự động sai lầm là gì? Một phân loại sai khiến một lô hàng bị trễ một ngày có cấu trúc chi phí khác hẳn một phân loại sai khiến bệnh nhân bị từ chối điều trị. Ngưỡng phải phản ánh mức độ nghiêm trọng và khả năng đảo ngược của hệ quả. Các quyết định có hệ quả cao đòi hỏi ngưỡng cao hơn, bất kể hiệu suất của mô hình.

Chi phí của việc nâng cấp xử lý là bao nhiêu? Mỗi trường hợp được gửi cho con người xem xét đều tiêu tốn thời gian, sự chú ý và năng lực. Ngưỡng quyết định tỷ lệ giữa chi phí con người và rủi ro máy móc. Một tổ chức có năng lực xem xét hạn chế phải đặt ngưỡng cao hơn để giữ hàng đợi ở mức kiểm soát được, ngay cả khi điều đó đồng nghĩa với việc chấp nhận nhiều lỗi tự động hơn.

Bối cảnh vận hành là gì? Ngưỡng hiệu quả ở khối lượng thấp có thể thất bại ở khối lượng cao. Ngưỡng hiệu quả với một phân bố đầu vào có thể thất bại khi phân bố đầu vào dịch chuyển. Ngưỡng phải nhạy cảm với các điều kiện mà hệ thống vận hành, chứ không chỉ các điều kiện mà nó được kiểm thử.

Vì sao ngưỡng trôi dạt mà không ai nhận ra

Ngay cả khi ngưỡng được thiết lập có chủ ý, nó vẫn trôi dạt. Mô hình thay đổi qua tinh chỉnh hoặc huấn luyện lại. Phân bố đầu vào dịch chuyển khi các ca mới xuất hiện. Bối cảnh vận hành thay đổi khi quy định phát triển hoặc ưu tiên kinh doanh dịch chuyển. Ngưỡng ban đầu không còn áp dụng cho các điều kiện hiện tại.

Nhưng ngưỡng vẫn nằm nguyên tại chỗ vì không ai kiểm tra. Hệ thống vẫn đang chạy. Hàng đợi vẫn đang được xử lý. Không ai hỏi liệu ngưỡng đó còn tạo ra sự cân bằng như mong muốn giữa tự chủ và an toàn hay không.

Các tổ chức trưởng thành coi việc rà soát ngưỡng là một sự kiện quản trị theo lịch trình, chứ không phải một quyết định thiết kế một lần. Họ xem xét lại con số này hàng quý, hoặc bất cứ khi nào mô hình thay đổi, hoặc bất cứ khi nào cấu trúc chi phí của lỗi dịch chuyển. Họ ghi lại lý luận để người kế tiếp hiểu vì sao 0,85 được chọn thay vì 0,9.

Câu hỏi đứng trước mọi câu hỏi khác

Trước khi đặt bất kỳ ngưỡng nào, còn có một câu hỏi trước đó mà hầu hết các nhóm bỏ qua: liệu quyết định này có nên được tự động hóa ngay từ đầu hay không? Không phải mọi quyết định có thể tự động hóa đều nên như vậy. Một số quyết định quá hệ trọng, quá phụ thuộc bối cảnh, hoặc quá bất quy tắc để giao cho một ngưỡng cố định. Quyết định quản trị quan trọng nhất không phải là đặt ranh giới ở đâu, mà là có nên vẽ ranh giới ngay từ đầu hay không.

Nếu bạn tìm thấy ngưỡng trong hệ thống của mình và hỏi người đã đặt nó giải thích cách họ chọn con số đó, liệu họ có câu trả lời khiến bạn hài lòng không?

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.