AI của bạn sai hầu hết thời gian. Điều đó không sao nếu bạn thiết kế cho nó.

Một hệ thống AI đúng 80% thời gian sẽ tạo ra câu trả lời sai trong một trên năm lần thử. Điều này nghe có vẻ là thất bại. Nhưng với nhiều trường hợp sử dụng vận hành, các đầu ra đúng về hướng nhưng sai theo cách có thể chấp nhận là hoàn toàn dùng được. Vấn đề là các quy trình làm việc xung quanh hệ thống được thiết kế cho các kết quả nhị phân — đúng hoặc sai, thành công hoặc thất bại, thông qua hoặc từ chối.

Các quy trình giả định độ chính xác nhị phân sẽ hỏng khi gặp phải sự đúng một phần. Và các hệ thống AI hiếm khi thất bại một cách gọn gàng.

Phổ của sự sai

Khi AI tạo ra một đầu ra không hoàn toàn đúng, bản chất của lỗi quan trọng hơn chính sự tồn tại của lỗi. Một hệ thống phân loại một tình huống an toàn ở mức vừa phải là hơi rủi ro sẽ hành xử khác với một hệ thống phân loại một rủi ro nghiêm trọng là an toàn. Một bộ tóm tắt bỏ sót một chi tiết nhỏ hành xử khác với một bộ đảo ngược ý nghĩa của câu. Một bộ khuyến nghị đề xuất một phương án thay thế chấp nhận được hành xử khác với một bộ đề xuất một hướng hành động nguy hiểm.

Câu hỏi vận hành không phải là hệ thống đúng hay sai. Mà là liệu hệ thống có đủ đúng để quy trình hạ nguồn vẫn có thể vận hành, liệu sự sai có thể phát hiện được, và liệu hậu quả của sự sai có bị giới hạn hay không.

Các tổ chức coi mọi lỗi là như nhau sẽ bỏ lỡ ba điểm phân biệt quan trọng:

Sự sai có thể dung thứ. Một phân loại lệch một hạng mục trong lĩnh vực rủi ro thấp có thể hoàn toàn chấp nhận được. Chi phí rà soát mọi trường hợp ranh giới có thể vượt quá chi phí của việc thỉnh thoảng phân loại sai. Quyết định nơi nào có thể dung thứ sự sai là một lựa chọn quản trị, không phải lựa chọn kỹ thuật.

Sự sai có thể phát hiện. Một số lỗi hiển nhiên với chính hệ thống — điểm tin cậy thấp, các tín hiệu nội bộ mâu thuẫn — trong khi những lỗi khác thì vô hình. Thiết kế các quy trình làm lộ sự sai có thể phát hiện trước khi nó lan truyền có giá trị hơn việc cố loại bỏ mọi sự sai.

Sự sai được khu trú. Các đầu ra AI nguy hiểm nhất không phải là những cái sai. Chúng là những cái sai theo cách gây hiệu ứng dây chuyền. Một phân loại sai dừng lại ở cổng rà soát con người là một sự bất tiện. Một phân loại sai nuôi một đường ống tự động hóa và kích hoạt một hành động không thể đảo ngược là một nghĩa vụ pháp lý.

Mục tiêu không phải là xây dựng các hệ thống không bao giờ sai. Mục tiêu là xây dựng các hệ thống mà sự sai được giới hạn, có thể phát hiện và không gây hệ quả trong những bối cảnh quan trọng nhất.

Thiết kế các quy trình sống sót qua sự không hoàn hảo

Suy giảm một cách duyên dáng đòi hỏi xây dựng độ dư vào các quy trình làm việc. Độ dư nghĩa là khi có điều gì đó sai, có thời gian để phát hiện, có năng lực để xử lý, và có con đường trở lại hoạt động bình thường. Sự thiếu vắng độ dư chính là thứ biến các lỗi nhỏ thành thất bại hệ thống.

Ba mẫu hình hỗ trợ sự suy giảm duyên dáng:

Phân lớp ngưỡng. Thay vì một điểm quyết định đi/không đi duy nhất, hãy dùng nhiều ngưỡng ở các giai đoạn khác nhau. Một kiểm tra sớm bắt các lỗi thô, một kiểm tra giữa quy trình bắt các lỗi phân loại, và một rà soát cuối của con người bắt các trường hợp ngoại biên. Mỗi lớp được thiết kế để xử lý một loại sai khác nhau, và không lớp đơn lẻ nào được kỳ vọng bắt được mọi thứ.

Chấp nhận một phần. Một quy trình chấp nhận đầu ra AI là đúng về hướng nhưng điều chỉnh các trường cụ thể dựa trên độ tin cậy thì linh hoạt hơn một quy trình chấp nhận hoặc từ chối toàn bộ đầu ra. Hệ thống gắn cờ những phần nó không chắc chắn; người rà soát chỉ kiểm tra những phần đó. Điều này nhanh hơn rà soát toàn bộ và an toàn hơn tự động hóa hoàn toàn.

Hành động có thể đảo ngược. Bất cứ khi nào có thể, các hành động mà hệ thống kích hoạt nên có thể đảo ngược. Một email tự động có thể được thu hồi. Một lệnh đặt hàng lại tự động có thể bị hủy. Một cờ tự động có thể được gỡ bỏ. Cái giá của sự sai là cái giá của việc đảo ngược hành động, không phải cái giá của chính hành động. Thiết kế cho tính có thể đảo ngược làm giảm hậu quả của sự không hoàn hảo.

Đường cong trưởng thành của lỗi có thể dung thứ

Khi các tổ chức tích lũy kinh nghiệm với AI, mức dung thứ của họ đối với sự đúng một phần sẽ dịch chuyển. Các triển khai ban đầu có xu hướng bảo thủ — chỉ tin hệ thống khi nó rất tự tin, rà soát mọi thứ. Theo thời gian, mức dung thứ mở rộng khi người vận hành học được chế độ hỏng hóc nào là lành tính và chế độ nào gây hệ quả.

Nhưng sự mở rộng này chỉ an toàn khi tổ chức đã thực hiện công việc ánh xạ sự sai tới hậu quả. Nếu không có sự ánh xạ đó, mức dung thứ tăng lên qua sự tiếp xúc và sự quen thuộc chứ không phải qua phân tích. Và sự quen thuộc không giống với sự hiểu biết.

Các tổ chức suy giảm một cách duyên dáng là những tổ chức đã trả lời một câu hỏi mà hầu hết các đội né tránh: sự sai có thể chấp nhận trông như thế nào trong thực tế, và làm thế nào bạn phát hiện nó trước khi nó trở thành vấn đề?

Nếu hệ thống của bạn sai một phần ở mỗi đầu ra thứ năm, quy trình làm việc của bạn có sống sót qua điều đó, hay nó sẽ sụp đổ thành rà soát toàn bộ?

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.