AI của bạn đang nói dối bạn. Nó chỉ không thể nói "Tôi không biết."

---

Hầu hết các thất bại AI không phải do hệ thống tạo ra câu trả lời sai. Chúng do một hệ thống chưa bao giờ được phép thừa nhận rằng nó không chắc chắn. Trong môi trường sản xuất, sự im lặng bị coi là một khiếm khuyết. Tính liên tục được ca ngợi. Dừng lại để đặt câu hỏi giống như một sự ma sát. Vì vậy, hệ thống học cách luôn trả về thứ gì đó — một câu trả lời, một phân loại, một khuyến nghị — ngay cả khi tín hiệu yếu.

Đây chủ yếu không phải là vấn đề kỹ thuật. Nó là một vấn đề thiết kế. Và nó âm thầm dạy các hệ thống AI hành xử theo cách mà con người sẽ không bao giờ chấp nhận từ nhau.

Điều gì bị đánh mất khi sự bất định bị che giấu

Cái giá của việc kìm nén sự bất định thể hiện theo ba cách có thể đoán trước:

Các hệ thống hạ nguồn kế thừa các lỗi không được kiểm tra. Một bộ phân loại trả về nhãn với độ tin cậy 40% sẽ lan truyền phân loại đó vào một động cơ khuyến nghị, rồi nuôi một quy trình tự động hóa. Ở mỗi bước, nghi ngờ ban đầu bị lột bỏ. Đến khi con người nhìn thấy kết quả, không còn dấu vết nào cho thấy hệ thống từng không chắc chắn.

Người vận hành hình thành các cách bù đắp riêng. Mọi người học được điểm yếu của hệ thống qua thử và sai, nhưng kiến thức đó không bao giờ trở thành kiến thức thể chế. Một người ngầm chiết khấu bất cứ thứ gì trên 90%. Người khác kiểm tra lại đầu ra trước 9 giờ sáng. Khi họ rời đi, sự hiệu chỉnh đó cũng ra đi theo.

Phản ứng sự cố trở nên bị động. Một thất bại lẽ ra có thể được phát hiện ở giai đoạn phân loại độ tin cậy thấp lại chỉ bị phát hiện sau khi một quy trình hạ nguồn đã hành động theo nó. Việc gỡ lỗi đòi hỏi truy ngược qua các hệ thống mà vào thời điểm đó đều tỏ ra tự tin, nhưng chưa bao giờ có cơ hội dừng lại.

Những tổ chức sớm làm lộ sự bất định, khi nó vẫn còn rẻ để giải quyết, mới là những tổ chức thực sự hưởng lợi từ mối quan hệ hợp tác với AI. Kìm nén nghi ngờ không làm cho hệ thống đáng tin cậy hơn. Nó khiến thất bại cuối cùng khó truy vết hơn.

Biến sự bất định thành đầu ra hạng nhất

Cho phép AI nói "Tôi không biết" bắt đầu từ một lựa chọn thiết kế duy nhất: coi sự bất định là một đầu ra hạng nhất, không phải một trạng thái lỗi.

Đây chủ yếu không phải là vấn đề mô hình hóa. Các mô hình đã tạo ra các tín hiệu bất định — điểm tin cậy thấp, các biểu diễn nội bộ mâu thuẫn, độ nhạy với biến thiên prompt. Điều còn thiếu là một quyết định tổ chức nhằm tôn trọng các tín hiệu đó.

Cần có ba điều. Thứ nhất, hiệu chỉnh — các đội cần hiểu sự bất định của hệ thống thực sự có nghĩa là gì. Điểm tin cậy 0.7 có thể chấp nhận được ở lĩnh vực này nhưng không thể chấp nhận ở lĩnh vực khác. Các tổ chức trưởng thành ánh xạ sự bất định thành hành động dựa trên hậu quả, chứ không phải một ngưỡng phổ quát duy nhất.

Thứ hai, định tuyến — khi sự bất định vượt qua một ngưỡng, hệ thống phải biết gửi câu hỏi đi đâu. Nếu không có các đường dẫn leo thang được định nghĩa rõ ràng và đáng tin cậy như chính các quy trình mà chúng làm gián đoạn, các tín hiệu bất định sẽ trở thành nhiễu mà người vận hành học cách bỏ qua.

Thứ ba, phản hồi — khi con người giải quyết một trường hợp bất định, kết quả giải quyết đó nên thông báo cho hệ thống. Không nhất thiết qua việc huấn luyện lại, mà qua khả năng truy xuất. Tổ chức nên có thể nhìn lại các mẫu hình bất định và dùng hiểu biết đó để cải thiện ngưỡng, định tuyến hoặc dữ liệu huấn luyện theo thời gian.

Niềm tin nảy sinh từ những giới hạn hiển hiện

Còn có một chiều kích con người. Mọi người cần được đào tạo để làm việc với sự bất định, chứ không chỉ chịu đựng nó. Nếu người rà soát được đo bằng tốc độ xử lý các mục bị gắn cờ, họ sẽ vội vã lướt qua các tín hiệu mà không thực sự đào sâu. Nếu được đo bằng độ chính xác của phán quyết, họ sẽ dành thời gian đánh giá đúng mực. Các chỉ số xung quanh vòng lặp con người trong quy trình quyết định liệu vòng lặp đó có thực sự vận hành hay không.

Theo thời gian, sự bất định hiển hiện xây dựng niềm tin bền vững hơn sự im lặng tự tin. Người dùng học được nơi hệ thống mạnh và nơi hệ thống thận trọng. AI trở thành một đối tác có ranh giới, không phải một nhà tiên tri. Khi người vận hành biết hệ thống gắn cờ các trường hợp độ tin cậy thấp thay vì đoán bừa, họ hành động với sự xem xét thích đáng. Khi họ biết hệ thống không bao giờ gắn cờ bất cứ điều gì, họ phải đối xử với mọi đầu ra bằng sự nghi ngờ như nhau — điều này gây kiệt sức và cuối cùng là không bền vững.

Ở đâu trong các hệ thống của bạn, sự bất định được phép lộ diện mà không bị trừng phạt?

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.