Hãy bớt tin tưởng AI của bạn. Nó sẽ hoạt động tốt hơn.

---

Hầu hết các hệ thống AI đều đã biết khi nào chúng không chắc chắn. Điều chúng thiếu là một cách đáng tin cậy để làm cho sự bất định đó trở nên nhìn thấy được, dễ hiểu và có thể hành động được đối với con người. Điểm tin cậy, phân phối xác suất và các tín hiệu bất đồng nội bộ đều tồn tại, nhưng chúng thường bị giấu sau những giao diện gọn gàng được thiết kế để giảm thiểu ma sát.

Lựa chọn thiết kế này có thể hiểu được. Sự bất định hiển thị được làm phức tạp giao diện, làm chậm quyết định và đặt ra những câu hỏi khó xử về quyền sở hữu. Nhưng che giấu sự bất định không loại bỏ được nó. Nó chỉ đẩy chi phí xuống hạ nguồn, nơi khó chẩn đoán hơn và tốn kém hơn để sửa chữa.

Mối nguy của sự bất định vô hình

Sự bất định vô hình là một trong những trạng thái nguy hiểm nhất trong hệ thống sản xuất. Khi con người không thể thấy hệ thống yếu ở đâu, họ cho rằng nó mạnh ở mọi nơi. Niềm tin trở nên nhị phân: hoặc hệ thống được dùng, hoặc bị bỏ qua. Không có sự phân cấp, không có sự hiệu chỉnh.

Điều này tạo ra một động lực mong manh. Người dùng hình thành những mô hình tư duy riêng về nơi hệ thống hoạt động dựa trên kinh nghiệm rời rạc thay vì phản hồi có hệ thống. Những sự hiệu chỉnh đó vô hình đối với tổ chức. Khi một người dùng học cách không tin vào đầu ra của hệ thống trong một lĩnh vực cụ thể, kiến thức đó không được chuyển giao. Người dùng tiếp theo bắt đầu lại từ đầu, lặp lại cùng một quá trình học thử-và-sai.

Cái giá tổ chức phải trả là rất lớn. Các đội đưa ra quyết định dựa trên đầu ra của AI mà không biết đầu ra nào đáng tin. Họ dồn công sức xác minh những thứ sai. Họ bỏ lỡ các mô hình thất bại vì chế độ thất bại diễn ra âm thầm và phân tán. Khi một lỗi lớn xảy ra, cuộc điều tra sau sự cố cho thấy những dấu hiệu cảnh báo đã luôn hiện diện — chỉ là chúng không hiển thị trong giao diện.

Sự bất định hiển thị đòi hỏi điều gì

Thiết kế sự bất định hiển thị bắt đầu từ việc chấp nhận rằng sự mơ hồ không phải là một chế độ thất bại. Nó là một thuộc tính tự nhiên của việc ra quyết định trong môi trường phức tạp. Mục tiêu không phải là loại bỏ sự bất định, mà là đưa nó ra bề mặt sớm, trước khi nó chồng chất.

Điều này đòi hỏi nhiều hơn việc thêm một phần trăm độ tin cậy. Sự bất định phải được gắn với hành vi. Khi sự bất định vượt qua một ngưỡng, điều gì đó nên thay đổi: hệ thống nên tạm dừng, chuyển quyết định cho con người, yêu cầu thêm dữ liệu đầu vào, hoặc thu hẹp phạm vi hành động. Khả năng hiển thị mà không có hệ quả sẽ nhanh chóng trở thành tiếng ồn.

Một lời tuyên bố miễn trách nhiệm đưa ra sau đó không bảo vệ hệ thống; nó bảo vệ mô hình. Trong bối cảnh vận hành, sự bất định cần làm gián đoạn dòng chảy, chứ không phải chú thích cho nó.

Việc trực quan hóa sự bất định hiệu quả có ba chiều. Thứ nhất là độ trung thực của tín hiệu — một tỷ lệ phần trăm đơn giản hiếm khi đủ. Bất định nhận thức (dữ liệu huấn luyện hạn chế) trông khác với bất định ngẫu nhiên (nhiễu cố hữu). Việc hiển thị loại bất định cùng với mức độ của nó giúp người vận hành quyết định phải làm gì.

Thứ hai là thời điểm — các tín hiệu bất định phải xuất hiện đúng lúc quyết định đang được đưa ra. Một điểm tin cậy trong tệp nhật ký hàng tuần không có giá trị vận hành nào.

Thứ ba là khả năng hành động — tín hiệu nên cho người vận hành biết phải làm gì tiếp theo, chứ không chỉ cho biết có điều gì đó sai. Điều này đòi hỏi ánh xạ các mức độ bất định tới những hành động cụ thể trước khi hệ thống đi vào hoạt động.

Niềm tin nảy sinh từ những giới hạn hiển thị

Niềm tin dựa trên độ chính xác rất mong manh. Nó chỉ tồn tại chừng nào hệ thống còn hoạt động tốt trên những đầu vào cụ thể. Khi phân phối thay đổi — dữ liệu mới, điều kiện mới, người dùng mới — niềm tin dựa trên độ chính xác sẽ sụp đổ mà không báo trước. Ngược lại, niềm tin dựa trên sự bất định có tính thích ứng. Người dùng hiểu hệ thống bất định ở đâu có thể điều chỉnh mức độ phụ thuộc khi điều kiện thay đổi mà không cần chờ thất bại xảy ra.

Giải pháp thay thế là niềm tin mong manh: tin tưởng cao độ cho đến khoảnh khắc nó vỡ, rồi kéo theo sự điều chỉnh quá mức và hoài nghi. Thiết kế sự bất định hiển thị tránh được vòng lặp này bằng cách làm rõ các giới hạn ngay từ đầu. Nó thừa nhận rằng không hệ thống nào đáng tin cậy một cách phổ quát, và cách tốt nhất để xây dựng niềm tin bền vững là cho người dùng thấy không chỉ những gì hệ thống biết, mà cả những gì nó không biết.

Câu hỏi không phải là hệ thống của bạn có bất định hay không, mà là liệu sự bất định đó có được phép nhìn thấy — và được hành động — trước khi nó trở thành một sự cố hay không.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.