Thiết lập ngưỡng tin cậy bằng dữ liệu, không phải cảm giác

Đâu đó trong hệ thống AI của bạn có một ngưỡng tin cậy, và tôi có thể cho bạn biết nó được đặt như thế nào: ai đó đã chọn một con số cảm thấy hợp lý.

Ngưỡng là ranh giới quyết định liệu AI tự hành động hay chuyển đầu ra cho con người. Đó là thiết lập quan trọng nhất trong toàn hệ thống — nó quyết định tỷ lệ lỗi, khối lượng rà soát, chi phí và lòng tin. Và nó gần như luôn được đặt theo phỏng đoán. Ai đó nói "0.8 có vẻ an toàn" hoặc "chúng ta sẽ leo thang khi dưới 0.7" và con số đó trở thành chính sách, được bảo vệ bằng cảm giác, và không bao giờ được xem xét lại.

Ngưỡng là một quyết định về rủi ro và chi phí, và các quyết định về rủi ro và chi phí lẽ ra phải được đưa ra bằng dữ liệu. Đây là quy trình ba bước thay thế cho việc phỏng đoán.

Bước một: thiết lập đường cơ sở cho tỷ lệ lỗi

Bạn không thể đặt ngưỡng cho đến khi biết độ tin cậy của mô hình thực sự có nghĩa gì. Hãy bắt đầu bằng việc đo lường.

Chạy hệ thống không có ngưỡng — hoặc cố tình đặt một ngưỡng rất thấp — và gửi mọi thứ đi rà soát trong vài tuần. Với mỗi đầu ra, ghi lại độ tin cậy và kết luận rà soát: đúng hay sai. Giờ bạn đã có nguyên liệu thô: tỷ lệ lỗi thực tế ở từng mức tin cậy.

Hãy vẽ biểu đồ. Bạn sẽ thấy hình dạng của đường hiệu chỉnh của mô hình. Có thể mô hình được hiệu chỉnh tốt: lỗi tập trung ở vùng tin cậy thấp và độ chính xác tăng theo độ tin cậy. Có thể nó quá tự tin: lỗi xuất hiện ở 0.9 và độ tin cậy của mô hình là kẻ nói dối. Có thể nó bị hiệu chỉnh sai ở từng mảng: rất tốt ở một số loại tác vụ, tệ hại ở những loại khác với cùng mức tin cậy. Biểu đồ chính là sự thật mà cảm giác đang che giấu, và là nền tảng cho mọi thứ tiếp theo.

Ngưỡng không phải là một con số bạn chọn. Đó là một con số bạn suy ra — từ tỷ lệ lỗi, chi phí của lỗi và mức dung sai của tác vụ. Chọn nó trước, thì bạn đang phỏng đoán.

Bước hai: định giá cho lỗi

Cùng một mức tin cậy lại có ý nghĩa khác nhau trên các tác vụ khác nhau. Ngưỡng phải biết một câu trả lời sai tốn kém bao nhiêu.

Với mỗi tầng tác vụ, hãy gọi tên chi phí của một đầu ra sai bị lọt qua. Bản tóm tắt nội bộ mà sai sót chỉ tốn một giờ làm lại — tầng đó có thể chạy ở mức tin cậy thấp, vì chi phí leo thang (một con người rà soát mọi thứ) vượt quá chi phí của một lỗi thỉnh thoảng. Còn câu trả lời hướng tới khách hàng mà sai sót có thể mất cả một tài khoản — tầng đó cần một chuẩn cao, vì chi phí lỗi lấn át chi phí rà soát.

Bước định giá chính là nơi ngưỡng trở thành một quyết định kinh doanh thay vì một quyết định kỹ thuật. Hai tác vụ, cùng một mô hình, cùng một đường cong tin cậy, nhưng hai ngưỡng khác nhau, vì chi phí của việc sai là khác nhau. Ngưỡng là biểu thức toán học của câu hỏi từ phía doanh nghiệp: chúng ta có thể chịu được những lỗi nào, và việc ngăn chặn chúng tốn kém bao nhiêu?

Bước ba: điều chỉnh theo mức dung sai

Bây giờ hãy đặt con số. Với mỗi tầng tác vụ, hãy tìm mức tin cậy mà tại đó chi phí để lỗi lọt qua bằng với chi phí rà soát mọi thứ phía trên nó.

Phép toán rất đơn giản. Chi phí của ngưỡng là những lỗi bị lọt qua — tỷ lệ lỗi tại ngưỡng, nhân với khối lượng phía dưới nó, nhân với chi phí mỗi lỗi. Chi phí của việc nâng ngưỡng là phần rà soát thêm — các đầu ra nằm giữa ngưỡng cũ và ngưỡng mới, nhân với chi phí rà soát mỗi cái. Ngưỡng đúng là nơi hai đường cong cắt nhau. Hãy đặt nó ở đó.

Sau đó hãy theo dõi nó. Ngưỡng không phải là một tượng đài. Mô hình thay đổi, dữ liệu trôi dạt, chi phí lỗi thay đổi, và ngưỡng phải dịch chuyển theo chúng. Việc tái hiệu chỉnh hàng quý chính là kỷ luật: chạy lại đường cơ sở, định giá lại các lỗi, suy ra lại con số. Ngưỡng đúng vào tháng Một sẽ chỉ còn là phỏng đoán vào tháng Sáu nếu không ai nhìn lại.

Các kiểu thất bại phổ biến

Quy trình này có ba kiểu thất bại kinh điển, và chúng đáng được gọi tên để bạn có thể nhận ra.

Mô hình quá tự tin: đường cơ sở cho thấy lỗi xuất hiện ở mức tin cậy cao, và không ngưỡng nào khắc phục được. Câu trả lời không phải là một chuẩn cao hơn. Mà là hiệu chỉnh — hoặc một mô hình khác, hoặc thiết kế lại tác vụ. Ngưỡng không thể cứu một mô hình mà độ tin cậy của nó là lời nói dối.

Bẫy tất cả hoặc không gì cả: một ngưỡng cho toàn hệ thống, được đặt để bảo vệ tác vụ có rủi ro cao nhất, nghĩa là mọi thứ khác sẽ mãi mãi trả chi phí rà soát cao. Cách khắc phục là ngưỡng theo từng tầng, và các tầng đến từ bước định giá.

Ngưỡng bị đóng băng: đặt một lần, bảo vệ mãi mãi, không bao giờ suy ra lại. Cách khắc phục là lịch — tái hiệu chỉnh hàng quý, được lên lịch, chứ không phải dựa vào trí nhớ.

Câu hỏi thay thế cho việc phỏng đoán

Lần tới khi ai đó đề xuất một ngưỡng tin cậy, hãy hỏi một câu: đường cong lỗi trông thế nào, và một lỗi tốn kém bao nhiêu?

Nếu câu trả lời là một biểu đồ và một cái giá, thì bạn có một ngưỡng thật. Nếu câu trả lời là "0.8 có vẻ đúng," thì bạn có một phỏng đoán có gắn số, và hệ thống sẽ phải trả giá bằng lỗi hoặc chi phí rà soát — chỉ là bạn chưa biết đó là loại nào.

Thiết lập đường cơ sở cho tỷ lệ lỗi. Định giá lỗi theo từng tầng. Điều chỉnh ngưỡng đến điểm giao nhau. Tái hiệu chỉnh hàng quý. Đó là toàn bộ quy trình, và là sự khác biệt giữa một ngưỡng bảo vệ hệ thống với một con số cảm thấy an toàn vào một ngày thứ Ba nào đó. Độ tin cậy của mô hình là một tín hiệu. Hãy đối xử với nó như một tín hiệu — đo lường nó, định giá nó, và đặt ranh giới ở nơi dữ liệu chỉ ra.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.