Put the Quality Bar in the Business's Hands

Chuẩn chất lượng cho AI của bạn nằm trong một bảng tính trên laptop của một kỹ sư. Đó chính là vấn đề.

Tôi cứ thấy cùng một kịch bản. Đội kỹ thuật xây AI, định nghĩa thế nào là "đủ tốt", và đặt ngưỡng. Phía kinh doanh ký duyệt một lần rồi không nghĩ đến nó nữa. Rồi những lời phàn nàn bắt đầu. AI vượt qua các kiểm tra nội bộ nhưng thất bại ngoài đời thực, vì những người định nghĩa chất lượng chưa bao giờ nói chuyện với những người cảm nhận chất lượng.

Cách sửa khiến cả hai bên đều khó chịu: đặt chuẩn chất lượng vào tay phía kinh doanh. Hãy để những người làm việc thực tế đặt chuẩn, và để kỹ sư xây theo chuẩn đó.

Tại sao kỹ sư không nên sở hữu chuẩn

Kỹ sư sở hữu đường ống. Họ không sở hữu sự phán đoán.

"Đủ tốt" là một quyết định kinh doanh, không phải quyết định kỹ thuật. Thế nào là tỷ lệ lỗi chấp nhận được phụ thuộc vào đầu ra được dùng để làm gì. Một câu trả lời sai trong bản nháp nội bộ tốn một giờ. Một câu sai trong báo giá cho khách hàng tốn một tài khoản. Một câu sai trong tài liệu tuân thủ tốn một chuyến ghé thăm của cơ quan quản lý. Cùng một mô hình, cùng một con số độ chính xác, và ba chuẩn chất lượng hoàn toàn khác nhau.

Một kỹ sư nhìn độ chính xác của mô hình có thể cho bạn con số. Họ không thể cho bạn biết lỗi nào là có thể chịu được, vì điều đó phụ thuộc vào khách hàng, hợp đồng, mức độ rủi ro — những thứ phía kinh doanh biết mà kỹ sư chưa bao giờ được nói. Khi chuẩn được đặt bởi những người không cảm nhận hậu quả, chuẩn bị đặt sai.

Chất lượng không phải là một phép đo kỹ thuật. Nó là một quyết định kinh doanh về những lỗi bạn có thể sống chung. Những người cảm nhận lỗi mới là người được quyết.

Bộ ba câu hỏi

Đây là phần khiến việc này trở nên thực tế thay vì triết lý. Phía kinh doanh không cần bằng ML để đặt chuẩn chất lượng. Họ cần ba câu hỏi, áp cho mọi đầu ra AI tạo ra.

Câu một: bạn có gửi cái này cho khách hàng nguyên trạng không? Đây là sàn. Nếu câu trả lời là không, đầu ra không được xuất. Không ngoại lệ, không lách luật.

Câu hai: nếu cái này sai, thì tốn bao nhiêu? Đây là sự hiệu chỉnh. Một bản tóm tắt cho nội bộ có chi phí lỗi thấp. Một báo giá có chi phí cao. Câu trả lời cho câu hỏi này quyết định đầu ra được kiểm tra cẩn thận đến mức nào — và AI phải vượt qua bao nhiêu lần kiểm tra trước khi đến tay con người.

Câu ba: điều gì khiến bạn tin nó mà không cần kiểm tra? Đây là trạng thái đích. Câu hỏi này buộc người ta phải nêu ra chuẩn thực sự của mình thay vì chỉ khua tay. Khi câu trả lời cụ thể, như "khi mã linh kiện khớp với hệ thống, tôi tin nó," kỹ sư có thứ để xây tới. Khi câu trả lời mơ hồ, như "khi nó đúng," bạn đã tìm ra khoảng cách giữa mô hình và kinh doanh.

Ba câu hỏi. Không có bộ quy tắc để ghi nhớ, không có ngưỡng để định nghĩa một cách trừu tượng. Phía kinh doanh trả lời chúng theo từng tác vụ, và các câu trả lời trở thành đặc tả.

Việc đánh giá thực sự vận hành thế nào

Phía kinh doanh đặt chuẩn, và chuẩn được thực thi trong công việc, không phải trong một cuộc họp.

Hãy chọn đầu ra rủi ro cao nhất trước. Cái mà sai thì đau nhất. Cho các nhân viên vận hành ngồi xuống với các ví dụ thật — đầu ra tốt, đầu ra xấu, đầu ra ranh giới — và để họ phân loại. Đây là hiệu chỉnh, và đáng làm trực tiếp, vì cuộc trò chuyện phân loại làm lộ ra sự phán đoán mà kỹ sư chưa bao giờ thấy. "Cái này ổn vì khách hàng đã biết ngữ cảnh." "Cái này không ổn vì nó đọc như robot viết." Đó mới là chuẩn chất lượng thực sự, bằng lời của những người cảm nhận nó.

Rồi các nhân viên vận hành đánh giá đầu ra trực tiếp so với chuẩn trong một khoảng thời gian, và nhật ký các quyết định của họ trở thành dữ liệu huấn luyện và bộ đánh giá. AI được tinh chỉnh cho đến khi nhân viên vận hành ngừng gắn cờ. Không phải đến khi chỉ số của kỹ sư nói nó tốt. Mà đến khi nhân viên vận hành nói nó tốt.

Đó là vòng lặp: kinh doanh đặt chuẩn, nhân viên vận hành thực thi, nhật ký dạy mô hình, và mô hình cải thiện cho đến khi nhân viên vận hành im lặng. Mỗi vòng đi qua, quyết định chất lượng lại chuyển sâu hơn vào tay kinh doanh.

Sự kháng cự và lý do đáng để vượt qua

Sự phản đối đến từ cả hai phía. Kỹ sư nói kinh doanh không biết mình đang yêu cầu gì. Kinh doanh nói không có thời gian đánh giá đầu ra AI. Cả hai đều đúng, và cả hai đều bỏ lỡ điểm chính.

Kinh doanh là bên cảm nhận lỗi. Thời gian đánh giá của họ là cái giá của việc đặt chuẩn đúng, và nó rẻ hơn cái giá của một chuẩn sai. Kỹ sư nhận được thứ tốt hơn một đặc tả mơ hồ — họ nhận được một định nghĩa cụ thể, do ví dụ dẫn dắt về "tốt", chính là thứ khiến công việc của họ dễ hơn.

Phần thưởng hiện ra trong các chỉ số. Ít leo thang hơn, vì đầu ra được hiệu chỉnh đúng mức kinh doanh thực sự chịu được. Phê duyệt nhanh hơn, vì nhân viên vận hành tin hệ thống họ đã góp phần định nghĩa. Và một mô hình cải thiện vì nó được huấn luyện trên sự phán đoán của người dùng, không phải sự đoán của người xây.

Chuẩn chất lượng thuộc về những người cảm nhận lỗi. Ba câu hỏi, các ví dụ thật, và một vòng lặp đánh giá dạy mô hình. Đó là cách bạn xây AI mà kinh doanh thực sự tin tưởng — vì chính kinh doanh đã xây nên chuẩn.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về hội trường — lịch có chọn lọc.