AI của bạn hoạt động tốt. Hàng đợi đánh giá con người mới là khủng hoảng thực sự.

---

Luồng công việc mới ra mắt. Tự động hóa xử lý các ca rõ ràng. Bất cứ điều gì không chắc chắn đều được leo thang cho con người. Tỷ lệ được đặt ở 90/10 — chín trong mười quyết định do hệ thống xử lý, một được gửi đi đánh giá thủ công. Tổ chức ăn mừng: đội vừa nhanh hơn gấp mười lần.

Rồi hàng đợi bắt đầu phình ra.

Nó phình ra không phải vì hệ thống sai. Nó phình ra vì 10% của một khối lượng lớn vẫn là một con số rất lớn. Và con người không mở rộng tuyến tính với cùng chi phí. Một hệ thống xử lý mười nghìn ca mỗi giờ và leo thang một nghìn ca đòi hỏi khoảng một nghìn chỗ đánh giá thủ công mỗi giờ. Không phải một trăm. Không phải hai trăm. Mà là một nghìn.

Phép toán của sự leo thang là ràng buộc bị bỏ qua một cách nhất quán nhất trong thiết kế hệ thống AI.

Phép tính mà không ai thực hiện

Tỷ lệ leo thang nhìn theo tương đối thì nhỏ, nhưng theo tuyệt đối thì lớn. Một hệ thống chính xác 95% trên một triệu giao dịch mỗi ngày vẫn tạo ra năm mươi nghìn ca cần đánh giá thủ công. Với năm phút mỗi lần đánh giá, đó là hơn bốn nghìn giờ công mỗi ngày.

Các tổ chức hiếm khi chạy phép tính này trước khi triển khai. Pilot xử lý khối lượng thấp, hàng đợi leo thang luôn trống. Nhưng khi khối lượng tăng, gánh nặng đánh giá thủ công tăng theo tỷ lệ. Và khác với tự động hóa, người đánh giá không hiệu quả hơn theo quy mô. Họ chậm hơn, vì mệt mỏi bắt đầu xuất hiện.

Khoảng trống lộ ra theo ba mô hình:

Lạm phát tồn đọng hàng đợi. Mục tiêu đánh giá được đặt theo năng lực. Khi khối lượng vượt năng lực, tồn đọng tăng lên. Tổ chức phản ứng bằng cách thêm người đánh giá, nhưng chu kỳ tuyển dụng và đào tạo không theo kịp mức tăng khối lượng. Khoảng cách giữa việc cần đánh giá và việc có thể đánh giá nới rộng mỗi chu kỳ.

Nén đánh giá dưới tải. Khi hàng đợi đầy, người đánh giá vội vàng. Thời gian đánh giá trung bình giảm, tỷ lệ lỗi trong đánh giá thủ công tăng. Độ chính xác 95% của hệ thống giờ đi kèm độ chính xác 80% của đánh giá thủ công, và độ tin cậy kết hợp thấp hơn từng cái riêng lẻ.

Lọc thầm lặng. Người vận hành hình thành các quy tắc kinh nghiệm để đối phó quá tải: bỏ qua mọi ca trông quen thuộc, phê duyệt bất cứ thứ gì dưới một ngưỡng tinh thần, đánh giá theo lô để dọn hàng đợi nhanh hơn. Những lối tắt này không được ghi chép, thiếu nhất quán và không thể lặp lại.

Thiết kế human-in-the-loop đáng tin cậy nhất là thiết kế không đòi hỏi con người làm nhiều hơn mức họ có thể duy trì trong một ca làm việc. Con số đó thấp hơn mức hầu hết các tổ chức giả định.

Vì sao quy mô phá vỡ đường ống

Phản ứng tiêu chuẩn với hàng đợi đang tăng là thêm người. Nhưng điều đó giả định người đánh giá có thể thay thế lẫn nhau, việc đào tạo là tức thời, và thêm năng lực không tạo ra chi phí phối hợp. Không điều nào trong số đó đúng.

Người đánh giá mới cần thời gian khởi động. Trong giai đoạn đó, tỷ lệ lỗi của họ cao hơn và thông lượng thấp hơn. Người đánh giá giàu kinh nghiệm phải dành thời gian đào tạo, đánh giá và sửa lỗi cho họ, làm giảm năng lực ròng của nhóm giàu kinh nghiệm. Giải pháp ngắn hạn cho tồn đọng thực ra làm giảm thông lượng trong suốt chu kỳ khởi động.

Còn có vấn đề về tính nhất quán. Mười người đánh giá sẽ không đồng thuận về các ca ranh giới như một người. Các trường hợp biên khó phân loại nhất — những ca hệ thống ít tự tin nhất — cũng chính là những ca con người bất đồng nhiều nhất. Hàng đợi ở quy mô không chứa đầy các quyết định dễ. Nó chứa đầy những ca mơ hồ nhất, hệ trọng nhất và gây tranh cãi nhất mà hệ thống gặp phải.

Thiết kế hàng đợi, không chỉ mô hình

Các tổ chức quản lý tốt việc leo thang không bắt đầu từ mục tiêu độ chính xác. Họ bắt đầu từ giả định về khả năng dọn hàng đợi. Một người đánh giá có thể xử lý hợp lý bao nhiêu ca mỗi giờ, một cách bền vững, với độ chính xác chấp nhận được? Ở khối lượng nào thì năng lực đánh giá của tổ chức khớp với tỷ lệ leo thang của hệ thống? Điều gì xảy ra ở tải đỉnh — có năng lực dự phòng, hay hàng đợi chỉ đơn giản phình lên?

Những câu hỏi này chuyển trọng tâm thiết kế từ "làm hệ thống chính xác nhất có thể" sang "giữ hệ thống trong năng lực đánh giá của con người". Đôi khi điều đó nghĩa là thắt chặt ngưỡng leo thang để chỉ những ca không chắc chắn nhất mới đến tay con người. Đôi khi nghĩa là giới hạn thông lượng để khớp năng lực đánh giá. Đôi khi nghĩa là chấp nhận một số ca sẽ không được đánh giá thủ công trong khung thời gian mong muốn và xây các luồng công việc hạ cấp nhẹ nhàng khi điều đó xảy ra.

Các thiết kế tốt nhất coi hàng đợi con người là ràng buộc chính và hiệu chỉnh mọi thứ khác xung quanh nó.

Nếu hệ thống của bạn leo thang một nghìn ca ngay lúc này, sẽ mất bao lâu để dọn hết chúng, và ai sẽ làm việc đó?

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.