Năm tín hiệu mà mọi hệ thống AI phải phát ra

Hầu hết các hệ thống AI đang vận hành trong sản xuất đều chạy trong bóng tối, và các điều hành viên không biết điều đó cho đến khi có thứ gì đó bốc cháy.

Software stack cổ điển có telemetry ở khắp nơi. Metrics, logs, traces, bảng điều khiển, cảnh báo. Khi cơ sở dữ liệu chậm lại, ai đó nhìn thấy ngay trong phút đầu tiên. Khi lỗi API tăng vọt, người trực được gọi. Hệ thống có thể quan sát được vì đội ngũ đã xây dựng khả năng quan sát vào nó ngay từ đầu.

Các hệ thống AI chẳng có gì trong số đó. Mô hình bị xem như một chiếc hộp ma thuật — bạn gửi đầu vào, nó gửi lại đầu ra, và nếu đầu ra sai, không ai biết cho đến khi một khách hàng biết. Mô hình là thành phần khó đoán nhất trong stack của bạn, và nó lại là thành phần bạn quan sát ít nhất. Điều đó là ngược đời.

Cách khắc phục là năm tín hiệu. Mọi hệ thống AI trong sản xuất nên phát ra chúng, và chúng nên hiển thị trên một bảng điều khiển duy nhất. Nếu có đủ năm tín hiệu này, bạn có thể vận hành AI như vận hành mọi thứ khác. Nếu không, bạn đang đoán mò.

Năm tín hiệu

Tín hiệu thứ nhất: độ tin cậy (confidence). Ước tính của chính mô hình về khả năng câu trả lời của nó đúng. Đây là nguyên liệu thô của niềm tin — con số cho bạn biết đầu ra có thể được hành động hay cần con người. Hãy theo dõi phân phối của nó, chứ không chỉ mức trung bình, vì mức trung bình che giấu những đuôi nguy hiểm. Một hệ thống có độ tin cậy trung bình 0.9 nhưng thỉnh thoảng tụt xuống 0.4 trên các yêu cầu hướng tới khách hàng là một hệ thống có lỗ hổng.

Tín hiệu thứ hai: độ trễ (latency). Thời gian từ yêu cầu đến phản hồi. Độ trễ của AI khác với độ trễ thông thường vì nó rất biến thiên — một prompt ngắn và một prompt dài, một mô hình nguội và một mô hình ấm, và chênh lệch có thể gấp mười lần. Hãy theo dõi phần đuôi, chứ không phải giá trị trung bình. Độ trễ p95 mới là con số mà người dùng của bạn cảm nhận được.

Tín hiệu thứ ba: tỷ lệ leo thang. Phần trăm đầu ra được chuyển cho con người. Đây là tín hiệu sức khỏe mà không ai theo dõi, và nó là tín hiệu giàu thông tin nhất. Tỷ lệ leo thang là doanh nghiệp nói cho bạn biết nó tin tưởng AI đến mức nào. Nó tăng lên khi mô hình xuống cấp, khi dữ liệu trôi dạt, khi nhiệm vụ trở nên khó hơn. Tỷ lệ leo thang tăng dần là cảnh báo sớm nhất về một hệ thống đang đi chệch hướng.

Tín hiệu thứ tư: tỷ lệ ghi đè. Phần trăm đầu ra mà con người chủ động thay đổi trước khi chúng được đưa ra. Leo thang nói 'việc này cần con người.' Ghi đè nói 'con người không đồng ý với AI.' Khoảng cách giữa hai điều đó là tỷ lệ lỗi thực tế của mô hình, và xu hướng của nó là chất lượng thực tế của mô hình. Đây là tín hiệu biến 'AI có vẻ không ổn' thành một con số.

Tín hiệu thứ năm: trôi dạt (drift). Sự thay đổi trong phân phối của đầu vào, đầu ra và độ tin cậy theo thời gian. Thế giới vận động, và hiệu năng của mô hình vận động theo nó. Drift là tín hiệu bắt được sự suy giảm chậm rãi — nguồn dữ liệu đổi định dạng, cơ cấu khách hàng dịch chuyển, các mô hình câu hỏi tiến hóa. Đến khi độ chính xác sụt giảm rõ rệt, drift đã vận hành suốt nhiều tuần rồi.

Năm tín hiệu are confidence, latency, escalation, override, and drift. They're the vital signs of an AI system, and they're the difference between operating and guessing.

Một bảng điều khiển duy nhất

Các tín hiệu chỉ có ý nghĩa khi chúng hiển thị ở một nơi dễ thấy. Một bảng điều khiển, năm bảng nhỏ, không hơn. Điều hành viên phải có thể nhìn nó trong ba mươi giây và trả lời ba câu hỏi: hệ thống có khỏe mạnh ngay bây giờ không, nó đang tốt lên hay tệ đi, và điều gì đã thay đổi gần đây?

Bảng điều khiển là nơi các tín hiệu trở thành một câu chuyện. Độ tin cậy giảm và leo thang tăng cùng lúc, nghĩa là mô hình ngày càng kém chắc chắn và doanh nghiệp đang nhận ra. Ghi đè tăng vọt trong khi leo thang giữ nguyên, nghĩa là con người đang lặng lẽ sửa những lỗi không bao giờ đến hàng đợi đánh giá. Drift tăng trên một nguồn đầu vào, nghĩa là có gì đó thay đổi ở thượng nguồn và đã đến lúc xem xét.

Các bảng nhỏ không cần cầu kỳ. Một chuỗi thời gian cho mỗi tín hiệu, một đường ngưỡng cho mỗi tín hiệu, và một màu sắc. Xanh lá, vàng, đỏ. Bảng điều khiển là lớp phiên dịch giữa mô hình và điều hành viên, và toàn bộ công việc của nó là làm cho sức khỏe của AI trở nên rõ ràng như sức khỏe của cơ sở dữ liệu.

Các tín hiệu cho bạn biết điều gì, và khi nào

Các tín hiệu là những hệ thống cảnh báo sớm, và mỗi tín hiệu có thời gian báo trước riêng.

Drift là sớm nhất. Nó bắt đầu nhiều tuần trước khi bất cứ điều gì khác chuyển động, và nó cho bạn biết thế giới đang thay đổi dưới chân mô hình. Leo thang là tiếp theo — doanh nghiệp bắt đầu nhận ra, và tỷ lệ tăng dần. Ghi đè theo sau — con người đang làm nhiều việc hơn. Độ tin cậy và độ trễ là những kẻ chậm chân, chỉ chuyển động khi vấn đề đã thực sự xảy ra.

Công việc của điều hành viên là bắt các tín hiệu sớm và hành động khi hệ thống vẫn còn khỏe mạnh. Drift đang tăng — hãy điều tra nguồn dữ liệu ngay bây giờ, chứ không phải khi độ chính xác sụp đổ. Leo thang đang nhích lên — hãy xem xét nhiệm vụ, các prompt, phiên bản mô hình, trước khi hàng đợi trở thành câu chuyện. Các tín hiệu không dự đoán tương lai. Chúng cho bạn thời gian báo trước để hành động trước sự cố.

Chi phí xây dựng

Năm tín hiệu nghe như một dự án lớn. Nhưng chỉ mất một tuần. Độ tin cậy đến từ chính đầu ra của mô hình. Độ trễ đến từ đường dẫn yêu cầu. Leo thang và ghi đè đến từ công cụ đánh giá, thứ mà dù sao bạn cũng nên có. Drift đến từ việc ghi lại phân phối đầu vào. Nối năm tín hiệu vào một bảng điều khiển, đặt một ngưỡng cho mỗi tín hiệu, là xong.

Các đội bỏ qua điều này sẽ trả giá bằng những sự cố. AI làm sai điều gì đó, không ai biết nó đã sai bao lâu, không ai biết mức độ lan rộng, và cuộc điều tra bắt đầu từ con số không. Năm tín hiệu sẽ không ngăn được sai lầm — không telemetry nào làm được điều đó. Nhưng chúng sẽ cho bạn biết ngày nó bắt đầu, phạm vi nó đạt tới và cách khắc phục nó cần.

Mô hình là thành phần khó đoán nhất trong stack của bạn. Hãy quan sát nó đúng như bản chất của nó. Năm tín hiệu, một bảng điều khiển, ba mươi giây để đọc nó. Đó là toàn bộ lớp quan sát, và đó là sự khác biệt giữa vận hành AI của bạn và hy vọng nó tự vận hành.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.