Điều gì hỏng trước: Mô hình hay quy trình

Điều gì hỏng trước: Mô hình hay quy trình

Khi các hệ thống AI thất bại trong sản xuất, bản năng ngay lập tức là nhìn vào mô hình. Dữ liệu có thiếu không? Prompt có bị suy giảm không? Phân phối có thay đổi không? Đây là những câu hỏi hợp lý, nhưng chúng thường bỏ lỡ điểm thất bại thực sự.

Trong hầu hết các trường hợp, quy trình hỏng trước.

Mô hình có khả năng phục hồi đáng kinh ngạc. Chúng suy giảm dần dần, tạo ra tín hiệu một phần, và thường vẫn hữu ích về mặt định hướng ngay cả trong điều kiện không hoàn hảo. Ngược lại, quy trình thì giòn. Chúng giả định những đầu vào, thời điểm và mức độ tin cậy nhất định. Khi những giả định đó bị vi phạm, toàn bộ hệ thống sẽ có cảm giác hỏng — ngay cả khi mô hình vẫn hoạt động khá ổn.

Sự không khớp này tạo ra một mô thức quen thuộc. AI “hoạt động” trong kiểm thử và demo, nhưng chật vật trong môi trường thực tế. Không phải vì mô hình thay đổi, mà vì thực tế đưa vào sự mơ hồ mà quy trình chưa bao giờ được thiết kế để hấp thụ.

Quy trình có xu hướng mã hóa sự chắc chắn. Chúng kỳ vọng đầu ra đến đúng giờ, đúng định dạng cụ thể, và có bước tiếp theo rõ ràng. AI đưa vào sự biến thiên: sự bất định, đầu ra mang tính xác suất và đôi khi từ chối trả lời. Khi quy trình không thể chứa đựng sự biến thiên này, con người buộc phải vá các khoảng trống một cách không chính thức.

Những miếng vá này trở thành hệ thống thực sự. Đánh giá thủ công, tin nhắn Slack, bảng tính phụ và các quy tắc bất thành văn bù đắp cho quy trình cứng nhắc. Mô hình bị đổ lỗi vì sự thiếu nhất quán, trong khi quy trình âm thầm hấp thụ thiệt hại.

Cải thiện mô hình hiếm khi sửa được điều này. Độ chính xác cao hơn giúp giảm lỗi nhìn thấy được nhưng không giải quyết sự mong manh về cấu trúc. Trường hợp ngoại lệ tiếp theo chỉ đơn giản xuất hiện ở một nơi khác.

Các hệ thống AI vững chắc được xây dựng xoay quanh các quy trình dự kiến sự bất định. Chúng bao gồm các điểm tạm dừng, lộ trình leo thang và hành vi dự phòng. Chúng coi đầu ra của AI là đầu vào cho sự phán đoán, không phải điểm kết thúc.

Đây không phải là lập luận chống lại những mô hình tốt hơn. Đó là lập luận ủng hộ việc coi quy trình như hạ tầng hạng nhất. Câu hỏi không phải là mô hình có đủ tốt hay không, mà là quy trình có thể chịu đựng việc nó đôi khi sai mà không sụp đổ hay không.

Khi mọi thứ hỏng, đáng để tự hỏi: mô hình có thất bại không — hay quy trình không còn chỗ nào để đặt sự nghi ngờ?

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.