Phân tầng mô hình của bạn như bạn phân tầng khách hàng

Bạn không đặt mọi khách hàng vào cùng một cấp dịch vụ. Bạn cũng không đặt mọi mô hình vào cùng một cấp, và việc đối xử chúng như nhau chính là cách ngân sách AI bùng nổ.

Thiết lập mặc định là một mô hình cho mọi thứ. Nhóm chọn mô hình thông minh nhất mà họ có thể chi trả — hoặc mô hình demo tốt nhất — và định tuyến mọi yêu cầu đến nó. Yêu cầu tầm thường, yêu cầu quan trọng, yêu cầu cần suy luận sâu, yêu cầu cần câu trả lời nhanh. Tất cả đến cùng một mô hình. Tất cả với cùng một mức giá.

Điều đó giống như cho mọi khách hàng bay hạng nhất vì hạng nhất tồn tại. Nó hoạt động. Nhưng nó cũng đắt một cách điên rồ, và đó là khoản chi phí AI dễ cắt giảm nhất mà không đụng đến chất lượng.

Khung phân tầng

Mỗi yêu cầu AI có hai thuộc tính bạn nên biết trước khi định tuyến nó: nó khó đến đâu, và nó quan trọng đến mức nào.

Nó khó đến đâu quyết định mô hình nào có thể xử lý được. Rất nhiều công việc AI là dễ: phân loại, trích xuất, tóm tắt, điền biểu mẫu, soạn thảo thông thường. Mô hình tiên tiến xử lý tốt, nhưng một mô hình nhỏ, nhanh và rẻ cũng làm được. Công việc khó — suy luận phức tạp, phân tích nhiều bước và phán đoán tinh tế — mới cần mô hình tiên tiến.

Nó quan trọng đến mức nào quyết định bạn sẵn sàng chi bao nhiêu cho nó. Một câu trả lời sai trên bản nháp nội bộ tốn một giờ. Một câu trả lời sai trên báo giá khách hàng tốn một tài khoản. Một câu trả lời sai trên quyết định tuân thủ tốn một cơ quan quản lý. Chi phí của lỗi chính là con số đặt ra mức chấp nhận của bạn.

Ghép hai điều đó lại, bạn có một ma trận định tuyến. Dễ và rủi ro thấp: mô hình rẻ nhất, không cần xem xét. Dễ và rủi ro cao: mô hình rẻ, con người xem xét. Khó và rủi ro thấp: mô hình tầm trung, kiểm tra chọn mẫu. Khó và rủi ro cao: mô hình tiên tiến, con người xem xét, lộ trình nâng cấp đầy đủ.

Mô hình bạn sử dụng là một quyết định kinh doanh về chi phí và rủi ro, chứ không phải một quyết định kỹ thuật về năng lực. Mô hình rẻ nhất nhưng đủ tốt, được xem xét ở mức độ mà rủi ro đòi hỏi, mới là mô hình đúng.

Vì sao lúc đầu điều này có vẻ sai

Sự phản kháng với phân tầng thường là cùng một lập luận: mô hình tiên tiến tốt hơn, vậy tại sao tôi lại dùng một mô hình kém hơn?

Bởi vì “tốt hơn” không phải là mục tiêu. Mục tiêu là đủ tốt ở mức giá phù hợp. Mô hình tiên tiến tốt hơn theo cùng cách mà hạng nhất tốt hơn — nó dễ chịu hơn, nhưng không phải là thứ mà hầu hết các chuyến đi cần. Một nhiệm vụ phân loại mà mô hình nhỏ làm đúng 99,2% và mô hình tiên tiến làm đúng 99,4% không phải là nhiệm vụ cần mô hình tiên tiến. 0,2% đó rất đắt, và bạn đang trả tiền cho nó trên từng yêu cầu.

Sự phản kháng còn lại là sự thoải mái về mặt kỹ thuật. Một mô hình thì đơn giản — một lần tích hợp, một nhà cung cấp, một quy ước prompt, một hóa đơn. Phân tầng nghĩa là nhiều lần tích hợp, logic định tuyến và đánh giá cho từng cấp. Đó là công việc thực sự. Nhưng lớp định tuyến có cùng hình dạng với việc định tuyến bạn vốn đã làm cho lưu lượng, cho hàng đợi, cho các mức dịch vụ. Và khoản tiết kiệm sẽ bù đắp sự phức tạp đó gấp nhiều lần.

Cách xây dựng ma trận

Bạn không cần một nền tảng để bắt đầu. Bạn cần một bảng và vài tuần nhật ký.

Bước một: liệt kê các nhiệm vụ AI của bạn. Mỗi nơi hệ thống gọi mô hình, hãy ghi lại nhiệm vụ. Bước hai: với mỗi nhiệm vụ, ước tính chi phí của một câu trả lời sai. Cao, trung bình, thấp. Bước ba: chạy nhiệm vụ trên mô hình rẻ trong một tuần, và để những người xem xét đầu ra chấm điểm. Đầu ra của mô hình rẻ cần sửa thường xuyên đến mức nào?

Kết quả thường có thể dự đoán được. Các nhiệm vụ dễ — trích xuất, định dạng, định tuyến, phân loại thông thường — vượt qua trên mô hình rẻ với tỷ lệ sửa thấp đến mức không ai nhận ra sự khác biệt. Các nhiệm vụ khó thì thất bại. Giờ bạn đã có ma trận của mình, được xây dựng trên bằng chứng thay vì ý kiến.

Sau đó đặt các quy tắc định tuyến: nhiệm vụ này luôn đi đến mô hình nhỏ, nhiệm vụ này đến mô hình tầm trung, nhiệm vụ này đến mô hình tiên tiến, và đây là mức xem xét cho từng cái. Bắt đầu với quy tắc 80/20 — một vài nhiệm vụ có khối lượng cao, rủi ro thấp được định tuyến đến mô hình rẻ sẽ thu về phần lớn khoản tiết kiệm.

Sự phân tầng có tính cộng dồn

Một khi ma trận tồn tại, nó trở nên sắc bén hơn theo thời gian thay vì lỗi thời. Các mô hình rẻ cải thiện sau mỗi vài tháng, nghĩa là các nhiệm vụ sẽ dịch xuống một cấp. Lớp đánh giá bạn xây để tạo ma trận chính là lớp đánh giá bắt lấy sự thoái lui của mô hình rẻ khi nó xảy ra. Các quy tắc định tuyến trở thành một tài liệu sống thay vì một quyết định bạn đưa ra một lần rồi quên.

Và khoản tiết kiệm còn cộng dồn theo một cách thứ hai. Số tiền bạn không chi cho các yêu cầu mô hình tiên tiến chính là ngân sách cho những yêu cầu thực sự cần nó — và cho lớp con người xem xét giúp các đầu ra rủi ro cao trở nên an toàn. Phân tầng không chỉ cắt giảm chi phí. Nó định hướng lại chi phí đến nơi quan trọng.

Câu hỏi mở đầu cuộc trò chuyện

Hãy hỏi nhóm của bạn một câu: bao nhiêu phần trăm các lần gọi mô hình của chúng ta thực sự cần mô hình mà chúng ta đang dùng?

Câu trả lời thành thật thường là dưới ba mươi phần trăm. Mô hình tiên tiến đang làm phân loại, trích xuất và soạn thảo — những việc mà một mô hình có giá bằng một phần mười xử lý rất ổn. Không ai cố tình thiết lập điều đó. Nó chỉ là giá trị mặc định, và giá trị mặc định thì đắt đỏ.

Phân tầng mô hình của bạn theo cách bạn phân tầng khách hàng. Rẻ cho công việc thường lệ, cao cấp cho điều quan trọng, và một quy tắc định tuyến biết cái nào là cái nào. Chất lượng không giảm — ngân sách thì giảm, và tiền dịch chuyển đến nơi có rủi ro. Đó không phải là tối ưu hóa. Đó chỉ là không trả giá vé hạng nhất cho những chuyến đi hạng phổ thông.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.