80/20 của một nền tảng AI nội bộ

Nền tảng AI nội bộ là nơi ngân sách AI đi đến chỗ chết. Mọi công ty đều xây một cái, và hầu hết đều xây nhầm phần.

Tôi đã thấy mô hình này đủ nhiều để đặt tên cho nó: đội nền tảng xây cơ sở hạ tầng hào nhoáng — cổng mô hình, khung điều phối, sân chơi prompt, giao diện đẹp mắt — mà các đội nghiệp vụ vẫn chẳng làm được gì. Nền tảng có cả trăm tính năng mà không ai dùng, vì những tính năng đó là thứ đội nền tảng muốn, chứ không phải thứ nghiệp vụ cần.

Cách khắc phục là một bài tập tàn khốc về thứ tự ưu tiên. Trong tất cả những gì một nền tảng có thể làm, chỉ có bốn điều thực sự quan trọng, phần còn lại chỉ là trang trí.

Bốn điều đáng để xây dựng

Thứ nhất: đánh giá. Đây là điều không thể thương lượng, là thứ các đội nền tảng thường bỏ qua nhất vì nó không hào nhoáng. Một bộ kiểm thử, một đường cơ sở, một kiểm tra hồi quy — khả năng trả lời "mô hình mới này tốt hơn hay tệ hơn thứ chúng ta đang có?" Đánh giá là lớp kiểm toán của AI, và nó là sự khác biệt giữa việc nâng cấp mô hình với sự tự tin và nâng cấp bằng niềm tin mù quáng. Mọi mô hình đều thay đổi, mọi prompt đều thay đổi, và nếu không có bộ khung đánh giá, bạn đang bay mù. Hãy xây cái này trước. Nó là nền tảng để mọi thứ khác đứng lên.

Thứ hai: điều hướng (routing). Lớp phân tầng mô hình từ bài trước — các quy tắc gửi công việc thường nhật cho mô hình rẻ và công việc khó cho mô hình tiên phong. Đây là lớp kiểm soát chi phí, đồng thời cũng là lớp độ tin cậy, bởi điều hướng chính là cách bạn thêm mô hình dự phòng khi mô hình chính suy giảm. Một nền tảng không có điều hướng là một nền tảng trả giá vé hạng nhất cho mọi thứ và không có kế hoạch khi mô hình chính bị trục trặc.

Thứ ba: khả năng quan sát. Bạn không thể vận hành thứ mình không nhìn thấy. Mỗi yêu cầu cần một dấu vết: mô hình nào, đầu vào gì, đầu ra gì, độ tin cậy bao nhiêu, độ trễ bao nhiêu, sau đó đã xảy ra chuyện gì. Đây là lớp khiến sự cố trở nên giải thích được, biến "AI làm điều gì đó kỳ lạ" thành "mô hình X, prompt Y, độ tin cậy Z, đây là chỗ cần sửa." Không có nó, mọi vấn đề AI đều là một bí ẩn và mọi bí ẩn đều bị đổ lỗi cho AI.

Thứ tư: leo thang. Là đường đi qua đánh giá của con người — nơi những đầu ra quan trọng được đưa cho một người trước khi đến tay khách hàng. Đây là lớp khiến AI rủi ro cao trở nên an toàn, và nó gần như luôn được xây cuối cùng, sau sự cố chứng minh rằng nó cần thiết.

Một nền tảng gồm bốn thứ: đánh giá, điều hướng, khả năng quan sát và leo thang. Mọi thứ khác chỉ là tính năng. Bốn thứ này mới là nền tảng.

Nên mua gì thay vào đó

Mọi thứ khác — các khung điều phối, công cụ prompt, cổng mô hình, cơ sở dữ liệu vector, các sân chơi — hãy mua. Thị trường cho mảng này đã chín muồi, sản phẩm tốt, và chi phí mua chỉ bằng một phần nhỏ chi phí duy trì bản tự xây.

Phép thử tự xây hay mua ở cấp độ nền tảng cũng giống mọi nơi khác: đây có phải là điểm khác biệt không, và nó có chạm vào dữ liệu và phán đoán của chúng ta không? Đánh giá chạm vào dữ liệu và phán đoán của bạn — nó mã hóa ý nghĩa của chất lượng đối với bạn. Điều hướng chạm vào chi phí và mức chấp nhận rủi ro của bạn. Khả năng quan sát chạm vào vận hành của bạn. Leo thang chạm vào khách hàng của bạn. Bốn thứ đó là của bạn. Cổng mô hình là hàng hóa thông thường. Khung điều phối là hàng hóa thông thường. Kho vector là hàng hóa thông thường. Hãy để các nhà cung cấp giữ chúng.

Sai lầm của các đội nền tảng là đảo ngược điều này — xây phần hàng hóa thông thường vì chúng vui, và mua phần tạo khác biệt vì chúng khó. Cổng là một dự án cuối tuần gây ấn tượng trong các buổi demo. Bộ khung đánh giá là nhiều tháng làm việc nhàm chán mà không ai muốn demo. Đoán xem cái nào được xây.

Phép thử mức độ áp dụng

Đây là phép thử để biết nền tảng của bạn có đúng không: một đội nghiệp vụ có thể xuất xưởng thứ gì đó bằng nó mà không cần kỹ sư nền tảng trong phòng không?

Nếu câu trả lời là không, thì nền tảng đã thất bại, bất kể nó hoàn chỉnh đến đâu. Công việc của nền tảng không phải là gây ấn tượng. Mà là khiến con đường từ ý tưởng đến tính năng AI hoạt động đủ ngắn để các đội thực sự bước đi. Bốn lớp được đấu nối sao cho một đội có thể thả một nhiệm vụ vào, trỏ vào dữ liệu, đặt mức đánh giá, rồi chạy — đó mới là nền tảng. Mọi thứ khác chỉ là hạ tầng đang đi tìm người dùng.

Những đội thực sự dùng AI trong sản xuất không phải là những đội có nền tảng ấn tượng nhất. Họ là những đội có nền tảng làm tốt bốn việc nhàm chán một cách đáng tin cậy: nó đánh giá, nó điều hướng, nó quan sát và nó leo thang. Các bản demo ở một nơi khác, và chúng không quan trọng.

Nơi 80/20 mang lại giá trị

Tám mươi phần trăm giá trị của một nền tảng AI nội bộ đến từ hai mươi phần trăm công việc — bốn lớp đó, được làm nhàm chán nhưng tốt. Tám mươi phần trăm công việc còn lại, cơ sở hạ tầng hào nhoáng, tạo ra các bản demo và thời gian chết.

Xây bốn thứ đó. Mua phần còn lại. Và khi đề xuất nền tảng tiếp theo đặt lên bàn bạn với một lộ trình đầy cổng và khung, hãy hỏi bộ khung đánh giá ở đâu. Nếu nó không có trên lộ trình, thì đề xuất đó không phải là một nền tảng. Nó là một sở thích có ngân sách.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.