Giới hạn token mà không ai nói đến
Mọi mô hình AI đều có một cửa sổ ngữ cảnh.
Đó là một giới hạn cứng. Một số lượng token hữu hạn — từ ngữ, ký hiệu, khái niệm và các mối quan hệ — mà nó có thể chủ động suy luận tại một thời điểm. Ở trong cửa sổ đó, mô hình nhanh, chính xác và thông minh đến bất ngờ. Vượt ra ngoài nó, hiệu suất bắt đầu suy giảm. Nó quên thông tin trước đó, mất ngữ cảnh, đưa ra những giả định kỳ lạ, hoặc đơn giản là bỏ cuộc.
Đó không phải là lỗi. Đó là vật lý.
Cửa sổ ngữ cảnh càng lớn, mô hình càng có thể xoay xở nhiều sự phức tạp hơn trước khi bắt đầu chật vật.
Điều thú vị là... Không ai nói với bạn rằng điều hành một doanh nghiệp hoạt động gần như theo đúng cùng một cách. Con người cũng có cửa sổ ngữ cảnh.
Chúng ta không đo lường nó bằng token. Chúng ta đo bằng các cuộc họp, quyết định, sự gián đoạn, tin nhắn Slack, email, sự cố sản xuất, vấn đề con người, rà soát ngân sách, cập nhật dự án, và hai mươi ba cuộc trò chuyện mà chúng ta đang cố nhớ trong khi ai đó hỏi, “Này, anh có năm phút không?”
(Cho rõ ràng, chưa từng có ai thực sự chỉ có năm phút.)
Tuy nhiên, khác với AI, chúng ta không có một bảng điều khiển nào cho biết mình đang ở mức sử dụng 98%.
Chúng ta chỉ nhận ra rằng mình đọc lại cùng một email ba lần. Bước vào một căn phòng rồi quên mất lý do. Nhìn chằm chằm vào bảng Jira tự hỏi mình đáng lẽ phải đang làm gì. Mở Teams để trả lời một tin nhắn rồi bằng cách nào đó lại rơi vào bốn cuộc trò chuyện chẳng liên quan gì đến vấn đề ban đầu.
Đến 2 giờ chiều, chúng ta đã kiệt quệ về mặt tinh thần.
Không phải vì chúng ta đã làm việc thể chất.
Mà vì chúng ta đã cạn token.
Chức danh chính thức của tôi là CTO...
...nhưng phụ đề của tôi là “Sống trong hỗn loạn”.
Thành thật mà nói, có lẽ tôi nên in câu đó lên danh thiếp.
Nếu bạn từng làm việc với tôi, có lẽ bạn đã thấy điều đó.
Một phút trước tôi đang bàn về kiến trúc doanh nghiệp. Phút sau tôi lại nói về mạng lưới. Rồi an ninh mạng. Rồi chuỗi cung ứng. Rồi ngân sách. Rồi AI. Rồi ai đó bước vào hỏi vì sao một chiếc máy in ở Tòa nhà 7 ngừng hoạt động.
Năm phút sau, tôi đang rà soát các bản triển khai Kubernetes trong khi trả lời câu hỏi về hệ thống sản xuất và cố nhớ liệu mình đã phê duyệt yêu cầu vốn đó chưa.
Đó là sự hỗn loạn có kiểm soát... phần lớn thời gian.
Thực tế là các nhà điều hành, đặc biệt là các nhà lãnh đạo công nghệ, trở thành những người chuyển ngữ cảnh chuyên nghiệp. Công việc của chúng ta là hấp thụ sự phức tạp từ mọi hướng mà không để tổ chức cảm nhận được.
Về bản chất, chúng ta đang đóng vai một bộ đệm ngữ cảnh khổng lồ cho mọi người khác.
Và đó là nơi mọi thứ trở nên nguy hiểm.
Token Maxxing: Siêu năng lực... và cái bẫy
Qua nhiều năm, tôi nhận thấy một khuôn mẫu — không chỉ ở bản thân tôi, mà ở các kiến trúc sư phần mềm, nhà sáng lập, kỹ sư, và hầu như mọi giám đốc điều hành kỹ thuật mà tôi kính trọng. Nó dường như đặc biệt phổ biến ở những người có bộ não được lập trình hơi khác một chút. Đó là ADHD, sự siêu tập trung, hay đơn giản chỉ là nhiều năm tự rèn luyện để giải những bài toán bất khả thi, tôi không rõ. Nhưng khuôn mẫu này không thể nhầm lẫn, và tôi bắt đầu gọi nó là Token Maxxing.
Khi các điều kiện hội tụ — một vấn đề khó, công việc có ý nghĩa, rủi ro cao và một hạn chót — bộ não của chúng ta trở nên hiệu quả đến khó tin. Thông tin chảy nhanh hơn, các khuôn mẫu xuất hiện gần như ngay lập tức, và những kết nối hình thành giữa các hệ thống chỉ vài phút trước còn tưởng như hoàn toàn không liên quan. Những vấn đề bị kẹt hàng tuần đột nhiên trở nên hiển nhiên vì bạn không còn nhìn thấy mười vấn đề riêng lẻ nữa; bạn thấy một nguyên nhân gốc rễ đang buộc tất cả chúng lại với nhau. Thứ trông quá sức với mọi người khác bắt đầu cảm thấy gần như... thú vị.
Đó là một trong những trạng thái tôi thích nhất. Hàng giờ trôi qua mà không hay biết. Đồ ăn trở nên tùy chọn. Giấc ngủ trở nên có thể thương lượng. Ai đó hỏi mấy giờ rồi, và bạn thực sự ngạc nhiên rằng bên ngoài trời đã tối. Nhìn từ bên ngoài, nó trông như một siêu năng lực. Mọi người tự hỏi làm sao bạn hoàn thành khối lượng công việc ba ngày trước bữa trưa, và họ cho rằng bạn đơn giản là thông minh hơn hoặc bằng cách nào đó đang vận hành ở một cấp độ khác.
Trên thực tế, điều đang xảy ra thường không phải vậy. Bạn chỉ đang tiêu thụ token với tốc độ đáng kinh ngạc. Bộ não của bạn đang vận hành hết công suất, xử lý một lượng ngữ cảnh phi thường mỗi giây. Cảm giác đó thật tuyệt khi nó đang diễn ra — nhưng mọi hệ thống đều có giới hạn, và cuối cùng hóa đơn cũng đến hạn.
Cú sụp đổ
Rồi nó xảy ra.
Và cũng không từ từ. Gần như ngay lập tức.
Đoạn code bạn nhìn chằm chằm suốt sáu giờ đột nhiên không còn nghĩa lý gì. Những quyết định ba mươi phút trước còn thấy hiển nhiên giờ lại đòi hỏi nỗ lực. Bạn đọc lại cùng một email nhiều lần. Ai đó hỏi bạn một câu hỏi đơn giản, và thay vì một câu trả lời ngay lập tức, bộ não bạn đáp lại: “Tôi hoàn toàn không còn gì.”
Bạn không trở nên kém thông minh hơn. Bạn không mất động lực, và chắc chắn bạn không ngừng quan tâm đến công việc. Bạn chỉ đơn giản là đã vượt quá cửa sổ ngữ cảnh nhận thức của mình.
Giống như một LLM bị đẩy vượt quá giới hạn token, bộ não của bạn bắt đầu loại bỏ thông tin để tự bảo vệ. Các chi tiết trôi đi. Việc tạo kết nối trở nên khó khăn hơn. Sự kiên nhẫn ngắn lại — không phải vì mọi người đặt câu hỏi tệ, mà vì mỗi câu hỏi mới đòi hỏi nạp thêm một bộ token vào một hệ thống đã đầy.
Nhiều năm trời, tôi đã chống lại điều này. Tôi sẽ nhìn chằm chằm vào màn hình dữ dội hơn, tin rằng thêm mười lăm phút nữa sẽ giải quyết được vấn đề. Nhưng gần như chưa bao giờ. Thực tế, tôi càng ngồi đó cố ép buộc lâu bao nhiêu, suy nghĩ của tôi càng tệ bấy nhiêu.
Giờ tôi đã học được một điều hiệu quả đến bất ngờ.
Bắt đầu một phiên mới.
Không phải trên máy tính của bạn.
Mà trong bộ não của bạn.
Đứng dậy. Bước ra ngoài. Lấy một ly cà phê. Nói chuyện với ai đó về bất cứ điều gì trừ vấn đề bạn đang giải quyết. Đi dạo một vòng quanh tòa nhà. Vuốt ve con chó. Xem mười phút lũ chim làm những việc của chim. Cho bộ não của bạn quyền được dỡ bỏ cửa sổ ngữ cảnh thay vì cố nhồi thêm một token nữa.
Thật đáng kinh ngạc khi câu trả lời thường xuất hiện chỉ năm phút sau đó.
Tất cả chúng ta đều từng trải qua. Bạn vật lộn với một vấn đề hàng giờ, bực bội bỏ đi, và giữa chừng cuộc dạo bộ, giải pháp xuất hiện từ hư không. Giải pháp không được tạo ra một cách kỳ diệu trong lúc đi bộ. Bộ não của bạn cuối cùng đã có đủ năng lực rảnh rỗi để nhìn thấy nó.
Qua nhiều năm, tôi dần tin rằng kiệt sức thường không phải do làm việc quá sức, mà do mang quá nhiều ngữ cảnh chưa được giải quyết trong quá lâu.
Có một sự khác biệt quan trọng giữa hai điều đó.
Làm việc chăm chỉ thì mệt mỏi, nhưng nó cũng có thể tiếp thêm năng lượng khi bạn đang tiến bộ. Mang theo hàng chục vấn đề chưa giải quyết, chuyển đổi giữa hai mươi ưu tiên, và cố nhớ mọi quyết định còn đang bỏ ngỏ lại là một chuyện hoàn toàn khác. Gánh nặng nhận thức vô hình đó từ từ bào mòn khả năng suy nghĩ sáng suốt của bạn.
Lãnh đạo là quản lý token
Nhận thức này đã hoàn toàn thay đổi cách tôi nghĩ về lãnh đạo.
Với tư cách một CTO, công việc của tôi không chỉ đơn giản là đưa ra các quyết định công nghệ. Đó là giảm bớt gánh nặng nhận thức không cần thiết trên khắp tổ chức. Mọi ưu tiên không rõ ràng, mọi cuộc họp không cần thiết, mọi quy trình có quyền sở hữu mơ hồ, và mọi quyết định bị xem xét lại hết lần này đến lần khác đều tiêu tốn băng thông tinh thần lẽ ra có thể dành để giải quyết những vấn đề kinh doanh thực sự.
Những nhà lãnh đạo giỏi nhất mà tôi từng làm việc cùng dường như đều hiểu điều này theo bản năng. Họ tạo ra sự rõ ràng trước khi tạo ra sự cấp bách. Họ đơn giản hóa trước khi tối ưu hóa. Họ loại bỏ ma sát thay vì yêu cầu mọi người đơn giản là cố gắng hơn.
Đó là lý do tài liệu quan trọng. Đó là lý do quyền sở hữu rõ ràng quan trọng. Đó là lý do kiến trúc tốt quan trọng. Những điều đó không chỉ là cải tiến vận hành — chúng là cách trả lại năng lực tinh thần cho con người. Mỗi sự mơ hồ bạn loại bỏ là thêm vài token mà nhóm của bạn có thể dành cho sáng tạo, giải quyết vấn đề và đổi mới thay vì cố nhớ ai sở hữu cái gì.
Tôi bắt đầu nhìn các tổ chức qua lăng kính đó. Một số công ty liên tục yêu cầu mọi người mở rộng cửa sổ ngữ cảnh của họ, kỳ vọng họ xoay xở nhiều cuộc họp hơn, nhiều sự gián đoạn hơn, nhiều dự án hơn và nhiều ưu tiên hơn mà không thay đổi hệ thống xung quanh họ. Cuối cùng, mọi người bắt đầu đưa ra quyết định chậm hơn, chất lượng trượt dốc, và tổ chức nhầm lẫn tình trạng quá tải nhận thức với một vấn đề hiệu suất.
Các tổ chức lành mạnh nhất làm ngược lại. Họ giảm bớt sự phức tạp không cần thiết. Họ tự động hóa các quyết định lặp đi lặp lại. Họ loại bỏ nhiễu. Họ tạo ra các hệ thống cho phép mọi người tập trung vào công việc ý nghĩa thay vì liên tục nạp lại ngữ cảnh.
Trớ trêu thay, những tổ chức đó thường hoàn thành được nhiều hơn trong khi trông bình tĩnh hơn.
Có lẽ đó mới là bài học thực sự từ AI.
Hiệu suất không chỉ nằm ở việc mô hình thông minh đến đâu, mà còn ở việc nó có thể quản lý bao nhiêu ngữ cảnh một cách hiệu quả. Điều tương tự cũng đúng với con người.
Mục tiêu không nên là nhồi thêm token vào bộ não của chúng ta. Mà nên là thiết kế các tổ chức nơi ít token bị lãng phí ngay từ đầu.
Bởi vì khi con người dành ít năng lượng hơn cho việc sinh tồn giữa sự phức tạp, họ sẽ còn lại nhiều năng lượng hơn để giải quyết những vấn đề thực sự quan trọng.
Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.
Bắt đầu trò chuyện