Khả năng kiểm toán mà không tắc nghẽn: Thiết kế các biện pháp kiểm soát AI mà người vận hành thực sự sẽ sử dụng
Khả năng kiểm toán mà không tắc nghẽn: Thiết kế các biện pháp kiểm soát AI mà người vận hành thực sự sẽ sử dụng
Hầu hết các tổ chức đều đồng ý về một điều khi nói đến AI:
"Chúng ta cần khả năng kiểm toán." Ý định đó là đúng.
Lãnh đạo muốn khả năng truy vết. Đội tuân thủ muốn khả năng bảo vệ. Đội rủi ro muốn khả năng nhìn thấu các quyết định.
Nhưng trên thực tế, khả năng kiểm toán thường biến thành một thứ hoàn toàn khác: ma sát.
Quy trình chậm lại. Người vận hành tìm cách lách các biện pháp kiểm soát. Các quy trình ngầm xuất hiện. Và hệ thống vốn nhằm tăng lòng tin lại trở nên khó dùng hơn — và dễ bị lách hơn.
Đây là kiểu thất bại mà ít đội nhóm nào lên kế hoạch trước:
khả năng kiểm toán tạo ra tắc nghẽn.
Sự đánh đổi ẩn giấu: kiểm soát vs. khả năng sử dụng
Ở quy mô doanh nghiệp, mỗi biện pháp kiểm soát đều đặt ra một lựa chọn:
- tăng khả năng truy vết
- hoặc giữ cho luồng công việc trôi chảy
Nhiều tổ chức cố gắng tối đa hóa cả hai bằng cách thêm nhiều tầng:
- nhiều phê duyệt hơn
- nhiều yêu cầu ghi log hơn
- nhiều bước lập tài liệu hơn
- nhiều điểm kiểm tra hơn
Xét riêng lẻ, mỗi thứ đều hợp lý.
Gộp lại, chúng tạo ra một hệ thống mà người vận hành thực tế không thể tuân theo khi chịu áp lực.
Và khi điều đó xảy ra, một hệ quả có thể đoán trước xuất hiện:
mọi người tối ưu cho việc hoàn thành công việc — chứ không phải cho việc tuân theo mô hình kiểm soát.
Đó chính là nơi khả năng kiểm toán sụp đổ.
Không phải vì thiếu các biện pháp kiểm soát. Mà vì chúng không thể sử dụng được.
Khả năng kiểm toán thất bại khi nó tách rời khỏi quy trình làm việc
Một kiểu phổ biến là coi khả năng kiểm toán như một lớp riêng biệt:
- log được lưu ở một nơi khác
- phê duyệt được theo dõi trong các hệ thống rời rạc
- lý do được ghi lại thủ công (nếu có)
- dấu vết kiểm toán được dựng lại sau khi sự việc đã xảy ra
Điều này tạo ra hai vấn đề:
Thứ nhất, nó làm tăng gánh nặng cho người vận hành. Thứ hai, nó làm giảm độ tin cậy của chính cuộc kiểm toán.
Trên thực tế, nếu việc thu thập bằng chứng đòi hỏi thêm công sức, nó sẽ trở thành:
- bị bỏ qua
- không đầy đủ
- thiếu nhất quán
Điều đó phá hỏng mục đích ban đầu.
Khả năng kiểm toán hiệu quả không nằm ngoài quy trình làm việc.
Nó được tạo ra bởi chính quy trình làm việc khi vận hành.
Mục tiêu không phải là nhiều biện pháp kiểm soát hơn, mà là bằng chứng được nhúng sẵn.
Các hệ thống AI mạnh nhất không yêu cầu người vận hành tạo ra dấu vết kiểm toán.
Chúng tự động tạo ra dấu vết kiểm toán.
Điều đó có nghĩa là:
- các quyết định được ghi lại ngay khi chúng diễn ra
- đầu vào và đầu ra được ghi lại theo ngữ cảnh
- các điểm can thiệp được ghi lại theo thiết kế
- các thao tác ghi đè được theo dõi mà không cần thêm bước
- lý do được gắn với hành động, không phải thêm vào sau
Điều này chuyển khả năng kiểm toán từ một hoạt động thủ công thành một thuộc tính của hệ thống.
Và nó làm giảm đáng kể ma sát.
Kiểm soát quá mức tạo ra sự tuân thủ mang tính hình thức
Khi các yêu cầu kiểm toán trở nên quá nặng nề, các tổ chức thường rơi vào các kiểu hành xử mang tính hình thức:
- phê duyệt được đưa ra mà không có sự xem xét thực chất
- tài liệu được viết để đáp ứng chính sách, không phản ánh thực tế
- log tồn tại nhưng hiếm khi được dùng
- quy trình kiểm toán vượt qua kiểm tra nhưng bỏ sót rủi ro thực sự
Điều này tạo ra cảm giác an toàn giả tạo.
Mọi thứ trông có vẻ tuân thủ. Nhưng rất ít thứ thực sự được kiểm soát.
Trong các quy trình AI, điều này đặc biệt rủi ro.
Bởi vì các quyết định có thể mở rộng nhanh chóng — và các biện pháp kiểm soát yếu kém cũng mở rộng theo chúng.
Khả năng kiểm toán tốt tập trung vào các thời điểm quyết định, không phải mọi thứ
Một sai lầm phổ biến khác là cố gắng ghi lại mọi thứ.
Mọi hành động. Mọi đầu ra. Mọi tương tác.
Điều này tạo ra khối lượng, không phải sự rõ ràng.
Điều quan trọng hơn là ghi lại đúng thời điểm:
- khi một quyết định được đưa ra
- khi một ngưỡng bị vượt qua
- khi có con người can thiệp
- khi xảy ra thao tác ghi đè
- khi một sự leo thang được kích hoạt
Đây là những điểm mà tại đó:
- trách nhiệm giải trình là quan trọng
- rủi ro được đưa vào hoặc được giảm thiểu
- các quyết định có thể được xem xét một cách có ý nghĩa
Tập trung vào những thời điểm này tạo ra dấu vết kiểm toán hữu ích, chứ không chỉ là dấu vết đồ sộ.
Người vận hành chỉ sử dụng các biện pháp kiểm soát phù hợp với cách công việc thực sự diễn ra
Đây chính là nơi nhiều thiết kế kiểm toán thất bại.
Chúng phản ánh cách các đội tuân thủ nghĩ công việc nên diễn ra.
Chứ không phải cách người vận hành thực sự thực thi trong điều kiện thực tế.
Trên thực tế:
- người vận hành đang phải xoay xở với khối lượng và áp lực thời gian
- các quyết định được đưa ra với thông tin không đầy đủ
- quy trình làm việc là động, không phải tuyến tính
- các trường hợp ngoại lệ là thường xuyên, không phải hiếm gặp
Nếu các biện pháp kiểm soát không phù hợp với thực tế này, chúng sẽ bị lách.
Những thiết kế hiệu quả nhất:
- giảm thiểu các bước bổ sung
- tích hợp vào các công cụ và luồng hiện có
- tự động hiển thị ngữ cảnh
- giảm tải nhận thức trong lúc ra quyết định
Nói cách khác, chúng tôn trọng môi trường làm việc của người vận hành.
Khả năng kiểm toán nên hỗ trợ các quyết định, chứ không chỉ xem xét lại chúng
Cần một sự chuyển dịch khác.
Khả năng kiểm toán thường được xem là mang tính hồi cứu — thứ chỉ được dùng sau khi sự việc đã xảy ra.
Nhưng trong các hệ thống trưởng thành, nó còn hỗ trợ các quyết định theo thời gian thực.
Ví dụ:
- hiển thị mức độ tin cậy bên cạnh đầu ra
- tự động hiển thị bằng chứng nguồn
- làm nổi bật các ràng buộc chính sách tại các điểm quyết định
- hiển thị các trường hợp tương tự hoặc thao tác ghi đè trước đó
Điều này cho phép người vận hành:
- đưa ra quyết định tốt hơn ngay tại thời điểm đó
- giảm các sự leo thang không cần thiết
- cải thiện tính nhất quán giữa các trường hợp
Khả năng kiểm toán trở thành không chỉ một biện pháp kiểm soát — mà còn là một lớp hỗ trợ ra quyết định.
Quyền sở hữu quyết định liệu khả năng kiểm toán có hiệu quả hay không
Giống như hầu hết các cơ chế quản trị, khả năng kiểm toán thất bại nếu thiếu quyền sở hữu.
Nếu không ai chịu trách nhiệm về:
- xác định những gì cần được ghi lại
- đảm bảo log có ý nghĩa
- xem xét các mô hình theo thời gian
- cải thiện các biện pháp kiểm soát dựa trên phát hiện
Thì khả năng kiểm toán sẽ trở nên tĩnh.
Một hệ thống ghi chép, chứ không phải hệ thống cải tiến.
Trong các tổ chức trưởng thành, khả năng kiểm toán có người sở hữu, người đó đảm bảo nó:
- phù hợp
- dùng được
- phù hợp với các quy trình đang phát triển
- gắn liền với các kết quả vận hành thực tế
Rủi ro ở cấp điều hành: hệ thống trông có vẻ tuân thủ nhưng không dùng được
Đối với các CIO và lãnh đạo cấp cao, rủi ro này rất tinh vi.
Không phải thiếu biện pháp kiểm soát. Mà là các biện pháp tồn tại trên lý thuyết và thất bại trong thực tế.
Điều này dẫn đến:
- các cách lách ẩn giấu
- xử lý quyết định thiếu nhất quán
- khả năng truy vết yếu trong các trường hợp quan trọng
- phát hiện chậm trễ các vấn đề mang tính hệ thống
Và cuối cùng:
một khoảng cách giữa ý định quản trị và thực tế vận hành.
Những gì lãnh đạo nên yêu cầu trước khi mở rộng các biện pháp kiểm soát AI
Trước khi mở rộng các quy trình do AI điều khiển, lãnh đạo nên hỏi:
- Dữ liệu kiểm toán được ghi lại tự động hay thủ công?
- Các biện pháp kiểm soát được nhúng vào quy trình hay chồng lên trên?
- Các thời điểm quyết định quan trọng được ghi lại ở đâu?
- Người vận hành có thể tuân thủ mà không làm chậm công việc không?
- Những tín hiệu nào thực sự được xem xét — chứ không chỉ được lưu trữ?
- Ai chịu trách nhiệm về chất lượng kiểm toán và cải tiến liên tục?
Nếu câu trả lời phụ thuộc nặng vào công sức thủ công, hệ thống sẽ không thể mở rộng.
Con đường phía trước
Có một con đường phía trước — nhưng nó đòi hỏi một triết lý thiết kế khác.
Khả năng kiểm toán không nên là việc người vận hành phải làm.
Nó nên là thứ mà hệ thống tạo ra.
Điều đó có nghĩa là:
- nhúng các biện pháp kiểm soát vào quy trình
- ghi lại bằng chứng tại các điểm quyết định
- giảm ma sát cho người vận hành
- tập trung vào các tín hiệu có ý nghĩa, không phải ghi log tràn lan
- liên tục tinh chỉnh dựa trên cách sử dụng thực tế
Các tổ chức làm đúng điều này sẽ không chỉ là tuân thủ.
Họ sẽ đáng tin cậy về mặt vận hành.
Bởi vì trong doanh nghiệp, khả năng kiểm toán không được chứng minh bằng việc bạn ghi log nhiều đến đâu.
Nó được chứng minh bằng việc hệ thống của bạn có thể giải thích, bảo vệ và cải thiện các quyết định — mà không làm chậm hoạt động kinh doanh — hay không.
Các biện pháp kiểm soát AI của bạn được thiết kế cho việc kiểm toán — hay cho việc sử dụng thực tế dưới áp lực vận hành thực sự? Hãy bình luận ý kiến của bạn!
Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về khán phòng — lịch trình có chọn lọc.
Bắt đầu trò chuyện