Q, K, V: Ba Điều Mọi Tech Lead Xuất Sắc Đều Làm Mà Không Hề Hay Biết

Gần đây, tôi dành nhiều thời gian suy nghĩ về kiến trúc Transformer, không chỉ với tư cách là một người thực hành Machine Learning (ML), mà còn là một người đã dành nhiều năm làm việc trong các đội ngũ kỹ thuật, quan sát cách những Tech Lead (Trưởng nhóm kỹ thuật) giỏi nhất hoạt động. Và một ngày nọ, tôi chợt nhận ra: một Tech Lead xuất sắc hành xử gần như giống hệt với cơ chế self-attention (tự chú ý) trong một mô hình Transformer. Đó không chỉ là một phép ẩn dụ lỏng lẻo, mà là một sự tương đồng về cấu trúc đầy chính xác đến ngạc nhiên.

Hãy kiên nhẫn với tôi. Một khi bạn nhìn thấy điều này, bạn sẽ không thể nào phớt lờ nó.

Tóm tắt nhanh về Self-Attention

Trong mô hình Transformer, mỗi token (từ) trong một chuỗi cần hiểu nghĩa của nó trong bối cảnh. Nó không thể làm điều đó một cách cô lập. Thay vì chỉ xử lý chính nó, nó nhìn vào mọi token khác trong chuỗi, quyết định mức độ liên quan của mỗi token, và tạo ra một sự pha trộn thông tin có trọng số từ cả chuỗi.

Quá trình này diễn ra thông qua ba phép chiếu đơn giản cho mỗi token:

• Query (Q): Tôi đang tìm kiếm cái gì ngay lúc này?
• Key (K): Mỗi token khác cung cấp cái gì?
• Value (V): Tôi nên lấy gì từ chúng?

Công thức Attention(Q, K, V) = softmax( QKᵀ / √dₖ ) · V

Đầu ra không chỉ là vector nhúng thô của token đó. Đó là một sự pha trộn hiểu biết bối cảnh - token đó có nghĩa là gì khi xét mọi thứ xung quanh nó. Cả thể thông minh hơn tổng các phần tử cấu thành nên nó.

Áp dụng vào hình tượng Tech Lead

Nếu xem xét theo cách này, một đội ngũ chính là một chuỗi các con người, mỗi người mang theo những kỹ năng, bối cảnh và kiến thức lĩnh vực khác nhau. Công việc của Tech Lead là khiến chuỗi đó tạo ra đầu ra mạch lạc và chất lượng cao. Có nghe quen không?

Tech Lead không xử lý vấn đề từng người một. Họ nắm giữ cả đội ngũ trong tâm trí cùng một lúc, cân nhắc đóng góp của từng người dựa trên mức độ phù hợp với vấn đề đang bàn luận.

Tech Lead với tư cách là một Transformer: Mở rộng sự chú ý trong đội ngũ

Trong thế giới của các Mô hình Ngôn ngữ Lớn (LLM), kiến trúc Transformer đã thay đổi mọi thứ bằng cách làm chủ nghệ thuật "Sự chú ý" (Attention). Nhưng cơ chế của một Transformer - Queries, Keys, và Values - không chỉ dành cho các con chip; chúng là bản thiết kế hoàn hảo cho khả năng lãnh đạo kỹ thuật hiệu suất cao.

Nếu bạn muốn mở rộng tác động của đội ngũ, bạn phải ngừng quản lý công việc và bắt đầu làm chủ thao tác chú ý.

Minh họa về cơ chế Attention trong Tech Lead

Q: Đọc vấn đề chính xác trước khi phản ứng

Nguyên tắc: Trước khi bạn tìm đến một người, bạn phải hiểu chính xác hình dáng của những gì mình cần. Một câu hỏi mơ hồ sẽ tìm ra câu trả lời sai. Một câu hỏi chính xác sẽ tìm được đúng người.

TRONG TRANSFORMER

Mỗi token tạo ra một vector Query - một biểu diễn chính xác về bối cảnh mà nó đang tìm kiếm. Từ "crash" (sự cố) cần biết đó là sự cố tài chính hay vật lý. Query của nó hỏi: "tôi đang ở lĩnh vực nào?". Từ "it" cần tìm tiền đề của nó. Query của nó hỏi: "tôi đang ám chỉ ai?". Query này được chấm điểm dựa trên Key của mọi token khác. Query càng chính xác, mô hình càng chú ý chính xác vào đúng bối cảnh. Một Query vụng về sẽ khiến mô hình chú ý vào các token sai và đầu ra sẽ kém đi - bất kể phần còn lại của chuỗi tốt đến đâu.

TRONG TECH LEAD

Đó là 11 giờ tối thứ Ba. Độ trễ của API đã tăng vọt lên 8 giây. Cảnh báo liên tục vang lên. Một Tech Lead yếu kém gửi tin nhắn tới cả kênh: "Này, ai có thể xem cái này không?". Đó không phải là một Query. Đó là một phát sóng hoang mang - vấn đề chưa được đọc chút nào, chỉ được chuyển tiếp tiếp.

Một Tech Lead mạnh mẽ sẽ dành mười lăm giây trước khi gõ phím. Họ đang đọc vấn đề một cách chính xác: đây là nghẽn bottleneck khi ghi vào cơ sở dữ liệu (database)? Một lần triển khai (deploy) sai? Một phụ thuộc phía hạ lưu bị nghẽn? Hay một đột biến lưu lượng truy cập? Mỗi trường hợp là một Query khác nhau, và mỗi trường hợp chỉ đến một người khác nhau. Đọc vấn đề chính xác trước khi phản ứng không phải là do dự, đó là nền tảng của mọi bước đi tiếp theo. Sai Query thì mọi nỗ lực phía sau đều uổng phí.

K: Biết rõ mỗi kỹ sư thực sự đang mang điều gì

Nguyên tắc: Không phải chức danh công việc của họ. Không phải số năm kinh nghiệm. Là những gì họ thực sự mang lại ngay lúc này - kiến thức cụ thể, bối cảnh sống, mô hình tư duy nóng hổi phù hợp với vấn đề chính xác này.

TRONG TRANSFORMER

Mỗi token tạo ra một vector Key - một biểu diễn về những gì nó nắm giữ và có thể cung cấp cho người khác. Khi một Query hỏi "tôi đang ở lĩnh vực nào?", các Key từ các token xung quanh cạnh tranh để trả lời. Điểm chú ý giữa hai token là tích vô hướng của Query của token này với Key của token kia. Sự liên kết cao nghĩa là độ chú ý cao. Liên kết thấp nghĩa là token đó mờ đi. Key không giống với Value - Key là lời quảng cáo nói "tôi phù hợp với câu hỏi của bạn". Điều được trích xuất sau khi khớp là Value, cái mà chúng ta sẽ đề cập ngay sau đây.

TRONG TECH LEAD

Đã hình thành Query: trông giống như vấn đề xung đột ghi (write contention) trong bảng orders. Bây giờ Tech Lead quét qua đội ngũ.

Sreeni đang trực tuyến đầu tiên. Cấp cao, đáng tin cậy, điềm tĩnh dưới áp lực. Nhưng nền tảng của anh ấy là Frontend. Key của anh ấy - những gì anh ấy thực sự mang lại - không phù hợp với vấn đề này. Điểm cao ở "thành viên đội nhóm đáng tin cậy", nhưng điểm thấp ở cuộc khủng hoảng database cụ thể này.

Ragavan là người viết pipeline orders mười tám tháng trước. Anh ấy biết mọi quyết định thiết kế, mọi đường tắt, mọi chế độ thất bại đã biết. Key của anh ấy là sự phù hợp gần như hoàn hảo với Query.

Siva đã gỡ lỗi một vấn đề xung đột ghi gần như giống hệt cách đây hai sprint. Mô hình tư duy vẫn nóng. Các mẫu thức vẫn mới mẻ. Key của Siva vừa phù hợp vừa hiện tại.

Một Tech Lead chỉ biết đội ngũ qua chức danh sẽ nhắn cho Sreeni vì anh ấy có sẵn. Một Tech Lead thực sự hiểu mỗi kỹ sư mang gì sẽ tìm đến Ragavan và Siva. Độ sâu của kiến thức Key về bạn là yếu tố lớn nhất quyết định liệu trí tuệ của đội nhóm được sử dụng hay lãng phí.

V: Trích xuất chính xác đóng góp quan trọng

Nguyên tắc: Tìm đúng người chỉ là một nửa công việc. Nửa còn lại là biết nên rút ra cái gì từ họ - mảnh kiến thức cụ thể của họ giải quyết vấn đề này ngay lúc này, không phải mọi thứ họ biết.

TRONG TRANSFORMER

Vector Value là trọng tải thực sự. Một khi điểm số chú ý được tính toán và chúng ta biết nên chú ý bao nhiêu vào mỗi token, những gì chúng ta thực sự lấy từ chúng là Value của chúng, không phải Key. Key nói "tôi phù hợp". Value cung cấp nội dung thực sự của sự phù hợp đó. Đây là hai biểu diễn đã học riêng biệt và chúng có thể rất khác nhau.

Đầu ra cuối cùng cho bất kỳ token nào là tổng có trọng số của các vector Value từ mọi token trong chuỗi - bao gồm chính nó. Đó là chữ "tự" trong self-attention. Điểm chú ý cao nghĩa là một phần lớn Value của token đó chảy vào đầu ra. Điểm thấp nghĩa là đóng góp nhỏ nhưng không bao giờ bị triệt tiêu hoàn toàn. Kết quả là một biểu diễn được làm giàu duy nhất mang ý nghĩa tổng hợp từ toàn bộ chuỗi.

TRONG TECH LEAD

Tech Lead đã liên hệ được với Ragavan và Siva. Các Key đã khớp. Bây giờ đến phần hầu hết các Tech Lead bỏ sót: trích xuất đúng đóng góp cụ thể, không chỉ là kéo họ vào một cuộc gọi.

Value của Ragavan rất cụ thể: bảng orders có một điểm nóng (hotspot) ghi đã biết trên cột status. Một sự cố gần như giống hệt vào năm 2022 đã được giải quyết bằng cách chuyển sang mẫu ghi dựa trên hàng đợi (queue). Việc sửa chữa đầy đủ mất bốn giờ, nhưng có một cách giải回避 ở mức cấu hình giúp kiếm thời gian ngay lúc này. Đó là vector Value của anh ấy - không phải sự hiện diện, không phải cấp bậc, mà là kiến thức cụ thể, có thể sử dụng được.

Value của Siva thì khác: một cách tiếp cận chẩn đoán từng bước từ sự cố gần đây, ba truy vấn cụ thể để chạy trên nhật ký truy vấn chậm (slow query log), và một dự đoán rõ ràng về chỉ mục nào đang bị thiếu dựa trên mẫu của đỉnh lưu lượng. Khác với Ragavan. Cụ thể như nhau. Có thể sử dụng như nhau.

Tech Lead trích xuất thông tin kiến trúc từ Ragavan và các bước chẩn đoán trực tiếp từ Siva, sau đó tổng hợp cả hai thành một phản hồi mạch lạc. Không một ai trong số họ có câu trả lời đầy đủ. Sự kết hợp có trọng số của hai vector Value của họ mới có. Đó chính là điều mà sự lãnh đạo kỹ thuật vĩ đại thực sự tạo ra.

Softmax: Quyết đoán, không dân chủ

Sau khi các điểm số Query-Key được tính toán cho từng cặp token, hàm softmax sẽ làm sắc nét phân phối. Các token có điểm số cao nhất được đánh trọng số nặng. Các token có điểm thấp hơn bị triệt tiêu - không xóa bỏ, nhưng được đẩy ra rìa. Kết quả là sự chú ý có mục đích, tập trung thay vì là sự trung bình lan tỏa.

Những Tech Lead giỏi cũng hiệu chỉnh theo cách tương tự. Trong sự cố, Ragavan và Siva mang trọng số cao nhất. Đóng góp của Sreeni về cách thông báo thời gian ngừng hoạt động cho khách hàng vẫn quan trọng và vẫn chảy vào đầu ra - anh ấy không bị bỏ qua. Nhưng anh ấy không dẫn dắt phản hồi kỹ thuật. Softmax không phải là quyền phủ quyết. Đó là việc đánh trọng số.

Khả năng đánh trọng số một cách tự tin mà không phớt lờ là một trong những kỹ thuật khó nhất trong vai trò này. Quá nhiều sắc nét và bạn trở thành kẻ độc tài. Quá ít và bạn đang điều hành một ủy ban. Những Tech Lead tốt nhất hiệu chỉnh điều này dựa trên loại vấn đề, mức độ rủi ro và ai thực sự ở vị trí tốt nhất để đóng góp ngay lúc đó.

Multi-head attention: Chạy đồng thời nhiều mối quan tâm

Các Transformer thực tế sử dụng multi-head attention - một số thao tác chú ý độc lập chạy song song, mỗi thao tác học cách theo dõi một loại quan hệ khác nhau trong chuỗi. Một head bắt cấu trúc cú pháp. Một head khác theo dõi sự tương đồng ngữ nghĩa. Một head khác xử lý các phụ thuộc tầm xa. Các đầu ra được nối lại và chiếu thành một biểu diễn hợp nhất duy nhất.

Hãy xem một Tech Lead mạnh xử lý một sự cố lớn và bạn sẽ thấy chính xác điều này. Một phần tâm trí họ đang theo dõi chẩn đoán kỹ thuật. Một phần khác đang theo dõi mức độ căng thẳng của đội ngũ và quyết định khi nào để mọi người rời khỏi cuộc gọi. Một phần khác đang soạn thảo bản cập nhật cho các bên liên quan (stakeholder) hết hạn trong hai mươi phút tới. Một phần khác đã đang nghĩ về cấu trúc hậu kiểm (post-mortem) và thay đổi quy trình nào mà sự cố này nên kích hoạt. Không có head nào trong số đó tắt đi trong khi các head khác chạy. Sự cố được giải quyết, đội ngũ vẫn hoạt động, các bên liên quan được thông báo, và bài học phù hợp được ghi lại vì cả bốn head đã chạy và tổng hợp đầu ra của chúng.

Tại sao mô hình cũ thất bại: Vấn đề RNN

Trước khi có Transformer, phương pháp tiếp cận thống trị là mạng nơ-ron hồi quy (RNN) - xử lý một token tại một thời điểm, chuyển tiếp trạng thái ẩn, và lặp lại. Vấn đề là nền tảng: thông tin từ đầu chuỗi bị xuống cấp theo thời gian, gradient biến mất trên các chuỗi dài, và không có gì có thể song song hóa. Mỗi bước phụ thuộc vào bước trước đó.

Người quản lý kiểu mệnh lệnh và kiểm soát chính là một RNN. Mọi vấn đề đều định tuyến qua họ theo tuần tự. Bối cảnh từ các cuộc trò chuyện trước đó bị đánh rơi. Khả năng thông qua của đội ngũ bị giới hạn ở băng thông cá nhân của người quản lý. Trong một đội nhỏ, điều này chỉ là kém hiệu quả. Trong một tổ chức đang mở rộng, nó trở nên thảm khốc.

Tech Lead hoạt động như self-attention không trở thành nút thắt cổ chai (bottleneck). Họ trở thành lớp bối cảnh - cơ chế giúp cả đội ngũ hiểu tình hình rõ ràng hơn và di chuyển cùng nhau nhanh hơn. Trí tuệ của đội nhóm là đầu ra. Không phải của người quản lý.

Vậy một Tech Lead giỏi trông như thế nào?

Họ là người dừng lại trước khi phản ứng - hình thành Query trước khi tìm đến một người. Họ là người biết rằng Ragavan là người cần gọi lúc 11 giờ đêm không phải vì anh ấy rảnh, mà vì anh ấy là người viết hệ thống đó. Họ là người không chỉ ping đúng người, mà còn biết chính xác cần lấy gì từ mỗi người và cách khâu những mảnh đó thành một phản hồi mà không một kỹ sư đơn lẻ nào có thể tạo ra một mình.

Họ chạy đồng thời nhiều head mà không bỏ sót head nào. Chẩn đoán kỹ thuật, tinh thần đội ngũ, truyền thông với các bên liên quan, cải tiến quy trình - tất cả chạy song song, tất cả được tổng hợp thành một đầu ra mạch lạc. Và họ làm được điều đó mà không trở thành nút thắt cổ chai, mà không biến mọi quyết định thành một ủy ban, và mà không khiến ai cảm thấy bị bỏ rơi.

Đó chính là self-attention. Không phải như một ẩn dụ. Như một mô tả của công việc.

Attention is all you need (Sự chú ý là tất cả những gì bạn cần). Và một Tech Lead thực sự hiểu điều đó - người chú ý rộng rãi, đánh trọng số khôn ngoan, và tổng hợp thay vì áp đặt - là tất cả những gì một đội ngũ cần để trở nên hơn là tổng số các thành viên của nó.