Microsoft nói sự cố email toàn cầu do lỗi phần mềm từ tháng 7
Microsoft cho biết sự cố gián đoạn email diện rộng tuần trước bắt nguồn từ một lỗi phần mềm được đưa vào bản cập nhật hồi tháng 7 năm 2026 nhưng chỉ bộc lộ khi lưu lượng tăng vọt và năng lực máy chủ suy giảm. Kỹ sư phải vá lại bản vá thay vì khôi phục phiên bản cũ, cho thấy lỗ hổng trong quy trình kiểm thử tải của Microsoft.

Microsoft vừa công bố báo cáo sơ bộ về sự cố email diện rộng khiến người dùng Microsoft 365 mất gần một ngày làm việc. Nguyên nhân được xác định là một lỗi phần mềm xuất hiện trong bản cập nhật hồi tháng 7/2026, nằm im trên các máy chủ cổng mạng (network gateway) cho đến khi lưu lượng tăng đột biến và năng lực xử lý sụt giảm. Sự việc cho thấy một thay đổi tưởng như vô hại có thể gây tê liệt cả một hệ sinh thái dịch vụ đám mây.
Lỗi ẩn mình ba tháng
Theo báo cáo sơ bộ công bố ngày 15/11, lỗi này được đưa vào trong bản cập nhật tháng 7/2026. Ở thời điểm đó, bản cập nhật được đánh giá là ổn: đã qua kiểm thử tải (load testing) và triển khai mà không gây ảnh hưởng gì.
Vấn đề nằm ở chỗ bài kiểm thử chưa đủ tốt. Microsoft thừa nhận: "Việc kiểm thử tải của chúng tôi thường tập trung vào phần cứng yếu hơn, ít nhân hơn." Lỗi gây ra "tranh chấp khóa (lock contention) bên trong một tiến trình Windows nội bộ, khiến tài nguyên của máy (CPU và bộ nhớ) bị cạn kiệt."
Điểm chí tử là tranh chấp này trở nên trầm trọng hơn trên các máy có nhiều nhân và phần cứng mới hơn — đúng loại máy chủ mà Microsoft dùng trong môi trường thực tế.
Hai sự kiện trùng khớp
Bản cập nhật chứa lỗi được thiết kế riêng cho các máy chủ cổng mạng của Microsoft 365. Rồi hai việc xảy ra cùng lúc:
- Teams chuyển dự phòng (failover) sang cổng "chính" phục vụ Exchange Online, tạo ra một đợt tăng tải — bản thân việc này không quá bất thường.
- Khoảng 14% năng lực máy chủ của cổng mạng đang ngừng hoạt động — điều này cũng không phải vấn đề, vì hệ thống đang trên đà khôi phục và theo Microsoft, "dịch vụ vẫn còn đủ dư địa năng lực."
Nhưng cộng lại, hai yếu tố đẩy cổng mạng vào đúng cái lỗi ẩn và hỗn loạn bắt đầu. Đây là kịch bản lỗi lan truyền theo chuỗi (cascading failure) kinh điển: khi một máy chủ mất kết nối, lưu lượng được chuyển sang điểm cuối lành mạnh kế tiếp. Điểm này gặp đúng vấn đề tương tự, lưu lượng lại bị chuyển tiếp, và cứ thế. Trong vòng hai giờ, lỗi lan khắp hạ tầng của Microsoft. Báo cáo cho biết: "Ở thời điểm tồi tệ nhất, hơn 80% máy chủ không phản hồi."
Vá lại bản vá
Khôi phục máy chủ không giúp gì — chúng lập tức bị quá tải và sụp lại. Microsoft thừa nhận: "Các quy trình khôi phục thường được tự động hóa của chúng tôi không được thiết kế để phục hồi dịch vụ từ trạng thái không phản hồi trên diện rộng như thế này."
Việc khôi phục phiên bản cũ (rollback) một cách đơn giản cũng bất khả thi, vì lỗi đã tồn tại mấy tháng trời. Thay vào đó, các kỹ sư phát triển một bản vá cho bản vá — theo cách nói của Microsoft, là "một bản cập nhật đưa đường dẫn mã (code path) trong Windows trở về trạng thái tốt đã biết trước đó." Bản vá được áp dụng theo từng nhóm máy chủ và dịch vụ dần được khôi phục.
Dòng thời gian cho thấy mức độ nghiêm trọng với khách hàng:
- 01:07 UTC ngày 12/11: Teams chuyển dự phòng — về sau được xác định là một yếu tố trong sự cố.
- 16:03 UTC: công cụ giám sát phát hiện bất thường về kết nối.
- 16:33 UTC: ca hỗ trợ đầu tiên được ghi nhận.
- Suốt 15 giờ tiếp theo, mọi nỗ lực đều không giải quyết được vấn đề. Mọi đợt triển khai và thay đổi cấu hình đang chạy lẫn đã lên lịch đều bị tạm dừng. Thêm năng lực, định tuyến lại lưu lượng — máy chủ vẫn tiếp tục sụp.
- 00:30 UTC ngày 13/11: xác định thương lượng kết nối (connection negotiation) là thủ phạm chính khiến truy cập thất bại.
- 07:20 UTC: tìm ra biện pháp giảm thiểu và áp dụng — một bản cập nhật hoàn nguyên thay đổi lỗi.
- 16:10 UTC: xác nhận hệ thống đã khỏe trở lại.
- 04:15 ngày 14/11: phát đi cập nhật cuối cùng cho khách hàng.
Báo cáo giải thích vì sao một số dịch vụ chịu đựng lâu hơn: "Những dịch vụ có khả năng chuyển dự phòng — như Teams, OneDrive, SharePoint và các ứng dụng Office — đã thoát khỏi hạ tầng cổng mạng lỗi. Nhưng không phải mọi dịch vụ, như Exchange Online, đều có thể chuyển dự phòng khỏi cổng mạng này vì lý do quy mô." Đó là lý do Exchange Online (hay Outlook dưới góc nhìn người dùng) mất kết nối lâu đến vậy.
Báo cáo sự cố hoàn chỉnh dự kiến công bố ngày 20/11. Tuy nhiên, báo cáo sơ bộ khó lòng trấn an: một bản cập nhật áp dụng ba tháng trước lại có thể gây gián đoạn Exchange Online cùng nhiều dịch vụ khác trên phạm vi toàn cầu, với bài kiểm thử tải không phản ánh đúng các kịch bản nằm trong tầm kiểm soát của Microsoft.
Góc nhìn
Sự cố này là bài học trực tiếp cho các đội vận hành và phát triển tại Việt Nam. Thứ nhất, kiểm thử tải cần chạy trên cấu hình phần cứng tương đương hoặc mạnh hơn môi trường sản xuất, bởi lỗi tranh chấp khóa kiểu này chỉ lộ ra khi số nhân tăng. Thứ hai, một thay đổi đã "chạy ổn ba tháng" không có nghĩa là an toàn — lỗi tiềm ẩn có thể chờ đúng thời điểm tải cao để bùng phát, nên cần cơ chế quan sát (observability) theo dõi cả những bản cập nhật cũ.
Điểm thứ ba đáng chú ý là thiết kế chuyển dự phòng: khi lưu lượng dồn sang điểm cuối kế tiếp, nếu điểm đó cũng dính cùng lỗi thì hệ thống sụp nhanh hơn. Các doanh nghiệp Việt Nam dựng hệ thống nhiều máy chủ cần tính đến kịch bản lỗi lan truyền, thay vì mặc định rằng "có máy chủ dự phòng là yên tâm". Cuối cùng, việc không thể rollback vì bản vá đã quá cũ nhắc nhở rằng chiến lược phát hành cần cân nhắc khả năng đảo ngược, đặc biệt với các thành phần hạ tầng nằm trên đường đi của mọi kết nối.
Nguồn: theregister.com · Quy trình biên tập


