Sự cố Telstra: Khi cả một mạng di động tin rằng năm nay là 2006

Vào ngày 8 tháng 7 năm 2026, một phần lớn mạng di động của Telstra — nhà mạng lớn nhất nước Úc — bất ngờ ngừng hoạt động. Cuộc gọi thoại không kết nối được, tin nhắn không đến, thậm chí các cuộc gọi tới số khẩn cấp của Úc cũng không thông. Sự cố còn lan sang hệ thống đường sắt, máy thanh toán thẻ, hệ thống bán vé và trụ sạc xe điện.

Không có cuộn cáp quang nào bị cắt, không có cuộc tấn công mạng nào, và mọi hệ thống đều còn điện. Thủ phạm chỉ là một bộ thu GPS nằm trong một khung thiết bị duy nhất tại Melbourne, sau khi bảo trì định kỳ, đã khởi động lại và tin rằng thời gian đang là năm 2006 — rồi thuyết phục toàn bộ phần còn lại của mạng tin theo.

Kỹ sư Sven-Christian "Svenne" Ebenhag của Netnod

Vì sao thời gian chính xác lại quan trọng đến vậy

Netnod phân phối giờ chuẩn quốc gia của Thụy Điển, và câu hỏi "thời gian thì có gì quan trọng" là điều họ thường xuyên nhận được. Câu trả lời ngược lại với trực giác: nếu không có một khái niệm chung về "hiện tại", rất nhiều thứ chúng ta coi là hiển nhiên sẽ ngừng hoạt động.

Mạng di động hiện đại là ví dụ rõ nhất. Các giao thức di động không thể vận hành nếu thiếu thời gian chính xác cao. Mạng di động tách luồng dữ liệu lên (uplink) và xuống (downlink) theo hai cách: FDD (Frequency Division Duplex) hoặc TDD (Time Division Duplex).

• FDD cấp cho mỗi hướng một phần phổ riêng, nên cả hai hướng có thể chạy liên tục mà không chồng lấn.
• TDD dùng chung một khối phổ cho cả hai hướng, luân phiên phát và thu trong những khoảng thời gian cực ngắn.

Vì dữ liệu tải xuống thường nhiều hơn tải lên, tỷ lệ cố định của FDD khiến một phần lớn phổ uplink bị lãng phí, trong khi TDD có thể linh hoạt điều chỉnh tỷ lệ theo lưu lượng thực tế. Đó là lý do phần lớn phổ 5G hiện đại, bao gồm băng tần 5G chính của Thụy Điển ở 3,5 GHz, đều dùng TDD.

Cũng chính vì thế mà TDD phụ thuộc vào thời gian chính xác: mọi cell trên cùng tần số phải chuyển hướng phát/thu đồng bộ với nhau. Một cell để đồng hồ bị trôi sẽ phát dữ liệu vào cửa sổ thu của cell bên cạnh, và mạng sẽ tự gây nhiễu chính mình.

Ngành công nghiệp đã chọn phụ thuộc vào độ chính xác thời gian thay vì phân bổ phổ để tách hai hướng. Phụ thuộc vào thời gian là một lựa chọn thiết kế — chứ không phải điều bất khả kháng.

Kiến trúc phân phối thời gian và cách nó bị phá vỡ

Để hiểu sự cố, cần nắm kiến trúc phân phối thời gian. Các giao thức phân phối thời gian đều xây dựng theo tầng bậc. NTP (Network Time Protocol) — giao thức Telstra triển khai — biểu diễn tầng bậc bằng khái niệm stratum.

• Stratum 0 là nguồn tham chiếu gốc, ví dụ bộ thu GPS hoặc đồng hồ nguyên tử của Netnod.
• Stratum 1 là máy đồng bộ trực tiếp với nguồn stratum 0.
• Stratum 2 đồng bộ từ máy stratum 1, stratum 3 từ stratum 2, và cứ tiếp tục như vậy.

Sơ đồ phân tầng thời gian trong mạng

Thiết kế năm 2010 của Telstra có các nguồn stratum 1 tại Viện Đo lường Quốc gia Úc (NMI). Telstra lấy thời gian từ các nguồn bên ngoài này vào hai máy chủ stratum 2 của mình tại Sydney và Melbourne, rồi hai máy này cấp thời gian cho ba máy chủ stratum 3 tại Sydney, Melbourne và Perth. Bên dưới là hàng nghìn nút hạ tầng mạng di động, mỗi nút đều cần có cùng một khái niệm "hiện tại" chính xác đến vài phần triệu giây.

Báo cáo của công ty kiểm toán độc lập Technology Audit Partners (TAP) đánh giá thiết kế này là "phù hợp mục đích" và mang lại cho Telstra "một nguồn thời gian tham chiếu có thẩm quyền và độ tin cậy cao từ NMI".

Cần lưu ý: stratum không cho biết thời gian có chính xác hay không, nó chỉ cho biết số bước từ máy chủ đến nguồn tham chiếu. Một máy chủ stratum 1 với nguồn tham chiếu sai vẫn là stratum 1.

Hai lớp phòng vệ của NTP bị vô hiệu hóa

NTP có hai cơ chế bảo vệ chống lại nguồn thời gian xấu, hoạt động độc lập với nhau:

1. Ưu tiên stratum thấp hơn: giữa các ứng viên tương đương, nguồn có stratum thấp hơn được đánh trọng số cao hơn. Đây là cơ chế quyết định máy khách chọn nguồn nào.
2. Loại bỏ nguồn lệch biệt: NTP so sánh nhiều nguồn và loại bỏ những nguồn không đồng thuận với số còn lại. Một nguồn đơn lẻ khai báo thời gian không hợp lý sẽ bị "bỏ phiếu" loại, bất kể nó tự nhận có thẩm quyền đến đâu.

Cả hai lớp phòng vệ này chỉ hoạt động nếu các nguồn thời gian mà máy khách lắng nghe thực sự độc lập với nhau.

NTP có thể triển khai theo hai cách: chế độ client/server (quan hệ khai báo một chiều) hoặc chế độ peering đối xứng (các nút trao đổi thời gian lẫn nhau và thống nhất theo nguồn mà thuật toán hiện đang ưu tiên). Peering linh hoạt và chịu mất nguồn tốt hơn, nhưng cũng khiến cấu trúc thực tế trở nên "tự phát sinh" thay vì được thiết kế — nó có thể âm thầm tái sắp xếp thành một hình dạng chưa ai phê duyệt.

Trong bản nâng cấp năm 2020, Telstra lắp đặt khung thiết bị NTP mới. Khung này không cho phép máy chủ stratum 2 cấp thời gian cho máy chủ stratum 3 trong cùng một hộp, nên hai máy phải nối chéo nhau: stratum 3 của Sydney lấy thời gian từ stratum 2 của Melbourne và ngược lại. Hệ quả là mỗi site chỉ còn một nguồn stratum 2 thay vì hai. Báo cáo TAP ghi nhận sự suy giảm dự phòng này đã được biết và chấp nhận.

Thay đổi thứ hai là chuyển từ chế độ client/server sang peering — có thể nhằm bù đắp cho sự mất dự phòng vừa nêu. Nhưng báo cáo TAP không tìm thấy bằng chứng nào cho thấy rủi ro vòng lặp thời gian (timing loop) đã được nhận diện.

Vòng lặp thời gian: tin vào một tin đồn vì ba người cùng nghe từ nhau

Vòng lặp thời gian là tương đương mạng của việc tin một tin đồn là thật vì hỏi ba người mà cả ba đều nghe tin đó từ nhau. Cả ba đều đồng ý, nên chắc chắn là đúng.

Vòng lặp thời gian khiến các nguồn tưởng độc lập lại tham chiếu lẫn nhau

Trong một vòng lặp như vậy, các nguồn trông có vẻ độc lập nhưng thực chất đang lấy thời gian từ nhau, trực tiếp hoặc gián tiếp qua một tham chiếu chung. Khi một giá trị sai đã lưu hành, các nguồn bắt đầu đồng thuận với nhau và kết quả bỏ phiếu nghiêng về ý kiến đa số — dù giá trị đó sai.

Năm 2020, việc đưa peering vào khiến vòng lặp thời gian trở nên khả thi. Năm năm sau, một vòng lặp như vậy xuất hiện: tại Melbourne, một máy chủ bắt đầu lấy thời gian từ một nút nằm bên dưới nó trong cấp bậc. Đáng lẽ điều này phải kích hoạt cảnh báo, nhưng vì thời gian chính xác vẫn đến được mạng qua các đường khác, không có thiệt hại thực tế nào xảy ra. Vấn đề gốc — sự phụ thuộc vòng tròn — vẫn tồn tại nhưng không ai mở ticket về nó.

Khiếu nại thực tế thì rất rõ ràng: Melbourne liên tục mất kết nối với nguồn stratum 2 duy nhất ở Sydney. Không có cấu hình dự phòng, máy chủ dùng peering để tìm nguồn thay thế — đôi khi là một nút nằm bên dưới nó trong cấp bậc.

Tháng 10 năm 2025, các kỹ sư kích hoạt bộ thu GPS đã nằm không dùng trong khung thiết bị Melbourne từ năm 2020 và nối nó vào máy chủ stratum 3, thay thế cho nguồn Sydney không đáng tin cậy.

Nhìn bề ngoài, mọi chỉ số đều cho thấy nó đã hiệu quả: Melbourne có nguồn tin cậy của riêng mình và các cảnh báo ngừng kêu. Nhưng giải pháp này chỉ xử lý triệu chứng, không phải nguyên nhân gốc. Không ai xác định được vì sao Melbourne liên tục mất nguồn Sydney ngay từ đầu.

Tệ hơn nữa, dường như không ai hiểu việc kích hoạt thẻ GPS đã làm gì với kiến trúc hệ thống. Bằng cách thêm thẻ GPS, máy chủ Melbourne chuyển từ stratum 3 lên stratum 1. Các kỹ sư không thêm một nguồn bên cạnh các nguồn khác — họ nâng một máy chủ lên ngang hàng với tham chiếu quốc gia, tạo ra một nguồn mới ở vị trí cao nhất. Theo cách NTP đánh giá, nó có cùng trọng số.

Đột nhiên, một thẻ GPS trong khung thiết bị tại Melbourne — được lắp như giải pháp tình thế và không ai kiểm duyệt — trở thành máy chủ có thẩm quyền cao nhất trong cấp bậc của mạng di động lớn nhất nước Úc.

Bước ngoặt cuối cùng: bộ thu GPS lùi về năm 2006

Yếu tố thứ hai là một đặc tính đã biết của GPS. GPS phát thời gian dưới dạng số tuần cộng số giây trong tuần, tính từ mốc khởi đầu vào đầu tháng 1 năm 1980. Trong tín hiệu GPS dân dụng chính, trường số tuần chỉ có 10 bit, tức tối đa 1.023 tuần. Cứ mỗi 1.024 tuần — khoảng 19,6 năm — bộ đếm lại quay về đầu. Điều này đã xảy ra hai lần: tháng 8 năm 1999 và tháng 4 năm 2019.

Việc xác định mốc nào và cộng đúng bội số của 1.024 tuần là nhiệm vụ của bộ thu, và thông tin này phải nằm trong firmware của nó.

Sự cố ở Úc không phải hệ quả muộn của một lần rollover GPS nào. Thẻ ở Melbourne đã đi qua lần rollover thứ hai năm 2019 mà không gặp trục trặc, vì một bộ thu luôn chạy thì luôn đếm. Mỗi tuần mới chỉ đơn giản được cộng vào tuần trước đó, và câu hỏi về mốc thời gian không bao giờ được đặt ra.

Nhưng khi bị tắt, kiến thức đó biến mất. Khi bật lại, bộ thu phải tự suy ra mốc thời gian từ đầu, và tất cả những gì nó có là giả định trong firmware. Firmware trên thẻ Melbourne chưa được cập nhật. Khi khởi động, nó rơi về mốc cũ và đặt ngày tháng lùi lại 1.024 tuần — tức tháng 11 năm 2006.

Điều xảy ra sau đó là hai lớp phòng vệ bị vô hiệu hóa đúng vào lúc cần thiết nhất:

• Lớp phòng vệ thứ nhất (stratum thấp được ưu tiên) xếp máy chủ Melbourne lên cao nhất, vì thẻ GPS đã nâng nó thành stratum 1. Điều này hoàn toàn đúng theo giao thức NTP — và vì thế lại dẫn máy khách về đúng nguồn sai 1.024 tuần.
• Lớp phòng vệ thứ hai (loại bỏ nguồn lệch biệt) không bao giờ được kích hoạt, vì không còn gì để nhận diện Melbourne là nguồn lệch. NTP không hỏi liệu một ngày tháng có hợp lý không; nó chỉ hỏi liệu một nguồn có bất đồng với các nguồn khác không.

Thiết kế năm 2010 có hai máy chủ stratum 2. Nếu một trong hai bắt đầu công bố năm 2006, máy còn lại vẫn giữ năm 2026 và sẽ không có đồng thuận nào đạt được. Điều đó không lý tưởng, nhưng ít nhất ngày sai sẽ không lan ra. Nhưng máy stratum 2 đối ứng của Melbourne đã bị tắt chính bởi lần thay khung thiết bị đó, và các nguồn còn lại đều nằm dưới Melbourne. Khi ngày sai lan ra, chúng bắt đầu báo ngược giá trị sai đó trở lại. Sự đồng thuận tăng lên — và đồng thuận chính là thứ thuật toán tìm kiếm.

Máy khách làm đúng những gì chúng được thiết kế để làm. Khi đa số nguồn của một máy khách đồng ý về tháng 11 năm 2006, máy khách chấp nhận ngày đó, và ngày sai càng lan xa thì càng trở nên thuyết phục.

Cả hai lớp phòng vệ không hề trục trặc. Chúng chỉ đơn giản bị tước đi thứ mà chúng phụ thuộc vào: một cần nguồn đáng được xếp hạng cao nhất, một cần các nguồn có khả năng bất đồng. Hai quyết định, cách nhau năm năm, đã lần lượt loại bỏ từng lớp.

Những bài học chính từ sự cố

Phân loại hạ tầng thời gian là hạ tầng trọng yếu. Cần quản lý nó tương xứng. Phân loại không phải là thủ tục giấy tờ — nó quyết định mức độ rủi ro khi thay đổi, độ sâu thẩm định, mức nhân sự, phạm vi giám sát và ưu tiên ngân sách.

Ghi chép toàn bộ hạ tầng và mọi thay đổi. Telstra không có kho lưu trữ tập trung cấu hình NTP, không có cấu hình chuẩn vàng, và không có hồ sơ nào về các máy chủ ngoài chính thiết bị. Không có hồ sơ thì không thể kiểm tra trước, không thể đánh giá tác động, và trong lúc sự cố thì không thể biết "đúng" trông như thế nào.

Xây dựng dự phòng về năng lực con người. Hai kỹ sư thực hiện thay đổi, và cả hai đều đang trong kỳ nghỉ bắt buộc trước khi hậu quả của việc khởi động lại thẻ GPS được hiểu rõ. Độ sâu chuyên môn là một thuộc tính dự phòng giống hệt một nguồn điện dự phòng.

Thực hiện phân tích an ninh cho hạ tầng thời gian. Hãy coi thời gian là một bề mặt tấn công như bất kỳ bề mặt nào khác:

• Tín hiệu GNSS từ không gian rất yếu, không được xác thực, và có thể bị gây nhiễu hoặc giả mạo bằng thiết bị rẻ tiền. Nếu đó là tham chiếu duy nhất, ai đó bên ngoài tòa nhà có thể quyết định thời gian của bạn.
• Thời gian phân phối qua mạng chia sẻ có thể bị chặn và thao túng trên đường đến máy khách.
• Cần xác định rõ máy khách được phép nhận thời gian từ những máy chủ nào, và ai quyết định điều đó.
• Một vòng lặp thời gian gây ra hiệu ứng gần như tương đương một cuộc tấn công giả mạo thành công.

Dùng kết nối điểm-điểm. Sự hấp dẫn của peering rất dễ thấy: nó giống như khả năng tự phục hồi khi một nút biến mất. Nhưng dự phòng tự sắp xếp không phải là dự phòng có thể tin cậy. Netnod vận hành các kết nối điểm-điểm chuyên dụng: mỗi quan hệ đều được biết và ghi chép, mỗi nguồn đều được biết, và cấu trúc giữ nguyên như thiết kế.

Xây dựng tổ chức cảnh báo hiệu quả. Cảnh báo từ nền tảng thời gian không nằm trong công cụ giám sát tiêu chuẩn và chỉ được xem xét trong giờ làm việc bởi một số ít người. Một cảnh báo không có ai trực để xử lý thì tốt nhất cũng chỉ là tài liệu, không phải cơ chế phát hiện.

Dùng bản cài đặt chuẩn vàng. Với mỗi lớp thiết bị thời gian, cần giữ một bản dựng và cấu hình tham chiếu đã biết là tốt, đặt dưới quản lý phiên bản, và kiểm tra định kỳ tự động rằng cái đang triển khai vẫn khớp với nó. Bản cập nhật firmware bị thiếu trên thẻ GPS Melbourne đã tồn tại suốt sáu năm, ngay trước mắt — chỉ đơn giản là không có quy trình tự động nào phát hiện ra.

Nâng cấp và đánh giá phần mềm liên tục. Bản vá firmware cho hành vi rollover đã tồn tại và nhà cung cấp đã công bố thông báo. Thông báo của nhà cung cấp cần có người chịu trách nhiệm được chỉ định và một lộ trình hành động được theo dõi. Đừng quên xác minh sau khi triển khai: các thay đổi của Telstra được hoàn tất mà không ai kiểm tra rằng khung thiết bị phục vụ đúng ngày tháng.

Dự phòng thời gian phải là các nguồn độc lập. Hai máy chủ cùng ăn từ một bộ thu GNSS vẫn chỉ là một nguồn, nhưng bị đếm hai lần.

Bảo vệ thời gian cho thiết bị IoT

Thay thế thiết bị liên tục. Hạ tầng thời gian thường lão hóa âm thầm: nó vẫn chạy, hiếm khi phàn nàn, và vì thế là ứng viên tự nhiên khi ngân sách bị cắt. Hãy lên kế hoạch thay thế theo chu kỳ cuốn chiếu và thiết kế kiến trúc đích trước, thay vì chấp nhận những gì việc lắp đặt thiết bị mới áp đặt lên bạn.

Lời kết

Cách Telstra xử lý hậu quả xứng đáng được khen ngợi: việc đặt hàng và công bố báo cáo đánh giá độc lập là điều đáng ghi nhận. Mọi nhà cung cấp dịch vụ trọng yếu, kể cả Netnod, đều được lợi từ điều này.

Điều đáng lo ngại nhất có lẽ là sự cố xảy ra dù NTP hoạt động đúng như thiết kế. Vấn đề nằm ở mọi thứ xung quanh nó: lựa chọn kiến trúc, cắt giảm ngân sách, nhân sự mỏng, thiếu giám sát phù hợp, thiếu người chịu trách nhiệm và thiếu tài liệu.

Đối với các nhà cung cấp dịch vụ số và hạ tầng tại Việt Nam — nơi các trung tâm dữ liệu, mạng 5G và hệ thống thanh toán ngày càng phụ thuộc vào đồng bộ thời gian — đây là lời nhắc nhở đáng cân nhắc: thời gian không phải chi tiết kỹ thuật nhỏ, mà là nền tảng của mọi thứ vận hành trên đó.

Hãy thử thay đổi điều đó, được chứ?