Khi một phòng nguồn ở Manhattan đánh sập hệ thống không lưu FAA năm 1991

Vào 16h40 ngày 17/9/1991, các kiểm soát viên không lưu tại trung tâm radar khu vực New York và ba sân bay Kennedy, LaGuardia, Newark đồng loạt mất tín hiệu radar, vô tuyến chính và đường truyền bàn giao chuyến bay tự động. Nguyên nhân không nằm ở sân bay, mà ở một phòng ắc quy tầng 20 của tòa nhà AT&T không cửa sổ tại số 33 Thomas Street, Lower Manhattan.

Sơ đồ phòng nguồn DC của tổng đài AT&T Lineage 2000 tại tầng 20

Sự cố bắt đầu từ một lần chuyển nguồn máy phát

Sáng hôm đó, Consolidated Edison đề nghị AT&T chuyển tòa nhà khỏi lưới điện thương mại để chia sẻ tải giờ cao điểm. Đến 10h10, kỹ thuật viên gạt cầu dao chuyển nguồn sang máy phát diesel nội bộ.

Trong quá trình chuyển, một xung điện áp đã đánh trúng phòng nguồn tầng 20 – nơi cấp dòng một chiều cho các khối truyền dẫn DS3 (T3, 45 Mbit/s). Xung này làm nhảy một rơ le bảo vệ quá tải vốn đã bị chỉnh sai trong đợt hiện đại hóa gần đó, khiến các bộ chỉnh lưu AC-DC ngừng hoạt động.

Trong hệ thống nguồn DC của tổng đài, bộ chỉnh lưu và chuỗi ắc quy mắc song song trên thanh cái −48V. Khi bộ chỉnh lưu ngắt, điện áp thanh cái tụt xuống mức điện áp nghỉ của ắc quy chì – axit và dừng lại ở đó. Không có mạch nào sập, mọi đường trục vẫn chạy hết công suất. Ba tổng đài 4ESS của tòa nhà dùng phòng nguồn riêng nên không bị ảnh hưởng.

Nhưng ẩn sau vẻ bình thường ấy, chuỗi ắc quy tầng 20 đã bắt đầu quá trình phóng điện kéo dài sáu tiếng rưỡi.

Bốn mắt xích đứt gãy trên đường cảnh báo

Để một bình ắc quy sáu giờ thực sự mang lại sáu giờ sửa chữa, thông tin sự cố phải đến được người vận hành. Tại 33 Thomas Street, đường đi của cảnh báo phải vượt qua bốn mắt xích – và theo lời Phó chủ tịch vận hành mạng AT&T William J. Carroll, cả bốn đều đứt.

• Bóng đèn chỉ thị cháy. Đèn báo sự cố đã hỏng từ trước, và không có quy trình kiểm tra đèn định kỳ trước khi chuyển nguồn.
• Thiếu thanh nối 25 inch ở tầng 14. Một thanh kim loại nối mạch cảnh báo phụ bị thiếu, khiến mạch này tê liệt. Theo điều tra của Cục Vận tải phổ thông FCC, mạch cảnh báo đó không được kiểm tra từ tháng 6/1990 – suốt 15 tháng.
• Chuông cảnh báo bị kẹp cơ học. Chuông vẫn nhận dòng nhưng bị siết ốc điều chỉnh đến mức "kêu nhẹ, không đủ nghe". Đây là chiêu quen thuộc của nhân viên để chống ồn trong lúc bảo trì.
• Ca trực không bàn giao. Quy trình AT&T yêu cầu giám sát nguồn DC cử người đi kiểm tra phòng nguồn mỗi khi tòa nhà chuyển sang máy phát. Nhưng sáng hôm đó, giám sát cùng các kỹ thuật viên nguồn chuyên trách đang ở tòa nhà 811 10th Avenue học lớp về hệ thống cảnh báo vi tính mới. 52 kỹ thuật viên khác trong tòa nhà đủ năng lực kiểm tra, nhưng không ai được giao nhiệm vụ.

Tòa nhà 33 Thomas Street tại Lower Manhattan

Điểm mấu chốt là kiến trúc bàn giao. Năm 1991, tòa nhà không có telemetry từ xa về trung tâm vận hành mạng khu vực. Mọi đường trục dung lượng cao đều phụ thuộc vào việc có người đi bộ kiểm tra sau mỗi lần chuyển nguồn – mà việc đưa cả ê-kíp nguồn DC đi học lại không hề kích hoạt bất kỳ cơ chế chặn tự động nào.

16h30: vì sao không thể khởi động lại

Hơn sáu giờ sau, ắc quy chì vẫn giữ thanh cái quanh mức 48V. Ắc quy chì không mất điện áp dần đều mà giữ một mức phẳng gần như suốt dung lượng, rồi tụt dốc đứng trong những phút cuối.

Đến 16h30, một kỹ thuật viên ca chiều nhìn thấy bảng báo điện áp thấp ở khu vực không có người trực trên tầng 12 và cố gạt hệ thống tầng 20 trở lại nguồn AC. Nỗ lực thất bại ngay lập tức.

Lý do được AT&T giải thích sau sự cố: ắc quy đã phóng sâu đến mức không thể nhận dòng nạp nếu chưa được ngắt khỏi các thiết bị mà nó đang cấp điện. Đóng bộ chỉnh lưu ngược vào một bình ắc quy cạn kiệt trong khi tải tổng đài vẫn còn nguyên sẽ tạo xung dòng – tế bào đói đòi dòng nạp lớn đúng lúc các khối DS3 vẫn kéo tải ổn định tối đa. Hệ thống tầng 20 lại không có khả năng tự khởi động lại.

Mười phút sau, lúc 16h40, nguồn dự phòng tầng 20 cạn hoàn toàn.

Ba sân bay tê liệt và bảy giờ khôi phục

Từ 16h40 đến 16h50, khi thanh cái tầng 20 tụt dưới ngưỡng vận hành, các khối truyền dẫn DS3 bên trong 33 Thomas Street ngắt hàng loạt. Đường dây thuê bao chính và dự phòng của FAA cho TRACON New York (đặt tại Hempstead, Long Island) cùng ba tháp không lưu đi qua chính các khối này.

Sự cố còn cắt liên lạc giữa các trung tâm kiểm soát đường bay New York, Boston và Washington. Ban đầu FAA tưởng đã mất toàn bộ hơn 90 đường vô tuyến và dữ liệu vào New York Center. Các kiểm soát viên buộc phải điều phối máy bay bằng tần số dự phòng tầm ngắn và chuyển tiếp thủ công giữa các tháp, trong khi sân bay tạm dừng cất/hạ cánh từ khoảng 17h đến 21h.

Kiểm soát viên tại TRACON New York với màn hình radar Sperry Univac ARTS IIIA

Kết quả: 1.174 chuyến bay bị hủy hoặc hoãn, ảnh hưởng khoảng 85.000 hành khách, và hơn 5 triệu cuộc gọi nội địa lẫn quốc tế bị chặn.

Việc khôi phục không chỉ là đóng lại bộ chỉnh lưu. Vì ắc quy cạn cộng với tải truyền dẫn vượt quá khả năng chịu dòng của bộ chỉnh lưu lúc khởi động nguội, kỹ sư phải ngắt vật lý toàn bộ thiết bị khỏi hệ thống tầng 20 trước khi đặt lại bộ chỉnh lưu bằng tay lúc 18h. Sau đó là quá trình nối lại theo từng giai đoạn: 19h10 định tuyến lại 144 đường DS3 xuyên qua (khoảng 19.200 kênh thoại); 21h mở lại sân bay; 4h sáng hôm sau khôi phục gần như toàn bộ năng lực.

Khung điều khiển và cảnh báo tổng đài Bell System (1AESS MCC)

Từ "lỗi con người" đến sửa kiến trúc

Ngay hôm sau sự cố, quản lý AT&T nói với báo chí rằng lỗi thuộc về con người, khi "một giám sát và các kỹ thuật viên tại chỗ đã không đọc đúng một số cảnh báo". Cách giải thích này gọn gàng và không đòi hỏi phải xem xét vì sao chỉ một phòng nguồn lại có thể cắt đứt cả ba sân bay New York.

Nhưng đến 20/9, Phó chủ tịch AT&T phải rút lại cáo buộc: "Các kỹ thuật viên không có lỗi và chúng tôi xin lỗi vì đã hàm ý như vậy." Công đoàn CWA đã chỉ ra rằng đúng lúc cảnh báo hỏng thì các kỹ thuật viên đang ở lớp học cách xa tòa nhà.

Không mức độ cẩn thận nào giúp một kỹ thuật viên nghe được tiếng chuông bị bịt từ Midtown Manhattan, nhìn thấy bóng đèn chết trên mạch không ai giám sát, hay phát hiện thanh nối bị thiếu trên một khung chưa từng được kiểm tra.

Các cam kết khắc phục mà AT&T công bố tháng 10/1991 đều nhắm trực tiếp vào phần cứng và kiến trúc giám sát:

• Thay hệ thống nguồn 48V bằng thiết bị có khả năng tự khởi động lại, đồng thời tái thiết kế phân phối nguồn để không phòng nguồn nào cấp quá 50% các khối DS3 dung lượng cao của tòa nhà.
• Lắp hệ thống cảnh báo nguồn dự phòng mới, nối cả bảng tại chỗ lẫn trung tâm giám sát từ xa tại Conyers, Georgia, kèm kế hoạch đầu tư 200 triệu USD trong 12 tháng để nâng độ tin cậy nguồn trên toàn quốc.
• Về phía quản lý, FCC ban hành yêu cầu các nhà mạng phải thông báo trong vòng 90 phút khi có sự cố ảnh hưởng từ 50.000 khách hàng trở lên trong 30 phút; FAA khởi động chương trình LINCS nhằm phòng ngừa lỗi do đường thuê bao đơn điểm.

Bài học vẫn còn nguyên với hạ tầng phần mềm và AI hôm nay

Mọi cỗ máy trong sự cố 1991 đều có phiên bản tương đương trong hệ thống phân tán hiện đại.

Bộ đệm che giấu lỗi thượng nguồn cho đến khi cạn. Bình ắc quy sáu tiếng rưỡi, hàng đợi request sâu, ngân sách retry rộng rãi, lớp cache TTL dài hay token xác thực sống lâu đều làm một việc: giữ hệ thống hạ nguồn chạy tiếp khi nguồn cấp thượng nguồn mất. Điều đó giúp chịu được sự cố ngắn, đồng thời giấu đi sự cố kéo dài. Nếu dashboard on-call chỉ đo lỗi phía người dùng cuối, bộ đệm sáu tiếng sẽ giấu lỗi sáu tiếng, rồi gọi kỹ sư dậy khi chỉ còn mười phút dự phòng.

Khởi động lại hệ thống rỗng cần nhiều dung lượng hơn tải bình thường. Đây chính là bức tường cold-start khiến lần khởi động lại lúc 16h30 thất bại – hiện tượng mà giới nghiên cứu hệ thống gọi là suy thoái siêu bền (metastable failure). Khi toàn bộ cache hết hạn sau sự cố, hoặc các agent và client dồn retry vào backend đang hồi phục, dịch vụ vừa phải nạp đầy bộ đệm vừa phải phục vụ tải thật, và lập tức lại nhảy bảo vệ quá tải. Không có cơ chế tự giảm tải hay giới hạn tốc độ nạp, muốn khởi động lại thì phải ngắt tải bằng tay.

Dịch vụ đã chết không thể tự báo mình chết. Thanh nối thiếu trên mạch cảnh báo không ai kiểm tra từ tháng 6/1990 không bị phát hiện vì mạch chỉ phát tín hiệu khi có sự cố – khi chính đường cảnh báo đứt, không có gì xảy ra. Các đội phần mềm rơi vào đúng cái bẫy đó khi chỉ cảnh báo theo tỷ lệ lỗi: dịch vụ sập hẳn, ngừng nhận request hoặc mất kết nối metrics thì tỷ lệ lỗi không bao giờ vượt ngưỡng, và cảnh báo không bao giờ kêu.

Cách an toàn hơn là đo hoạt động thành công liên tục và báo động ngay khi tín hiệu tích cực đó ngừng đến – giống như đường telemetry mà AT&T sau đó nối về Conyers. Một thanh nối thiếu, một bóng đèn cháy hay một daemon telemetry chết sẽ réo lên ngay ngày đầu, thay vì chờ 15 tháng cho đến lần chuyển nguồn tiếp theo.

Cuối cùng, bài học lớn nhất của 33 Thomas Street là nguyên tắc thiết kế: đừng dựa vào sự tỉnh táo của con người để thay cho kỹ thuật. Hãy chia tải, xây khả năng tự phục hồi và đặt giám sát ở nơi độc lập với thứ đang được giám sát. Có như vậy, những lần chuyển nguồn định kỳ và bảo trì nóng mới không còn đặt cả một hệ thống không lưu khu vực vào canh bạc "không ai được mắc lỗi".