Railway gặp sự cố nghiêm trọng, dịch vụ bị gián đoạn diện rộng do Google Cloud

Railway gặp sự cố nghiêm trọng, dịch vụ bị gián đoạn diện rộng do Google Cloud

Nền tảng triển khai ứng dụng Railway đang đối mặt với sự cố lớn khiến người dùng không thể truy cập dashboard và gặp nhiều lỗi kết nối. Nguyên nhân chính được xác định là do tài khoản của Railway bị Google Cloud chặn đột ngột. Hiện tại, đội ngũ kỹ thuật đang tích cực phối hợp với Google để khôi phục quyền truy cập và đưa dịch vụ trở lại trạng thái bình thường.

Điều tra sự cố gián đoạn dịch vụ

Chúng tôi đang điều tra một sự cố gián đoạn dịch vụ diện rộng ảnh hưởng đến Railway. Người dùng có thể đang gặp phải các lỗi bao gồm "no healthy upstream" (không có upstream hoạt động), "unconditional drop overload" (thả tải quá tải), không thể đăng nhập và không thể truy cập bảng điều khiển (dashboard). Chúng tôi đang tích cực điều tra và sẽ cung cấp thông tin cập nhật sớm nhất có thể.

Nguyên nhân và tình trạng hiện tại

Chúng tôi đã xác định được nguyên nhân của sự gián đoạn. Quyền truy cập vào nhà cung cấp đám mây upstream của chúng tôi đã được khôi phục và chúng tôi đang triển khai bản sửa lỗi. Tuy nhiên, bảng điều khiển Railway và các dịch vụ chạy trên hạ tầng đám mây của chúng tôi có thể vẫn tiếp tục bị ảnh hưởng cho đến khi bản sửa lỗi được triển khai hoàn tất.

Đáng chú ý, Google Cloud đã chặn tài khoản của chúng tôi, khiến một số dịch vụ của Railway trở nên không khả dụng. Chúng tôi đã chuyển vấn đề này trực tiếp lên Google để xử lý khẩn cấp.

Nỗ lực khôi phục hạ tầng

Đội ngũ nền tảng của Railway đã xác nhận lại quyền truy cập vào Google Cloud và đang nỗ lực khôi phục quyền truy cập cho tất cả các workload (tác vụ). Hiện tại, chúng tôi đã có quyền truy cập vào một phần hạ tầng được lưu trữ trên Google Cloud và đang làm việc để khôi phục phần còn lại của dịch vụ. Chúng tôi chân thành xin lỗi vì sự gián đoạn này.

Chúng tôi đang làm việc để khôi phục hạ tầng Google Cloud cung cấp năng lượng cho bảng điều khiển, API và mặt phẳng điều khiển (control plane) của mạng nội bộ. Chúng tôi đang liên hệ trực tiếp với đội ngũ hỗ trợ của Google Cloud. Hiện tại, chúng tôi chưa có ước tính thời gian khôi phục (ETA).

Tìm kiếm giải pháp thay thế

Chúng tôi tiếp tục nỗ lực khôi phục quyền truy cập vào các workload trên Google Cloud. Song song với đó, đội ngũ hạ tầng của chúng tôi đang đánh giá các phương án thay thế để đưa các dịch vụ bị ảnh hưởng trở lại hoạt động trực tuyến. Chúng tôi chưa có ETA tại thời điểm này và sẽ tiếp tục đăng thông tin cập nhật khi có thêm tin tức mới.