Chuyển sang module SFP+ Broadcom để giải quyết vấn đề quá nhiệt mạng 10Gb/s

Vào tháng 4 vừa qua, tôi đã thực hiện nâng cấp mạng LAN tại nhà lên tốc độ 10Gb/s. Do hệ thống dây cáp đi tường là loại CAT-6 hoặc tương đương, tôi bắt buộc phải sử dụng tiêu chuẩn 10GBASE-T. Tuy nhiên, bộ định tuyến (router) và switch mà tôi đang sử dụng đều cung cấp cổng 10Gb/s thông qua các khe cắm SFP+, nghĩa là tôi cần các module chuyển đổi SFP+ 10GBASE-T để kết nối.

Loại module này nổi tiếng là hoạt động với nhiệt độ rất cao — đôi khi nóng đến mức không thể hoạt động ổn định. Các module trong "reggie" (router) dường như chạy ổn định, nhưng module trong "nigel" (switch ở phòng làm việc) lại đạt nhiệt độ đáng báo động là 93°C. Tôi đã thử gắn thêm một số tản nhiệt nhỏ lên nó, điều này có vẻ giúp ích một chút. Nhưng khi thời tiết trở nên nóng hơn, module cuối cùng đã bị quá nhiệt.

Tôi mất quyền truy cập Internet từ phòng làm việc và việc kiểm tra các chỉ số đã cho thấy vấn đề:

Biểu đồ hiện tượng chập chờn của mạng

Bạn có thể thấy hiện tượng "chập chờn" (flapping): nhiệt độ tăng lên mức mà module tự tắt để bảo vệ chính mình — khoảng 95°C tôi nghĩ — và sau khi hồi phục, nó lại bật lên, nhiệt độ tăng lại và quy trình lặp lại. Tôi có thể giải quyết tạm thời bằng cách bật điều hòa trong phòng làm việc. Nhưng bình thường tôi chỉ bật nó khi có mặt trong phòng, và việc phải bật điều hòa 24/7 chỉ để giữ cho mạng hoạt động nghe có vẻ không phải là giải pháp đúng đắn.

Đã đến lúc chuyển sang một module SFP+ tiết kiệm điện năng hơn.

Bài viết về 10Gb/s trước đây của tôi đã nhận được nhiều thảo luận trên Hacker News, và xxpor đã đề cập rằng có hai thế hệ module SFP+ 10GBASE-T: loại cũ sử dụng chip Marvell và loại mới sử dụng chip của Broadcom. blunden trên diễn đàn ServeTheHome cũng đưa ra quan điểm tương tự. Các module dựa trên Marvell được biết đến là chạy rất nóng, và cả hai đều khuyên nên tìm loại sử dụng chip Broadcom.

Tôi đã xác nhận rằng MikroTik S+RJ10 mà tôi đang dùng trong nigel thực sự là loại dùng chip Marvell, vì vậy giải pháp khá đơn giản: tìm một loại tốt hơn.

Vì vậy, tôi lên Amazon và mua một module 10Gtek ASF-10G-T80-INT. Việc kiểm tra trang chính thức của 10Gtek về module này đã xác nhận rằng nó sử dụng loại chip đúng (mặc dù thông tin hơi lộn xộn):

ASF-10G-T80 là bộ thu phát đồng thế hệ mới nhất, đặc điểm lớn nhất là tiêu thụ điện năng siêu thấp và khoảng cách truyền dài hơn (1,6W @ 10Gbps 30m, 2,0W @ 10Gbps 80m). ASF-10G-T80 là bộ thu phát đồng SFP+ RJ45 đa tốc độ 10GBase, được thiết kế với chip PHY BROADCOM BCM84891 tuân thủ IEEE 802.3an/az và SFP+ MSA, hỗ trợ truyền lên đến 80 mét qua CAT.6a hoặc CAT.7.

Một hoặc hai ngày sau, nó được giao đến. Nó được đóng gói trong một chiếc hộp kim loại nhỏ khá đẹp mắt:

Hình ảnh bao bì sản phẩm 10Gtek

Việc lắp đặt mất một chút thời gian vì tôi thấy việc tháo module MikroTik hiện có khá khó khăn; Video của Willie Howe trên YouTube đã giúp ích rất nhiều trong việc chỉ ra cách mở chốt khóa, nhưng tôi vẫn phải manipulate khá nhiều để lấy nó ra. Tuy nhiên, cuối cùng nó cũng được tháo ra và module mới đã được gắn vào.

Tôi cắm lại tất cả các cáp mạng, bật công tắc switch và (s sau một khoảng thời gian chờ đầy hồi hộp để nó khởi động) mạng đã hoạt động trở lại!

Vậy, nhiệt độ có tốt hơn không? Tôi kiểm tra hệ thống giám sát và kết quả là... không có dữ liệu.

Màn hình giám sát không hiển thị nhiệt độ module mới

Điều này cũng hợp lý. Cách tôi vẽ biểu đồ các số liệu này là switch cung cấp chúng qua giao thức SNMP, sau đó trình nền Telegraf trên router của tôi (reggie) đọc các số liệu này và gửi đến InfluxDB; cuối cùng, Grafana sẽ vẽ biểu đồ.

Tôi đã đang đọc nhiệt độ của module bằng SNMP OID mà tôi đã xác định là switch đang cung cấp (.1.3.6.1.4.1.14988.1.1.19.1.1.6.3 nếu bạn quan tâm), nhưng có lẽ module mới được xuất bản trên một OID khác. Đã đến lúc đăng nhập vào switch và kiểm tra.

Nó nói rằng đây là một module của Intel; bản thân điều đó không quá lạ lẫm — thường xuyên có các vấn đề tương thích giữa switch và các module SFP+, vì vậy đôi khi các module được cấu hình để "nói dối" về nhà sản xuất — và tôi đã cụ thể mua loại "tương thích Intel" trên Amazon, ASF-10G-T80-INT, vì tôi không tìm thấy loại nào giả làm MikroTik. Nghiên cứu cho thấy nó sẽ hoạt động tốt, và thực sự là vậy.

Không chỉ nó mạo danh là module Intel — nó còn nói rằng đó là một module quang học (fibre-optic)! Có lẽ nếu tôi tìm thấy tùy chọn "tương thích MikroTik" thì nó sẽ tốt hơn — mặc dù cũng có thể nó chỉ giả làm module quang MikroTik thôi. Dù sao, nó vẫn hoạt động — nên điều đó ổn cả.

Tuy nhiên, có một tin xấu. Nếu switch có thể đọc nhiệt độ từ module mới, bạn sẽ mong đợi nó xuất hiện trong đầu ra đó, dưới dạng sfp-temperature. Vì vậy, thật đáng buồn, tôi nghĩ mình sẽ không thể giám sát nhiệt độ của module mới.

Vậy làm sao tôi có thể biết liệu nó có giúp ích không? Chà, một cách là xem liệu có thêm trường hợp nào của hiện tượng chập chờn mạng nữa không. Thực tế tôi đã thực hiện việc thay thế hơn hai tuần trước và mọi thứ đều ổn định cho đến nay, dựa trên trải nghiệm sử dụng và giám sát khác (mặc dù tuần trước cũng khá nóng).

Nhưng một chỉ số thú vị khác là nhiệt độ CPU của nigel trong hai tuần trước và sau khi thay đổi module:

Biểu đồ nhiệt độ CPU giảm xuống

Bạn có thể thấy có sự giảm rõ rệt vào cuối ngày 1 tháng 6, khi tôi chuyển đổi module, và kể từ đó nó chạy mát hơn khoảng 5°C. Tất nhiên, có nhiều điểm khác biệt ở module mới — ngoài việc có chip khác và EEPROM "nói dối", khả năng nó có các đặc tính kết nối nhiệt khác nhau — nó có thể tỏa nhiều hoặc ít nhiệt hơn sang khe SFP+ và từ đó sang CPU của switch. Vì vậy, đây không phải là bằng chứng xác thực, nhưng kết hợp với sự ổn định liên kết được cải thiện, tôi coi đây là một thành công.

Vậy là một chuyến đi thú vị nhỏ vào thế giới của các module SFP+ — đặc biệt là những loại hơi "lươn lẹo" :-) Hãy xem liệu chiếc này có bền bỉ hơn khi chúng ta trải qua mùa hè nóng bức tại Lisbon hay không.