Mạng lưới thời đại AI: Nhu cầu phát sinh và hướng đổi mới

Với sự trỗi dậy của các mô hình lớn, vai trò của mạng trong cơ sở hạ tầng AI ngày càng trở nên quan trọng. Bài viết này sẽ bắt đầu từ nguyên lý, khám phá lý do tại sao mạng trở thành một yếu tố then chốt trong thời đại AI, và phân tích các xu hướng đổi mới và cơ hội đầu tư trong tương lai của mạng.

1. Nguồn gốc của nhu cầu mạng

Thời đại mô hình lớn, sự chênh lệch giữa kích thước mô hình và giới hạn sức mạnh tính toán của thẻ đơn nhanh chóng gia tăng, cụm máy chủ đa trở thành giải pháp, điều này tạo thành nền tảng cho sự gia tăng tầm quan trọng của mạng trong thời đại AI. So với trước đây chỉ được sử dụng để truyền tải dữ liệu, hiện nay mạng chủ yếu được sử dụng để đồng bộ hóa các tham số mô hình giữa các thẻ đồ họa, đặt ra yêu cầu cao hơn về mật độ và dung lượng mạng.

Kích thước mô hình ngày càng lớn:

• Thời gian huấn luyện = quy mô dữ liệu huấn luyện x số lượng tham số mô hình / tốc độ tính toán
• Tốc độ tính toán = Tốc độ tính toán của một thiết bị x Số lượng thiết bị x Hiệu suất song song của nhiều thiết bị

Trong khi theo đuổi dữ liệu huấn luyện và tham số quy mô lớn hơn, việc nâng cao hiệu suất tính toán trở thành yếu tố then chốt để rút ngắn thời gian huấn luyện. Cách mở rộng "số lượng thiết bị" và cải thiện "hiệu suất song song" qua mạng sẽ quyết định trực tiếp đến mức độ sức mạnh tính toán.

Giao tiếp phức tạp của nhiều thẻ đồng bộ: Trong quá trình huấn luyện mô hình lớn, sau khi chia nhỏ mô hình xuống từng thẻ đơn, mỗi lần tính toán đều cần thực hiện việc căn chỉnh ( Reduce, Gather, v.v... Trong các nguyên thủy giao tiếp NCCL của NVIDIA, All-to-All ) là thao tác mà tất cả các nút tương tác với nhau để lấy giá trị và căn chỉnh (, điều này đặt ra yêu cầu cao hơn đối với việc truyền tải và trao đổi mạng.

Chi phí lỗi ngày càng cao: Việc đào tạo mô hình lớn thường kéo dài nhiều tháng, và sau khi bị gián đoạn cần quay lại điểm dừng trước đó để đào tạo lại. Sự cố hoặc độ trễ cao ở bất kỳ khâu nào trong mạng đều có thể dẫn đến sự gián đoạn, gây ra sự chậm trễ trong tiến độ và tăng chi phí. Mạng AI hiện đại đã phát triển thành một hệ thống kỹ thuật phức tạp tương đương với máy bay, tàu sân bay, v.v.

2. Hướng đi của đổi mới mạng

Trong bối cảnh quy mô đầu tư vào sức mạnh tính toán gia tăng và các tham số mô hình tiếp tục mở rộng, việc "giảm chi phí", "mở cửa" và cân bằng quy mô sức mạnh tính toán trở thành những vấn đề chính trong đổi mới mạng.

Sự thay đổi của phương tiện truyền thông: Ánh sáng, đồng và silicon là ba chất dẫn truyền chính của nhân loại. Trong kỷ nguyên AI, mô-đun ánh sáng không chỉ theo đuổi tốc độ cao hơn mà còn bắt đầu con đường giảm chi phí như LPO, LRO, và silicon quang. Cáp đồng chiếm lĩnh kết nối trong tủ với chi phí hiệu quả và tỷ lệ lỗi thấp. Các công nghệ bán dẫn mới như Chiplet, Wafer-scaling đang khám phá giới hạn của kết nối dựa trên silicon.

Cạnh tranh giao thức mạng: Giao thức giao tiếp giữa các mảnh và sự ràng buộc mạnh mẽ với card đồ họa, như NV-LINK của NVIDIA và Infinity Fabric của AMD, quyết định giới hạn khả năng của một máy chủ hoặc một nút tính toán đơn lẻ, là lĩnh vực cạnh tranh khốc liệt của các ông lớn. Giao tiếp giữa các nút chủ yếu xoay quanh sự cạnh tranh giữa IB và Ethernet.

Sự thay đổi trong kiến trúc mạng: Cấu trúc mạng giữa các nút hiện tại thường sử dụng kiến trúc lá và gốc, có đặc điểm là tiện lợi, đơn giản và ổn định. Tuy nhiên, khi số lượng nút trong một cụm tăng lên, kiến trúc lá và gốc trở nên thừa thãi trong các cụm siêu lớn, dẫn đến chi phí mạng cao. Kiến trúc Dragonfly, kiến trúc chỉ đường sắt và các giải pháp mới khác hứa hẹn sẽ trở thành hướng tiến hóa cho các cụm siêu lớn thế hệ tiếp theo.

3. Đề xuất đầu tư

Hạt nhân của hệ thống thông tin: Trung Giới Hướng Sáng, Tân Dễ Thịnh, Thiên Phú Truyền Thông, Công Nghiệp Phú Liên, Anh Vĩ Khắc, Hợp Điện Cổ Phần

Giai đoạn đổi mới hệ thống thông tin: Longfly Fiber, Taichenglight, Yuanjie Technology, Shengke Communication-U, Hanwujing, Dekolite

4. Lời cảnh báo rủi ro

• Nhu cầu AI không đạt kỳ vọng
• Luật mở rộng không còn hiệu lực
• Cạnh tranh trong ngành ngày càng gay gắt