AI時代のネットワーク:需要の起源と革新の方向

大規模モデルの台頭に伴い、ネットワークはAIインフラストラクチャにおいてますます重要な地位を占めています。本稿では、原理に基づいて、ネットワークがなぜAI時代の重要な要素となるのかを探り、将来のネットワーク側の革新動向と投資機会を分析します。

1. ネットワーク要件の出所

大規模モデルの時代において、モデルのサイズと単一カードの計算能力の上限の差が急速に広がり、多サーバークラスターが解決策となり、これがAI時代におけるネットワークの重要性向上の基盤を形成しています。過去に単純にデータを転送するために使用されていたネットワークは、現在ではGPU間のモデルパラメータを同期させるためにより多く利用されており、ネットワークの密度と容量に対する要求が高まっています。

増大するモデルのサイズ:

• トレーニング時間 = トレーニングデータの規模 x モデルのパラメータ量 / 計算速度
• 計算速度 = 単一デバイスの計算速度 x デバイス数 x 複数デバイスの並列効率

より大規模なトレーニングデータとパラメータを追求する中で、計算効率の向上がトレーニング時間を短縮するための鍵となります。そして、ネットワークを通じて「デバイス数」を拡大し「並列効率」を向上させる方法が、計算能力のレベルを直接決定します。

マルチカード同期の複雑なコミュニケーション: 大規模モデルのトレーニングでは、モデルを単一カードに分割した後、各計算の後にアライメントが必要です(Reduce、Gatherなど)。NVIDIAのNCCL通信プリミティブでは、All-to-All(すべてのノードが互いに値を取得し、アライメント)を行う操作が一般的であり、ネットワーク伝送と交換に対してより高い要求を提起します。

ますます高くなる故障コスト: 大規模モデルのトレーニングは通常数ヶ月続き、中断後は以前のチェックポイントに戻って再トレーニングする必要があります。ネットワーク内のいずれかの段階での故障や高遅延が中断を引き起こし、進捗の遅れやコストの上昇をもたらす可能性があります。現代のAIネットワークは、飛行機や航空母艦などに匹敵する複雑なシステムエンジニアリングに発展しています。

2. ネットワークイノベーションの方向

計算力投資規模の膨張、モデルパラメータの継続的な拡張という背景の中で、「コスト削減」、「オープン」、および計算力規模のバランスがネットワーク革新の主要な議題となっています。

通信メディアの更新: 光、銅、シリコンは人類の伝送の三大媒体です。AI時代において、光モジュールはより高速な通信を追求する一方で、LPO、LRO、シリコン光などのコスト削減の道を歩み始めました。銅ケーブルはコストパフォーマンスと低故障率によってラック内の接続を占めています。Chiplet、Wafer-scalingなどの新しい半導体技術はシリコンベースの相互接続の限界を探求しています。

ネットワークプロトコルの競争: ピア間通信プロトコルとGPUの強い結びつき、例えばNVIDIAのNV-LINKやAMDのInfinity Fabricなどは、単一サーバーまたは単一の計算ノードの能力の上限を決定し、大手企業の激しい競争の領域となっています。ノード間通信は主にIBとイーサネットを中心に競争が展開されています。

ネットワークアーキテクチャの変化: 現在のノード間ネットワークアーキテクチャは一般的にリーフ-スパインアーキテクチャを採用しており、便利でシンプルかつ安定した特性があります。しかし、単一クラスターのノード数が増えるにつれて、リーフ-スパインアーキテクチャは超大クラスターにおいて冗長になり、大きなネットワークコストをもたらします。Dragonflyアーキテクチャやレール専用アーキテクチャなどの新しいソリューションは、次世代の超大クラスターに向けた進化の方向性として期待されています。

3. 投資アドバイス

通信システムのコア要素: Zhongji Innolight、Xin Yisheng、Tianfu Communication、Industrial Fortune Union、Invic、Shanghai Electric Co.、Ltd

通信システムの革新段階: 長飛光ファイバー、太辰光、源杰テクノロジー、盛科通信-U、寒武紀、デコリ

4. リスク警告

• AIの需要が期待に届かない
• スケーリング法則の失効
• 業界競争が激化している