強力なGPUクラスターを構築する方法: 包括的なガイド

はじめに: GPUクラスターとは何か?

GPUクラスターは、各ノードにグラフィックスプロセッシングユニット(GPU)が1つ以上搭載されたコンピューターのグループです。複数のGPUの力を活用することで、これらのクラスターは画像・動画処理、ニューラルネットワークの学習、その他のマシンラーニングアルゴリズムの実行など、特定の計算タスクに対して高速な処理能力を提供します。

GPUクラスターには以下のような主な利点があります:

高可用性: クラスター内の1つのノードが故障しても、他の利用可能なノードにワークロードを自動的に振り分けることで、稼働時間を維持し、中断を防ぐことができます。
高パフォーマンス: 複数のGPUノードにワークロードを分散させることで、単一のマシンよりもはるかに高い計算能力を発揮できます。
負荷分散: 入ってくるジョブをGPUノード全体に均等に割り当てることで、大量のリクエストを効率的に処理できます。

GPUを機械学習に活用する方法については、以下の詳細ガイドをご覧ください:

Deep Learning GPUs (opens in a new tab) - ディープラーニングワークロード向けのGPUの概要
Multi-GPU and Distributed Training (opens in a new tab) - 複数のGPUにわたるモデル学習の手法

本記事では以下の内容を説明します:

GPUクラスターの一般的な用途
GPUクラスターを自作するための手順
重要なハードウェアの考慮事項とオプション
GPUクラスターのソフトウェア展開
Run:AIなどのツールを使ったGPUクラスターの管理の簡素化

GPUクラスターの用途

ディープラーニングの拡張

GPUクラスターの最も人気のある用途の1つは、複数のノードにわたって大規模なディープラーニングモデルを学習させることです。集約された計算能力により、より大きなデータセットや複雑なモデルを扱うことができます。データセットとより複雑なニューラルネットワークアーキテクチャ。いくつかの例は以下の通りです:

コンピュータービジョン: ResNetやInceptionなどのモデルは、画像分類、物体検出などに使用されますが、多数の畳み込み層を持ち、集中的な行列演算を必要とします。GPUクラスターを使うと、大規模な画像/ビデオデータセットでのモデル訓練を大幅に高速化できます。
自然言語処理(NLP): BERT やGPT-3 などの大規模言語モデルを、翻訳、テキスト生成、会話型AIなどのタスクに使うには、膨大なテキストコーパスを取り込む必要があります。GPUクラスターを使えば、訓練データを分割し、モデル訓練を並列化できます。

エッジAIの推論

データセンターでの訓練に加えて、GPUクラスターをエッジコンピューティングデバイスに地理的に分散させることで、低遅延のAI推論を行えます。複数のエッジノードのGPUを1つの論理クラスターにすることで、クラウドやリモートデータセンターにデータを送信する往復遅延なしに、エッジデバイス上でリアルタイムの予測を生成できます。

これは、迅速な応答時間が重要な自律走行車、産業用ロボット、ビデオ分析などのアプリケーションに特に有用です。詳しくは、エッジAIガイド (opens in a new tab)をご覧ください。

GPU加速クラスターの構築方法

オンプレミスのデータセンターやサーバールームにGPUクラスターを構築するには、以下の手順に従ってください:

ステップ1: 適切なハードウェアを選択する

GPUクラスターの基本的な構成要素は、1つ以上のGPUを搭載した物理サーバーであるノードです。各ノードの構成を検討する際は、以下の点を考慮してください:

CPU: GPUに加えて、各ノードにはCPUも必要ですが、ほとんどのユースケースでは、最新のプロセッサで十分です。
RAM: システムメモリは多いほど良いですが、ノードあたり最小24GB DDR3 RAMを計画してください。
ネットワークインターフェース: 各ノードには少なくとも2つのネットワークポートが必要です - 1つはクラスター通信用、もう1つは.外部アクセス用に Infiniband または 100 GbE を使用して、高速な GPU 間通信を行います。
マザーボード: GPUとネットワークカードに十分なPCIExpressスロットがあるマザーボードを選択してください。通常、GPUには x16 スロット、Infiniband/Ethernetには x8 スロットが必要です。
電源装置: データセンターのGPUは大きな電力を消費します。最大負荷時の全コンポーネントの消費電力に対応できる電源装置を選択してください。
ストレージ: SSDが理想的ですが、I/Oの要件に応じてSATAドライブでも十分です。
GPUのフォームファクター: GPUにはさまざまな形状とサイズがあります。一般的なオプションには、フルハイト/フルレングス、ロープロファイル、アクティブ冷却、パッシブ冷却、液冷などがあります。サーバーシャーシと冷却の制約に合ったフォームファクターを選択してください。

ステップ 2: 電力、冷却、ラックスペースの計画

スケールによっては、GPUクラスターには専用のデータセンタールームやコロケーションスペースが必要になる可能性があります。主な検討事項は以下の通りです:

ラックスペース: 選択したシャーシとGPUのフォームファクターに基づいて、サーバーラックの奥行き、高さ、幅が十分であることを確認してください。
電力配分: クラスターの総消費電力を慎重に計算し、適切な電気回路、PDU、UPSを用意してください。冷却装置と長性も考慮してください。
冷却能力: GPUは大量の熱を発生させます。クラスターの熱出力に対応できる冷却システムを確認してください。最高密度の展開では、液冷が必要になる可能性があります。
ネットワーク配線: 電源に加えて、ノード間および外部世界への高速ネットワーク接続が必要です。ケーブルの種類、長さ、設置のベストプラクティスについては、スイッチベンダーのガイドラインを参照してください。

ステップ 3: クラスターの組み立てと配線

施設の準備とハードウェアの調達が完了したら、物理的にクラスターを構築する時間です。一般的なアーキテクチャには以下のようなものがあります:

ヘッドノード: 1つ以上のサーバーで、クラスターの管理と調整を行います。ヘッドノードは、外部ユーザー/APIリクエストの主要な接点です。
ワーカーノード: 実際にGPUワークロードを実行する大半のサーバー。ワーカーノードはヘッドノードからタスクを受け取り、それらを実行し、結果を返します。

サーバーをラックにマウントし、PDUに電源ケーブルを接続し、ノード間およびコアスイッチへのネットワークケーブルを接続します。適切な空気の流れとケーブル管理を維持するよう注意してください。

ステップ4: ソフトウェアスタックのデプロイ

ハードウェアが整備されたら、次のステップは必要なソフトウェアコンポーネントをインストールすることです:

オペレーティングシステム: CentOS、RHEL、Ubuntu Serverなどのサーバー最適化Linuxディストリビューションを使用します。各ノードでOSを構成し、ホスト名、IPアドレス、その他の設定をクラスター全体で整合させます。
GPUドライバー: ハードウェアベンダー(例えばNVIDIA CUDA Toolkit)から適切なGPUドライバーをインストールします。
コンテナランタイム: ポータビリティとスケーラビリティを促進するため、ほとんどの最新のクラスターはコンテナを使ってワークロードをパッケージ化およびデプロイします。各ノードにDockerやSingularityなどのコンテナランタイムをセットアップします。
オーケストレーションプラットフォーム: クラスターを管理し、ノード間でワークを計画するためのオーケストレーションシステムが必要です。クラウドネイティブワークロードにはKubernetesが、従来のHPCにはSlurm が一般的な選択肢です。
監視とログ記録: 全ノードからログとメトリクスを収集する集中システムを実装します。Prometheus、Grafana、ELKスタックなどのオープンソースツールが一般的な選択肢です。
データサイエンスツール: ワークロードに必要なマシンラーニングフレームワーク、ライブラリ、ツールをあらかじめインストールします。PyTorch、TensorFlow、Python、Jupyterなどが含まれる可能性があります。

GPUクラスターのハードウェアオプション

データセンターGPU

大規模クラスター向けの最強のGPUは、NVIDIAのデータセンター向けアクセラレータです:

NVIDIA A100: Ampere アーキテクチャに基づくNVIDIAのフラッグシップGPU。以下は、提供されたマークダウンファイルの日本語翻訳です。コードについては、コメントのみ翻訳しています。ファイルの先頭に追加のコメントは付けていません。
NVIDIA V100: Volta ベースのGPUで、640 Tensor Coresと32 GB HBM2メモリを搭載。最大125 TFLOPSの性能と300 GB/sのNVLinkバンド幅を提供します。
NVIDIA T4: エッジコンピューティングノード向けに最適化された、低プロファイルのインファレンス加速器です。320 Turing Tensor Cores、16 GB GDDR6メモリ、260 TOPS INT8性能を備えています。

ここでは、なぜマルチGPUトレーニングが重要であり、並列性の手法を効果的に活用する方法について、2000語の実践的なガイドを提供します:

なぜマルチGPUトレーニングが大規模AIモデルに重要なのか

数十億のパラメーターを持つ最先端のAIモデル、たとえば深層ニューラルネットワークのトレーニングは、非常に計算集約的です。高性能なGPUでも、これらの巨大なモデルを合理的な時間内にトレーニングするのに十分な記憶容量とコンピューティング性能を持っていないことがよくあります。ここでマルチGPUトレーニングが救世主となります。並列に動作する複数のGPUの力を活用することで、トレーニングを劇的に高速化し、前例のないスケールと複雑さのモデルに取り組むことができます。

単一のGPUでGPT-3 (1750億パラメーター言語モデル)をトレーニングしようとすると、数か月、あるいは数年かかってしまうでしょう。しかし、1024台のA100 GPUにモデルとデータを分散すれば、数週間で完了できます。これがマルチGPUトレーニングの力です - 以前は不可能だった問題を実現可能にします。

マルチGPUトレーニングの主な利点は以下の通りです:

トレーニング時間の短縮 - 計算負荷を分散することで並列処理が可能になり、数か月から数日/数週間へとトレーニング時間を大幅に短縮できます。これにより、研究と製品化のサイクルが加速します。
より大規模なモデルのトレーニング - 大規模なモデルは一般的に性能が良いですが、膨大な記憶容量とコンピューティング性能を必要とします。複数のGPUにまたがってモデルを分散することで、数十億のパラメーターを持つモデルのトレーニングが可能になります。3. スケーラビリティ - より多くのGPUを追加することで、さらに大きなモデルを訓練したり、訓練時間をさらに短縮することができます。マルチGPU訓練は非常にスケーラブルなアプローチです。
コスト効率 - 複数のGPUを購入するには初期コストがかかりますが、訓練時間の短縮により、単一のGPUを長時間使用するよりもコスト効率的になります。高価なコンピューティングリソースを短時間で利用できるため、より早く結果を得ることができます。

要約すると、マルチGPU訓練は、スケーラブルかつコスト効率的な方法で、最先端のモデルを実用的に訓練できるようにすることで、AIの限界を押し広げるために不可欠です。これは真のゲームチェンジャーです。

マルチGPU訓練のための並列化手法

複数のGPUを活用するには、並列処理を可能にするように作業を分割する必要があります。マルチGPU訓練で一般的に使用される並列化手法には、いくつかの手法があり、それぞれにトレードオフがあり、状況に応じて適切な手法を選択する必要があります。主な3つの手法、データ並列化、モデル並列化、パイプライン並列化について詳しく見ていきましょう。

データ並列化

データ並列化は最も単純で一般的な並列化手法です。各GPUが訓練データの異なるサブセットを処理し、同じモデルパラメータを共有するというアイデアです。

以下のように動作します:

各GPUにモデルを複製する
訓練バッチをGPUに均等に分割する
各GPUがそのデータサブセットに対して順伝播と逆伝播を計算する
各GPUから得られた勾配を平均化する
平均化された勾配を使って、各GPUのモデルパラメータを更新する

つまり、各GPUが独立して順伝播と逆伝播を行い、その後勾配を共有して平均化し、共有されたモデルパラメータを更新するのです。PyTorchやTensorFlowなどのフレームワークには、GPUs間の勾配の平均化と同期のための便利なプリミティブが用意されています。

データ並列化は実装が簡単で、以下のような場合に効果的です。以下は、提供されたマークダウンファイルの日本語翻訳です。コードの部分は翻訳していません。

モデルは単一のGPUに収まりますが、データセットが大きい場合があります。モデルのコードを変更することなく、複数のGPUにスケーリングすることができます。主な欠点は、各トレーニングステップでGPU間の勾配を同期する必要があり、特に低速なインターコネクトを持つ多数のGPUの場合、通信のボトルネックになる可能性があることです。

モデル並列化

モデル並列化は、データ並列化とは逆のアプローチをとります。データを分散させるのではなく、モデル自体を複数のGPU間で分散させます。各GPUが異なるモデルの部分を保持します。

モデルを分散させる一般的な方法は、異なる層を異なるGPUに配置することです。例えば、24層のニューラルネットワークと4つのGPUの場合、各GPUが6層を保持することができます。順伝播では、データがレイヤーを通過するにつれ、活性化が1つのGPUから次のGPUに渡されます。逆伝播は逆の順序で行われます。

モデル並列化は、モデルの状態が単一のGPUのメモリに収まらない場合に不可欠です。GPUにまたがってモデルを分散させることで、より大きなモデルにスケーリングできます。ただし、活性化と勾配が1つのGPUから別のGPUに流れるため、GPU間の通信オーバーヘッドが増加し、スループットが低下する可能性があります。

モデル並列化のもう1つの課題は、分散レイヤーで動作するようにモデルコード自体を変更する必要があることです。フレームワークでは、この自動化に取り組んでいます。

パイプライン並列化

パイプライン並列化は、データ並列化とモデル並列化を組み合わせた高度な手法です。パイプライン並列化では、モデルとデータの両方をGPU間で分散させます。

モデルは複数のステージに分割され、それぞれ異なるGPUに割り当てられます。各ステージは、任意の時点で異なるミニバッチのデータを処理し、中間的な活性化をNext ステージに渡します。

4つのGPUと4つのミニバッチを使ったパイプラインの例は以下の通りです:

Time Step	GPU 1	GPU 2	GPU 3	GPU 4
1	Batch 1	-	-	-
2	Batch 2	B.1	-	-
3	バッチ 3	バッチ 2	バッチ 1	-
4	バッチ 4	バッチ 3	バッチ 2	バッチ 1

パイプラインパラレリズムの主な利点は、すべてのGPUを稼働させ続けることができることです。1つのGPUがミニバッチの順伝播処理を行っている間に、別のGPUが前のミニバッチの逆伝播処理を行うことができます。これにより待機時間が減少します。

パイプラインパラレリズムの主な課題は、ステージ間の負荷バランスを取ることです。1つのステージが他のステージよりも大幅に時間がかかると、パイプライン全体が停滞してしまう可能性があります。パフォーマンスを最大化するためには、モデルを慎重に分割して負荷を均等化することが重要です。

パイプラインパラレリズムでは、バッチの開始時にパイプラインを満たし、終了時にドレインする際に「バブルオーバーヘッド」が発生します。バッチサイズを大きくし、ステージ数を少なくすることで、このオーバーヘッドを軽減できます。

効率的な多GPU学習のための実践的な提案

多GPU学習を行う際に考慮すべきベストプラクティスは以下の通りです:

可能であればデータパラレリズムを使用する - データパラレリズムは実装が最も簡単で、オーバーヘッドも最小限です。モデルが単一のGPUに収まる場合は、データパラレリズムを優先してください。
必要であればモデルパラレリズムを使用する - モデルがシングルGPUのメモリに収まらない場合は、モデルパラレリズムを使ってより大規模なモデルにスケールアップできます。通信オーバーヘッドを最小限に抑えるため、可能な限り高い粒度でモデルパラレリズムを実装してください。
最大のパフォーマンスを得るためにパイプラインパラレリズムを使用する - パイプラインパラレリズムは最も複雑ですが、GPUの稼働率を最大限に高めることで最高のパフォーマンスを提供できます。ステージ間の負荷バランスを慎重に調整してください。
計算と通信を重複させる - グラデーション累積などの手法を使うことで、前のグラデーションの同期と並行して次のグラデーションの計算を行うことができ、計算と通信を重複させることができます。
混合精度を使用する - 混合精度学習では、計算にはより低精度(FP16など)を、累積にはより高精度(FP32)を使用します。これにより、メモリ使用量と計算時間を大幅に削減できますが、精度への影響は最小限に抑えられます。多くのGPUにはこの機能が搭載されています。特殊なハードウェアによる高速なFP16計算
バッチサイズを調整する - より大きなバッチサイズは計算の強度が高くなりますが、モデルの品質を低下させる可能性があります。お使いのモデルに最適なバランスを見つけるために実験してみてください。グラジエント累積を使うと、より大きな実効バッチサイズを使えるようになります。
高速なインターコネクトを使う - NVLinkやInfiniBandはPCIeよりもはるかに高帯域です。これらを使ってGPU間の通信を行うと、マルチGPUのスケーラビリティを劇的に向上させることができます。
コードをプロファイリングして最適化する - プロファイリングツールを使ってコミュニケーションのボトルネックを特定し、スループットを最大化するようにコードを最適化します。計算と通信の重複が重要です。
コストを考慮する - より多くのGPUを使えば訓練を高速化できますが、コストもかかります。予算と期間のバランスを取ってください。目標は、ハードウェアの利用率を最大化するのではなく、所望の結果を得るためのコストを最小化することです。
シンプルから始めて徐々にスケールアップする - 少数のGPUでデータ並列から始め、必要に応じてより多くのGPUやより高度な並列手法に徐々に移行していきます。早期の最適化によってコードが不必要に複雑になるのを避けましょう。

要約すると、マルチGPU訓練は、AIワークロードを高速化するための強力なツールです。並列手法を慎重に適用し、ベストプラクティスに従えば、単一GPUの場合に比べて格段に短時間でState-of-the-artモデルを訓練できます。重要なのは、シンプルから始め、徹底的にプロファイリングと最適化を行い、必要に応じて複雑さを段階的に高めていくことです。楽しい訓練を!

GPUサーバーとアプライアンス

ターンキーのGPUインフラストラクチャとして、いくつかのベンダーが事前統合されたサーバーやアプライアンスを提供しています:

NVIDIA DGX A100: 8基のNVIDIA A100 GPU、128コアのAMD EPYC CPU、320 GB GPU メモリ、15 TB NVMe ストレージ、8基のMellanox ConnectX-6 200Gb/sネットワークインターフェースを備えた統合システム。5 PFLOPSのAIパフォーマンスを発揮します。
NVIDIA DGX Station A100: 4基のNVIDIA A100 GPU、64コアのAMD EPYC CPU、128 GB GPU メモリ、7.68 TB NVMe ストレージを備えたコンパクトなデスクトップワークステーション。
Lambda Hyperplane: 最大 8 基の NVIDIA A100 GPU、160 GB の GPU メモリ、8 TB のシステムメモリ、256 TB の NVMe ストレージをサポートする 4U サーバー。Intel Xeon、AMD EPYC、Ampere Altra CPU から選択可能。

Run:AI によるGPUクラスター管理の簡素化

GPU クラスターの構築と管理は複雑です。Run:AI のようなツールを使うことで、GPU リソースの割り当てとオーケストレーションを簡素化できます。主な機能は以下の通りです:

プーリング: クラスター内のすべての GPU を単一の共有プールに集約し、必要に応じて動的に割り当てることができます。
スケジューリング: GPU の利用率を最適化し、すべてのユーザーとジョブに公平なアクセスを保証する高度なスケジューリングアルゴリズム。
可視性: クラスター全体の GPU 使用状況、パフォーマンス、ボトルネックについての詳細な監視とレポーティング。
ワークフロー: 人気のデータサイエンスツールやMLパイプラインとの統合により、エンドツーエンドのモデル開発を効率化。

Run:AI の GPU オーケストレーションプラットフォームの詳細については、当社のウェブサイト (opens in a new tab)をご覧ください。

結論

GPU クラスターは、計算集約型のAI/MLワークロードを高速化し、モデルトレーニングと推論の能力を拡張するための重要なインフラストラクチャです。ハードウェアの選定、データセンターの計画、ソフトウェアの展開、クラスター管理に関する主要な考慮事項を理解することで、AI イニシアチブを支える強力な GPU クラスターを設計・構築できます。

GPU クラスターを一から組み立てるには、相当な専門知識と労力が必要ですが、Run:AI のようなツールを使えば、その複雑さの多くを抽象化し、GPU への投資を最大限に活用できます。Run:AI が AI ワークロード用の GPU クラスターの構築と管理を簡単にする方法について、デモ (opens in a new tab)をご覧ください。

TensorFlow GPU: 深層学習パフォーマンスの高速化深層学習のための複数GPUの構築方法