GPUDirect Peer to Peer(ジーピーユーダイレクトピアツーピア)とは

GPUDirect Peer to Peerとは、同じシステム内のGPU同士が、CPUを仲介せず互いのメモリへ直接データを渡しやすくするNVIDIA系の仕組みです。複数GPUでAIを動かすとき、GPU間の横連携を速くして待ち時間を減らす狙いがあります。

GPU同士の横連携を作る

CUDAの公式ガイドでは、複数GPUの通信としてPeer to Peer転送やアクセスが説明されています。CPUメモリを経由してデータを移すより、GPU同士が直接やり取りできるほうが効率的な場面もあるでしょう。NCCLのような通信ライブラリも、こうしたGPU間経路を意識して使われます。

NVLinkやNVSwitchとの関係

GPUDirect Peer to Peerは、GPU同士が直接データを渡す仕組みの見方です。NVLinkやNVSwitchは、その通信を支える高速な接続や交換機として理解できます。名前が似ていても、GPUDirect RDMAは外部デバイスやネットワークとの直接通信に寄った用語です。

同じサーバーでも条件は変わる

公式ガイドは、Peer accessの可否やPCIeの設定によって、想定したP2P経路が使えない場合があることを示しています。特に、安全のために機器同士の通信を仕切るPCIe ACSという設定が有効だと、GPU同士の直接通信がいったんCPU側の中継点へ回される可能性があります。導入時は、GPUの枚数だけでなく接続の地図を確認することが重要です。

GPUDirect Peer to Peerに関するよくある質問

クラウドGPUでも確認できますか？

クラウドでは利用者が物理接続を直接見られない場合があります。代わりにインスタンスタイプの仕様と実測結果を確認します。

同じサーバー内なら常に有効ですか？

常に有効とは限りません。GPUの組み合わせ、ドライバ、PCIe設定、仮想化の条件で利用可否が変わります。

運用中は何を見ればよいですか？

GPU使用率だけでなく、GPU間転送時間、通信待ち、ジョブごとの伸び方を見ます。枚数を増やした時の効率低下が手がかりです。