Expert Tensor Parallelismとは
Expert Tensor Parallelismとは、Mixture of Expertsの各エキスパート内部にテンソル並列をかけ、1つの専門部品の計算をさらに複数GPUへ分ける方法です。Expert Parallelismが「どのエキスパートをどのGPUに置くか」を決めるのに対し、こちらはエキスパートの中身まで細かく分担する考え方。二段構えの並列化です。
二段階で分ける理由
MoEモデルでは、入力ごとに呼び出されるエキスパートが一定ではありません。ただし、1つのエキスパート自体が大きい場合、そのままではGPUメモリや計算時間の壁が出ます。そこで、エキスパートを配置する分担と、エキスパート内部を割る分担を重ねる構成にします。
経営判断では、細かな設定名を覚えるよりも、大規模AIのコストは「モデルをどう分けるか」に強く左右されると捉える方が実用的でしょう。推論コストやレイテンシ（応答までの待ち時間）の見積もりで、単にGPU台数だけを見ても足りない理由がここにあります。
Topic設定名にも分担の順番が出る
NVIDIAの設定例では、Expert Tensor Parallelismに対応する値としてexpert_tensor_parallel_sizeが示されています。名前を分解すると、expert（専門部品）をtensor（行列計算の単位）でparallel（並列）にする、という順番。長い設定名は、どこを分けるかの地図にもなります。
Expert Tensor Parallelismに関するよくある質問
- 社内提案でこの言葉が出たら何を確認すべきですか？
- MoEモデルを前提にしているか、エキスパート数とGPU構成がどう設計されているかを確認します。単なる流行語ではなく、費用見積もりの根拠に使われているかが焦点です。
- 小規模なAI導入でも必要になりますか？
- 多くの業務導入では直接触りません。大規模MoEモデルの学習や提供基盤を扱う事業者、または基盤コストを精査する場面で重要になります。
