Lustreとは

Lustreとは、多数のコンピュータが同じデータ置き場を使いながら、大きなファイルを並行して読み書きできるオープンソースのファイルシステムです。もともとはスーパーコンピュータでの大規模な計算を支えてきた仕組みで、大規模な機械学習では、データの読み出しが計算に追いつかないときの選択肢になります。

英語表記:Lustre file system

一つのファイルを、どうやって並行して読む?

Lustreには、ファイル名などの管理情報を扱う担当と、ファイルの中身を置く担当があります。例えば書庫の索引と棚が分かれているように、使う側からは一つの場所に見えても、裏では仕事を分けられるのが特徴です。

大きなファイルの中身を分割して複数の保存先へ置けば、別々の保存先から一度に読み出せます。ただし初期設定では、1つのファイルは1か所の保存先に置かれるだけ。いくつに分けるかは管理者が決める設定で、小さなファイルは分けても速くならず、分けすぎると逆に処理が増えることもあります。保存できる量を増やすことと複数の読み出しを同時に進めることは別々の課題。データ量だけを見て設計すると、読み出しの速さまで確保できるとは限りません。

速さを優先するため、Lustreはサーバーどうしでデータを複製しない設計です。データを失わない備えは保存装置の側で行い、サーバーが故障したときに予備のサーバーへ引き継ぐ構成も、別に用意する部分です。

先に測るのは計算の速さか、読み込みの待ち時間か

画像の訓練データを何度も読む機械学習では、データが届くまでGPUが待つことがあります。まず今の設備で、処理時間のうち、どれだけをデータ待ちに使っているかを測ると、保存先に投資する理由がはっきりします。

自社で運用するほか、設定や保守をクラウド事業者に任せる選択肢も。比較するときは、大きなファイルをまとめて読む速さと、小さなファイルを多数開く速さを分けて、自社のデータと同時に使う台数で試しましょう。

Topic初期の利用者に米国の国立研究所

Lustreはカーネギーメロン大学の研究プロジェクトから生まれ、米国エネルギー省の国立研究所が早い段階で採用しました。プロジェクトの公式資料は、初期の利用者としてローレンス・リバモア、サンディア、オークリッジの各国立研究所を挙げています。

Lustreに関するよくある質問

Lustreを入れればGPUの計算そのものも速くなりますか?
Lustreが扱うのはデータの読み書きです。GPUがデータを待っている場合は全体の時間が短くなる可能性がありますが、計算処理そのものを高速にする仕組みではありません。
クラウドに置いた学習データをLustreから使うには、毎回すべてをコピーしますか?
必須とは限りません。例えばAmazon FSx for Lustreには、Amazon S3のデータをファイルとして見せる連携があります。一方、Google Cloudのマネージド版は、学習の前にCloud Storageから取り込むか同期する手順を案内しています。条件はサービスと構成ごとに異なります。

あわせて読みたい記事