データセットとは

データセットとは、AIの学習や性能評価に使う、整理されたデータの集まりのことです。AIは大量の例を見て学ぶため、どんなデータセットを与えるかが、その賢さや得意分野を大きく左右します。「良いデータがなければ良いAIは育たない」という、AI開発の土台となる存在です。

役割ごとに分けて使う

データセットは、ふつう役割ごとに分けて使います。学ぶための「訓練データ」、途中の出来を確かめる「検証データ」、最終的な実力を測る「テストデータ」といった具合です。同じデータで学習と採点をしてしまうと、答えを丸暗記しただけの「カンニング状態」になりかねません。だから、実力を測る用のデータは分けて取っておくわけです。

質と偏りが結果を決める

データに偏りがあれば、AIの判断にもその偏りがそのまま乗り移ります。特定の層に偏ったデータで学習すれば、その外側の人やものごとには当てにならないAIができあがってしまう。量を集めるだけでなく、質と偏りのなさが問われます。「ゴミを入れればゴミが出てくる」という言葉どおり、データセットの良し悪しは、そのままAIの信頼性へ直結するのです。

データセットに関するよくある質問

データセットは、大きくすればそれだけ良くなりますか？

大きくすると、別の問題が出てきます。画像データ集ImageNetを使った大規模コンペを5年間運営したチームは、総括論文で「規模を大きくすると必ず想定外の課題が現れる」と述べ、作業の手順も評価のやり方も途中で何度も作り直したと振り返っています。量を増やすほど、正解の付け方をそろえる仕組みのほうが効いてくる、ということです。

評価用のデータを分けておけば、それで安心ですか？

分けるだけでは足りません。同じコンペでは、テスト用の画像は配っても正解は公開せず、参加者が出した答えを主催者側が採点する方式をとりました。論文は、正解も一緒に配ると「テストデータに合わせこむ余地が大きすぎる」からだと説明しています。さらにコンペ終了後も、1チームあたりの採点依頼を週2回までに制限しました。同じ評価データで何度も測り直すこと自体が、そのデータへの合わせこみになるためです。社内でAIの精度を評価するときも、同じ落とし穴があります。