Loebner Prizeとは

Loebner Prizeとは、コンピュータのプログラムがどれだけ人間らしく会話できるかを競った、チューリングテストを実際の大会にしたコンテストです。日本語ではローブナー賞とも呼ばれます。米国のヒュー・ローブナー氏が賞金を出し、1991年11月8日、米ボストンのコンピュータ博物館で第1回が開かれました。審査員は画面の文字だけで相手とやりとりし、相手が人間かプログラムかを見分けます。

第1回の大会は、どんな決まりだった？

審査員10人が、8台の端末の向こうにいる相手と会話しました。相手はプログラム6本と、比べるための人間2人です。運営委員会は、当時の技術では、話題を限らない本来のチューリングテストに通る見込みはないと考え、条件を2つ加えました。1つは、話題を相手ごとに1つに絞ること。ワインやマティーニ、人間関係の悩みといった題目が並びました。もう1つは、審査員がひっかけを使わず、ふつうの会話をすることです。

1人の相手と話せる時間は、約7分。プログラムの中で最も人間らしいとされたのは、Joseph Weintraub氏の「気まぐれな会話」を題目にしたプログラムで、賞金は約1,500ドルでした。審査員10人のうち5人が、このプログラムを人間だと判定しています。ローブナー氏は別に、人間と見分けがつかない最初のプログラムに、大賞として10万ドルと18金の金メダルを用意すると約束していました。

人間らしく見えれば、賢いの？

そうとは限りません。第1回で審判役を務めたハーバード大学のStuart Shieber氏は、1994年の論文で、プログラムの多くが相手の発言を代名詞だけ入れ替えてそのまま返す、特定の単語に決まった文で反応する、といった1965年のELIZA以来の手口だったと指摘しました。それでも審査員がだまされた理由の一部を、同氏は、人が意味のない言葉にも意味を読み取ってしまうことに求めています(いわゆるELIZA効果に近い見方です)。同氏は、この大会には目的がはっきりせず、その作りでは役に立つ結果が出ず、当時の技術の水準では時期が早すぎる、と結論づけています。

批判は手厳しいものでした。1995年3月、MITのマービン・ミンスキー氏は、ローブナー氏に賞を取りやめさせた最初の人に約100ドルを払う、とネットの掲示板(ニュースグループ)に書き込みます。これにローブナー氏は、大賞が出れば大会は終わる、つまり大賞の勝者が自分に賞をやめさせることになる、だからミンスキー氏は大会の共同スポンサーだ、と返しました。

会社でチャットボットを選ぶときも、同じことがいえます。数分のデモで人間らしく見えることと、質問に正しく答えられることは別もの。会話の滑らかさだけで決めず、答えの根拠や、間違えたときの扱いまで確かめたいところです。

その後、大会はどうなった？

大会は毎年開かれ、会場はロンドンの科学博物館、オーストラリアのパワーハウス博物館、英国のブレッチリー・パークなどへ移りました。2014年からは、英国の学会AISBが運営するようになりました。2019年9月、英スウォンジー大学での大会では、Steve Worswick氏のMitsukuが4年連続で優勝しました(同氏の優勝は通算5回目)。AISBのサイトで確認できる大会は、これが最後です(2026年10月時点)。ChatGPTの一般公開(2022年11月30日)は、その3年あまり後のことでした。

Loebner Prizeに関するよくある質問

第1回の審査員には、どんな人が選ばれましたか？

新聞の求人広告で一般から集めた人です。文字を打てることのほかに求められた条件は少なく、運営委員会の面接を経て、コンピュータ科学の専門知識がない人が選ばれました。比べるための人間役も、同じ方法で集められています。

第1回の運営には、どんな研究者が関わっていましたか？

Shieber氏の論文によると、運営委員会の長は哲学者のダニエル・デネット氏でした。委員には、ELIZAを作ったジョセフ・ワイゼンバウム氏や、哲学者のW・V・O・クワイン氏も加わっています。大会の費用は、全米科学財団とスローン財団の助成でまかなわれました。