Whisper(ウィスパー)とは

Whisperとは、音声を文字に書き起こす、OpenAIの音声認識AIのことです。2022年9月に公開され、英語をはじめ多くの言語の話し声をテキストにできます。英語以外の音声を英語へ翻訳する使い方も可能です。モデル本体が無料で公開されていて、手元のパソコンやサーバーでも動かせるのが特徴です。

なぜ、なまりや雑音に強いの?

OpenAIの発表(2022年9月21日)によると、最初のWhisperはウェブから集めた約68万時間ぶんの音声と書き起こしで学習しました。日数にすると約78年ぶん。これだけ大きく多様なデータを使ったことで、なまりや背景の雑音、専門用語に強くなったと同社は説明しています。仕組みは、音声を30秒ずつに区切り、音の高さと強さの移り変わりを画像のような形に変えてから、文章を扱うAIでおなじみのTransformerで読み取るというもの。発表はChatGPTの一般公開(2022年11月)の約2か月前でした。

書き起こしは、そのまま信じてよい?

注意したいのは、実際には話されていない言葉が書き起こしに混ざることがある点です。OpenAI自身がモデルの説明書(モデルカード)で、雑多なネット上のデータで学習したために、音声に無い文章を出力しうる(ハルシネーション)と認めています。言語の知識から「次に来そうな言葉」を予想する働きが、聞き取りに混ざるためではないか。これが同社の見立てです。

同じ説明書は、本人の同意なく録った音声の書き起こしや、精度の欠陥がそのまま結果の欠陥につながる意思決定の場面での利用を勧めないとも明記しています。議事録を人事評価や契約の根拠に使うなら、人が元の音声と照らし合わせる工程が欠かせません。

今から使うなら、Whisperで大丈夫?

答えは使い方で分かれます。OpenAIのAPIでWhisperを呼び出す「whisper-1」は、2026年8月26日に提供終了が告知され、2027年2月26日に停止する予定です。同社は、2026年7月28日に公開したGPT TranscribeとGPT Live Transcribeへの移行を案内しています。クラウドで呼び出して使っているなら、移行の計画が要るでしょう。

一方、自社で動かす公開モデルとしてのWhisperは、2022年12月のlarge-v2、2023年11月のlarge-v3と改良が続き、2024年9月には速さを優先したturboが加わりました。コードとモデルの重みはMITライセンスで配布されていて、音声を社外のサービスへ送らずに書き起こせるのが強み。Hugging Faceでは、このturboだけで直近1か月に約640万回ダウンロードされています(2026年9月時点)。

Topic機械が書いた字幕を避けたWhisper、次の版では自分の書き起こしで学んだ

ネット上の書き起こしには、人ではなく既存の音声認識ソフトが自動で作ったものが多く混ざっています。2022年の論文によると、開発チームはそれを学ぶと機械特有のくせ(論文の言葉では「transcript-ese」)まで身につけてしまうとして、機械が作った書き起こしを見分けて取り除く工夫を重ねました。目印の一つが英語の大文字と小文字で、全部が大文字、あるいは全部が小文字の書き起こしは、人が書いたものである可能性がとても低いと論文は書いています。ところが2023年11月のlarge-v3では、100万時間の音声に加えて、先代のWhisper(large-v2)で自動的に書き起こした400万時間ぶんの音声も学習に使われました。機械の書き起こしを避けたモデルが、次の世代では自分の書き起こしを教材にしたことになります。

Whisperに関するよくある質問

Whisperは無料で使えますか?
モデル本体は無料です。GitHubの説明では、Whisperのコードとモデルの重みはMITライセンスで公開されています。ただし、動かす機械は自社で用意します。いちばん大きいモデルは画像処理用の半導体(GPU)のメモリが約10GB、速さを優先したturboは約6GB必要とされ、小さいモデルほど軽く動く代わりに精度は下がります。サイズは6段階あり、速さと精度のどちらを取るかで選ぶ仕組みです。
日本語でも使えますか?
使えますが、言語によって精度に差があります。2022年の論文では、約68万時間の学習データのうち日本語の書き起こしは約7,000時間で、英語(約43万8,000時間)のおよそ60分の1でした。論文は、言語ごとの誤り率が、その言語の学習データの量と強く連動していたと報告しています。モデルカードも、強い結果が出ているのは約10言語で、言語やなまりによって精度にばらつきがあると明記しています。自社の実際の録音で試してから決めるのが確実です。
Whisperという名前は、何かの略ですか?
正式な略語としては説明されていません。2022年の論文の脚注には「頭字語や名前の根拠が欲しいなら、WSPSR(Web-scale Supervised Pretraining for Speech Recognition=ウェブ規模の教師あり事前学習による音声認識)を使ってもよい」とだけ書かれています。略語として名付けたのではなく、使ってもよい読み替えを添えた、という書き方です。

Whisperに関連する記事