JFinBenchとは
JFinBenchとは、日本の会計・税務・金融に関する資格試験を使い、大規模言語モデルの解答力を測るベンチマークです。サカナAIが2026年11月17日に発表しました。国内の6試験の2026年の回から、採点の単位で数えて321問を収録。選択問題だけでなく、文章や図表を読み、計算の答えや理由を記述する力も測ります。点数は日本の制度を前提にした試験の結果で、相談や審査を任せられるかを判定するものではありません。

何を解かせる?
公認会計士試験の短答式、税理士試験の全11科目、FP技能検定1級の学科試験など、国内の資格試験の最上位レベルが出発点です。たとえば、親族関係と土地の図を読み取る相続税の問題では、用語の意味を答えるだけでは点になりません。図の前提を拾い、制度に照らして式を立て、指定の形式で答えるところまでが課題です。日本語の文章がうまいだけでは点にならず、日本の税制や会計の知識が要ります。発表によれば、AIの誤答の主な原因も、計算ではなく日本の制度に関する知識の不足でした。
採点に使うのは試験時点の法令です。たとえ新しい法令に詳しくても、試験の基準日を取り違えれば答えは変わるでしょう。そこで出題時に試験日と法令の基準日を与えています。総合点は、問題数が異なる6試験の点を同じ重みで平均したもの。問題数の多い試験の成績が、そのまま総合点を決めるわけではありません。
採点方法も解答の形式で変わります。選択式なら選んだ答えを取り出します。記述式ではAIを採点役に使い、空欄ごとに部分点を付けたり、解答が求める要点を押さえているかを見たりする仕組みです。点を読むときは、正解を一つ選ぶ問題と、答えを組み立てる問題が混ざっていることも覚えておくとよいでしょう。
調べながら解くと成績は変わる?
発表時の評価は、外部ツールを使わず1回の呼び出しで答える条件と、ウェブの検索や計算を使える条件を比べています。後者では、AIに法令の根拠を調べたり計算を確かめたりする余地が生まれます。公開された解答を引き写すのは不可。調べて解く力を測るため、答えを参照した試行は0点として扱いました(1万1,556回の試行のうち8回)。
論文(2026年11月13日にarXivへ投稿)によると、ツールを使わず、考える深さの設定を最大にした条件では、Claude Fable 5が95.8点、GPT-6 Astraが93.6点で上位を占めました。中身を公開しているモデルでは、最も高いものでも83.4点で、首位とは12点差。最も点が伸びなかったのは税理士試験で、トップのモデルでも79.4点にとどまりました。
発表時に試した12モデルは、外部ツールを使える場合にすべて総合点が上がりました(上がり幅は0.6〜29.9点)。ただし、論文が掲載したツールありの点は、各モデルに試した複数の実行環境のうち、最も点が高かった条件の値です。点差には、答えるAIそのものに加え、検索や計算の道具をどう使わせたかも含まれます。ツールを使わない試験の成績と、業務システムに組み込んだときの成績を、別々に見る理由です。
会社の導入判断に使うなら
JFinBenchの特徴は、次の回の試験に合わせて問題を更新できる作りにあります。同じ問題を公開し続けると、以前の法令を問う問題が残り、公開問題がAIの学習に混ざることもあります。新しい回を使うのはその影響を抑えるためで、著者も問題を見たことのないAIだけが受験したと保証してはいません。
自社の候補を絞るときは、総合点とあわせて、任せたい仕事に近い試験の点を確認します。たとえば経理の社内相談であれば、質問に近い課題を数件選び、根拠の規程を探せるか、前提が足りないときに聞き返せるかを確かめる。論文も、JFinBenchで高い点を取っても資格の代わりにはならず、税理士や公認会計士の代わりが務まる証拠として読むべきではないと断っています。比較表で候補を選ぶ段階と、自社の仕事で試す段階を分けると、点数の使い道がはっきりするでしょう。
Topic問題を変換したAIに、人が赤を入れた
JFinBenchに関するよくある質問
- 日本の金融資格ならどの試験でも入っていますか?
- いいえ。2026年版は、実施団体が過去問の公式PDFと正答を公開している6試験に限ります。論文は、公式PDFが公開されていない証券アナリスト試験を対象外の例に挙げています。
- 点差が小さいときはどこを見ればよいですか?
- 総合点のほかに試験別の点を見ます。ツールを使わず、考える深さの設定を最大にした条件では、上位2モデルが税理士試験以外の5試験で96〜100点に達し、発表はこれらの試験が「ほぼ飽和しつつある」としています。上位どうしの差を見るなら、点が割れた税理士試験の結果が手がかりです。