BFCL(ビーエフシーエル)とは
BFCLとは、LLMが外部の関数やAPIを正しく呼び出せるかを測るベンチマークです。正式にはBerkeley Function-Calling Leaderboardと呼ばれます。Function callingは、AIが予約変更、在庫照会、データ取得のような外部処理を動かす入口です。BFCLはその入口で、名前、引数、実行結果まで破綻なく扱えるかを見る評価軸です。
何を採点するのか
BFCLでは、AIが「どの関数を呼ぶべきか」「どんな値を渡すべきか」を答えます。評価には、構文の形を見るAST評価、実際に処理を動かす実行評価、複数の関数を同時に扱うテストなどがあります。Pythonだけでなく、Java、JavaScript、REST API、SQLのような形式も対象です。経営層向けに言えば、AIが社内システムのボタンを正しく押せるかを見る試験に近いものです。
AIエージェントで重要になる理由
AIエージェントは、会話だけでなく、CRM更新、チケット発行、検索、計算などを組み合わせて動きます。ここで関数呼び出しがずれると、正しい会話をしているように見えても、裏側では誤った処理が走るかもしれません。BFCLのような評価は、文章のうまさとは別に、業務システムと接続する力を見分けるためのものです。導入時は、ベンチマーク点数だけでなく、自社APIの仕様で同じ失敗が起きないかも確認すべきでしょう。
Topic「呼ばない力」も評価される
BFCLの面白い点は、関数を呼ぶ能力だけでなく、使える関数が質問に合わない時に、あえて呼ばない力も見るところです。これは営業電話で、関係ない資料を勝手に送らない判断に似ています。AIに任せる範囲が広がるほど、「何でも実行するAI」より「やめる判断ができるAI」のほうが安全に使えます。
BFCLに関するよくある質問
- BFCLはAPI連携の安全性も見られますか？
- 一部の手がかりになります。特に、関係ない関数を呼ばないか、引数を余計に作らないかは安全設計に近い論点です。ただし、権限管理や承認フローは自社側で別に確認します。
- BFCLの点数だけでAIエージェントを選べますか？
- 選びきれません。BFCLは関数呼び出し能力を見るには有用ですが、社内権限、監査ログ、例外処理、個人情報保護は別に検証する必要があります。
- なぜ「呼ばない力」が大事なのですか？
- 不適切な関数を勝手に呼ぶと、誤更新や不要な通知などの業務事故につながります。AIが外部処理を動かす場面では、実行する判断と同じくらい停止する判断が重要です。
