> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-docs-agents-md-product-conventions.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# 評価ベンチマークカタログ

> LLM 評価ジョブで利用可能な評価ベンチマークを参照します


<Note>
  LLM 評価ジョブは、[W\&B Multi-tenant Cloud](/ja/platform/hosting/hosting-options/multi_tenant_cloud) で**プレビュー**版として提供されています。プレビュー期間中は、コンピュートを無料で利用できます。詳細については、[LLM 評価ジョブの pricing](/ja/models/launch#pricing)を参照してください。
</Note>

このページでは、[LLM 評価ジョブ](/ja/models/launch) で利用可能な評価ベンチマークを、カテゴリ別にまとめて掲載しています。実行可能なベンチマークの確認、各ベンチマークのタスク ID の特定、追加の認証情報が必要かどうかの確認に使用できます。

一部のベンチマークでは追加の認証情報が必要です。チームのメンバーが評価ジョブでそれらのベンチマークを使用する前に、チーム管理者がそれらの認証情報を[チームスコープのシークレット](/ja/platform/secrets#add-a-secret)として追加する必要があります。

* **OpenAI スコアラー** 列が `Yes` のベンチマークでは、スコアリングに OpenAI のモデルを使用します。組織管理者またはチーム管理者は、OpenAI APIキーをチームシークレットとして追加する必要があります。この要件があるベンチマークで評価ジョブを設定する場合は、**Scorer API key** フィールドにそのシークレットを指定します。
* **アクセス制限付き HF データセット** 列にリンクがあるベンチマークでは、アクセス制限付き HF データセットへのアクセスが必要です。組織管理者またはチーム管理者は、Hugging Face でそのデータセットへのアクセスをリクエストする必要があります。その後、管理者は Hugging Face のユーザーアクセストークンを作成し、そのトークンを使ってチームシークレットを設定します。この要件があるベンチマークを設定する場合は、**Hugging Face Token** フィールドにそのシークレットを指定します。

<div id="knowledge">
  ## 知識
</div>

科学、言語、一般的な推論など、さまざまな分野にわたる事実知識を評価します。

| 評価 | タスク ID | <div className="!w-[100px]">OpenAI スコアラー</div> | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [BoolQ](https://github.com/google-research-datasets/boolean-questions) | `boolq` | | | 自然言語の質問に基づく二択のはい/いいえ問題 |
| [GPQA Diamond](https://arxiv.org/abs/2311.12022) | `gpqa_diamond` | | | 大学院レベルの科学問題 (最高品質のサブセット) |
| [HLE](https://arxiv.org/abs/2501.14249) | `hle` | | はい | 人間レベルの評価ベンチマーク |
| [Lingoly](https://arxiv.org/abs/2406.06196) | `lingoly` | | はい | 言語学オリンピックの問題 |
| [Lingoly Too](https://arxiv.org/abs/2503.02972) | `lingoly_too` | | はい | 拡張版の言語学チャレンジ問題 |
| [MMIU](https://arxiv.org/abs/2408.02718) | `mmiu` | | | 大規模マルチタスク言語理解ベンチマーク |
| [MMLU (0-shot)](https://github.com/hendrycks/test) | `mmlu_0_shot` | | | 例示なしの大規模マルチタスク言語理解 |
| [MMLU (5-shot)](https://github.com/hendrycks/test) | `mmlu_5_shot` | | | 5 例付きの大規模マルチタスク言語理解 |
| [MMLU-Pro](https://arxiv.org/abs/2406.01574) | `mmlu_pro` | | | MMLU のより難しい版 |
| [ONET M6](https://github.com/UKGovernmentBEIS/inspect_evals/tree/main/src/inspect_evals/onet) | `onet_m6` | | | 職業知識ベンチマーク |
| [PAWS](https://github.com/google-research-datasets/paws) | `paws` | | | 言い換えに対する敵対的な単語置換 |
| [SevenLLM MCQ (English)](https://arxiv.org/abs/2405.03446) | `sevenllm_mcq_en` | | | 英語の多肢選択式問題 |
| [SevenLLM MCQ (Chinese)](https://arxiv.org/abs/2405.03446) | `sevenllm_mcq_zh` | | | 中国語の多肢選択式問題 |
| [SevenLLM QA (English)](https://arxiv.org/abs/2405.03446) | `sevenllm_qa_en` | | | 英語の質問応答 |
| [SevenLLM QA (Chinese)](https://arxiv.org/abs/2405.03446) | `sevenllm_qa_zh` | | | 中国語の質問応答 |
| [SimpleQA](https://openai.com/index/introducing-simpleqa/) | `simpleqa` | はい | | シンプルな事実ベースの質問応答 |
| [SimpleQA Verified](https://openai.com/index/introducing-simpleqa/) | `simpleqa_verified` | | | 回答が検証された SimpleQA のサブセット |
| [WorldSense](https://github.com/facebookresearch/worldsense) | `worldsense` | | | 世界知識と常識の理解を評価 |

<div id="reasoning">
  ## 推論
</div>

論理的思考、問題解決、および常識に基づく推論能力を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [AGIE AQUA-RAT](https://arxiv.org/abs/1705.04146) | `agie_aqua_rat` | | | 解答根拠付きの代数的な質問応答 |
| [AGIE LogiQA (English)](https://arxiv.org/abs/2007.08124) | `agie_logiqa_en` | | | 英語の論理推論問題 |
| [AGIE LSAT Analytical Reasoning](https://www.lsac.org/) | `agie_lsat_ar` | | | LSAT の分析的推論 (ロジックゲーム) 問題 |
| [AGIE LSAT Logical Reasoning](https://www.lsac.org/) | `agie_lsat_lr` | | | LSAT の論理推論問題 |
| [ARC Challenge](https://huggingface.co/datasets/allenai/ai2_arc) | `arc_challenge` | | | 推論を要する難度の高い科学問題 (AI2 Reasoning Challenge) |
| [ARC Easy](https://huggingface.co/datasets/allenai/ai2_arc) | `arc_easy` | | | ARC データセットの比較的易しい科学問題セット |
| [BBH](https://github.com/suzgunmirac/BIG-Bench-Hard) | `bbh` | | | BIG-Bench Hard: BIG-Bench から抽出された難度の高いタスク |
| [CoCoNot](https://arxiv.org/abs/2310.03697) | `coconot` | | | 反事実的な常識推論ベンチマーク |
| [CommonsenseQA](https://huggingface.co/datasets/tau/commonsense_qa) | `commonsense_qa` | | | 常識推論問題 |
| [HellaSwag](https://arxiv.org/abs/1905.07830) | `hellaswag` | | | 常識に基づく自然言語推論 |
| [MUSR](https://arxiv.org/abs/2310.16049) | `musr` | | | 多段階推論ベンチマーク |
| [PIQA](https://yonatanbisk.com/piqa/) | `piqa` | | | 物理常識推論 |
| [WinoGrande](https://winogrande.allenai.org/) | `winogrande` | | | 代名詞の照応解析による常識推論 |

<div id="math">
  ## 数学
</div>

初等レベルから競技レベルまで、さまざまな難易度の数学の問題解決能力を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [AGIE Math](https://arxiv.org/abs/2410.12211) | `agie_math` | | | AGIE ベンチマークスイートにおける高度な数学的推論 |
| [AGIE SAT Math](https://satsuite.collegeboard.org/sat) | `agie_sat_math` | | | SAT の数学問題 |
| [AIME 2024](https://artofproblemsolving.com/wiki/index.php/AIME_Problems_and_Solutions) | `aime2024` | | | 2024 年の American Invitational Mathematics Examination の問題 |
| [AIME 2025](https://artofproblemsolving.com/wiki/index.php/AIME_Problems_and_Solutions) | `aime2025` | | | 2025 年の American Invitational Mathematics Examination の問題 |
| [GSM8K](https://github.com/openai/grade-school-math) | `gsm8k` | | | Grade School Math 8K: 複数 step の数学文章題 |
| [InfiniteBench Math Calc](https://arxiv.org/abs/2402.13718) | `infinite_bench_math_calc` | | | 長いコンテキスト内での数学計算 |
| [InfiniteBench Math Find](https://arxiv.org/abs/2402.13718) | `infinite_bench_math_find` | | | 長いコンテキスト内での数学的パターンの発見 |
| [MATH](https://github.com/hendrycks/math) | `math` | | | 競技レベルの数学問題 |
| [MGSM](https://github.com/google-research/url-nlp/tree/main/mgsm) | `mgsm` | | | 多言語の小学校レベルの数学 |

<div id="code">
  ## コード
</div>

デバッグ、コード実行結果の予測、関数呼び出しなど、プログラミングやソフトウェア開発の能力を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [BFCL](https://gorilla.cs.berkeley.edu/blogs/8_berkeley_function_calling_leaderboard.html) | `bfcl` | | | Berkeley Function Calling Leaderboard: 関数呼び出しとツール使用の能力を評価 |
| [InfiniteBench Code Debug](https://arxiv.org/abs/2402.13718) | `infinite_bench_code_debug` | | | 長文コンテキストでのコードデバッグタスク |
| [InfiniteBench Code Run](https://arxiv.org/abs/2402.13718) | `infinite_bench_code_run` | | | 長文コンテキストでのコード実行結果予測 |

<div id="reading">
  ## 読解
</div>

複雑なテキストに対する読解力と情報抽出を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [AGIE LSAT Reading Comprehension](https://www.lsac.org/) | `agie_lsat_rc` | | | LSAT の読解パッセージと設問 |
| [AGIE SAT English](https://satsuite.collegeboard.org/sat) | `agie_sat_en` | | | パッセージ付きの SAT の読解・ライティング問題 |
| [AGIE SAT English (No Passage)](https://satsuite.collegeboard.org/sat) | `agie_sat_en_without_passage` | | | パッセージを伴わない SAT 英語問題 |
| [DROP](https://github.com/allenai/allennlp-reading-comprehension/blob/master/allennlp_rc/eval/drop_eval.py) | `drop` | | | Discrete Reasoning Over Paragraphs: 数値推論を要する読解問題 |
| [RACE-H](https://www.cs.cmu.edu/~glai1/data/race/) | `race_h` | | | 英語試験由来の読解問題 (高難度) |
| [SQuAD](https://rajpurkar.github.io/SQuAD-explorer/) | `squad` | | | Stanford 質問応答データセット: Wikipedia 記事を対象とした抽出的質問応答 |

<div id="long-context">
  ## 長文コンテキスト
</div>

情報検索やパターン認識を含め、長文コンテキストを処理して推論する能力を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [InfiniteBench KV Retrieval](https://arxiv.org/abs/2402.13718) | `infinite_bench_kv_retrieval` | | | 長文コンテキストにおけるキーと値の検索 |
| [InfiniteBench LongBook (English)](https://arxiv.org/abs/2402.13718) | `infinite_bench_longbook_choice_eng` | | | 長編書籍を対象とした多肢選択問題 |
| [InfiniteBench LongDialogue QA (English)](https://arxiv.org/abs/2402.13718) | `infinite_bench_longdialogue_qa_eng` | | | 長い対話に基づく質問応答 |
| [InfiniteBench Number String](https://arxiv.org/abs/2402.13718) | `infinite_bench_number_string` | | | 長いシーケンスにおける数値パターン認識 |
| [InfiniteBench Passkey](https://arxiv.org/abs/2402.13718) | `infinite_bench_passkey` | | | 長文コンテキストからの情報検索 |
| [NIAH](https://arxiv.org/abs/2406.07230) | `niah` | | | 干し草の山の中の針: 長文コンテキストにおける検索テスト |

<div id="safety">
  ## 安全性
</div>

アラインメント、バイアス検出、有害コンテンツへの耐性、真実性を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [AgentHarm](https://arxiv.org/abs/2410.09024) | `agentharm` | はい | | 有害なエージェントの振る舞いや悪用シナリオに対するモデルの耐性をテストします |
| [AgentHarm Benign](https://arxiv.org/abs/2410.09024) | `agentharm_benign` | はい | | 誤検知率を測定するための AgentHarm の無害なベースラインです |
| [Agentic Misalignment](https://arxiv.org/abs/2510.05179) | `agentic_misalignment` | | | エージェント的な振る舞いにおける潜在的なミスアラインメントを評価します |
| [AHB](https://arxiv.org/abs/2503.04804) | `ahb` | | | Agent Harmful Behavior: 有害なエージェント的行動に対する耐性をテストします |
| [AIRBench](https://arxiv.org/abs/2410.02407) | `air_bench` | | | 敵対的な指示に対する耐性をテストします |
| [BBEH](https://arxiv.org/abs/2502.19187) | `bbeh` | | | 有害な振る舞いを評価するためのバイアスベンチマークです |
| [BBEH Mini](https://arxiv.org/abs/2502.19187) | `bbeh_mini` | | | BBEH ベンチマークの小規模版です |
| [BBQ](https://arxiv.org/abs/2110.08193) | `bbq` | | | 質問応答のためのバイアスベンチマークです |
| [BOLD](https://arxiv.org/abs/2101.11718) | `bold` | | | オープンエンドな言語生成データセットにおけるバイアス |
| [CYSE3 Visual Prompt Injection](https://arxiv.org/abs/2408.01605) | `cyse3_visual_prompt_injection` | | | 視覚的プロンプトインジェクション攻撃に対する耐性をテストします |
| [Make Me Pay](https://arxiv.org/abs/2410.08691) | `make_me_pay` | | | 金融詐欺や不正行為のシナリオに対する耐性をテストします |
| [MASK](https://arxiv.org/abs/2503.03750) | `mask` | はい | はい | 機微情報に対するモデルの処理をテストします |
| [Personality BFI](https://github.com/UKGovernmentBEIS/inspect_evals/tree/main/src/inspect_evals/personality) | `personality_BFI` | | | ビッグファイブ性格特性評価 |
| [Personality TRAIT](https://arxiv.org/abs/2406.14703) | `personality_TRAIT` | | はい | 包括的な性格特性評価 |
| SOSBench | `sosbench` | はい | | 安全性と監督に関するストレステストです |
| [StereoSet](https://github.com/moinnadeem/StereoSet) | `stereoset` | | | 言語モデルにおけるステレオタイプ的なバイアスを測定します |
| [StrongREJECT](https://arxiv.org/abs/2402.10260) | `strong_reject` | | | 有害なリクエストを拒否するモデルの能力をテストします |
| [Sycophancy](https://arxiv.org/abs/2310.13548) | `sycophancy` | | | おもねるような振る舞いの傾向を評価します |
| [TruthfulQA](https://github.com/sylinrl/TruthfulQA) | `truthfulqa` | | | モデルの真実性と虚偽に対する耐性をテストします |
| [UCCB](https://huggingface.co/datasets/CraneAILabs/UCCB) | `uccb` | | | Unsafe Content Classification Benchmark |
| [WMDP Bio](https://www.wmdp.ai/) | `wmdp_bio` | | | 生物学分野における危険な知識をテストします |
| [WMDP Chem](https://www.wmdp.ai/) | `wmdp_chem` | | | 化学分野における危険な知識をテストします |
| [WMDP Cyber](https://www.wmdp.ai/) | `wmdp_cyber` | | | サイバーセキュリティ分野における危険な知識をテストします |
| [XSTest](https://arxiv.org/abs/2308.01263) | `xstest` | はい | | 過剰拒否を検出するための誇張的な安全性テストです |

<div id="domain-specific">
  ## 専門分野別
</div>

医学、化学、法律、生物学、その他の専門分野における専門知識を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [ChemBench](https://arxiv.org/abs/2404.01475) | `chembench` | | | 化学知識と問題解決のベンチマーク |
| [HealthBench](https://arxiv.org/abs/2406.09746) | `healthbench` | はい | | ヘルスケアおよび医療知識の評価 |
| [HealthBench Consensus](https://arxiv.org/abs/2406.09746) | `healthbench_consensus` | はい | | 専門家のコンセンサスに基づくヘルスケア関連の質問 |
| [HealthBench Hard](https://arxiv.org/abs/2406.09746) | `healthbench_hard` | はい | | 難易度の高いヘルスケアシナリオ |
| [LabBench Cloning Scenarios](https://arxiv.org/abs/2407.10362) | `lab_bench_cloning_scenarios` | | | 実験計画とクローニング |
| [LabBench DBQA](https://arxiv.org/abs/2407.10362) | `lab_bench_dbqa` | | | ラボシナリオ向けのデータベース質問応答 |
| [LabBench FigQA](https://arxiv.org/abs/2407.10362) | `lab_bench_figqa` | | | 科学的文脈における図の解釈 |
| [LabBench LitQA](https://arxiv.org/abs/2407.10362) | `lab_bench_litqa` | | | 研究向けの文献ベースの質問応答 |
| [LabBench ProtocolQA](https://arxiv.org/abs/2407.10362) | `lab_bench_protocolqa` | | | 実験プロトコルの理解 |
| [LabBench SeqQA](https://arxiv.org/abs/2407.10362) | `lab_bench_seqqa` | | | 生物学的配列解析に関する質問 |
| [LabBench SuppQA](https://arxiv.org/abs/2407.10362) | `lab_bench_suppqa` | | | 補足資料の解釈 |
| [LabBench TableQA](https://arxiv.org/abs/2407.10362) | `lab_bench_tableqa` | | | 科学論文における表の解釈 |
| [MedQA](https://github.com/jind11/MedQA) | `medqa` | | | 医師免許試験の問題 |
| [PubMedQA](https://pubmedqa.github.io/) | `pubmedqa` | | | 研究論文の要旨に基づく生物医学の質問応答 |
| [SEC-QA v1](https://arxiv.org/abs/2406.14806) | `sec_qa_v1` | | | SEC提出書類の質問応答 |
| [SEC-QA v1 (5-shot)](https://arxiv.org/abs/2406.14806) | `sec_qa_v1_5_shot` | | | 5例を用いた SEC-QA |
| [SEC-QA v2](https://arxiv.org/abs/2406.14806) | `sec_qa_v2` | | | 更新版の SEC提出書類ベンチマーク |
| [SEC-QA v2 (5-shot)](https://arxiv.org/abs/2406.14806) | `sec_qa_v2_5_shot` | | | 5例を用いた SEC-QA v2 |

<div id="multimodal">
  ## マルチモーダル
</div>

画像入力とテキスト入力を組み合わせた、視覚と言語の理解を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [DocVQA](https://www.docvqa.org/) | `docvqa` | | | 文書画像に関する質問応答 |
| [MathVista](https://mathvista.github.io/) | `mathvista` | | | 視覚的コンテキストと数学を組み合わせた数学的推論 |
| [MMMU Multiple Choice](https://mmmu-benchmark.github.io/) | `mmmu_multiple_choice` | | | 多肢選択形式のマルチモーダル理解 |
| [MMMU Open](https://mmmu-benchmark.github.io/) | `mmmu_open` | | | 自由回答形式のマルチモーダル理解 |
| [V\*Star Bench Attribute Recognition](https://arxiv.org/abs/2411.10006) | `vstar_bench_attribute_recognition` | | | 視覚属性認識タスク |
| [V\*Star Bench Spatial Relationship](https://arxiv.org/abs/2411.10006) | `vstar_bench_spatial_relationship_reasoning` | | | 視覚入力を用いた空間推論 |

<div id="instruction-following">
  ## 指示追従
</div>

特定の指示や書式要件への準拠を評価します。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [IFEval](https://arxiv.org/abs/2311.07911) | `ifeval` | | | 指示に正確に従う能力をテストします |

<div id="system">
  ## システム
</div>

基本的なシステムの検証と事前チェック。

| 評価 | タスク ID | OpenAI スコアラー | アクセス制限付き HF データセット | 説明 |
| - | - | - | - | - |
| [Pre-Flight](https://github.com/UKGovernmentBEIS/inspect_evals) | `pre_flight` | | | 基本的なシステムチェックと検証用テスト |

<div id="next-steps">
  ## 次のステップ
</div>

* [モデル チェックポイントを Evaluate する](/ja/models/launch/evaluate-model-checkpoint)
* [ホスト型 API モデルを Evaluate する](/ja/models/launch/evaluate-hosted-model)
* 特定のベンチマークの詳細は、[AISI Inspect Evals](https://inspect.aisi.org.uk/evals/) をご覧ください