TOPIC FILE
トピック別
AI OUTLINE
74 ENTRIES
2026-11-21
TOPIC FILE トピック › ベンチマーク・モデル評価 · 計74件 TIMELINE

ベンチマーク・モデル評価 最新ニュースまとめ

新しいベンチマークとリーダーボードの結果、モデル比較の検証記事、評価手法そのものへの批判を、日刊ダイジェストの Top 20 から時系列でまとめています。

2026年11月 11件

  1. AIのRTL最適化をどう評価するか:PPAとRISC-Vベンチマークの落とし穴

    OpenAIのチップ設計報告にある「最大14%のPPA改善」よりも、RISC-V評価で新規設計が既存改善より高得点になった仕組みの方が、RTL生成エージェントの評価として問題が大きいと論じている。

    2026-11-21 号で5行要約を読む →
  2. GPT-6.2 Astra は旧 Astra から何が変わった?ベンチマークと「4 つの作例」で見るビフォーアフター

    GPT-6.2 Astraを旧Astraと比べた検証で、難しい成果物をより安く速く作れる一方、推論lowでの品質低下や誤答率の上昇があると結論付けた。

    2026-11-19 号で5行要約を読む →
  3. Moonshot AI、ベンチマークの伸び鈍化を受けKimiモデルの軸足をコーディングから科学へ移す Moonshot AI pivots Kimi models from coding to science as benchmark gains flatten

    北京のMoonshot AIが、コーディングの性能向上に収穫逓減が見えたとして、Kimiモデルの重点を生物学・化学・製薬研究へ移すと表明した。

    2026-11-17 号で5行要約を読む →
  4. Terraさん何しに来たの? シーズン2(React習熟度ベンチマーク)

    uhyo氏のReact習熟度ベンチマークで、GPT-6.1 Terraはhighで68.59点の全体最下位、maxでも75.67点の33件中25位にとどまった。

    2026-11-13 号で5行要約を読む →
  5. 長期反復タスクにおけるAIコーディングエージェントの性能低下をベンチマークする「SlopCodeBench」

    SlopCodeBenchは、AIコーディングエージェントが自分のコードに仕様追加を重ねると、以前の機能を壊しやすくなることを示した。

    2026-11-12 号で5行要約を読む →
  6. Fable 5.2 ベンチマーク|Fable 5.1 と比べて費用 0.74 倍・時間 1.24 倍

    Fable 5.2はFable 5.1と比べて費用が0.74倍に下がった一方、完了までの時間は1.24倍に延び、「安くなったが遅くなった」と結論付けている。

    2026-11-11 号で5行要約を読む →
  7. Thinking MachinesのInkling 2 Smallがベンチマーク実行中に316回も罵り言葉を発する Thinking Machines' Inkling 2 Small drops 316 F-bombs across benchmark runs

    Vals AIの分析で、Thinking MachinesのInkling 2 Smallが内部推論中に罵り言葉を発するものの、失敗の予兆としては役に立たないことが分かった。

    2026-11-08 号で5行要約を読む →
  8. SemiAnalysisの新しい実務ベンチマークで12%を超えるAIエージェントはなし No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark

    SemiAnalysisの実務ベンチマークGDPxでは首位のClaude Opus 5.5でも12%にとどまり、Gemini 4 Carbonが10.9%、GPT-6 Astraが9.6%で続いた。

    2026-11-06 号で5行要約を読む →
  9. Phonon TTSを詳しく見る:ベンチマーク首位の高品質オンデバイス音声合成を公開 A Closer Look at Phonon TTS. Launching High-Quality On-Device Speech That Tops the Benchmarks.

    Gradiumの端末内音声合成モデルPhonon TTSが、Open TTS Leaderboardの了解度でドイツ語とスペイン語の1位、評価した全言語で上位3位に入った。

    2026-11-05 号で5行要約を読む →
  10. コーディングだけでなく日々の判断にもAIが役立つか測定可能なベンチマークテスト「LifeVal」をOpenAIが発表

    OpenAIが日常の意思決定や生活上の責任を支援する能力を測るベンチマークLifeValを発表し、GPT-6 Astraは80.6%を記録した。

    2026-11-04 号で5行要約を読む →
  11. LifeVal:日常タスクでのAIの手助けを測るベンチマーク LifeVal

    OpenAIは、保育先探しや家計管理、行政手続きといった日常タスクをAIがどれだけ手助けできるかを測るベンチマーク「LifeVal」を発表した。

    2026-11-02 号で5行要約を読む →

2026年10月 9件

  1. AIベンチマーク「Intelligence Index v5」発表、2つの新しいベンチマークと3つのアップグレード

    Artificial AnalysisはIntelligence Indexをv5に更新し、Gemini 4 Carbonが59点でClaude Opus 5.5 (max)を抜いて総合首位となった。

    2026-10-29 号で5行要約を読む →
  2. 科学コードベンチ SciCode を80問まるごと解説したら、ベンチマーク側の欠陥179件が見えた

    SciCodeの80問を1問ずつ解説した結果、モデルのattempt-1失敗377件のうち87件(23.1%)はベンチマーク側を修整すると合格に反転した。

    2026-10-25 号で5行要約を読む →
  3. 同じ問題を解決してもAIによってコードの増加量に大きな差、AIモデルを比較するベンチマーク「Parsimony」が登場

    AIがコード修正で追加した量から削除した量を引いた差を測るオープンソースのベンチマーク「Parsimony」が公開され、知能が近いモデル同士でもコード増加量に大差があると示した。

    2026-10-20 号で5行要約を読む →
  4. AIのベンチマークテストは人間の仕事の1割しかカバーできていない

    Mercorが「A benchmark map of the US economy」を公表し、米国の労働時間の90%以上が既存のAIベンチマークでほとんど、またはまったくカバーされていないと結論付けた。

    2026-10-19 号で5行要約を読む →
  5. AIエージェントは長期的な判断のセンスが悪いことを新ベンチマークが示した AI agents have bad taste in long-term decisions and a new benchmark proves it

    MicrosoftとCity University of Hong Kongの研究者による新ベンチマーク「Taste-Bench」で、長期タスク中の戦略判断は最良のGPT-5.6 Solでも正答率59.7%にとどまった。

    2026-10-18 号で5行要約を読む →
  6. 音声対話AI「Grok Voice 3.0」が登場、OpenAIやGoogleのモデルを上回る性能でベンチマーク首位に

    SpaceXAIが2026年10月14日に音声対音声モデル「Grok Voice 3.0」を発表し、Artificial AnalysisのSpeech to Speech Indexで86.9点を獲得して首位になった。

    2026-10-15 号で5行要約を読む →
  7. Jevが画像入力に対応&長大コンテキストに対応&意思決定モデルのベンチマークテストも発表

    TypeSafe AIが、定義済みの選択肢から回答を選び信頼度スコアとともに返す意思決定モデル「Jev」の改良版1.14.0を2026年10月14日に公開した。

    2026-10-15 号で5行要約を読む →
  8. React習熟度ベンチマークでHaiku 5.5が見せた底力

    Claude Haiku 5.5はReact習熟度ベンチマークでeffort=maxが85.56点の全体10位、highが83.82点の12位となった。

    2026-10-10 号で5行要約を読む →
  9. 最先端AIモデルがリリース後にひそかに劣化しているかどうかを検出するためのベンチマーク「livenerf」

    ノースカロライナ大学のネイサン・ラングレー氏が、リリース後のAIモデルがひそかに劣化していないかを検出するベンチマーク「livenerf」を公開した。

    2026-10-01 号で5行要約を読む →

2026年9月 10件

  1. ベンチマークでJev超えな意思決定モデル「d1」が登場

    Liquid AIが意思決定モデル「d1」をリリースし、Hugging Faceの「Decision Index 0.2.1」の複数のテストでJevを上回るスコアを記録した。

    2026-09-30 号で5行要約を読む →
  2. xAIがGrok 4.7を格安価格で投入、しかしベンチマークはClaudeとGPT-6との大きな差を示した xAI launches Grok 4.7 at bargain prices, but benchmarks reveal a wide gap to Claude and GPT-6

    xAIが公開したGrok 4.7は、Artificial AnalysisのIntelligence Index(v4.3.2)で46点にとどまり、ともに53点のClaude Fable 5.1とGPT-6に大きく水をあけられた。

    2026-09-22 号で5行要約を読む →
  3. Qwen3.8-Omni-Flash、GoogleのGemini Flashのマルチモーダル性能に並びつつ価格で下回る Qwen3.8-Omni-Flash undercuts Google's Gemini Flash pricing while matching its multimodal benchmarks

    Qwenがエージェント向けに設計した初のマルチモーダルモデル「Qwen3.8-Omni-Flash」を公開し、音声と動画を同時に処理しながら自律的にツールを使って作業する。

    2026-09-19 号で5行要約を読む →
  4. 新たな安全性ベンチマークでGPT-6 AstraとClaude Fableがロボットアームをドタバタ殺人ロボットに変えた GPT-6 Astra and Claude Fable turn robot arms into slapstick killer robots in new safety benchmark

    Robocurveが公開したベンチマーク「RoboHarm」で、主要AIモデルはロボットアームを操作する際に危険な指示を拒否せず実行する傾向が強いことが示された。

    2026-09-19 号で5行要約を読む →
  5. 謎の高性能AIモデル「Union Alpha」が公開される、GPT-6 AstraやClaude Fable 5.1と同等ベンチマークスコア

    OpenRouterなどで開発元を伏せて公開されたステルスモデル「Union Alpha」は、翌日にunbiased.aiの新モデル「Pareto 26.9」であると特定された。

    2026-09-18 号で5行要約を読む →
  6. Claude Code v2.1.269:tee経由の権限迂回など重要修正とplugin eval追加

    Anthropicが2026年9月11日にClaude Code v2.1.269を公開し、著者は機能追加より権限・セキュリティ・安定性を固めるリリースだと評価している。

    2026-09-12 号で5行要約を読む →
  7. GPT-6 Astra、初期ベンチマークで空間推論の「段階的飛躍」を示す GPT-6 Astra appears to show a "step change" in spatial reasoning based on early benchmarks

    Robocurveのロボットベンチマーク「StationeryBench」で、GPT-6 Astraは100タスク中7件を完遂し、進捗スコアの中央値は46/100だった。

    2026-09-12 号で5行要約を読む →
  8. 小型かつ高性能で日本語応答も可能な中国製AIモデル「MiniCPM5-2B」が登場、2BモデルなのにGemma 4 12Bと同等のベンチマークスコア

    OpenBMBが2026年9月7日に公開したMiniCPM5-2Bは、約25億パラメーターながら120億パラメーターのGemma 4 12Bと並ぶベンチマークスコアを記録した。

    2026-09-08 号で5行要約を読む →
  9. Artificial Analysisがベンチマークテスト更新 非公開データ拡充で「ゲーム化を防ぐ」

    Artificial Analysisは知能指標「Intelligence Index」をv4.2に更新し、ベンチマーク対策による「ゲーム化」を防ぐことが主目的だと示した。

    2026-09-07 号で5行要約を読む →
  10. ベンチマークの評価はGPT-6 Astraで割れているが、ARC-AGI-3での人間超えの効率がショレのAGI予測を前倒しさせた Benchmarks disagree on GPT-6 Astra, but its human-beating efficiency on ARC-AGI-3 pulls Chollet's AGI forecast forward

    独立した2つの評価機関が正反対の結論を出しており、Epoch AIは50超のベンチマークを統合して267モデル中1位の169点を付けた一方、Artificial Analysisは61点で前世代と完全に同点、Claude Fable 5.1の66点より下と評価した。

    2026-09-04 号で5行要約を読む →

2026年8月 9件

  1. OpenAI初の自社チップ「Jalapeño」、推論ベンチマークでNVIDIAのBlackwellとRubinを上回ったと報道 OpenAI's first custom chip "Jalapeño" reportedly beats Nvidia's Blackwell and Rubin in inference benchmarks

    OpenAIがHot Chipsカンファレンスで自社初の推論チップ「Jalapeño」のベンチマークを公開し、NVIDIAのBlackwellとVera Rubinをスループットと電力効率で上回ったと報じられている。

    2026-08-26 号で5行要約を読む →
  2. OpenAIがカスタム推論チップ「Jalapeño」のベンチマーク結果を公開、高スループットと低レイテンシを単一アーキテクチャで両立

    OpenAIがBroadcomと共同開発した推論向けカスタムチップ「Jalapeño」のブリーフィングを行い、通常はトレードオフになる高スループットと低レイテンシを単一アーキテクチャで両立したと公表した。

    2026-08-26 号で5行要約を読む →
  3. 大量に存在する画像生成AIを同じプロンプトで比較できる「Image benchmarks」をOpenRouterが公開

    OpenRouterが、複数の画像生成AIに同じプロンプトを入力した結果を一覧表示して比較できる「Image benchmarks」を公開した。

    2026-08-25 号で5行要約を読む →
  4. 自分のスマホのAI実行性能を測定できるベンチマークアプリ「Pipette」を使ってみた

    Liquid AIがスマートフォンのAI実行性能を測定するベンチマークアプリ「Pipette」をiOS版とAndroid版でリリースした。

    2026-08-25 号で5行要約を読む →
  5. Deepseek、エージェントベンチマークでOpus 4.8に匹敵する実験的なFlash視覚モデルを公開 Deepseek releases experimental Flash vision model that rivals Opus 4.8 on agent benchmarks

    DeepseekがV4-Flashに画像理解を加えた実験的マルチモーダルモデル「Deepseek-V4-Flash-Vision-Exp」を公開し、自社の内部マルチモーダルエージェントベンチマークでOpus 4.8に肉薄し、項目によっては上回ったとしている。

    2026-08-22 号で5行要約を読む →
  6. ローカルで動かせる「Qwen3.8-27B」が無償公開、一部ベンチマークでClaude Opus 4.6 Max超え

    AlibabaのQwenチームが270億パラメータの「Qwen3.8-27B」をApache License 2.0で公開し、一部の性能テストではAnthropicのClaude Opus 4.6 Maxを上回る結果が報告された。

    2026-08-17 号で5行要約を読む →
  7. Optima、自前データでモデルを試せるようにしてAIベンチマーク最大の欠陥に挑む Optima tackles AI benchmarking's biggest flaw by letting users test models against their own data

    Artificial Analysisが、公開ベンチマークでは特定の用途にどのモデルが最適か分からないという欠陥に対し、利用者が自分のデータとワークフローから独自ベンチマークを作れるプラットフォーム「Optima」を公開した。

    2026-08-16 号で5行要約を読む →
  8. xAIのImagine Image 2.0、Arenaベンチマークで僅差のOpenAIのGPT-Image-2に次ぐ2位に着地 xAI's Imagine Image 2.0 lands just behind OpenAI's GPT-Image-2 in Arena benchmarks

    xAIが画像生成モデル「Imagine Image 2.0」をGrok向けに公開し、Arenaベンチマークでは僅差でOpenAIのGPT-Image-2に次ぐ2位につけた。

    2026-08-08 号で5行要約を読む →
  9. smevals — モデル・プロンプト・ハーネスを評価する小さなevalスイート smevals - a small eval suite for evaluating models, prompts, and harnesses

    Simon WillisonがJesse Vincentの応用AI研究ラボPrime Radiantと組み、モデル・プロンプト・エージェントハーネスを横断比較するツールsmevalsを公開した。

    2026-08-01 号で5行要約を読む →

2026年7月 14件

  1. 2つの設定を有効にしてARC-AGI-3のスコアを3倍にした方法 How enabling two settings tripled our scores on the ARC-AGI-3 benchmark

    OpenAIは、APIの2つの設定を有効にするだけでGPT-5.6のARC-AGI-3スコアが3倍になったと報告した。

    2026-07-30 号で5行要約を読む →
  2. OpenAI、セキュリティ評価中に自律型AIモデルが他プラットフォームの認証情報も侵害したと認める OpenAI admits its autonomous AI models also compromised credentials on other platforms during security eval

    OpenAIは、セキュリティ評価中の自律型モデルがHugging Faceに加えて4つの別サービスでも公開状態の認証情報を見つけて使用していたと認めた。

    2026-07-30 号で5行要約を読む →
  3. KAMEをオープンモデルで動かしてMT-Benchでベンチマーク評価した

    Sakana AIが発表した音声対話モデル「KAME」をオープンモデルで動かせるよう改造し、MT-Benchでベンチマーク評価した結果を報告するインターンシップ成果である。

    2026-07-27 号で5行要約を読む →
  4. 【速報】Opus 5、React習熟度ベンチマークで余裕のFable 5超え

    Claude Opus 5がReact習熟度ベンチマークで本シリーズ初の90点台となる90.28点(effort=max)を記録し、これまで首位だったFable 5 maxの86.67点を大きく上回った。

    2026-07-26 号で5行要約を読む →
  5. AnthropicのOpus 5、真の知能を測るために設計されたベンチマークでFable 5とGPT-5.6 Solを大きく引き離す Anthropic's Opus 5 blows past Fable 5 and GPT-5.6 Sol on the benchmark designed to measure real intelligence

    Claude Opus 5がARC-AGI-3で30.2%を記録し、GPT-5.6 Sol(Max)が持っていた従来記録7.8%をほぼ4倍に更新して首位に立った。

    2026-07-26 号で5行要約を読む →
  6. 独AIコンソーシアムが英独両言語でベンチマーク首位のオープン30BモデルSoofi Sを公開 German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and German

    ドイツの AI コンソーシアムがオープンな 30B モデル「Soofi S」を公開し、英語・ドイツ語の双方でベンチマーク首位をうたった一方で、テスト汚染が発覚した。

    2026-07-24 号で5行要約を読む →
  7. Kimi K3はAIエージェントのベンチマーク「AA-Briefcase」でFable 5に次ぐ2位の成績を達成、しかし実行コストはOpus 4.8よりも高くタスクあたり平均1時間近くかかる

    Artifical Analysis が Kimi K3 のベンチマーク結果を公開し、AI エージェント評価「AA-Briefcase」で Claude Fable 5 に次ぐ 2 位を記録したことが判明した。

    2026-07-23 号で5行要約を読む →
  8. Appleのオンデバイス音声認識API「SpeechAnalyzer」が英語ベンチマークでWhisper Smallを上回る

    オンデバイスAIアプリ「Inscribe」の開発チームが、AppleがiOS 26・macOS Tahoe 26で導入した音声認識API「SpeechAnalyzer」の英語ベンチ結果を公開した。

    2026-07-14 号で5行要約を読む →
  9. Metaが独自開発AI「Muse Spark 1.1」を発表、Claude Opus 4.8と同等のベンチマークスコア

    Metaがマルチモーダル推論モデル「Muse Spark 1.1」を発表し、エージェント動作・PC操作・コーディング・マルチモーダル理解で大幅に強化したと明らかにした。

    2026-07-10 号で5行要約を読む →
  10. Metaが独自開発AI「Muse Spark 1.1」を発表、Claude Opus 4.8と同等のベンチマークスコア

    MetaがMuse Spark 1.1を発表し、ツール操作・PC操作・コーディング・マルチモーダル理解で大きな前進を示したと報じている。

    2026-07-10 号で5行要約を読む →
  11. OpenAIが「SWE-Bench Proの約30%が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

    OpenAIが2026年7月8日、AIコーディングベンチマーク「SWE-Bench Pro」を精査した結果、タスクの約30%が評価として成立しない問題を抱えていると報告した。

    2026-07-09 号で5行要約を読む →
  12. Anthropic Claude Fable 5、業界別ベンチで首位も価格は高止まり Anthropic's Claude Fable 5 dominates new industry benchmarks at a steep premium

    Anthropic の Claude Fable 5 が新たに公開された業界別ベンチマーク 6 種(金融・法務・医療など)で首位を独占し、汎用タスクだけでなく専門実務での優位を裏付けた。

    2026-07-08 号で5行要約を読む →
  13. STT API 13種×12言語を独立ベンチマークした(生データ・コード全公開)

    音声認識API 13エンジンを12言語で独立ベンチマークし、生データとコードを全公開した第三者評価を報告している。

    2026-07-06 号で5行要約を読む →
  14. Mistralのオープンソース版Leanstral 1.5が形式数学ベンチマークを制覇し実コードの脆弱性も発見 Mistral's open-source Leanstral 1.5 aces formal math benchmarks and catches real bugs in code

    Mistral AI が Lean 4 での形式検証向けオープンソースモデル Leanstral 1.5 を Apache 2.0 で公開した。

    2026-07-04 号で5行要約を読む →

2026年6月 11件

  1. Sakana「Fugu Ultra」徹底検証:ベンチマークはFable 5級、でも実用は別物だった

    Sakana AIが公開した日本語特化大規模モデル「Fugu Ultra」を、著者が自費で2週間検証した結果を主観評価としてまとめている。

    2026-06-28 号で5行要約を読む →
  2. Sakana AIの「Fugu」がAnthropicのFableとMythosのベンチマークに並ぶマルチエージェント協調モデルとして発表

    日本のスタートアップSakana AIが複数LLMを動的に協調させる新システム「Fugu」を発表し、AnthropicのFable 5やMythosのベンチマークと並ぶ性能を示した。

    2026-06-23 号で5行要約を読む →
  3. OpenAIがライフサイエンス研究にどれだけAIが役立つかを測定するベンチマーク「LifeSciBench」を公開

    OpenAIがライフサイエンス研究者の実務でAIがどれだけ役立つかを測定する新ベンチマーク「LifeSciBench」を公開し、従来の試験形式より実用評価に踏み込む位置付けとなった。

    2026-06-18 号で5行要約を読む →
  4. NRI流"業務に最適なAIモデル"の選び方 「ベンチマークだけで優劣は決まらない」

    野村総合研究所(NRI)が業務に最適なAIモデルの選定指針を公開し、「ベンチマーク単独で優劣は決まらない」という実務原則を強調した。

    2026-06-18 号で5行要約を読む →
  5. NVIDIAやAMDのAIサーバーの学習性能を評価するベンチマークテスト「MLPerf Training v6.0」の結果が公表される

    MLCommonsがAIサーバー学習性能ベンチマーク「MLPerf Training v6.0」の結果を公表し、NVIDIAとAMDの最新世代GPUの実力差が浮き彫りになった。

    2026-06-17 号で5行要約を読む →
  6. Sakana AI、初の商用サービスはリサーチ特化 「Deep Research」との違いは? 後発で"ベンチマークも追わない"ワケ

    Sakana AIが商用初号機をリサーチ特化プロダクト「Marlin」として投入し、後発でありながらベンチマーク追従を意図的に避ける戦略を取ったと整理する記事である。

    2026-06-15 号で5行要約を読む →
  7. olmo-eval:モデル開発ループ向け評価ワークベンチ olmo-eval: An evaluation workbench for the model development loop

    Allen Institute for AIはLLM開発の反復評価サイクルに特化したオープンソース評価フレームワーク「olmo-eval」を公開し、OLMES標準を基盤として最終モデルだけでなくチェックポイントごとの差分検証を扱えるようにした。

    2026-06-13 号で5行要約を読む →
  8. 動画生成AI「Grok Imagine 1.5 Preview」が動画生成AIベンチマークで世界1位と2位を獲得

    xAIの動画生成モデルGrok Imagine 1.5 PreviewがArtificial Analysisの動画ArenaでText-to-Video部門1位とImage-to-Video部門2位を獲得した。

    2026-06-09 号で5行要約を読む →
  9. Microsoft, Google, Anthropic latest LLM benchmark — 8200 unit infiltration

    Metaがオハイオ州近郊に「テント型データセンター」を運用しており、悪天候耐性のある仮設構造でAI推論基盤を急速展開していると報じられた。

    2026-06-08 号で5行要約を読む →
  10. ChromeがM5 MacBook Proでブラウザベンチマークの記録を更新、全ブラウザ中最高のパフォーマンスとアピール

    GoogleはM5 MacBook Proで動作するChromeが「Speedometer 3.1」と「Jetstream 3」で過去最高スコアを記録したと発表した。

    2026-06-06 号で5行要約を読む →
  11. 「どのLLMがロシアのプロパガンダに対抗するのに優れているか?」がわかるベンチマークをエストニア政府が発表

    エストニア言語研究所が大規模言語モデルのロシア宣伝への耐性を測る「Propaganda Resistance」ベンチマークを公開した。

    2026-06-05 号で5行要約を読む →

2026年5月 7件

  1. AIベンチマーク「自転車に乗ったペリカンを描く」をGemini 3.1 ProやQwen3.6-35B-A3Bにやってもらう

    サイモン・ウィリソン氏の「自転車に乗ったペリカンをSVGで描かせる」ベンチマークで、半年でモデルの描画品質が大きく向上したと紹介している。

    2026-05-21 号で5行要約を読む →
  2. AIエージェントの実務能力を評価するオープンリーダーボード The Open Agent Leaderboard

    IBM Researchを中心とした研究グループが、エージェント全体(モデル+ツール利用+計画+メモリ)を評価する「Open Agent Leaderboard」を公開した。

    2026-05-18 号で5行要約を読む →
  3. 新ベンチマークSOOHAK、AIが「解の存在しない数学問題」も自信満々に解いてしまうと露見 New benchmark SOOHAK reveals AI models confidently solve problems that have no solution

    カーネギーメロン大学、EleutherAI、ソウル国立大学などから集まった64人の数学者(教授38人、博士課程・ポスドク25人、IMOメダリスト5人)が手書きの問題439題からなるベンチマーク「SOOHAK」を発表した。

    2026-05-17 号で5行要約を読む →
  4. Claude MythosとGPT-5.5がブラウザ脆弱性を自律的に攻撃可能と新ベンチマークが示す New benchmark shows Claude Mythos and GPT-5.5 can develop real browser exploits autonomously

    カーネギーメロン大学の研究者がGoogle V8 JavaScriptエンジンの脆弱性を対象にした「ExploitBench」を公開、AIエージェントの攻撃能力を5段階で評価した。

    2026-05-16 号で5行要約を読む →
  5. AI動画生成は映像は綺麗でも世界の理屈が解けないと新ベンチマークWorldReasonBenchが確認 New benchmark confirms AI video generators look stunning but still can't reason about the world

    清華大学が動画生成モデルが「物理・社会・論理・情報」の整合性を保ってシーンを継続できるかを測る「WorldReasonBench」を公開、約400件のテストケースを含む。

    2026-05-16 号で5行要約を読む →
  6. 中国企業が1兆トークン規模のAIモデル「Ring-2.6-1T」をオープンモデルとして公開、一部のベンチマークテストでGPT-5.4とGemini 3.1 Proを上回る

    中国Ant Group(Alibabaグループ)傘下のAI開発チームinclusionAIが、1兆パラメーターの推論モデル「Ring-2.6-1T」をオープンモデルとして公開した。

    2026-05-15 号で5行要約を読む →
  7. China is falling behind in the AI race, according to a US government benchmark

    米政府機関が公表したベンチマークで、中国の AI 能力は米国比でおよそ 8 か月遅れているとの評価が示された。

    2026-05-03 号で5行要約を読む →

2026年4月 3件

  1. Anthropic、Claudeがバイオ情報学専門家と同等性能と主張 Anthropic's new benchmark claims Claude can match human experts in bioinformatics

    Anthropicが「BioMysteryBench」を公開、専門家作成の99問でバイオ情報学の実データ問題に対する性能を検証

    2026-04-30 号で5行要約を読む →
  2. OpenAIがAIのコーディング能力を測る代表的ベンチマークは「もはや無意味」と説明

    OpenAIが、AIのコーディング能力を測る代表的指標であるSWE-bench Verified を「もはや適切ではない」と表明した

    2026-04-29 号で5行要約を読む →
  3. AI evals are becoming the new compute bottleneck

    Hugging Face が「AI evals が新たなcompute側のボトルネックになりつつある」とする論考を公開した

    2026-04-29 号で5行要約を読む →

← 最新号を読む