SWE-bench検証版はもはやフロンティア開発能力を測定していない

SWE-benchの共同作成者であるOfir Pressが指摘する通り、SWE-bench Verifiedは93.9%で飽和に達し、Anthropicがこのベンチマークで最高スコアを達成した。これはベンチマークが役割を果たしたことを意味する一方で、ソフトウェア開発能力の測定ツールとしての有用性が限界に達したことを示している。

SWE-bench MultilingualおよびSWE-bench Multimodalといった新しいバリエーションがまだ飽和していないため、これらが次の評価基準として機能する可能性がある。しかし根本的な問題は、すべてのベンチマークとベンチマークパラダイムが最終的に飽和するという不可避な現象にある。

業界規模でのベンチマーク最適化のインセンティブが強い現代では、トレーニングデータのカットオフが公開から3～6ヶ月程度に過ぎないため、ベンチマークは急速に過時化し、ゲーミングの対象になりやすい。これはベンチマークの設計とアップデートの継続的な必要性を浮き彫りにする重要な課題である。