N-Day-Bench – LLMは実際のコードベースの真の脆弱性を見つけることができるか？

N-Day-Benchは、GitHub advisoryに基づいた厳密なベンチマークで、OpenRouterを通じた複数のLLMファインダーモデルの脆弱性発見能力を評価する仕組みです。背景としては、セキュリティ分野でLLMの実用性が注目される中、実際のコードベースから脆弱性を発見できるかどうかを客観的に測定する必要性が高まっています。

技術的意義として、このベンチマークは人工的なテストケースではなく現実の脆弱性データセット（GitHub advisories）を使用し、モデルの段階的な思考プロセス（最大8ステップなど）を追跡可能にしています。これにより複数モデルの比較が容易になります。

重要性としては、LLMのセキュリティ分析能力を定量化することで、セキュリティツールとしての実用性と信頼性を判断する基準を提供します。開発者やセキュリティ研究者にとって、LLMを脆弱性検出ツールとして採用するかどうかを判断する際の重要な指標となり、セキュリティ自動化の進展に貢献する可能性があります。