SWE-bench：プログラムをゼロから再構築する言語モデルの能力を評価するベンチマーク。

AI支援型開発の分野は、通常、コード補完、バグ修正、自然言語プロンプトからのコードスニペット生成などのタスクに焦点を当てています。しかし、SWE-benchは、より難しく、より価値のあるテストを提示します：プログラム再構築です。これは、言語モデルに単なる合成だけでなく、プログラムの構造、アーキテクチャ、実装の詳細に関する深い理解を求めます。

コンパイル済みバイナリとそのドキュメンテーションのみを提供することで、このベンチマークはモデルを高レベルのシステムアーキテクトの役割に強制します。タスクは本質的に、仕様（ドキュメンテーション）のみを使用して、元のプログラムの動作、つまりバイナリの機能をゼロから再現することです。これは、リバースエンジニアリングの原則と創造的なソフトウェア実装の複雑な組み合わせであり、既存のコードベースやユニットテストに依存するベンチマークとは大きく異なります。

技術的な観点から、このベンチマークは大規模言語モデル（LLM）に期待される境界を押し広げます。成功は、モデルが抽象的なドキュメンテーションのみからデータ構造、アルゴリズムの複雑さ、機能的インターフェースを推論し、元のバイナリに対する実行テストをパスできるほど正確に実装できる堅牢な内部知識ベースを持っていることを意味します。これは、高度なスキルを持つソフトウェアエンジニアが直面する難しい現実世界のシナリオをシミュレートします。

SWE-benchの厳密さは疑いの余地がありませんが、ユーザーはその難易度が極めて高いことを認識する必要があります。このベンチマークをパスするには、コーディング能力、システム知識、推論能力の洗練された組み合わせが必要です。これは汎用的なユーティリティというよりも、最先端のモデル研究のための先進的な診断ツールとして機能します。