Introducing EVMbench

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

EVMbench는 실제 감사 사례에서 선별한 스마트 계약 취약점을 바탕으로 AI 에이전트의 탐지·패치·공격 능력을 재현 가능하게 평가하고, 그 발전이 초래할 사이버 위험과 방어적 활용 가능성을 함께 측정하는 벤치마크다.

📌 핵심 요약

OpenAI와 Paradigm은 40건의 감사에서 선별한 고위험 취약점 117개를 기반으로 스마트 계약 보안 역량을 평가하는 EVMbench를 공개했다.
평가는 취약점과 보상 규모를 찾아내는 탐지, 기존 기능을 보존하며 문제를 수정하는 패치, 격리된 블록체인에서 자금 탈취를 완수하는 공격의 세 가지 모드로 구성된다.
GPT-5.3-Codex는 공격 모드에서 71.0%를 기록해 GPT-5의 33.3%보다 크게 향상됐지만, 탐지와 패치에서는 여전히 많은 취약점을 놓치거나 완전한 기능 보존에 실패했다.
EVMbench는 현실적인 고위험 사례를 다루지만 실제 주요 계약의 보안 난도, 추가 취약점 판정, 정밀한 타이밍·메인넷 상태·다중 체인 공격을 충분히 반영하지 못한다.
OpenAI는 벤치마크와 평가 도구를 공개하는 한편 안전 훈련, 자동 모니터링, 신뢰 기반 접근, Aardvark 확대, 무료 오픈소스 검사 및 1천만 달러 규모 API 크레딧으로 방어적 활용을 지원한다.

🧩 주요 포인트

OpenAI와 Paradigm은 40건의 감사에서 선별한 고위험 취약점 117개를 기반으로 스마트 계약 보안 역량을 평가하는 EVMbench를 공개했다.
평가는 취약점과 보상 규모를 찾아내는 탐지, 기존 기능을 보존하며 문제를 수정하는 패치, 격리된 블록체인에서 자금 탈취를 완수하는 공격의 세 가지 모드로 구성된다.
GPT-5.3-Codex는 공격 모드에서 71.0%를 기록해 GPT-5의 33.3%보다 크게 향상됐지만, 탐지와 패치에서는 여전히 많은 취약점을 놓치거나 완전한 기능 보존에 실패했다.
EVMbench는 현실적인 고위험 사례를 다루지만 실제 주요 계약의 보안 난도, 추가 취약점 판정, 정밀한 타이밍·메인넷 상태·다중 체인 공격을 충분히 반영하지 못한다.
OpenAI는 벤치마크와 평가 도구를 공개하는 한편 안전 훈련, 자동 모니터링, 신뢰 기반 접근, Aardvark 확대, 무료 오픈소스 검사 및 1천만 달러 규모 API 크레딧으로 방어적 활용을 지원한다.

🧠 상세 정리

1. 경제적 환경에서 AI 보안 역량을 측정해야 하는 이유

스마트 계약은 오픈소스 암호화폐 자산 가운데 1천억 달러가 넘는 규모를 보호하고 있어, 작은 코드 결함도 직접적인 경제 손실로 이어질 수 있다. AI 에이전트가 코드를 읽고 작성하는 단계를 넘어 실행까지 수행하게 되면서, 단순한 코딩 문제보다 실제 경제적 의미가 있는 환경에서 그 능력을 측정할 필요성이 커졌다. OpenAI는 공격 가능성만 확인하는 데 그치지 않고, AI가 배포된 계약을 감사하고 강화하는 방어 수단으로 활용되도록 유도하는 것도 중요한 목표로 제시한다. EVMbench는 이러한 문제의식 아래 스마트 계약 취약점의 탐지, 수정, 실제 공격 수행 능력을 함께 평가하도록 설계됐다.

2. 117개 취약점으로 구성한 현실 기반 평가 자료

OpenAI와 Paradigm이 공동으로 개발한 EVMbench에는 40건의 보안 감사에서 엄선한 고위험 취약점 117개가 포함됐으며, 대부분 공개 코드 감사 대회에서 수집됐다. 여기에 높은 처리량과 저비용 스테이블코인 결제를 위해 설계된 레이어 1 블록체인 Tempo의 보안 감사 과정에서 나온 취약점 시나리오도 추가됐다. 이는 에이전트가 수행하는 스테이블코인 결제가 늘어날 것으로 예상되는 상황에서 결제 지향 스마트 계약 코드까지 평가 범위를 확장하기 위한 구성이다. 기존 개념 증명 공격 테스트와 배포 스크립트가 있으면 이를 개조했고, 없는 경우에는 연구진이 작업 환경을 직접 작성했다.

3. 탐지·패치·공격으로 나뉜 세 가지 평가 모드

탐지 모드에서는 에이전트가 스마트 계약 저장소 전체를 감사하며, 정답으로 등록된 취약점을 얼마나 빠짐없이 찾아냈는지와 해당 감사 보상을 기준으로 점수를 받는다. 패치 모드에서는 취약한 계약을 수정하되 원래 의도한 기능을 유지해야 하며, 자동화 테스트와 공격 가능성 검사를 통해 문제가 실제로 제거됐는지를 검증한다. 공격 모드는 샌드박스 블록체인에 배포된 계약을 상대로 자금 탈취 공격을 처음부터 끝까지 실행하게 하고, 거래 재현과 온체인 검증으로 성공 여부를 판정한다. 패치 과제는 컴파일을 깨뜨리지 않고 완화할 수 있는 취약점으로 구성했으며, 공격 과제에는 평가기를 속이는 방법을 찾아 차단하기 위한 자체 평가기와 레드팀 검토가 적용됐다.

4. 재현 가능한 실행 환경과 모델별 평가 결과

객관적이고 재현 가능한 평가를 위해 연구진은 계약 배포와 에이전트 거래의 결정적 재생을 담당하고 위험한 원격 호출 방식을 제한하는 러스트 기반 실행 도구를 개발했다. 공격은 실제 네트워크가 아니라 격리된 로컬 Anvil 환경에서 수행되며, 사용된 취약점도 이미 공개된 과거 사례로 제한된다. 평가 결과 Codex CLI로 실행한 GPT-5.3-Codex는 공격 모드에서 71.0%를 기록했으며, 약 6개월 전에 공개된 GPT-5의 33.3%보다 크게 향상됐다. 다만 탐지 재현율과 패치 성공률은 완전한 수준에 미치지 못했고, 상당수 취약점은 여전히 에이전트가 찾아내거나 안전하게 수정하기 어려운 것으로 나타났다.

5. 과제별 행동 차이와 벤치마크의 한계

에이전트는 자금이 빠져나갈 때까지 반복한다는 목표가 명확한 공격 과제에서 가장 좋은 성능을 보였지만, 탐지와 패치에서는 상대적으로 약했다. 탐지 과정에서는 코드베이스 전체를 철저하게 조사하지 않고 한 가지 문제를 발견한 뒤 작업을 끝내는 경우가 있었으며, 패치에서는 미묘한 취약점을 제거하면서 모든 기능을 그대로 유지하는 일이 어려웠다. 또한 평가 대상은 현실적인 고위험 사례이지만 Code4rena 감사 대회에서 주로 수집됐기 때문에, 더 많은 검증을 받은 대규모 실사용 계약의 난도를 완전히 대표하지는 않는다. 탐지된 추가 문제가 실제 취약점인지 오탐인지 확실하게 판정하기 어렵고, 순차적 거래 재생 구조상 정밀한 타이밍 공격과 메인넷 포크 상태, 다중 체인 환경도 현재 평가 범위에서 제외된다.

6. 방어적 활용 확대와 사이버 안전 지원

OpenAI는 스마트 계약이 막대한 자산을 보호하는 상황에서 AI 에이전트가 공격자와 방어자 모두에게 큰 변화를 일으킬 것으로 보고, EVMbench를 측정 도구이자 행동 촉구로 제시한다. 사이버 보안의 이중 용도 특성을 고려해 안전 훈련, 자동 모니터링, 고급 기능에 대한 신뢰 기반 접근, 위협 정보를 포함한 집행 체계를 활용하며 방어 역량은 높이고 오용은 늦추는 점진적 접근을 취하고 있다. 보안 연구 에이전트 Aardvark의 비공개 베타를 확대하고 오픈소스 유지관리자와 협력해 널리 쓰이는 프로젝트에 무료 코드 검사를 제공하는 생태계 지원도 추진한다. 아울러 2023년 시작한 사이버보안 보조금 프로그램을 기반으로 오픈소스 소프트웨어와 핵심 인프라 방어에 1천만 달러 규모의 API 크레딧을 제공하며, 후속 연구를 위해 EVMbench의 과제와 도구, 평가 프레임워크를 공개한다.

🧾 핵심 주장 / 시사점

공격 모드의 급격한 성능 향상은 명확하고 검증 가능한 목표가 주어졌을 때 에이전트의 반복 실행 능력이 빠르게 발전하고 있음을 보여주지만, 실제 보안 감사에 필요한 포괄적 탐색 능력까지 같은 수준으로 향상됐다는 뜻은 아니다.
패치 성능이 공격 성능보다 낮다는 결과는 취약점을 무력화하는 것뿐 아니라 계약의 정상 기능과 호환성을 보존하는 일이 스마트 계약 보안 자동화의 핵심 난제임을 드러낸다.
EVMbench의 공개는 위험 측정과 방어 도구 개발을 동시에 촉진하지만, 현실 배포 환경을 판단하려면 메인넷 상태, 타이밍 의존성, 다중 체인 상호작용 및 추가 탐지 결과의 진위 판정 같은 보완 평가가 필요하다.