🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ARC-AGI-3에서 추론 기록 유지와 컨텍스트 압축을 활성화하자 GPT‑5.6 Sol의 공개 과제 점수는 13.3%에서 38.3%로 약 3배 높아지고 출력 토큰은 6분의 1로 줄었다.

📌 핵심 요약

• OpenAI는 ARC-AGI-3의 낮은 성적을 분석한 결과, 모델 자체의 한계뿐 아니라 추론 기록을 버리고 오래된 행동을 삭제하는 공식 하네스의 설정이 학습과 전략 유지를 방해했다고 밝혔다.
• 공식 하네스에서는 각 행동이 끝날 때 비공개 추론이 폐기되어 모델이 이전의 계획과 통찰을 이어받지 못했고, 컨텍스트가 길어지면 롤링 절단으로 과거 관찰과 행동까지 사라졌다.
• Responses API를 사용해 이전 응답 식별자를 전달하고 추론 기록을 유지하자, GPT‑5.6 Sol은 매 행동마다 게임을 처음부터 다시 해석하는 시간을 줄이며 더 일관된 전략을 구사했다.
• 롤링 절단을 압축으로 교체하자 장시간 진행에서도 게임에 관해 학습한 내용을 더 잘 보존했으며, 공개 과제의 RHAE 점수는 13.3%에서 38.3%로 상승했다.
• OpenAI는 평가 결과가 모델만이 아니라 API 설정, 하네스 설계, 프롬프트의 결합을 측정한다고 강조하며 Responses API, 추론 유지, 압축 사용을 권고했다.

🧩 주요 포인트

1. 추론 기록의 반복적 폐기 → 모델이 행동 이력은 보더라도 그 행동을 선택한 계획과 통찰을 잃어 매 단계에서 문제를 다시 해석하게 됐다.
2. 오래된 문맥의 단순 삭제를 압축으로 대체 → 장기 과제에서 초기 관찰과 학습 결과를 보존하면서 컨텍스트 부담과 출력 토큰 사용량을 줄였다.
3. 동일 모델의 점수가 하네스 설정에 따라 크게 변화 → 벤치마크 비교에서는 모델의 실제 배포 방식과 평가 실행 환경이 얼마나 일치하는지 함께 확인해야 한다.

🧠 상세 정리

1. 낮은 점수에서 시작된 문제 제기

OpenAI는 수학의 장기 미해결 문제와 여러 게임에서 성과를 보인 GPT‑5.6 Sol이 ARC-AGI-3에서는 처음에 7.8%를 기록한 사실을 의아하게 여겼다. GPT‑5.5의 점수는 0.4%에 그쳐 게임을 거의 진행하지 못하는 수준으로 소개됐다. 이에 OpenAI는 낯선 2차원 퍼즐 게임 자체가 모델에 특별히 어려운 것인지, 아니면 평가 환경의 다른 요소가 성능을 제한한 것인지 조사했다. 분석의 출발점은 벤치마크가 모델만 독립적으로 측정하는 것이 아니라 API 설정, 하네스 설계, 프롬프트처럼 잘 드러나지 않는 실행 조건까지 함께 반영한다는 문제의식이었다.

2. ARC-AGI-3의 과제와 평가 방식

ARC-AGI-3는 인공지능 에이전트가 명시적인 게임 설명 없이 낯선 2차원 환경을 탐색하고 규칙을 추론하는 능력을 측정하도록 설계됐다. 모델은 각 행동 뒤에 화면 프레임을 텍스트로 표현한 정보와 현재 단계만 전달받으며, 평가 기준이나 진행 중 점수는 알 수 없다. 점수에는 모델의 행동 효율을 인간 기준과 비교하는 상대적 인간 행동 효율성 지표인 RHAE가 사용된다. 공식 플레이 기록을 토대로 OpenAI가 추정한 평균 인간 시험자의 점수는 48%였으며, 공개 과제에서 설정을 개선한 GPT‑5.6 Sol의 38.3%보다 높았다.

3. 일반형 하네스와 실제 제품 환경의 차이

ARC-AGI-3의 공식 하네스는 도구나 모델별 특수 기능을 포함하지 않은 의도적으로 일반적인 구조를 사용한다. ARC 측은 단순한 하네스가 모델의 약점을 더 분명하게 드러내고 모델 간 비교를 공정하게 만든다는 입장을 취했다. 반면 상용 개발자는 실제 서비스에서 각 모델의 기능과 특성에 맞춰 하네스를 최적화하며, OpenAI도 ChatGPT와 Codex에서 자사 모델의 학습 방식에 맞는 문맥 관리 기능을 사용한다. 이 차이 때문에 OpenAI는 공식 하네스에서 나타난 낮은 점수를 모델의 게임 추론 능력만으로 설명하기보다, 모델이 훈련·배포되는 조건과 평가 조건의 불일치까지 살펴봤다.

4. 첫 번째 원인: 매 행동 후 추론 기록 폐기

공식 하네스에서는 모델이 게임 행동을 한 번 수행할 때마다 그 전에 생성한 비공개 추론 기록이 폐기됐다. 모델은 과거의 행동과 각 행동에 붙은 짧은 메모는 볼 수 있었지만, 그 행동을 선택하게 만든 계획과 통찰, 검토 과정은 다시 확인할 수 없었다. 그 결과 GPT‑5.6 Sol은 행동할 때마다 게임의 상태와 규칙을 사실상 새로 해석해야 했고, 한 행동에 오랫동안 머물면서도 누적된 진전을 만들기 어려웠다. OpenAI는 이전 생각을 이어받지 못하는 이 구조가 시간이 지나며 규칙을 학습하고 일관된 전략을 발전시켜야 하는 ARC-AGI-3의 특성과 맞지 않았다고 설명했다.

5. 두 번째 원인: 롤링 절단에 따른 행동 기억 손실

공식 하네스는 대화 컨텍스트가 17만 5천 문자를 넘으면 가장 오래된 메시지부터 삭제하는 롤링 절단 방식을 사용했다. 이 방식에서는 실행이 길어질수록 초기에 관찰한 상태와 과거 행동이 보이지 않게 되어, 모델이 이미 확인한 게임 규칙이나 실패 경험을 잃을 수 있었다. 또한 모델은 과제의 상당 시간을 가득 찬 컨텍스트에 가까운 상태로 처리해야 했고, OpenAI는 이러한 상태가 성능을 다소 저하시킬 수 있다고 지적했다. 따라서 모델은 비공개 추론뿐 아니라 실제 행동 이력까지 점차 잃었으며, 두 종류의 기억 손실이 함께 장기적인 학습과 진행을 방해했다.

6. 추론 기록 유지가 바꾼 행동 방식

OpenAI의 모델은 응답이나 도구 호출 전에 비공개 추론 메시지로 생각하고, 이 메시지를 대화 이력의 일부로 유지하는 방식으로 훈련된다. OpenAI는 평가 환경을 실제 배포 방식에 더 가깝게 만들기 위해 ARC-AGI-3 하네스를 Responses API로 구현했으며, GPT‑5.6에서는 이전 응답 식별자를 전달해 턴과 도구 호출 사이의 추론을 유지했다. 그 결과 모델은 매 행동 전에 게임을 처음부터 다시 해석할 필요가 없어져 행동당 사고 시간이 줄었다. 또한 과거 생각을 기억하면서 관찰로부터 더 잘 학습하고, 이전 단계에서 세운 가설과 계획을 이어 가며 한층 일관된 전략을 사용할 수 있었다.

7. 압축을 통한 장기 문맥 관리

두 번째 개선은 오래된 메시지를 그대로 버리는 롤링 절단을 Responses API의 압축 기능으로 교체한 것이었다. OpenAI의 제품 환경에서는 대화가 지나치게 길어질 때 기존 내용을 요약해 이어 가며, 이를 통해 제한된 컨텍스트 안에서도 이전에 얻은 핵심 정보를 보존한다. ARC-AGI-3에서도 압축을 활성화하자 GPT‑5.6 Sol은 긴 실행 과정에서 각 게임에 관해 배운 내용을 더 잘 유지했고, 더 적은 출력 토큰으로 높은 점수를 얻었다. OpenAI 구현은 공식 하네스의 17만 5천 문자 대신 17만 5천 토큰을 한도로 사용했지만, 텍스트 대부분을 차지하는 행동 격자가 토크나이저에서 대체로 일대일 비율로 처리되어 두 한도가 상당히 비슷하다고 설명했다.

8. 정량적 결과와 평가 권고

ARC-AGI-3 공개 과제에서 GPT‑5.6 Sol은 공식 하네스로 13.3%의 RHAE 점수를 기록했지만, 추론 기록 유지와 압축을 적용한 하네스에서는 38.3%를 기록했다. 두 설정을 함께 적용한 결과 점수는 약 3배가 되었고 출력 토큰은 6분의 1로 감소했으며, 예시로 제시된 한 게임에서는 공식 순위표상 어떤 최전선 모델도 첫 단계 이후를 풀지 못했지만 개선된 하네스의 GPT‑5.6 Sol은 여섯 단계를 모두 해결했다. OpenAI는 이 결과를 벤치마크가 모델과 더불어 API 설정, 하네스, 프롬프트의 묶음을 측정한다는 사례로 제시했다. 성능을 극대화하려는 개발자에게는 기존 Chat Completions API 대신 Responses API를 사용하고 추론 유지와 압축을 활성화할 것을, 모델 비교 시에는 이러한 실제 배포 조건을 반영한 평가를 참고할 것을 권고했다.

🧾 핵심 주장 / 시사점

• 장기 상호작용 과제에서는 행동 기록만 남기는 것으로 충분하지 않으며, 행동을 선택한 이유와 누적된 가설을 이어 갈 수 있어야 학습과 전략의 일관성이 유지된다.
• 컨텍스트 한도에 도달했을 때 오래된 내용을 단순 삭제하면 핵심 경험까지 사라지지만, 압축은 필요한 정보를 보존하면서 문맥 크기와 토큰 사용을 줄이는 대안이 될 수 있다.
• 벤치마크 점수를 해석할 때는 모델 이름과 점수뿐 아니라 추론 보존 여부, 문맥 절단 방식, API와 하네스가 실제 제품 환경을 반영하는지도 함께 살펴봐야 한다.

✅ 액션 아이템

• ARC-AGI-3류 장기 과제 평가에서 Responses API로 이전 응답 식별자를 넘겨 추론 기록을 유지하는지 점검한다.
• 컨텍스트가 길어질 때 롤링 절단 대신 압축을 적용해 초기 관찰·학습 내용 보존과 출력 토큰 절감을 비교한다.
• 동일 모델 벤치마크 비교 시 API 설정·하네스 설계·프롬프트 조합이 실제 배포 방식과 일치하는지 기준을 정한다.

❓ 열린 질문

• 추론 기록을 유지해도 전략이 불안정해지는 과제 유형은 무엇인가?
• 압축이 롤링 절단 대비 초기 관찰과 학습 결과를 얼마나 더 보존하는가?
• 점수를 모델 성능과 하네스·API 설정 효과로 나눌 때 어떤 기준이 필요한가?