AI models flub these intelligence tests. Can you fare any better?

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

AI는 퍼즐 풀이에서 빠르게 발전하고 있지만, 공간 추론·변형 문제 적응·시각적 규칙 파악·복잡성 증가에서 여전히 약점을 보이며 인간과 다른 인지적 특성을 드러낸다.

📌 핵심 요약

• 컬럼비아대학교 연구진이 2024년 말 평가했을 때 최고 수준 모델도 뉴욕타임스 커넥션스 퍼즐의 18%만 풀었지만, 2025년 초에는 일부 모델이 거의 완벽하게 해결했다.
• 시각 입력을 분석하는 언어 모델도 물체를 다른 각도에서 알아보는 정신적 회전 문제에서는 크게 고전하며, 공간 추론은 인간이 우위를 보이는 영역이다.
• 학습한 문제에 대한 기억은 변형 문제의 차이를 놓치는 원인이 될 수 있으며, 기사와 거짓말쟁이 퍼즐 및 심플벤치는 이러한 적응의 약점을 보여준다.
• ARC-AGI에서는 격자 이미지를 색상에 대응하는 숫자열로 제공할 때 모델 성능이 더 좋으며, 정답을 내더라도 인간보다 복잡하고 일반화하기 어려운 규칙을 사용하는 경우가 있다.
• 인간도 직관에 따른 오답을 내며 모델이 더 신중하게 답하는 문제들이 있다. 한편 애플 연구에서는 하노이의 탑과 강 건너기 문제의 원반이나 사람이 6개 또는 6명 이상으로 늘면서 모델이 흔들렸고, 이것이 언어 모델 고유의 한계인지는 논쟁이 남았다.

🧩 주요 포인트

1. 커넥션스 성적의 급상승과 공간 추론의 부진이 공존하므로, 한 종류의 퍼즐 성과만으로 전반적인 인지 능력을 판단하기 어렵다.
2. 변형 문제에서의 기억 의존과 ARC-AGI의 입력 형식별 성능 차이는 정답률뿐 아니라 조건 변화에 대한 적응과 규칙의 일반화도 살펴야 함을 보여준다.
3. 인간의 직관적 오류와 복잡성 증가에 따른 모델의 실패는 서로 다른 약점을 드러내며, 실패 원인을 언어 모델 고유의 추론 한계로 단정하기에는 해석상의 쟁점이 있다.

🧠 상세 정리

1. 퍼즐로 살펴보는 AI의 발전과 한계

퍼즐과 게임은 AI 개발 초기부터 능력을 시험하는 수단이었으며, 체커와 체스, 바둑은 대표적인 시험 무대로 사용됐다. IBM의 컴퓨터 과학자 아서 새뮤얼은 체커를 배우는 알고리즘을 다룬 1959년 글을 통해 기계학습이라는 용어를 널리 알렸다. 최근의 발전 속도도 빨라서, 컬럼비아대학교 연구진이 2024년 말 평가했을 때 최고 수준 모델도 뉴욕타임스 커넥션스 퍼즐의 18%만 풀었지만 2025년 초에는 일부 모델이 거의 완벽하게 해결했다. 그러나 기사는 성적 향상만 강조하지 않고 모델이 성공하거나 실패하는 지점과 인간이 여전히 앞서는 영역을 함께 살핀다. 독자가 직접 풀어볼 수 있는 여러 퍼즐은 AI의 단일한 지능 순위를 정하기보다 인간과 기계의 인지 방식이 어떻게 다른지를 보여주는 장치로 제시된다.

2. 공간 추론과 정신적 회전의 어려움

공간 추론은 기사가 인간의 우위가 큰 영역으로 먼저 제시하는 주제이며, 대표적인 예는 지능검사에서도 사용하는 정신적 회전 문제다. 이 문제에서는 여러 그림이 같은 물체를 서로 다른 각도에서 나타낸 것인지 판단해야 하며, 제시된 보기 중 원래 물체와 일치하는 하나를 고른다. 오늘날 언어 모델은 대체로 시각 입력을 분석할 수 있지만, 이러한 문제에서는 여전히 매우 낮은 수행 능력을 보인다고 기사는 설명한다. 물리적 환경을 이해하도록 돕는 세계 모델에 관한 논의가 활발해도, 언어 모델이 건축가나 기계공학자처럼 머릿속에서 삼차원 물체를 조작하는 능력을 갖췄다고 보기는 어렵다는 것이다. 이 사례는 그림을 입력받아 분석하는 기능과 물체의 방향 변화를 공간적으로 추론하는 능력이 별도로 검증되어야 함을 보여준다.

3. 풍부한 기억이 변형 문제의 함정이 되는 이유

최첨단 대규모 언어 모델은 학습 과정에서 방대한 사실에 노출되며, 그중 많은 내용을 충실하게 재현하는 뛰어난 기억 능력을 보인다. 이러한 특성은 상식 퀴즈에서 인간을 앞서는 자산이지만, 새 문제가 학습 때 본 문제와 비슷하면 중요한 차이를 지나치고 외운 답을 내놓는 약점으로도 작용할 수 있다. 구글과 일리노이대학교 어배너섐페인 연구진의 2024년 연구는 기사와 거짓말쟁이 유형을 조금씩 바꾸어 모델을 학습하고 시험하면서 이런 현상을 확인했다. 이 퍼즐의 기본 규칙은 기사는 언제나 진실을 말하고 거짓말쟁이는 언제나 거짓을 말한다는 것으로, 등장인물들의 발언을 함께 검토해 각자의 유형을 판별해야 한다. 기사는 두 명 또는 세 명이 서로의 진실성과 유형을 언급하는 예제를 제시하며, 익숙한 문제 형식을 알아보는 것과 주어진 조건에 맞춰 다시 추론하는 것 사이의 차이를 부각한다.

4. 심플벤치가 시험하는 조건 읽기와 적응

심플벤치는 모델이 학습 중 접했을 법한 더 복잡한 문제와 닮은 질문을 사용하며, 인간은 함정을 알아차려도 최고 수준 모델이 걸려드는 사례로 소개된다. 기사는 이 현상에도 익숙한 문제에 대한 기억이 현재 질문의 차이를 가리는 원리가 작용할 수 있다고 설명하지만, 그 원인을 확정하지는 않는다. 첫 번째 예제는 달걀을 굽는 프라이팬에 분마다 얼음을 넣었다는 설정에서 평균 투입 개수와 특정 시점에 남아 있는 온전한 얼음을 함께 묻는다. 두 번째 예제는 파란 공과 보라색 공을 서로 다른 높이로 던진 뒤 노란 풍선을 머리에 얹고 사다리에 오른 상황을 제시하고, 보라색 공이 파란 공에 비해 어디에 있을지를 묻는다. 두 문제는 복잡한 계산을 요구하는 듯한 표현 속에서도 실제로 무엇을 묻는지와 상황의 조건을 세심하게 읽는 능력을 시험한다.

5. ARC-AGI의 시각적 추상화와 일반화

AI의 시각적 어려움은 삼차원에 한정되지 않으며, 이차원 격자에서 추상적인 규칙을 찾아야 하는 ARC-AGI에서도 중요한 변수로 나타난다. 이 문제들은 여러 입력과 출력의 예를 보고 공통 변환 규칙을 추론한 다음, 새로운 격자에 같은 규칙을 적용하도록 요구한다. 모델은 격자를 이미지로 받을 때보다 각 칸의 색상을 숫자로 나타낸 문자열로 받을 때 더 좋은 성능을 보인다고 기사는 설명한다. 또한 인용된 연구에 따르면 모델은 정답을 내더라도 복잡하고 다른 문제로 일반화하기 어려운 규칙을 사용하는 경우가 많으며, 인간은 단순한 시각적 개념을 활용한다. 지난 1년 동안 모델의 ARC-AGI 성능은 크게 좋아졌지만 여전히 풀지 못하는 문제가 있고, 기사에는 세 쌍의 격자에서 규칙을 찾아 네 번째 격자를 완성하는 예제가 제시된다.

6. 인간의 직관도 오답을 만든다

기사는 모델의 약점만 다루지 않고 인간에게도 고유한 인지적 함정이 있으며, AI가 그중 일부를 공유하지 않는다고 설명한다. 심리학자들이 만든 일부 문제 묶음에서는 심플벤치와 반대로 인간이 즉각적인 직관에 따라 답하는 동안 모델은 더 숙고한 답을 내놓는다. 어떤 문제는 인간이 수학을 직관적으로 처리할 때 생기는 오류를 이용하고, 다른 문제는 질문을 자세히 읽으면 성립하지 않는 답이 명백해 보이도록 표현된다. 기사에 실린 속답 문제는 매일 두 배로 늘어나는 박쥐가 60일 만에 동굴을 채운다면 절반을 채우는 데 며칠이 걸리는지, 그리고 앨리스가 특정 대사를 말하는 유명 소설이 무엇인지를 묻는다. 이 대목은 인간이 모든 유형에서 더 잘 추론한다는 결론을 피하고, 문제의 표현과 요구되는 사고 방식에 따라 양쪽의 강약이 달라짐을 보여준다.

7. 복잡성 증가에 따른 실패와 해석 논쟁

일부 퍼즐에서 언어 모델의 성공 여부는 문제의 규모에 따라 달라지며, 애플 연구진은 하노이의 탑과 강 건너기 문제를 통해 이를 살폈다. 하노이의 탑은 큰 원반을 작은 원반 위에 놓지 않으면서 원반을 하나씩 옮기는 문제이고, 강 건너기는 정해진 제약을 지키며 사람들을 반대편으로 이동시키는 문제다. 모델은 단순한 버전에서는 매우 좋은 성과를 보였지만, 원반이나 사람의 수가 6개 또는 6명 이상에 이르면서 흔들리기 시작했다. 워싱턴대학교와 스탠퍼드대학교, 앨런 AI 연구소의 다른 연구에서도 여러 단서로 인물의 속성을 추론하는 논리 격자 문제에서 비슷한 어려움이 관찰됐다. 다만 애플 논문을 둘러싸고 이것이 언어 모델 추론의 고유한 한계인지, 아니면 복잡성이 쌓이면 오류가 늘어나는 일반적인 현상인지를 두고 이견이 제기됐다.

8. 강 건너기와 논리 격자로 확인하는 제약 추론

마지막 실습은 여러 제약을 동시에 유지하며 이동 순서나 속성 배치를 추론하는 과제를 구체적으로 보여준다. 강 건너기 문제에는 FBI 요원 세 명과 각자의 정보원 세 명이 등장하며, 배에는 최대 두 명이 탈 수 있고 한 명만 타도 노를 저을 수 있다. 각 요원은 자신이 없는 강둑에 자기 정보원이 다른 요원들과 함께 남는 것을 허용하지 않으며, 정보원이 배에서 내리지 않는 경우에도 이 제약이 적용된다. 논리 격자 문제는 왼쪽부터 번호가 붙은 네 집에 피터, 에릭, 아널드, 앨리스를 배치하고 재즈·록·클래식·팝이라는 음악 취향을 연결하도록 요구한다. 앨리스와 클래식 애호가가 각각 피터의 바로 왼쪽에 있다는 조건, 아널드의 재즈 취향, 록과 팝 애호가의 인접 관계 등을 함께 만족시켜야 하며, 기사는 해답이 하나뿐이라고 명시한다.

🧾 핵심 주장 / 시사점

• 커넥션스에서의 빠른 발전과 공간 추론의 약점이 함께 나타나므로, AI의 능력은 문제 유형별로 구분해 해석할 필요가 있다.
• ARC-AGI의 정답 여부만으로는 일반화 능력을 충분히 설명할 수 없으며, 입력 형식과 모델이 사용하는 규칙도 중요한 판단 근거다.
• 인간의 직관적 오류와 모델의 복잡성 대응 실패를 함께 보면, 퍼즐은 승패 비교뿐 아니라 서로 다른 인지적 취약점을 드러내는 도구가 된다.

✅ 액션 아이템

• 커넥션스의 성적 향상과 공간 추론의 약점을 함께 고려해 AI 능력을 문제 유형별로 해석할 필요가 있음.
• 변형 문제와 ARC-AGI를 평가할 때 정답률과 함께 조건 변화에 대한 적응, 입력 형식, 규칙의 일반화를 살필 필요가 있음.
• 애플 연구의 6개 또는 6명 이상 조건에서 나타난 실패를 검토할 때 복잡성 증가와 언어 모델 고유의 추론 한계를 구분할 필요가 있음.

❓ 열린 질문

• 커넥션스에서의 급격한 성적 향상과 공간 추론의 부진은 AI 능력을 평가할 때 어떻게 함께 반영해야 하는가?
• ARC-AGI에서 입력 형식에 따른 성능 차이와 규칙의 일반화 가능성을 정답률과 함께 어떻게 평가할 수 있는가?
• 애플 연구에서 6개 또는 6명 이상으로 복잡성이 증가할 때 나타난 실패는 언어 모델 고유의 추론 한계와 어떻게 구분할 수 있는가?