Kids outlearn AI—and we still don’t know why

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

아이들은 대규모 언어 모델보다 훨씬 적은 언어 데이터로 모국어를 배우며, BabyLM은 이 데이터 효율성 격차의 원인을 소규모 학습 실험으로 탐구한다.

📌 핵심 요약

• Claude, DeepSeek, OpenAI의 GPT 모델은 유창한 언어를 구사하지만, 대규모 언어 모델은 사람이 모국어를 익히며 접하는 것보다 10만 배 많은 단어를 학습에 사용할 수 있다.
• Llama 3.1은 사전학습에 15조 토큰을 사용했으며, 원문은 쉽게 확보할 수 있는 인터넷 학습 데이터가 이르면 2030년대에 고갈될 가능성을 제시한다.
• 유아는 대체로 1천만~3천만 단어를 듣고 문법적으로 올바른 문장을 만들기 시작하지만, 마이클 프랭크는 GPT-2에 3천만 단어를 학습시켜도 같은 수준에 도달하지 못한다고 설명한다.
• 대규모 언어 모델의 구문 학습 성공은 통계만으로 언어를 배울 수 없다는 주장에 도전하지만, 아이들이 적은 경험으로 언어를 습득하는 원리는 여전히 밝혀지지 않았다.
• BabyLM은 1억 단어 또는 유아 규모인 1천만 단어로 모델을 훈련하고 문법 평가를 수행한다. 제공된 원문은 교육과정 학습을 소개하는 도중 끝나므로 해당 접근법의 구체적인 성과는 확인할 수 없다.

🧩 주요 포인트

1. 학습 규모 확대와 데이터 고갈 가능성 → 데이터 효율성 개선이 기존 성능 향상 방식의 한계를 다루는 연구 과제로 부상한다.
2. 대규모 언어 모델의 구문 학습과 유아의 적은 언어 경험 → 통계적 학습의 가능성을 입증하는 문제와 인간의 습득 원리를 설명하는 문제를 구분해야 한다.
3. BabyLM의 1억·1천만 단어 제한과 문법 평가 → 아동 언어 습득 가설을 모델에 반영하고 결과를 비교하는 실험 기반을 제공한다.

🧠 상세 정리

1. 유창한 언어 능력 뒤에 있는 데이터 효율성 격차

원문은 오랫동안 인간 아이만 가능했던 유창한 인간 언어의 습득이 이제 컴퓨터에서도 나타났다는 변화로 시작한다. Claude, DeepSeek, OpenAI의 GPT 모델은 사람처럼 보일 정도로 유창하고 유연하게 언어를 사용하지만, 그 능력을 학습하는 데 필요한 데이터는 인간의 경험 규모를 크게 벗어난다. 대규모 언어 모델은 사람이 모국어를 익히는 동안 접하는 것보다 10만 배 많은 단어를 처리할 수 있으며, 첫돌 무렵 언어를 이해하기 시작하는 아이와 비교하면 차이는 더욱 크다. 연구자들은 이를 데이터 효율성 격차라고 부르며, 아이들이 훨씬 적은 입력으로 언어를 배우는 이유를 인지과학과 인공지능 설계의 공통 과제로 제시한다.

2. 규모 확대의 성과와 학습 데이터의 한계

지난 10년 동안 언어 모델의 성능 향상은 주로 모델과 학습 규모를 키우는 방식으로 이루어졌다. 공개 가중치 모델인 메타의 Llama 3.1은 특정 용도에 맞게 미세조정하기 전 단계인 사전학습에서 15조 토큰을 사용했다. 조지타운대학교의 이선 고틀리브 윌콕스는 최첨단 모델이 그보다 10배 많은 데이터로 사전학습할 가능성도 있다고 설명하지만, 인터넷에서 확보할 수 있는 데이터에는 한계가 있다. 원문은 쉽게 이용할 수 있는 데이터가 이르면 2030년대에 고갈될 가능성을 언급하며, 규모 확대만으로 성능을 개선하는 방식이 직면할 제약을 짚는다. 반면 언어적 자극이 풍부한 환경의 십 대 이전 아이가 듣는 단어는 약 1억 개이고, 읽기까지 포함해도 20세까지의 경험은 약 3억 단어로 제시된다.

3. 아이의 학습을 연구하는 실용적·과학적 이유

연구자들은 아이들이 언어를 배우는 방식을 역으로 분석해 더 적은 데이터로 학습하는 인공지능을 만들 수 있기를 기대한다. 원문은 이러한 효율성 개선이 영상으로 인공지능을 효과적으로 훈련하거나 소수 언어 공동체를 위한 챗봇을 만드는 데 도움이 될 수 있다고 설명한다. 동시에 인간 학습에 관한 가설을 기계 모델에서 시험하면, 언어 습득을 둘러싼 오랜 인지과학적 질문도 검토할 수 있다. 대표적인 질문은 인간이 언어에 대한 선천적 본능을 갖고 태어나는지, 아니면 경험만으로도 언어를 배울 수 있는지이다. 언어 처리 방식이 인간 생물학의 특수성에서 비롯되는지, 언어의 사용과 학습에 공통으로 작용하는 제약을 반영하는지도 연구 대상으로 제시된다.

4. 적은 입력으로 복잡한 문법을 배우는 수수께끼

성인이 새로운 언어의 시제, 발음, 격, 문법적 성 등을 익힐 때 겪는 어려움과 달리, 아이의 모국어 습득은 대체로 자연스럽게 진행된다. 유아는 보통 약 1천만 단어를 듣고 문법적으로 올바른 문장을 만들기 시작하며, 원문이 제시하는 높은 쪽의 규모도 약 3천만 단어다. 스탠퍼드대학교의 마이클 프랭크는 GPT-2에 3천만 단어를 학습시키면 아이와 같은 언어 능력 대신 의미 없는 문장을 생성하는 결과가 나온다고 설명한다. 특히 인간 언어의 구문에는 재귀적이고 중첩된 구조가 있어 유한한 어휘로 사실상 무한한 생각을 표현할 수 있다. 아이들이 이런 방대한 가능성 가운데 극히 일부만 경험하고도 문법을 습득하는 이유는 여전히 충분히 설명되지 않았다.

5. 선천적 문법 가설과 규칙 기반 인공지능

1950년대 노엄 촘스키는 언어를 조건화와 강화의 결과로 설명한 B. F. 스키너의 견해에 맞서, 아이들이 선천적인 문법 지식을 갖고 태어난다고 주장했다. 그 근거인 자극의 빈곤 논증은 언어, 특히 구문이 너무 복잡하고 아이들의 경험은 너무 제한적이어서 경험이나 통계만으로는 학습을 설명할 수 없다는 생각이다. 생성문법으로 알려진 이 관점은 수십 년간 미국 언어학을 지배했고, 영어 이해와 러시아어 번역을 추진하던 초기 컴퓨터과학 연구에도 큰 영향을 미쳤다. 미국 인공지능 연구자들은 언어 규칙을 프로그램에 직접 명시하는 접근법을 널리 채택했으며, 이는 상징적 인공지능이라는 더 큰 흐름의 일부였다. 그러나 이 방식은 실제 인간 언어를 대규모로 처리하는 모델을 만드는 데 대체로 실패했고, 1970년대 시작된 인공지능 겨울에는 자연어 처리에 대한 관심도 식었다.

6. 신경망의 성공이 바꾼 논쟁과 남겨진 질문

신경망은 이후 다시 주목받기 시작했으며, 2010년대에는 컴퓨터 하드웨어의 가격과 성능 개선, 인터넷의 성장에 힘입어 뚜렷한 성과를 보였다. 2018년과 2019년 등장한 BERT와 GPT-2는 트랜스포머 구조와 수십억 토큰의 학습을 통해 대량 데이터에서 언어를 배우는 방식의 가능성을 보여주었다. 2022년 ChatGPT의 성공은 이러한 변화를 대중에게도 드러냈다. 원문은 대규모 언어 모델이 인간 뇌 자체는 아니지만 통계적 패턴 학습으로 구문을 익히고 문법 시험을 통과한다는 점에서 기존의 강한 회의론에 도전한다고 설명한다. 다만 대량의 언어 표본에서 문법을 배우는 데 성공했다는 사실만으로 아이 수준의 작은 표본에서도 같은 학습이 가능한지는 알 수 없으며, 논의는 이 문제로 이동한다.

7. BabyLM의 출발과 아동 규모의 학습 실험

언어학자이자 데이터 과학자인 알렉스 워스타트는 언어 모델이 인간의 언어 습득을 설명할 수 있다는 주장에 대해 학습 데이터의 규모가 반복적인 반론으로 제기되었다고 회고한다. 그는 과학적 모델이 유익하기 위해 인간을 완벽히 재현할 필요는 없으며, 아동 학습 가설을 모델에 반영해 데이터 격차가 줄어드는지 측정할 수 있다고 보았다. 2022년 8월 워스타트가 이러한 생각을 트위터에 게시하고 인공지능 연구자 레셈 초셴과 논의한 일이 연례 대회 BabyLM의 출발점이 되었다. 대회는 이야기책, 대화, 영화 자막, 쉬운 영어 위키백과, 일반 위키백과, 아이에게 하는 말을 기록한 자료 등으로 구성된 1억 단어 말뭉치를 사용하며, 유아 규모 부문은 1천만 단어로 제한한다. 이후 워크숍과 중국어 소규모 모델 대회 같은 파생 활동도 생기면서, 인간에게 가능한 언어 경험 규모에서 모델을 시험하는 연구가 확장되었다.

8. 문법 평가 방법과 확인 가능한 결과의 범위

BabyLM은 심리언어학에서 인간에게 사용하는 유형의 문법 평가를 모델에도 적용한다. 예를 들어 열쇠를 주어로 삼고 수납장을 수식어 안에 넣은 문장에서, 동사가 복수 주어에 맞는지 또는 가까이 있는 단수 명사에 잘못 일치하는지를 비교한다. 인간이 문법적으로 어긋난 표현에서 느끼는 놀라움은 눈 움직임 등으로 측정할 수 있고, 모델에서는 해당 표현을 얼마나 낮은 확률로 예측하는지 나타내는 놀람도를 사용한다. 원문은 대회가 일부 가정에 의문을 제기했다고 소개하면서, 쉬운 데이터부터 시작해 복잡한 입력으로 넘어가는 교육과정 학습을 사례로 든다. 이 방식은 첫 대회에서 가장 인기 있는 접근법이었다고 설명되지만, 제공된 본문이 해당 설명 도중 끊기므로 효과의 크기나 구체적인 실험 결과까지 판단할 근거는 없다.

🧾 핵심 주장 / 시사점

• 유창한 출력과 높은 데이터 효율성은 별개의 성취이며, 현재 모델의 언어 능력만으로 인간과 유사한 학습 원리를 추론할 수는 없다.
• 통계적 학습이 구문을 습득할 수 있다는 증거는 강화되었지만, 적은 경험으로 학습하는 아이의 능력까지 설명하려면 추가 검증이 필요하다.
• BabyLM의 데이터 제한은 아동 학습에 관한 가설을 비교 가능한 실험으로 옮기는 수단이지만, 제공된 원문만으로 특정 학습법의 우월성을 결론낼 수는 없다.

✅ 액션 아이템

• 언어 모델의 성능 향상 방향을 검토할 때 데이터 효율성과 인터넷 학습 데이터의 고갈 가능성을 함께 고려할 필요가 있음.
• 인간의 습득 원리를 논의할 때 대규모 언어 모델의 구문 학습 성공과 유아의 적은 언어 경험을 구분해 해석할 필요가 있음.
• BabyLM의 교육과정 학습 성과에 대한 판단은 제공된 원문에서 구체적인 결과를 확인할 수 없다는 제약을 반영해 유보함.

❓ 열린 질문

• 유아가 1천만~3천만 단어로 문법을 익히는 데 기여하는 학습 원리는 무엇인가?
• 인터넷 학습 데이터가 이르면 2030년대에 고갈될 가능성에 대응하려면 데이터 효율성을 어떻게 높일 수 있는가?
• BabyLM의 1억 단어 또는 1천만 단어 조건에서 교육과정 학습은 문법 평가 결과에 어떤 영향을 미쳤는가?