Farewell Ai2
Quick Summary
Nathan Lambert는 Ai2를 떠나며 Olmo와 Tülu 작업, 공개 과학 문화, 개인적 성장, 그리고 AI 생태계에서 독립적·공개적 연구 기관이 갖는 영향력을 회고한다.
🖼️ 인포그래픽
🖼️ 4컷 인포그래픽
💡 한 줄 요약
Nathan Lambert는 Ai2를 떠나며 Olmo와 Tülu 작업, 공개 과학 문화, 개인적 성장, 그리고 AI 생태계에서 독립적·공개적 연구 기관이 갖는 영향력을 회고한다.
📌 핵심 요약
- 저자는 Allen Institute for AI(Ai2)를 떠나며, 성능 최전선에 항상 있지는 않았던 Olmo 계열 작업이 왜 AI 생태계에 영향을 미쳤는지를 되짚는다.
- Ai2에 보낸 작별 메시지에서 그는 우연히 합류한 과정, 연구 문화, 동료와 지원 조직에 대한 감사, 그리고 학계와 산업 사이에 놓인 Ai2의 희귀한 위치를 강조한다.
- 그는 Ai2에서 Olmo, Tülu 2, Tülu 3, RewardBench, RLHF 관련 글과 책, Interconnects 활동을 병행하며 자신의 경력이 성장과 실행의 결합이었다고 설명한다.
- Berkeley에서 AI로 방향을 바꾸고 HuggingFace에서 RLHF 글로 주목받은 뒤 Ai2에 합류한 경로를 통해, 큰 성과에는 관계 형성, 타이밍, 팀의 실행력, 공개적 설명 능력이 함께 필요하다고 말한다.
- 마지막으로 그는 공개 과학자의 역할을 프런티어 모델 변화에 대한 명료한 설명, 다양하고 활기 있는 공개 모델 생태계 조성, 그리고 같은 사명을 이어갈 사람과 기관을 만드는 일로 정리한다.
🧩 주요 포인트
- 저자는 Allen Institute for AI(Ai2)를 떠나며, 성능 최전선에 항상 있지는 않았던 Olmo 계열 작업이 왜 AI 생태계에 영향을 미쳤는지를 되짚는다.
- Ai2에 보낸 작별 메시지에서 그는 우연히 합류한 과정, 연구 문화, 동료와 지원 조직에 대한 감사, 그리고 학계와 산업 사이에 놓인 Ai2의 희귀한 위치를 강조한다.
- 그는 Ai2에서 Olmo, Tülu 2, Tülu 3, RewardBench, RLHF 관련 글과 책, Interconnects 활동을 병행하며 자신의 경력이 성장과 실행의 결합이었다고 설명한다.
- Berkeley에서 AI로 방향을 바꾸고 HuggingFace에서 RLHF 글로 주목받은 뒤 Ai2에 합류한 경로를 통해, 큰 성과에는 관계 형성, 타이밍, 팀의 실행력, 공개적 설명 능력이 함께 필요하다고 말한다.
- 마지막으로 그는 공개 과학자의 역할을 프런티어 모델 변화에 대한 명료한 설명, 다양하고 활기 있는 공개 모델 생태계 조성, 그리고 같은 사명을 이어갈 사람과 기관을 만드는 일로 정리한다.
🧠 상세 정리
1. Ai2를 떠나며 던지는 핵심 질문
글은 Nathan Lambert가 Allen Institute for AI(Ai2)를 떠난다는 선언으로 시작한다. 그는 Ai2에서 Olmo 모델 작업을 하며 성장하고 배우고 넓은 영향을 남길 수 있었다고 말한다. 동시에 이 글의 목적은 단순한 작별 인사가 아니라, 성능 면에서 항상 최전선에 있지 않았던 작업들이 왜 영향력을 가질 수 있었는지를 돌아보는 데 있다. 즉 그는 오늘날 AI에서 영향력을 만드는 길이 오직 최고 벤치마크 성능만으로 결정되지 않으며, 공개성, 설명, 팀 문화, 생태계 형성도 중요한 경로가 될 수 있음을 자신의 경험으로 설명하려 한다.
2. 회사에 보낸 작별 인사와 Ai2 문화에 대한 감사
저자는 먼저 Ai2 구성원들에게 보낸 작별 메시지를 공유한다. 그는 2023년 ICML 하와이에서 Luca Soldaini를 만나 Ai2에 합류할 가능성을 알게 되었고, 공개 post-training 작업을 크게 발전시킬 수 있겠다는 생각에 제안을 받아들이는 것이 자연스러웠다고 회상한다. Ai2의 환경은 따뜻하고 흥미로웠으며, 그곳의 과학 문화는 개인이 아니라 많은 사람이 함께 만들어낸 결과였다고 강조한다. 그는 연구팀뿐 아니라 Legal, IT, Comms, Office 팀처럼 연구가 가능하도록 뒷받침한 조직에도 감사를 전하며, 눈에 잘 띄지 않는 지원 업무가 목표 달성에 필수적이었다고 말한다.
3. Ai2의 사명과 독립적 공개 연구의 의미
저자는 Ai2를 떠나더라도 Ai2의 사명에 대한 기대는 오히려 더 커졌다고 밝힌다. 그가 보기에 Ai2는 학계와 산업 사이의 드문 위치에서, 우리 시대의 가장 중요한 기술을 탐구하고 영향력을 미칠 수 있는 기관이다. 특히 공개적으로 연구하고 공유하는 방식은 AI 기술이 이익을 얻을 수 있는 사람들에게 안전하게 확산되도록 하는 최선의 방법이라고 본다. 그는 AI가 점점 더 지정학적이고 사회적으로 파괴적이며 경제의 중심이 되는 상황에서, Ai2가 야심을 잃지 말고 AI 최전선과 분야의 가장 큰 문제에 계속 독립적 목소리를 내야 한다고 요청한다.
4. 성과의 배경: 집중, 공개, 그리고 선택
Ai2에서의 마지막 2년 동안 저자는 Olmo를 최우선 과제로 삼았고, Interconnects에 꾸준히 글을 쓰며, ATOM을 위한 주말 집중 작업과 RLHF 책 작업까지 병행했다. 그는 자신이 일에 몰두했지만 잠이나 전반적 건강을 잃는 방식은 아니었고, 장기적으로 지속 가능한 접근이었다고 설명한다. 또한 의미 없는 일에는 단호히 ‘아니오’라고 말하고, 한 작업이 세상에 공개되도록 끝까지 밀어붙였기 때문에 중간 규모의 실패한 프로젝트가 거의 없었다고 말한다. 이 경험은 시간이 많아서가 아니라 올바른 문제와 환경을 찾는 것이 더 어렵다는 점, 그리고 많은 사람이 자신의 작업을 공개하거나 지속적으로 주제를 밀고 갈 수 없는 환경에 놓여 있다는 점을 보여준다.
5. Berkeley에서 HuggingFace까지: Ai2 이전의 성장 경로
저자는 Ai2에서의 성취가 실행의 이야기이면서 동시에 개인적 성장의 이야기였음을 보이기 위해 자신의 경로를 되짚는다. 그는 학부에서 전기공학을 공부했고 UC Berkeley EECS 박사 과정에는 MEMS를 연구하러 들어갔지만, 2017년 Berkeley에 도착한 뒤 AI가 자신이 해야 할 분야라고 느꼈다. 초기에 유명 교수들에게 지도를 요청했지만 거절당했고, 이후 Sergey Levine의 포스트닥에게 조언받을 기회를 얻으며 AI 논문과 연구 자금 확보를 위해 애썼다. 2022년 박사 과정 말에는 BAIR 건물과 학과 내 협업에 접근할 수 있게 되었지만, 그 길은 순탄하지 않았다고 말한다.
6. HuggingFace, RLHF 글, 그리고 Ai2 합류
박사 이후 그는 FAIR나 Google Brain 같은 산업 연구 환경을 원했지만, 지적 자유와 좋은 조건을 함께 제공하는 자리로 HuggingFace가 맞아 보였다고 설명한다. 2022년 5월 HuggingFace에 합류한 뒤 ChatGPT가 나오기 전까지는 시간을 제대로 쓰지 못했다고 표현하지만, 이후 자신의 RL 배경을 활용해 RLHF에 관한 글을 썼고 이 글이 널리 퍼졌다. HuggingFace는 이 성공을 바탕으로 그가 팀을 만들도록 했고, 그는 2023년에 NLP와 언어 모델을 배우며 초기 커뮤니티를 형성했다. 그러나 큰 시차가 있는 원격 근무로 번아웃을 겪었고, ICML에서 Luca Soldaini를 만나 Ai2 채용 소식을 듣게 되었다.
7. RewardBench, Tülu, Olmo와 팀 단위의 성과
Ai2에 들어온 뒤 그는 처음에는 원격으로 일하며 RewardBench라는 보상 모델 평가를 만들었고, 이는 견실한 성공이었지만 곧 공개될 첫 Olmo만큼 큰 파급은 아니었다고 평가한다. 그는 Ai2가 모델을 잘 공개하도록 돕고 Tülu 2 프로젝트가 자리 잡는 데 기여했으며, Tülu 2를 공개적으로 70B 규모에서 DPO를 잘 수행한 첫 모델로 설명한다. 이후 첫 Olmo 논문에는 기본적인 post-training과 도움을 통해 참여했고, 자신이 어떤 프로젝트가 실제로 중요한지 주의를 기울이는 능력이 있었다고 말한다. 2024년 가을에는 Llama 3의 post-training을 자체 base model로 넘어서려는 Tülu 3 프로젝트를 이끌었고, 이 과정에서 RLVR라는 표현을 논문에서 제시할 만큼 팀 사기와 실행 속도가 높았다고 회상한다.
8. 성공, 지연, 인정, 그리고 공개 설명의 힘
저자는 Tülu 3와 Olmo 2 post-training을 완수하기 위해 엄청난 조율을 했고, 회사에서 누구보다 많은 Slack 메시지를 보내 ‘The Cat Herder’라는 상을 받았다고 말한다. 2025년에는 Tülu 3에서 비슷한 작업을 했음에도 reasoning models에 너무 느리게 반응했다고 인정하며, 원래 2025년 6~7월에 Olmo 3를 내고 싶었지만 계획대로 되지는 않았다고 설명한다. 그럼에도 더 큰 모델을 학습할 기회를 얻었고 결과적으로 성공적으로 맞아떨어졌다고 본다. 그는 자신이 알려진 성과의 절반은 실제 결과이고 나머지는 관계와 방향을 쌓는 과정이었다며, 큰 성공에는 보통 1년가량의 신뢰 형성과 추진력이 필요하다고 강조한다.
9. 공개 과학자의 역할과 앞으로의 방향
글의 후반부에서 저자는 Ai2와 Interconnects에서 자신의 역할을 세 가지 임무로 요약한다. 첫째는 프런티어 모델이 어떻게 진화하는지 명료하게 설명하여 더 넓은 AI 생태계의 신뢰 형성에 기여하는 것이다. 둘째는 권력 집중과 프런티어 안전 연구의 편협성을 완화하기 위해 활기 있고 다양한 공개 모델 생태계를 만드는 것이며, 그는 이 동기가 3~4년 동안 자신을 움직였고 위험은 사라지지 않았다고 말한다. 셋째는 이러한 사명을 이어갈 사람과 아이디어, 기관을 만드는 일로, AI는 한 사람이 해결할 수 없는 큰 문제이기 때문에 같은 생각을 가진 사람들을 끌어모을 브랜드와 제도가 필요하다고 본다.
🧾 핵심 주장 / 시사점
- 이 글에서 영향력은 단순히 최고 성능 모델을 만드는 능력이 아니라, 중요한 문제를 고르고 공개적으로 설명하며 팀과 생태계가 함께 움직이도록 만드는 능력으로 제시된다.
- 저자는 Ai2의 가치를 개별 연구자의 업적보다 더 넓은 연구 문화와 공개 생태계 형성에서 찾으며, 독립적 기관이 AI의 지정학적·사회적·경제적 중요성이 커지는 상황에서 더욱 필요하다고 본다.
- 개인의 경력 서사는 우연한 기회, 꾸준한 관계 형성, 공개 글쓰기, 팀 단위 실행이 결합될 때 큰 성과로 이어질 수 있음을 보여주며, 동시에 타이밍과 환경 선택의 중요성을 드러낸다.
✅ 액션 아이템
- Nathan Lambert가 제시한 Olmo, Tülu 2, Tülu 3 사례를 성능 기준이 아니라 공개성·실행성·생태계 확산 관점에서 정리한다.
- Ai2의 작별 메시지에서 드러난 연구 문화와 동료·지원 조직, 학계-산업 사이의 위치를 함께 반영해 독립적 공개 연구기관의 역할을 정의한다.
- Berkeley에서 AI로 전환한 뒤 HuggingFace RLHF 글 반향, Ai2 경력, Interconnects 활동을 연결해 성과 요건의 상호작용을 점검한다.
❓ 열린 질문
- 성능 최전선이 아닌 Olmo·Tülu 프로젝트가 AI 생태계에 미친 구체적 파급력은 무엇인가?
- 관계 형성, 타이밍, 팀 실행력, 공개적 설명력 중 어떤 요소가 공개 과학자의 영향력에 가장 결정적일 것인가?
- 학계와 산업 사이에서 Ai2 같은 독립·공개 기관은 어떤 지속 조건에서 사명을 이어갈 수 있는가?