🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

이 글은 AI 연구개발 자동화를 더 정확히 예측하려면 계산량·벤치마크 같은 간접 지표만 보지 말고, 실제 AI R&D 업무를 세분화한 ‘AI R&D용 O*NET’이 필요하다고 제안한다.

📌 핵심 요약

• AI 타임라인 예측은 여전히 그래프 추세를 연장하는 방식에 크게 의존하지만, 현재 주로 쓰이는 계산량·데이터·에너지·작업 시간 지표는 AI가 실제 AI 연구를 얼마나 자동화할 수 있는지 직접 보여주지 못한다.
• 저자들은 기존 벤치마크와 METR의 ‘time horizon’ 같은 접근이 유용하더라도, 여러 프로젝트 조율, 대규모 코드베이스 처리, 불명확한 성공 기준 등 실제 연구 업무의 복잡성을 충분히 포착하지 못한다고 지적한다.
• 경제학에서 직업을 과업 단위로 나누는 O*NET이 자동화 영향을 분석하는 데 쓰이듯, AI 연구개발에도 더 좁고 세밀한 과업 분류 체계가 필요하다는 것이 글의 핵심 제안이다.
• 저자들은 프런티어 AI 회사의 연구 워크플로를 여섯 범주와 60개 이상의 과업으로 나누고, 각 과업에 대해 현재 AI가 어느 정도 자동화하는지를 0~5점 척도로 평가하는 첫 번째 분류안을 제시한다.
• 이 분류 체계는 벤치마크 결과 해석, 연구자 업무별 AI 활용도 조사, 내부 AI 사용 로그 분류, 모델 카드와 위험 보고서의 공통 언어 정립에 도움이 되지만, 그 자체만으로 자동화 시점을 예측하기에는 충분하지 않다고 강조한다.

🧩 주요 포인트

1. AI 타임라인 예측은 여전히 그래프 추세를 연장하는 방식에 크게 의존하지만, 현재 주로 쓰이는 계산량·데이터·에너지·작업 시간 지표는 AI가 실제 AI 연구를 얼마나 자동화할 수 있는지 직접 보여주지 못한다.
2. 저자들은 기존 벤치마크와 METR의 ‘time horizon’ 같은 접근이 유용하더라도, 여러 프로젝트 조율, 대규모 코드베이스 처리, 불명확한 성공 기준 등 실제 연구 업무의 복잡성을 충분히 포착하지 못한다고 지적한다.
3. 경제학에서 직업을 과업 단위로 나누는 O*NET이 자동화 영향을 분석하는 데 쓰이듯, AI 연구개발에도 더 좁고 세밀한 과업 분류 체계가 필요하다는 것이 글의 핵심 제안이다.
4. 저자들은 프런티어 AI 회사의 연구 워크플로를 여섯 범주와 60개 이상의 과업으로 나누고, 각 과업에 대해 현재 AI가 어느 정도 자동화하는지를 0~5점 척도로 평가하는 첫 번째 분류안을 제시한다.
5. 이 분류 체계는 벤치마크 결과 해석, 연구자 업무별 AI 활용도 조사, 내부 AI 사용 로그 분류, 모델 카드와 위험 보고서의 공통 언어 정립에 도움이 되지만, 그 자체만으로 자동화 시점을 예측하기에는 충분하지 않다고 강조한다.

🧠 상세 정리

1. AI 타임라인 예측의 핵심 약점

글은 AI 타임라인 예측에서 가장 널리 쓰이는 방법 중 하나가 단순한 추세 외삽이라고 설명한다. 전문가들은 수치 모델이나 되먹임 효과를 포함한 분석도 사용하지만, 실제로는 그래프에 선을 긋고 그 선을 미래로 연장하는 방식이 중요한 기반으로 남아 있다. 문제는 이런 추세가 측정하기 쉬운 것에 치우친다는 점이다. 저자들이 정말 알고 싶은 것은 계산량이나 벤치마크 점수 자체가 아니라, AI가 AI 연구를 어느 정도 직접 수행할 수 있는지다. 특히 AI 연구가 완전히 자동화되면 AI 발전이 급격히 빨라질 수 있기 때문에, 현재 어디까지 왔는지를 더 직접적으로 파악할 필요가 있다고 본다.

2. 계산량과 작업 길이 지표의 한계

저자들은 기존 예측에서 쓰이는 대표적 대리 지표로 계산량, 데이터, 에너지 같은 AI 투입 요소를 든다. 예를 들어 ‘effective compute’를 미래로 연장해 AI 연구 자동화 시점을 추정하는 접근이 있지만, 이런 투입 요소는 능력의 거친 대리 지표일 뿐이다. 어느 정도의 계산량이 세계 최상위 AI 연구자 수준과 맞먹는지 판단하려면 결국 상당한 직관에 의존하게 된다. 또 다른 접근은 숙련된 인간이 걸리는 시간을 기준으로 AI가 처리할 수 있는 작업의 길이를 추적하는 것이다. 그러나 작은 GPT-2 모델을 파인튜닝하는 능력과, 여러 연구 프로젝트를 동시에 조율하고 거대한 코드베이스와 모호한 성공 기준을 다루는 능력은 같은 층위의 문제가 아니라고 글은 지적한다.

3. 실제 AI R&D 과업 목록이 필요한 이유

글은 AI R&D가 실제로 무엇으로 구성되는지 모르면, 측정하기 쉬운 것만 외삽하는 ‘streetlighting’에 빠질 위험이 있다고 말한다. 과업 목록이 있으면 현재 조사하고 있는 영역과 놓치고 있는 영역을 구분할 수 있다. 벤치마크 점수가 올라갈 때도 그 향상이 실제 연구 업무의 어떤 부분을 덮고, 어떤 부분은 건드리지 못하는지 해석할 수 있다. 또한 단순한 점수나 계산량 대신, 자동화된 과업의 비율이나 각 과업에서 연구자가 얻는 생산성 향상 같은 새로운 추세를 만들 수도 있다. 저자들은 이런 목적을 위해 프런티어 AI 회사의 연구 워크플로를 포괄하는 첫 번째 과업 분류안을 제시한다고 설명한다.

4. 기존 O*NET과 AI R&D 전용 분류의 차이

저자들은 경제학에서 자동화 영향을 분석할 때 직업을 과업으로 나누는 표준 도구로 ONET을 소개한다. ONET은 미국 경제의 약 1,000개 직업과 그 직업에 필요한 과업과 기술을 설명하며, LLM이 노동자에게 미칠 영향, GDP 성장 영향, 지식 노동 벤치마크 설계, 원격 업무 자동화 결과 예측 같은 연구에 활용될 수 있다. 하지만 기존 O*NET은 AI 연구 자동화를 추적하기에는 너무 추상적이다. 예를 들어 ‘Computer and Information Research Scientists’의 과업 중 하나인 ‘컴퓨터 하드웨어와 소프트웨어와 관련된 문제를 분석해 해결책을 개발한다’는 설명은 거의 모든 AI 엔지니어 업무에 적용될 만큼 넓다. 따라서 AI R&D처럼 새롭고 특수한 분야에는 더 좁은 범위의 세밀한 분류 체계가 필요하다는 것이 글의 주장이다.

5. AI R&D용 O*NET이 제공할 수 있는 활용처

AI R&D 전용 O*NET은 시간이 지나며 자동화되는 과업의 비율을 추적하는 데 쓰일 수 있다. 또한 특정 벤치마크 결과가 실제 연구 업무의 어떤 복잡성을 반영하는지, 또는 반영하지 못하는지 판단하는 기준이 될 수 있다. 저자들은 벤치마크가 현실의 복잡성을 충분히 담지 못하는 현상이 오래전부터 있었기 때문에, 벤치마크 결과를 실제 현장의 업무 구조와 나란히 놓고 해석하는 일이 중요하다고 본다. 이 분류는 AI 연구자들을 대상으로 업무별 생산성 향상을 조사하거나, 내부 AI 사용 로그를 ‘실험 코드 작성’이나 ‘다음 실험 결정’ 같은 용도로 분류하는 데도 도움이 될 수 있다. 더 넓게는 모델 카드나 위험 보고서에서 AI가 어디에 도움을 주고 어디에는 부족한지 더 공통된 언어로 설명하게 해줄 수 있다.

6. 첫 번째 분류안의 구성과 예시

저자들이 제시한 첫 번째 제안은 문헌 검토와 브레인스토밍을 바탕으로 만들어졌으며, 프런티어 AI 연구소의 대표적 업무를 60개 이상의 과업으로 나눈다. 이 과업들은 AI 연구 사이클의 서로 다른 부분에 해당하는 여섯 개 범주로 묶인다. 각 범주는 입력과 출력을 가지며, 예를 들어 ‘Run’ 범주는 학습 실행이나 AI 시스템 배포처럼 실제 실행 단계의 업무를 다룬다. 이 범주의 입력은 벤치마크, 보조 스캐폴드, 관련 인프라일 수 있고, 출력은 최종 결과 집합일 수 있다. 저자들은 이처럼 추상적인 ‘하드웨어와 소프트웨어 문제 해결’보다 훨씬 낮은 수준으로 업무를 쪼개야 실제 자동화 상태를 볼 수 있다고 강조한다.

7. 실행 단계와 자동화 평가 척도

글은 ‘Run’ 범주를 예로 들어 세부 분류 방식을 보여준다. 이 범주는 실행 중인 학습·강화학습·평가 런을 모니터링하고 문제가 생기면 건강한 궤도로 되돌리는 ‘Monitoring runs’, 대규모 클러스터를 건강하고 효율적으로 유지하며 빠르게 복구하는 ‘Hardware infrastructure operations’, 프로덕션 서빙을 안정적이고 성능 좋고 복구 가능하게 유지하는 ‘Inference reliability engineering’으로 나뉜다. 각 과업에는 현재 AI가 그 일을 얼마나 자동화하는지에 대한 숫자 평가가 붙는다. 0은 AI가 쓰이지 않거나 아무 도움을 주지 않는 상태이고, 5는 거의 또는 전혀 인간 개입 없이 끝까지 자율적으로 수행하는 상태다. 중간 단계는 단순 보조, 의미 있는 지원, 가까운 인간 지시 아래 큰 부분 수행, 고수준 요청만으로 대부분 수행하는 수준을 구분한다.

8. 분류 체계의 한계와 다음 단계

저자들은 자신들의 제안이 매우 초기적인 시도이며, 평가 역시 주관적일 수밖에 없다고 분명히 말한다. 더 나은 내부 벤치마크나 평가 방식이 개발될 수 있고, 시간이 지나 AI가 개선되면 과업별 점수도 다시 매겨야 한다. 또한 어떤 과업이 실제로 지능 폭발을 촉발하는 데 필수적인지, 혹은 AI끼리 일하는 환경에서는 인간 연구자에게 필요한 일부 과업이 더 이상 필요하지 않을 수도 있다는 점도 고려해야 한다. 다음 단계로는 빠진 과업을 추가하고, 설명을 더 정확하게 다듬고, 분류가 서로 겹치지 않으면서 전체를 포괄하도록 개선하는 일이 제시된다. 저자들은 모델 개발 단계를 기준으로 재구성하는 방식도 생각했지만, 실험 코드 작성처럼 여러 단계에 반복되는 과업과 자연스럽게 들어맞지 않는 과업 때문에 문제가 있다고 설명한다.

🧾 핵심 주장 / 시사점

• AI 연구 자동화를 예측하려면 ‘더 큰 모델’이나 ‘더 긴 작업 수행’ 같은 외부 지표만으로는 부족하며, 실제 연구 업무의 세부 구조를 먼저 정의해야 한다는 문제의식이 핵심이다.
• 이 글의 제안은 새로운 단일 벤치마크를 만들자는 주장이라기보다, 기존 벤치마크·사용 로그·연구자 설문·모델 카드 정보를 같은 업무 언어로 연결하려는 기반 작업에 가깝다.
• 저자들은 AI R&D용 O*NET이 자동화 예측의 충분조건은 아니라고 선을 긋지만, 무엇이 자동화됐고 무엇이 아직 남았는지를 논쟁할 수 있는 공통 좌표계를 제공한다는 점에서 의미를 둔다.

✅ 액션 아이템

• 계산량·데이터·에너지·작업시간 중심 분석만으로는 부족하므로 연구 과업을 여섯 범주 60개 항목으로 나눈 자동화 평가로 전환한다.
• 각 과업별 0~5 점수체계를 적용해 벤치마크 해석, 연구자 활용도 조사, AI 사용 로그 분류의 공통 언어를 정비한다.
• METR time horizon 등 기존 유용 지표를 프로젝트 조율·대규모 코드베이스 처리·성공 기준 불명확성 맥락과 함께 병행해 재해석한다.

❓ 열린 질문

• 여섯 범주 60개 과업 분류가 프로젝트 조율과 코드베이스 규모 변동을 충분히 세밀하게 포착하는지 어떻게 판단할 것인가?
• 각 과업의 0~5 자동화 점수는 불명확한 성공 기준 하에서 어떤 근거와 책임으로 산정할 것인가?
• 벤치마크 결과와 내부 AI 로그 간 괴리가 있을 때 어느 근거를 우선해 자동화 시점 예측을 보정할 것인가?