한 달에 PR 1만 개, 그런데 쓰레기 코드는 없다
Quick Summary
로런 탠은 그록봇 팀이 한 달에 PR 1만 개 이상을 병합하면서도 되돌린 커밋 비율을 낮춘 배경으로, 주석에 적던 제약을 자동 검사로 옮기고 실제 앱 동작을 검증한 방식을 꼽는다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
로런 탠은 그록봇 팀이 한 달에 PR 1만 개 이상을 병합하면서도 되돌린 커밋 비율을 낮춘 배경으로, 주석에 적던 제약을 자동 검사로 옮기고 실제 앱 동작을 검증한 방식을 꼽는다.
📌 핵심 요점
- 발표 후반 집계에서 그록봇 팀의 월간 병합 PR은 6월 809개에서 10월 19,226개로 늘었다. 같은 기간 되돌린 커밋 비율은 0.98%에서 약 0.47%로 낮아졌다. 다만 도입부의 월간 PR 수치는 후반 집계와 다르다.
- 탠은 코드베이스를 에이전트의 ‘기억’이라고 부른다. 커서에서는 화면 깜빡임을 피하려고 넣은 타이머가 공용 모듈로 복사됐고, 10월 17일에는 타이머가 183개에 이르렀다. 탠은 임시방편을 정당화한 주석까지 후속 에이전트의 판단에 영향을 줬다고 설명한다.
- 그록봇 팀의 주석은 65,824개에서 1,227개로 줄었다. 팀은 타이머 사용을 린트로 차단하고, 일렉트론의 메인과 렌더러 사이에서 금지한 의존성도 자동으로 검사했다. 후속 에이전트가 같은 실수를 하면 검사 단계에서 바로 드러난다.
- 에이전트가 앱을 직접 실행하고, 사람은 영상·스크린샷·다이어그램으로 변경 결과를 살폈다. 하루 토큰의 70%를 패치 검증에 쓴다는 수치는 발표에서 인용한 엔지니어 개인의 사례다. 탠도 자신의 토큰 대부분을 검증에 쓴다고 밝혔다.
- 팀 집계에서 콜드 실행은 39% 빨라졌지만 대기 중 메모리 사용량은 12%, CPU 사용량은 100% 늘었다. PR 처리량, 변경을 되돌리는 빈도, 사용자가 체감하는 성능은 각각 따로 살펴야 한다.
🧩 배경과 문제 정의
로런 탠은 똑같은 4,000줄짜리 PR도 자신이 쓰면 역작으로, 남이 쓰면 질 낮은 코드로 보기 쉽다는 농담으로 발표를 연다. 에이전트 덕분에 누구나 대량의 코드를 작성할 수 있다면, 엔지니어에게 남는 과제는 그 코드가 실제로 어떻게 동작하는지 판단하는 일이다. 영상은 그록봇 팀이 여섯 달 동안 코드 구조와 검증 방식에 시간을 쓴 이유를 따라간다.
🕒 시간순 섹션별 상세정리
1. 대량의 PR에서 품질을 어떻게 판단할까
- 영상은 엔지니어 한 명의 10월 PR이 3,127개였다는 수치로 시작한다. 이어 팀의 되돌린 커밋 비율이 낮아진 시기에 주석도 6만 5천 개 이상에서 약 1,200개로 줄었다는 의문을 던진다. [00:37]
- 탠은 같은 크기의 PR을 작성자에 따라 다르게 평가하는 모습을 예로 들고, 에이전트가 늘린 코드 생산량에 맞춰 품질을 지키는 일을 엔지니어의 과제로 제시한다. [01:39]
2. 에이전트가 다음에도 보게 될 코드를 먼저 고친다
- 탠의 역피라미드에서 가장 넓은 층은 API 설계·아키텍처·리팩터링을 포함한 코드베이스다. 이어 정적 분석과 테스트, 검증, 글로 쓴 지시, 사람의 리뷰 순으로 놓인다. 코드로 만든 검사는 위반한 변경을 그 자리에서 멈출 수 있다. [03:08]
- 탠이 코드베이스를 ‘기억’이라 부르는 이유는 다음 에이전트가 기존 구현을 저장소의 관례로 읽기 때문이다. 임시방편도 한 번 복사될 때마다 다음 변경에서 다시 쓰일 가능성이 커진다. [03:52]
3. 타이머 하나가 관례가 된 이유를 찾는다
- 커서에서 화면 깜빡임을 피하려고 넣은 타이머가 공용 모듈로 복사됐고, 이후 타이머는 183개로 늘었다. 탠은 VS 코드와 리액트의 동작 방식이 맞물리는 문제를 타이머로 덮으면서 앱 성능까지 나빠졌다고 보여준다. [04:39]
- 그록봇 팀은 7월 31일 65,824개였던 주석을 발표 시점에 1,227개로 줄였다. 타이머 사용은 린트가 막고, 주석에 담긴 실제 제약은 타입이나 검사로 표현하도록 했다. [05:53]
4. 구조로 막고 실행 결과로 확인한다
- 그록봇 팀의 프레임워크 듄에서는 최상위 폴더가 일렉트론 메인과 렌더러의 경계를 표시한다. 의존성 분석기와 린트가 경계를 어기는 임포트를 막아, 리뷰어가 매번 같은 실수를 찾아낼 필요가 줄었다. [06:53]
- 에이전트는 기능 지도를 참고해 앱을 실행하고, 사람은 영상과 스크린샷 등으로 동작을 확인한다. 팀은 여러 기기에 걸친 알림 흐름에 TLA+를, 가상화 라이브러리 알고리즘에 린을 적용하는 실험도 소개했다. [08:05]
- 발표에서 인용한 한 엔지니어는 처음에는 병합 뒤 미묘한 버그를 고치는 데 며칠을 썼고, 여섯 달 뒤에는 하루 토큰의 70%를 패치 검증에 쓴다고 밝혔다. [08:26]
5. 처리량과 제품 성능을 함께 읽는다
- 후반 집계에서 월간 병합 PR은 6월 809개에서 10월 19,226개로 늘었다. 10월에 PR을 올린 사람은 227명이었고, 되돌린 커밋 비율은 6월 0.98%에서 8월 이후 약 0.47%에 머물렀다. [08:57]
- 5월과 발표 시점을 비교하면 콜드 실행은 39% 빨라졌고 대기 중 메모리와 CPU 사용량은 각각 12%, 100% 늘었다. 탠도 성능이 개선됐다는 평가의 범위를 ‘여러 면에서’로 한정했다. [09:11]
6. 릴리스에서 찾은 버그와 사람이 맡은 판단
- 릴리스 사례 한 건에서 팀이 찾은 버그 50개 가운데 새로 생긴 것은 3개, 기존에 있던 것은 47개였다. 영상은 팀 자체 집계라는 점을 밝히고, 탠도 이 과정에 사람이 계속 관여한다고 보여준다. [10:43]
- 탠은 반복되는 교정을 검사로 남기고 검증에 더 많은 토큰을 쓰라고 정리한다. 주석에 적던 약속을 검사로 옮겼다는 답을 제시한 뒤, 마지막 슬라이드에서 첫 농담을 ‘모든 코드는 슬롭이다. 당신 것만 빼고’로 바꾼다. [11:09]
🧾 결론
- 이 사례에서 주석 수가 줄어든 이유는 팀이 제약을 기록하는 방식을 바꿨기 때문이다. 타이머를 쓰지 말라는 약속은 위반한 변경을 막는 린트 규칙이 됐다.
- 자동 검사가 반복되는 실수를 걸러내자 사람의 리뷰 대상도 달라졌다. 리뷰어는 앱을 실행한 영상을 보고 화면이 실제로 어떻게 동작하는지 판단할 수 있었다.
- 발표 수치가 보여주는 범위는 PR이 급증한 기간에 되돌린 커밋의 비율이 낮아졌다는 데까지다. 제목의 ‘쓰레기 코드는 없다’를 모든 결함이 사라졌다는 측정 결과로 읽기는 어렵다.
📈 투자·시사 포인트
- 코딩 에이전트의 생산성을 평가할 때는 병합 PR 수와 함께 되돌린 커밋 비율, 안정 버전 배포 주기를 볼 만하다. 그록봇 팀은 안정 버전을 하루 한 번꼴로 배포했다고 밝혔다.
- 개발 도구의 가치를 가늠할 때는 코드 생성 이후의 비용도 중요하다. 발표에 나온 토큰 사용 사례를 보면 패치가 의도대로 동작하는지 확인하는 일이 사용량의 큰 부분을 차지할 수 있다.
- 성능 개선 주장을 평가할 때는 시작 속도와 대기 상태의 자원 사용량을 구분해야 한다. 같은 제품의 같은 비교표에서도 두 지표는 서로 다른 방향으로 움직였다.
⚠️ 불확실하거나 확인이 필요한 부분
- 도입부는 팀의 월간 병합 PR을 1,926개라고 전하고, 후반부는 10월 병합 PR을 19,226개라고 전한다. 제목과 맞는 수치는 후반 집계지만, 전사만으로는 두 값이 다른 이유를 확인할 수 없다.
- 수치는 팀이 직접 집계했고 발표 말미에는 자사 제품 소개가 붙었다. 되돌린 커밋 비율만으로는 병합 뒤 발견한 결함 수나 수정에 들인 시간, 주석 정책만의 효과를 알 수 없다.
- 탠은 형식 검증으로 버그를 찾았다고 보고하면서도 아직 실험 중이라고 밝혔다. 릴리스 때 버그 50개를 찾았다는 수치 역시 슬라이드에 제시된 한 차례의 결과다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 최근 리뷰에서 반복해서 지적한 실수 하나를 고르고, 다음 변경에서 같은 실수를 잡을 수 있도록 타입·린트·테스트 중 적합한 검사로 옮긴다.
- 주석을 정리할 때는 그 주석이 설명하던 제약을 일부러 어긴 변경이 실제로 검사에서 걸리는지 확인한다.
- 화면 동작을 바꾸는 PR 하나에 사용자가 해당 기능에 도달하는 경로와 실행 영상을 첨부해 리뷰어가 기대 동작과 대조할 수 있게 한다.
- 팀 성과를 인용할 때는 월별 PR 집계의 차이를 표시하고, 되돌린 커밋 비율과 함께 콜드 실행·대기 메모리·대기 CPU 수치를 기록한다.
❓ 열린 질문
- 10월 병합 PR 수와 되돌린 커밋 비율을 계산할 때 팀이 사용한 집계 범위와 분모는 무엇이었을까?
- 자동 검사 도입 뒤, 병합된 PR의 결함을 찾아 고치는 데 걸린 시간은 어떻게 달라졌을까?
- 그록봇 팀이 남긴 주석 1,227개에는 어떤 정보가 담겼고, 팀은 어떤 기준으로 이를 남겼을까?