How to Build a Multi-Agent Review Swarm

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

How to Build a Multi-Agent Review Swarm를 중심으로, AI 코딩의 핵심 병목은 코드 생성보다 요구사항의 충분한 맥락, 일관된 실행 환경, 명확한 검증 절차에 있으며, 음성 입력은 타이를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. AI 코딩의 핵심 병목은 코드 생성보다 요구사항의 충분한 맥락, 일관된 실행 환경, 명확한 검증 절차에 있으며, 음성 입력은 타이핑 과정에서 누락되기 쉬운 의도와 판단 변화까지 전달하는 수단이 된다.
2. 매번 최소 환경에서 시작하는 샌드박스 대신 사전 구축된 Boxy 원격 개발 VM을 연결하면 에이전트가 실제 코드베이스를 탐색하고 명령을 실행해, 관련 코드 위치와 검증 절차까지 포함한 실행 가능한 명세를 만들 수 있다.
3. Notion 페이지에 명세·작업 기록·발견 사항을 누적하고 작업을 클라우드에서 비동기로 실행하면, 앱을 계속 전환하거나 복잡한 칸반 보드를 관리하지 않고도 고정된 채팅과 작업 탭을 개인 작업 큐처럼 사용할 수 있다.
4. 작업 페이지를 연결한 에이전트는 요구사항 구현, 리뷰 반영, PR 생성, CI 감시, 타입 오류와 테스트 실패 수정까지 이어서 처리한다. 소개된 한 작업에서는 이 흐름으로 약 1시간 30분에서 2시간의 반복 작업을 줄였다.
5. 리뷰 스웜은 변경 세트를 프론트엔드와 백엔드 같은 도메인으로 나누고, 정확성과 유지보수성 검토자를 각각 배치한 뒤 GPT와 Opus의 결과를 상위 에이전트가 실행 항목으로 통합해 문제가 해소될 때까지 수정과 재검토를 반복한다.

🧩 배경과 문제 정의

• AI 코딩의 병목은 코드 생성 자체보다 충분한 요구사항 맥락을 전달하고, 실행 환경과 검증 절차를 일관되게 관리하는 데 있다.
• Notion의 업무 정보와 원격 개발 VM을 연결하면 계획, 구현, 리뷰, CI 수정, 작업 기록을 하나의 비동기 흐름으로 통합할 수 있다.
• 대규모 변경에서는 단순 버그 탐지를 넘어 정확성·유지보수성·확장성을 여러 전문 에이전트와 모델이 교차 검토하는 자동 리뷰 루프가 필요하다.

🕒 시간순 섹션별 상세정리

1. 음성 입력으로 요구사항의 맥락 확장

• 자유롭게 말하면 타이핑할 때 빠지기 쉬운 세부 맥락과 판단의 변화까지 입력할 수 있고, 중간의 번복이나 군더더기도 모델이 전체 의도 안에서 처리한다. [01:18]
• 실제 모델 선택기 마이그레이션에서도 기존 팀의 구현을 재사용하려는 목적과 코드 공유 요구사항을 음성으로 한꺼번에 전달한다. [01:53]
• Notion AI는 기존 도구만으로 처리하기 어려운 작업에 Vercel 샌드박스를 열어 Bash·HTML·프레젠테이션 작업을 수행하지만, 매번 최소 환경에서 시작해야 한다. [02:16]
• 사전 구축된 원격 개발 VM인 Boxy를 컴퓨터 옵션으로 연결하면서, AI가 실제 개발 환경에서 명령을 실행하고 내부 코드베이스를 직접 탐색할 수 있다. [03:24]

2. 앱 전환 없는 비동기 작업 관리

• 기존에는 Codex와 저장소를 연결한 뒤 Markdown 파일이나 Notion MCP로 작업을 만들어야 했지만, Notion의 네이티브 페이지 도구가 같은 화면에서 작업 문서를 직접 작성한다. [04:23]
• 작업은 클라우드에서 계속 실행되므로 메시지를 보낸 뒤 탭을 닫고 회의에 다녀와도 완성된 작업 페이지를 확인할 수 있다. [04:57]

3. 구현부터 PR과 CI 수정까지 자동화

• 새 채팅에 작업 페이지를 연결하면 에이전트가 요구사항을 구현하고, 사람이 코드를 보기 전에 리뷰 스웜이 생성된 변경을 반복적으로 검토한다. [06:14]
• 리뷰 결과를 반영한 뒤 PR을 생성하고 CI를 감시하며, 타입 오류나 테스트 실패가 발생하면 에이전트가 직접 수정한다. [06:30]

4. 명세와 개발 기록을 하나의 맥락으로 통합

• Notion 페이지는 최초 명세와 요구사항뿐 아니라 구현 중 발견한 사실과 문제까지 계속 누적하는 작업 일지가 되어, 계획과 실행 기록이 분리되지 않는다. [08:01]
• 원격 환경을 사용하면 로컬 저장소의 최신 상태, Codex 버전, 연결된 실행 환경을 매번 확인해야 하는 부담이 줄어든다. [09:01]

5. 도메인·관점·모델을 조합한 리뷰 스웜

• 대규모 변경 세트를 프론트엔드와 백엔드 같은 도메인으로 나누고, 각 영역에 정확성 검토자와 유지보수성 검토자를 배치해 버그·코드 재사용·기존 패턴 준수·확장성 위험을 함께 점검한다. [10:15]
• 각 도메인을 GPT와 Opus가 각각 검토하고, 상위 에이전트가 모든 발견을 실행 항목으로 통합한 뒤 문제가 해소될 때까지 수정과 재검토를 반복한다. [10:47]

6. 필요에 맞춰 직접 만드는 맞춤형 스킬

• 리뷰 스웜은 발표자가 지금까지 경험한 것 중 가장 뛰어난 리뷰 반복 흐름이 되었다. [11:15]
• 기존 도구에 맞추는 대신 자신이 중요하게 여기는 기준에 따라 새로운 스킬을 만들 수 있다는 점에서, 현재의 에이전트 도구는 매우 유연하다. [11:23]
• Codex에 다른 스킬의 장단점과 원하는 요소를 분석하게 해 자신만의 리뷰 스킬을 바로 구축했다. [11:45]
• 진행자는 모두가 활용할 수 있도록 스킬을 오픈소스화하길 기대하며 대화를 마무리했다. [11:55]

🧾 결론

• 높은 품질의 에이전트 개발 흐름은 강력한 단일 모델보다 요구사항 맥락, 실행 환경, 검증 기준을 먼저 구조화하는 데서 시작한다.
• Notion 페이지를 최초 명세와 구현 기록이 함께 누적되는 기준 정보원으로 사용하면 계획과 실행이 분리되는 문제를 줄일 수 있다.
• 리뷰 스웜의 핵심은 에이전트 수가 아니라 도메인·관점·모델을 명시적으로 분리하고, 발견 사항을 실행 가능한 수정 항목으로 다시 통합하는 구조다.
• 기존 리뷰 스킬의 장단점과 개인의 품질 기준을 반영하면 범용 도구를 기다리지 않고 조직이나 개인에게 맞는 리뷰 흐름을 만들 수 있다.

📈 투자·시사 포인트

• AI 코딩 도구의 차별화 지점은 모델의 코드 생성 성능만이 아니라 조직 지식, 원격 실행 환경, PR과 CI를 하나의 흐름으로 연결하는 오케스트레이션 역량으로 이동할 가능성이 크다.
• 사전 구축된 원격 VM과 비동기 작업 큐의 결합은 개발자가 에이전트의 실행을 계속 지켜보는 방식에서, 작업을 위임하고 완료된 결과를 검토하는 방식으로 업무 구조를 바꿀 수 있다.
• GPT와 Opus처럼 서로 다른 모델을 같은 변경에 투입하는 방식은 검토 관점의 다양성을 제공하지만, 추가 실행 비용과 시간이 품질 향상으로 이어지는지는 별도로 측정해야 한다.
• 제시된 1시간 30분에서 2시간의 절감 사례는 생산성 개선 가능성을 보여주지만, 투자 효과를 판단하려면 다양한 작업에서 소요 시간·CI 실패·재작업·리뷰 결함을 반복 측정해야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 약 1시간 30분에서 2시간을 줄였다는 결과는 한 작업의 사례이며, 다른 코드베이스와 변경 규모에서도 같은 절감 효과가 재현되는지는 제시되지 않았다.
• GPT와 Opus의 교차 검토가 단일 모델 리뷰보다 얼마나 많은 결함을 추가로 찾았는지, 오탐이나 중복 지적은 얼마나 발생했는지 정량 자료가 없다.
• Boxy 원격 VM과 내부 코드베이스를 연결할 때 필요한 접근 권한, 보안 경계, 실행 비용에 관한 구체적인 운영 기준은 설명되지 않았다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 작업 페이지 템플릿에 목표, 요구사항 맥락, 실행 환경, 제약, 관련 코드 위치, 도구, 자체 검증 절차를 필수 항목으로 정의한다.
• 대표적인 대규모 변경 하나를 선정해 프론트엔드·백엔드 등 도메인으로 나누고, 각 영역의 정확성·유지보수성 검토 기준을 작성한다.
• 사전 구축된 원격 개발 VM에서 저장소 탐색, 명령 실행, 테스트 수행이 가능한지 확인하고 필요한 환경을 일관되게 준비한다.
• GPT와 Opus의 검토를 독립적으로 실행한 뒤 상위 에이전트가 발견 사항을 중복 제거된 실행 항목으로 통합하도록 리뷰 루프를 구성한다.

❓ 열린 질문

• 리뷰 스웜은 어떤 검증 기준을 만족했을 때 수정과 재검토를 종료해야 하는가?
• 서로 다른 모델이 상반된 결론을 내릴 때 상위 에이전트는 어떤 근거와 우선순위로 실행 항목을 선택해야 하는가?
• 변경 규모와 위험도에 따라 도메인 수, 검토자 수, 사용할 모델 수를 어떻게 조정해야 하는가?