How the BMW Group governs hundreds of agents across thousands of developers
Quick Summary
BMW Group은 대규모 개발 조직의 에이전트를 관리하기 위해 단계별 자율성, 외부화된 거버넌스, 지속 평가, 재사용 가능한 구성 구조와 중앙 레지스트리를 결합하는 접근을 설명한다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약
BMW Group은 대규모 개발 조직의 에이전트를 관리하기 위해 단계별 자율성, 외부화된 거버넌스, 지속 평가, 재사용 가능한 구성 구조와 중앙 레지스트리를 결합하는 접근을 설명한다.
📌 핵심 요약
- BMW Group R&D에서는 12,500명 이상의 개발자가 약 5억 줄의 차량 소프트웨어 코드를 다루며, BMW Connected Vehicle 백엔드는 1,300개 이상의 마이크로서비스로 운행 중인 2,400만 대의 차량에 디지털 서비스를 제공한다.
- 글은 거버넌스를 개별 에이전트 코드 밖의 통합 계층에 두고, 작업 단계마다 Level 0의 사전 인간 승인, Level 1의 자율 실행과 비동기 인간 검토, Level 2의 엄격한 정책 경계 내 자율 실행을 적용한다고 설명한다.
- 관측 가능성과 정답 기준 데이터셋을 초기 설계부터 마련하고, 에이전트 변경 시 CI/CD에서 결정적 구성요소와 상호작용을 검증한 뒤 비결정적 출력의 품질을 평가하며, 모델 라우팅 결정과 근거도 기록하도록 권고한다.
- 구현 전에 범위·호출 방식·도구 정의·정답 기준 데이터셋·평가 기준을 정하고, MCP 도구·스킬·플로의 3계층으로 기능을 조합하며, 운영 경험에 따라 전문 에이전트로 분리해 복잡성·장애 영향·비용을 줄이는 구조를 제시한다.
- 중앙 레지스트리는 에이전트·도구·스킬의 발견, 운영 승인과 감사, 보안 확인, 중복 식별을 담당한다. 글은 2023년부터의 경험을 바탕으로 다섯 가지 실천을 IaC로 코드화한다고 소개하지만, 제공된 본문은 다섯 번째 항목의 도입부에서 잘려 있다.
🧩 주요 포인트
- 정책을 통합 계층과 CI/CD에서 강제하고 자율성을 단계별로 부여 → 프레임워크 변경에도 통제를 유지하면서 평가 근거에 따라 자율성을 확대할 수 있는 구조.
- 결정적 검증을 통과한 뒤 출력 품질을 평가하고 실행·모델 라우팅 정보를 축적 → 구성요소 결함과 결과 품질 문제를 구분하고 평가 사례를 보강하는 운영 방식.
- MCP 도구·스킬·플로의 조합 구조와 전문 에이전트, 중앙 레지스트리를 결합 → 팀별 독립 개발을 지원하면서 최소 권한, 기능 재사용, 중복 개발 방지를 함께 추구.
🧠 상세 정리
1. 대규모 차량 소프트웨어 조직이 마주한 거버넌스 과제
BMW Group R&D에서는 12,500명 이상의 개발자가 약 5억 줄의 차량 소프트웨어 코드를 다루고 있으며, BMW Connected Vehicle의 클라우드 백엔드는 1,300개 이상의 마이크로서비스로 운행 중인 2,400만 대의 차량에 디지털 서비스를 제공한다. 글은 규제 산업인 만큼 소프트웨어 품질과 안정성, 거버넌스 준수에 요구되는 수준이 매우 높다고 설명한다. 에이전트를 만드는 연구와 프레임워크, 지침은 늘었지만, 이를 효율적이고 확장 가능한 고품질 운영 체계로 전환하는 일은 여전히 어렵다는 것이 출발점이다. 전 세계 수백 개 팀의 실험과 지식 공유를 살리면서도 안전성·보안·조합 가능성·비용 효율의 공통 기준을 적용해야 하며, 균형을 놓치면 서로 고립된 AI와 중복 개발이 늘어날 수 있다고 지적한다.
2. 서로 협력할 수 있는 에이전트를 처음부터 설계
글이 제시하는 기본 전제는 특정 프레임워크나 도구 체계를 하나로 통일하지 않으면서도, 다양한 에이전트가 처음부터 협력할 수 있도록 설계하는 것이다. 중심 구성요소인 에이전트 하네스는 대규모 언어 모델을 둘러싼 실행 계층으로, 실행 루프와 도구 호출, 메모리 관리, 관측 가능성을 위한 연결 지점을 제공한다. 저자들은 AWS Well-Architected Framework가 클라우드 인프라 설계에 공통 기준을 제공한 것처럼, 에이전트 시스템에도 거버넌스와 조합 가능성, 운영 모범 사례를 담은 재사용 가능한 설계 패턴이 필요하다고 주장한다. 이를 위해 2023년부터 대규모 에이전트 시스템을 구축하고 운영한 경험을 다섯 가지 실천으로 정리했다고 밝힌다. 각 실천은 IaC로 코드화해 팀의 도입을 반복 가능하고 감사·강제할 수 있게 하면서 DevOps 속도를 유지하려는 접근이다.
3. 통합 계층의 정책과 작업 단계별 자율성
첫 번째 실천은 거버넌스를 사후에 덧붙이지 않고 초기 구조와 전체 생애주기에 포함하는 것이다. 인증·인가·호출 빈도 제한·콘텐츠 필터링 같은 정책은 개별 에이전트 코드 안이 아니라 MCP 게이트웨이, 중앙 에이전트 레지스트리, 오케스트레이션 경계 등 통합 계층에서 적용한다고 설명한다. 이렇게 하면 프레임워크나 모델, 팀 구성이 바뀌어도 거버넌스를 유지할 수 있다는 논리다. 자율성은 에이전트 전체가 아니라 작업 단계마다 부여하며, Level 0은 모든 행동의 명시적 인간 승인, Level 1은 자율 실행과 비동기 인간 검토, Level 2는 엄격한 정책 경계 안의 독립 실행으로 구분한다. 신규 에이전트나 고위험 작업은 보수적으로 시작하고, 낮은 위험과 검증된 이력을 갖춘 작업에 더 높은 자율성을 적용하되 그 확대는 가정이 아닌 측정 가능한 평가 데이터에 근거해야 한다고 강조한다.
4. 에이전트의 판단과 분리된 결정적 통제
거버넌스의 또 다른 핵심 속성은 에이전트의 판단 과정 밖에서 결정적 코드로 규칙을 강제하는 것이다. 글은 이러한 통제가 주로 CI/CD에서 이루어지며, 에이전트가 운영 환경에 배포되기 전에 권한 확인과 코드로 정의한 정책, 규정 준수 검증을 통과해야 한다고 설명한다. 검사가 에이전트와 분리되어 있으므로 에이전트나 프롬프트가 이를 무효화할 수 없도록 설계한다는 주장이다. 또한 기밀 데이터를 다루는 에이전트가 허용된 호출을 통해 정보를 유출하는 위험에 대응하기 위해 외부 전송 통제를 둔다고 소개한다. 이 접근에서 자율성은 무제한 권한을 뜻하지 않으며, 앞서 제시한 단계별 신뢰 수준 역시 에이전트가 따르도록 요청하는 문구가 아니라 독립적인 시스템 통제와 결합되는 구조다.
5. 관측·검증·평가를 처음부터 운영 체계에 포함
두 번째 실천은 서비스가 정상 응답했는지를 넘어, 에이전트 출력이 충실하고 정책을 준수했는지 실행 기록으로 입증할 수 있게 만드는 것이다. 이를 위해 일반적인 질의와 경계 사례를 포함하고 적절하게 관리되는 정답 기준 데이터셋을 초기부터 마련하며, 계측이 없는 에이전트는 평가 실행 전에 CI/CD 검증에서 실패하도록 한다고 설명한다. OpenTelemetry를 활용해 사용자 요청부터 최종 출력까지 도구 호출과 맥락 검색 등 관측 가능한 실행 경로를 연결하는 방식도 제시한다. 프롬프트 수정, 도구 추가, 모델 교체가 발생하면 먼저 구성요소와 상호작용의 회귀 검증을 수행하고, 통과한 빌드에 대해서만 비결정적 출력의 품질을 기준 데이터셋과 임계값으로 평가한다. 모델을 나누어 사용하는 경우에는 라우팅 결정과 근거까지 기록하고, 작업 유형별 평가 결과로 모델 등급을 정하며 좋지 않은 결과를 새로운 평가 사례로 환류하도록 권고한다.
6. 좁은 문제 정의와 MCP 도구·스킬·플로의 조합
세 번째 실천은 범용 단일 에이전트에 책임을 계속 추가하기보다, 문제를 명확히 정의하고 협력 가능한 구성요소를 만드는 것이다. 구현에 앞서 수행 범위와 제외 범위, 사용자·다른 에이전트의 호출 방식, 도구와 매개변수의 명확한 정의, 정답 기준 데이터셋, 평가 임계값과 벤치마크라는 다섯 가지 산출물을 준비하도록 권고한다. 글은 책임이 지나치게 넓어지면 프롬프트가 비대해지고 정확도가 낮아지며 지연이 증가하는 문제가 발생한다고 설명한다. 조합 구조는 단일 기능을 감싸는 MCP 도구, 도구를 묶어 도메인 논리를 담는 스킬, 스킬을 연결해 전체 업무 과정을 구현하는 플로의 3계층으로 구분한다. 도구와 스킬은 구성요소 수준에서, 플로는 조합된 상호작용 수준에서 각각 검증하며, MCP와 Agent Skills, 에이전트 간 통신 프로토콜, OpenTelemetry 같은 개방형 표준으로 통합과 관측을 연결한다.
7. 운영 경험에 따라 전문화하고 권한 범위를 축소
네 번째 실천은 실제 사용이 설계 당시의 예상에서 벗어날 때 복잡한 에이전트를 여러 전문 에이전트로 분리하는 것이다. 질의 패턴의 변화나 도구 선택의 어려움, 예측하기 힘든 성능 저하에 대응해 각 에이전트의 지침과 도구 집합, 처리 범위를 더 명확하게 만드는 접근이다. 글은 이를 통해 요구사항 담당과 코딩 담당을 독립적으로 갱신하고, 개별 에이전트를 따로 확장하며, 한 에이전트의 실패나 환각이 전체 흐름으로 번지는 영향을 줄일 수 있다고 설명한다. 범위가 좁은 에이전트는 더 작은 모델로 실행할 수 있어 추론과 호스팅 비용을 낮출 가능성도 제시한다. 에이전트 내부에서는 기능을 스킬로 분해하고 실제 선택·동작 양상에 따라 합치거나 나누며, 도메인 밖의 작업은 A2A 프로토콜로 전문 에이전트에 위임하도록 권고한다. 각 에이전트가 역할에 필요한 데이터와 도구에만 접근하게 하는 구조는 규제 산업의 최소 권한 요구를 뒷받침한다는 설명이다.
8. 중앙 레지스트리로 발견·승인·중복 방지를 연결
전문화의 이점을 얻으려면 에이전트들이 서로를 발견하고 함께 작동할 수 있어야 하므로, 글은 에이전트·도구·스킬을 모으는 중앙 레지스트리를 유지한다고 설명한다. 레지스트리는 빌드 과정에서 저장한 메타데이터를 바탕으로 사용 가능한 기능을 찾게 하고, 운영 사용 승인 여부와 감사 이력을 관리하는 거버넌스 지점으로 기능한다. 승인 전에는 프롬프트 인젝션 등을 다루는 자동 보안 검사를 적용하며, 등록 시에는 다른 팀이 이미 관리하는 동등한 기능을 자동으로 식별해 승인 전에 중복을 표시한다고 소개한다. 이는 팀마다 전문 에이전트를 개발하면서도 고립된 AI와 중복 작업이 늘어나는 것을 억제하려는 장치다. 이어지는 다섯 번째 항목은 개별 에이전트 관리에서 전체 에이전트 집합의 거버넌스로 전환하고 이를 코드화하는 주제를 시작하지만, 제공된 본문이 문장 중간에서 끝나므로 구체적인 후속 구현이나 성과는 확인할 수 없다.
🧾 핵심 주장 / 시사점
- 이 글에서 거버넌스의 일관성은 프레임워크 통일보다 정책을 적용하는 위치와 배포 검증의 공통화에서 나온다. 따라서 팀의 기술 선택과 기업 차원의 통제를 함께 유지하는 구조가 핵심이다.
- 평가는 출시 직전의 단일 절차가 아니라 자율성 확대, 모델 선택, 전문화 판단을 뒷받침하는 지속적인 근거로 제시된다. 관측 가능성과 기준 데이터셋을 초기부터 준비해야 한다는 주장이 이 운영 방식의 전제다.
- 전문화는 개별 에이전트의 복잡성을 낮추지만 발견과 재사용이라는 조직 차원의 과제를 남긴다. 중앙 레지스트리는 전문화된 구성요소를 연결하고 승인과 중복 방지를 함께 수행하는 보완 장치로 제시된다.
✅ 액션 아이템
- 작업 단계별 위험과 평가 근거에 따른 Level 0·Level 1·Level 2 적용 범위 검토.
- CI/CD의 결정적 검증과 정답 기준 데이터셋 기반 품질 평가를 연계하고 모델 라우팅 결정·근거의 기록 여부 확인.
- MCP 도구·스킬·플로의 책임 구분과 중앙 레지스트리를 통한 기능 재사용·중복 식별 방식 검토.
❓ 열린 질문
- Level 0에서 Level 1·Level 2로 자율성을 확대할 때 어떤 평가 기준과 임계값을 적용하는가?
- CI/CD의 검증과 정답 기준 데이터셋 기반 평가가 BMW Group의 운영 품질에 미친 효과는 어느 정도인가?
- 중앙 레지스트리는 서로 다른 팀이 등록한 에이전트·도구·스킬의 동등성과 중복을 어떤 기준으로 판정하는가?