Consilium: When Multiple LLMs Collaborate

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Consilium은 서로 다른 역할을 맡은 여러 언어 모델이 구조화된 토론과 외부 조사를 거쳐 합의 또는 최종 분석을 도출하도록 만든 시각적 다중 모델 협업 플랫폼이다.

📌 핵심 요약

• Consilium은 여러 언어 모델을 포커 테이블 형태의 화면에 배치하고, 각 모델의 발언·사고·조사 상태를 말풍선으로 보여 주면서 복잡한 질문을 함께 논의하게 한다.
• 초기에는 모델들이 대화 맥락만 공유해 실질적인 토론이 일어나지 않았지만, 옹호자·비판적 분석가·전략 고문·연구 전문가·혁신 촉진자 등의 역할을 부여하면서 생산적인 논쟁 구조를 만들었다.
• 사용자는 전체 맥락 공유, 직전 참여자의 응답만 전달하는 링 방식, 수석 분석가를 중심으로 메시지를 중계하는 스타 방식 중 하나를 선택하고 토론 횟수도 1회에서 5회까지 설정할 수 있다.
• 함수 호출을 지원하는 모델에는 웹 검색, 위키백과, 아카이브, 깃허브, 미국 증권거래위원회 전자공시 시스템을 활용하는 전담 조사 에이전트가 연결되며, 조사 진행 상황과 예상 시간이 화면에 표시된다.
• 저자는 향후 개방형 대화 프로토콜 지원, 모델 선택 확대, 역할 설정 기능을 발전시켜 범용 대형 모델뿐 아니라 작업별 소형 언어 모델과 조사 에이전트가 협업하는 구조로 Consilium을 확장하려 한다.

🧩 주요 포인트

1. Consilium은 여러 언어 모델을 포커 테이블 형태의 화면에 배치하고, 각 모델의 발언·사고·조사 상태를 말풍선으로 보여 주면서 복잡한 질문을 함께 논의하게 한다.
2. 초기에는 모델들이 대화 맥락만 공유해 실질적인 토론이 일어나지 않았지만, 옹호자·비판적 분석가·전략 고문·연구 전문가·혁신 촉진자 등의 역할을 부여하면서 생산적인 논쟁 구조를 만들었다.
3. 사용자는 전체 맥락 공유, 직전 참여자의 응답만 전달하는 링 방식, 수석 분석가를 중심으로 메시지를 중계하는 스타 방식 중 하나를 선택하고 토론 횟수도 1회에서 5회까지 설정할 수 있다.
4. 함수 호출을 지원하는 모델에는 웹 검색, 위키백과, 아카이브, 깃허브, 미국 증권거래위원회 전자공시 시스템을 활용하는 전담 조사 에이전트가 연결되며, 조사 진행 상황과 예상 시간이 화면에 표시된다.
5. 저자는 향후 개방형 대화 프로토콜 지원, 모델 선택 확대, 역할 설정 기능을 발전시켜 범용 대형 모델뿐 아니라 작업별 소형 언어 모델과 조사 에이전트가 협업하는 구조로 Consilium을 확장하려 한다.

🧠 상세 정리

1. 구조화된 다중 모델 토론이라는 출발점

Consilium은 네 명의 인공지능 전문가가 한 테이블에 둘러앉아 어려운 결정을 실시간으로 토론하는 모습을 구현한 다중 언어 모델 플랫폼이다. 여러 모델이 복잡한 질문에 각자의 관점을 제시하고, 구조화된 논의를 거쳐 합의된 답변을 만드는 것이 핵심 목적이며, 이름도 협의나 회의를 뜻하는 개념에서 가져왔다. 플랫폼은 시각적인 그라디오 인터페이스와 모델 컨텍스트 프로토콜 서버라는 두 형태로 작동하며, 클라인 같은 외부 애플리케이션에서도 사용할 수 있도록 설계됐다. 초기에는 토론을 통한 합의에 집중했지만, 이후 다수결과 순위 선택 같은 의사결정 방식도 추가해 여러 의견을 종합하는 방법을 확장했다.

2. 해커톤 아이디어의 전환과 협업 효과의 근거

저자는 원래 해커톤에서 리비뉴캣 프로젝트와 대화하는 단순한 모델 컨텍스트 프로토콜 서버를 만들 계획이었지만, 여러 모델이 질문을 논의하고 숙고된 답을 내놓는 플랫폼이 더 매력적이라고 판단해 방향을 바꿨다. 해커톤 직후 마이크로소프트가 공개한 인공지능 진단 오케스트레이터는 서로 다른 역할의 에이전트들이 환자 진단을 반복적으로 검토한다는 점에서 Consilium과 유사한 접근을 보여 줬다. 해당 시스템은 오픈에이아이 오스리 모델을 사용한 의료 진단 평가에서 85.5%를 맞혔고, 원문에 제시된 개업 의사의 정확도는 20%였다. 저자는 이 사례를 여러 인공지능 관점의 협업이 단일 분석보다 높은 성과를 낼 수 있다는 자신의 구상을 뒷받침하는 사례로 받아들였다.

3. 포커식 원탁을 중심으로 한 시각적 설계

Consilium은 모델 컨텍스트 프로토콜 서버로도 동작해야 했지만, 동시에 허깅페이스 스페이스에서 방문자의 관심을 끌 수 있는 시연 화면도 필요했다. 저자는 표준 그라디오 채팅 구성 요소 대신 모델들을 회의실 테이블 주변에 앉히고 말풍선으로 대화를 표현하려 했으나, 일반 테이블을 명확하게 인식되는 형태로 꾸미기 어려워 포커식 원탁을 채택했다. 이 선택은 여러 모델의 협업 과정을 직관적으로 보여 주는 동시에 사용자 정의 그라디오 구성 요소와 모델 컨텍스트 프로토콜 서버라는 두 해커톤 분야에 출품할 수 있게 했다. 초기 구현 이후에는 사용자가 지정하는 아바타와 테이블 중앙 문구 같은 기능만 더해졌으며, 참여자가 원탁에 앉아 상태와 발언을 표시하는 핵심 상호작용 방식은 그대로 유지됐다.

4. 세션별 상태 관리와 실시간 표현

시각적 원탁은 사용자마다 분리된 세션 사전을 통해 상태를 관리하며, 각 세션 식별자에 독립된 저장 공간을 배정한다. 핵심 상태에는 참여자 목록, 메시지 목록, 현재 발언자, 사고 중인 참여자, 표시할 말풍선이 포함되고, 상태 갱신 콜백이 이 값들을 직접 변경한다. 모델이 생각하거나 발언하거나 외부 조사를 수행하면 처리 엔진이 메시지를 순차적으로 추가하고 발언자 및 사고 상태를 전환해 프런트엔드로 전달한다. 복잡한 상태 기계를 별도로 구성하는 대신 백엔드 처리와 화면 렌더링 사이에서 제이슨 상태를 직접 동기화함으로써, 사용자가 토론의 흐름과 각 모델의 현재 활동을 실시간으로 확인하도록 만들었다.

5. 역할 부여로 실제 토론을 만드는 과정

초기 구현에서는 모든 모델이 진행 중인 논의의 전체 맥락을 받았지만, 각자가 어떤 방식으로 참여해야 하는지 알지 못해 의미 있는 토론이 제대로 일어나지 않았다. 저자는 이를 해결하기 위해 일반 분석가 외에 자신의 전문적 입장을 강하게 옹호하는 전문가, 논리의 결함과 위험을 찾는 비판적 분석가, 현실적 실행 조건을 다루는 전략 고문, 근거 중심의 연구 전문가, 관습을 깨는 대안을 제안하는 혁신 촉진자 역할을 도입했다. 역할 구분으로 논쟁의 역동성은 개선됐지만, 합의 여부를 판정하고 가장 강한 주장을 고르는 문제가 새롭게 남았다. 이에 사용자가 한 모델을 수석 분석가로 지정해 전체 토론을 종합하고 합의가 형성됐는지 평가하게 하는 최종 분석 체계를 추가했다.

6. 통신 구조와 토론 종료 조건의 설정

Consilium은 모든 모델이 전체 대화 맥락을 공유하는 기본 방식뿐 아니라, 참여자 사이의 정보 흐름을 제한하거나 중앙에서 조정하는 통신 구조도 제공한다. 링 방식에서는 각 모델이 바로 앞 참여자의 응답만 전달받아 순차적으로 의견을 이어 가며, 스타 방식에서는 모든 메시지가 수석 분석가를 거쳐 전달돼 중앙 조정자가 대화를 통제한다. 토론이 끝없이 지속되지 않도록 사용자는 전체 라운드 수를 1회에서 5회 사이로 설정할 수 있다. 저자의 시험에서는 라운드가 많아질수록 모델들이 합의에 도달할 가능성이 커졌지만, 그만큼 연산 비용도 증가했으므로 합의 가능성과 자원 사용량 사이의 선택이 필요했다.

7. 모델 구성과 전담 조사 에이전트

현재 소개된 모델 선택지는 미스트랄 라지, 딥시크 알원, 메타 라마 3.3 70비, 큐더블유큐 32비이며, 클로드 소넷과 오픈에이아이 오스리는 포함되지 않았다. 저자는 이러한 제외가 기술적 한계 때문이 아니라 해커톤에서 사용할 수 있었던 크레딧과 후원사 시상 조건을 고려한 결과라고 설명한다. 함수 호출을 지원하는 모델에는 직접 웹 접근 권한을 주는 대신, 원탁의 별도 참여자로 표시되는 전담 조사 에이전트를 연결해 외부 정보 이용 여부를 명확하게 드러냈다. 이 에이전트는 웹 검색, 위키백과, 아카이브, 깃허브, 미국 증권거래위원회 전자공시 시스템의 다섯 출처를 사용하며, 확장 가능한 기본 도구 구조 위에서 최신성·권위성·구체성·관련성을 평가한다. 시간이 오래 걸리는 조사 중에는 말풍선에 진행 상태와 예상 시간을 표시해 사용자가 현재 작업이 멈춘 것이 아니라 조사가 진행 중임을 알 수 있게 했다.

8. 개방형 대화 프로토콜과 향후 방향

해커톤 이후 저자는 모든 에이전트가 같은 테이블에 앉아 있는 것처럼 대화 전체를 계속 인식하게 하는 개방형 대화 프로토콜을 접했고, 이를 Consilium의 구조와 잘 맞는 방식으로 평가했다. 이 프로토콜은 플랫폼 간 에이전트 통신을 위한 표준화된 제이슨 메시지 형식을 제공하며, 대화 진행 관리자가 에이전트를 동적으로 초대하거나 제외할 수 있다는 특징도 갖는다. 위임, 메시지를 변경하지 않고 전달하는 채널링, 배후 조정인 중재, 여러 에이전트의 공동 작업인 오케스트레이션이 Consilium의 상호작용 구조와 직접 대응하며, 저자는 호환 에이전트를 원탁에 추가할 수 있도록 통합을 진행하고 있다. 그는 모델 선택 확대와 역할 설정 기능을 계속 발전시키는 한편, 장기적으로는 효율적인 작업별 소형 언어 모델들과 전담 조사 에이전트의 원탁 협업이 여러 용도에서 범용 대형 언어 모델의 대안이 될 수 있다고 본다.

🧾 핵심 주장 / 시사점

• 모델 수를 늘리는 것만으로는 토론이 형성되지 않으며, 서로 충돌하거나 보완되는 역할과 최종 종합 책임자를 명확히 지정해야 협업이 실제 분석 과정으로 바뀐다.
• 전체 맥락 공유, 링, 스타 구조는 동일한 모델 집합이라도 정보 전달 방식에 따라 토론 과정을 다르게 설계할 수 있음을 보여 주며, 라운드 수는 합의 가능성과 연산 비용을 함께 좌우한다.
• 외부 조사를 별도 에이전트로 드러내고 진행 상태를 시각화한 설계는 모델의 자체 의견과 외부 자료에 근거한 정보를 구분하면서, 장시간 작업 중에도 사용자가 처리 과정을 이해하도록 돕는다.

✅ 액션 아이템

• 발언·사고·조사 상태를 말풍선으로 시각화해 복합 질문별 모델 기여도를 추적하고 합의 과정을 기록한다.
• 초기 맥락 공유만으로는 논의가 약해지므로 옹호자·비판적 분석가·전략 고문·연구 전문가·혁신 촉진자 역할을 고정 배치한다.
• 사용자 선택 옵션인 전체 맥락 공유, 링, 스타 방식과 1~5회 토론 횟수를 조합해 질문별 협업 패턴을 비교 분석한다.

❓ 열린 질문

• 어떤 질문 유형에서 전체 맥락 공유 방식이 링/스타 방식보다 합의 품질을 더 높일 수 있는가?
• 웹 검색·위키백과·아카이브·GitHub·SEC 조사 에이전트 호출은 어떤 조건에서 가장 적합한가?
• 범용 대형 모델과 작업별 소형 모델을 함께 확장할 때 역할 경계와 책임 분담은 어떻게 정할 것인가?