Measuring What Medical AI Can Actually Do

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Stanford HAI의 의료 AI 평가에서 최신 에이전트는 임상·행정 업무를 처음부터 끝까지 완수하는 비율이 절반에 못 미쳤으며, 실제 유용성을 판단하려면 지식시험을 넘어 다단계 업무의 실행과 반복 신뢰성을 검증해야 한다.

📌 핵심 요약

• MedHELM은 임상의 29명의 의견으로 의료 업무를 5개 대분류·22개 하위분류·121개 과제로 체계화하고, 37개 벤치마크 데이터셋으로 프런티어 모델 9개를 평가했다. 임상 의사결정 지원과 행정·업무 흐름에서 성능이 특히 낮았다.
• PhysicianBench는 21개 전문분야의 실제 의료 자문을 바탕으로 구성한 장기·다단계 과제 100개를 평가했다. 모델 12개 중 GPT-5.5의 단일 시도 완수율이 46%로 가장 높았고, 세 번의 실행 모두에서 성공한 과제는 28%였다. 최고 오픈소스 모델인 DeepSeek V4-Pro는 19%를 기록했다.
• PhysicianBench에서 실패한 점검 항목의 약 절반은 임상 추론의 한계와 관련됐다. 행동 실행 실패 중 GPT-5.5의 62%, Claude Opus 4.6의 73%는 올바른 조치를 진료기록에 적고도 전자의무기록에 실제 처방·오더를 입력하지 않은 경우였다.
• HealthAdminBench는 사전승인, 이의신청·거절 대응, 내구성 의료장비 주문에 걸친 과제 135개를 평가했다. 전체 과제 완수율은 Claude Opus 4.6이 36.3%, 최고 공개 가중치 모델인 Kimi K2.5가 15.6%였다. GPT-5.4는 개별 하위과제의 82.8%를 통과했지만 전체 과제 완수율은 26.7%였다.
• PhysicianBench와 HealthAdminBench는 환경·모델·인터페이스·채점 방식이 달라 수치를 직접 비교할 수 없지만, 모두 최고 에이전트가 전체 업무의 절반 미만을 완수했다. 저자들은 단계·문서·시스템 사이의 정보 유지 실패를 공통 문제로 보고, 모델 확대와 함께 에이전트 구조·메모리·실행 체계 개선 및 재현 가능하고 투명한 평가가 필요하다고 주장한다.

🧩 주요 포인트

1. MedHELM에서 취약했던 임상 의사결정 지원과 행정·업무 흐름을 실행 기반 평가로 확장 → 의료 AI의 유용성 판단 기준이 응답 품질에서 실제 업무 완수로 이동한다.
2. 진료기록에는 올바른 조치를 적어도 실제 처방·오더가 누락되고, 높은 하위과제 통과율도 전체 성공으로 이어지지 않음 → 추론·실행의 연결과 다단계 정보 유지가 핵심 개선 대상이다.
3. 단일 시도 성과와 반복 실행 신뢰성이 다르고 두 벤치마크의 조건도 상이함 → 도입 판단에는 전체 업무 완수율, 반복 신뢰성, 재현성과 투명성을 함께 고려해야 한다.

🧠 상세 정리

1. 의료 지식시험과 실제 업무 사이의 간극

대규모 언어모델은 의료 면허시험에서 거의 만점에 가까운 성적을 내지만, 저자들은 이것만으로 의료 현장에서의 유용성을 판단할 수 없다고 설명한다. 실제 업무는 환자 차트를 열고 2년 전 심초음파 결과와 당일 검사 결과를 대조한 뒤, 조치를 결정하고 처방·오더를 입력하며 진료기록까지 작성하는 연속 과정이다. 따라서 정답을 아는 능력과 시간·문서·소프트웨어 시스템을 넘나들며 여러 작업을 수행하는 능력을 구분해야 한다. 이러한 문제의식에 따라 연구진은 3년에 걸쳐 점점 더 어렵고 현실적인 의료 AI 벤치마크를 구축했다. 출발점인 2023년 MedAlign에서는 임상의 15명이 환자 기록에 관해 물을 법한 질문 983개를 작성했고, 당시 최고 모델인 GPT-4도 응답의 35%에서 오류를 보였다. 이 결과는 2024년 초 의료 업무 전반을 체계적으로 평가하는 MedHELM 개발로 이어졌다.

2. MedHELM이 드러낸 업무별 성능 차이

MedHELM은 임상의 29명의 의견을 반영해 실제 진료에서 흔히 수행하는 업무를 5개 대분류, 22개 하위분류, 121개 과제로 정리했다. 연구진은 모든 하위분류를 포괄하도록 벤치마크 데이터셋 37개를 모으고 프런티어 모델 9개를 평가했으며, 임상의가 정한 기준을 적용하는 LLM 심사단의 임상의와의 일치도가 임상의 상호 간 일치도에 상응하도록 했다. 지표인 승률은 모델 간 쌍대 비교에서 더 우수한 성능을 보인 비율로, 범위는 0부터 1까지다. 분야별 모델 승률 범위는 임상 기록 생성 0.74~0.85, 환자 소통·교육 0.76~0.89, 의학 연구 지원 0.65~0.75, 임상 의사결정 지원 0.63~0.77, 행정·업무 흐름 0.53~0.63이었다. 모델은 특히 임상 의사결정 지원과 행정·업무 흐름에 어려움을 보였는데, 이는 의료기관이 임상의의 시간 부담과 행정 비용을 줄이기 위해 큰 도움을 기대하는 영역이다. 저자들은 미국의 연간 행정 지출만 1조 달러를 넘는다는 점을 들어, 잠재적 편익이 큰 영역에서 오히려 성능이 낮았다고 지적한다.

3. 단일 응답 채점에서 전체 업무 실행 평가로

MedHELM은 입력에 대한 단일 텍스트 응답을 채점하지만, 성능이 취약했던 두 영역의 실제 업무는 대부분 여러 단계로 이루어진다. 예를 들어 사전승인은 전자의무기록의 오더 확인, 보험자의 기준 검토, 근거 문서 수집, 포털 양식 작성, 파일 첨부, 제출, 차트에 접수번호 기록까지 이어진다. 전문의 자문 역시 여러 진료 시점의 자료를 검색하고 추론한 뒤 처방·오더와 기록 작성으로 연결해야 하므로, 중간 단계의 답변 품질만으로 최종 실행 여부를 알 수 없다. 이에 연구진은 에이전트에게 환경·목표·도구를 제공하고 행동하게 한 다음, 실제 환경에서 무엇이 바뀌었는지를 확인하는 평가 방식을 택했다. PhysicianBench는 임상 의사결정과 실행을, HealthAdminBench는 행정·업무 흐름을 대상으로 이 원칙을 적용한다. 저자들은 좋은 예측과 환자에게 실제로 일어나는 변화 사이의 간극에 빗대어, 모델이 말하는 내용과 실제 수행 능력 사이에도 생성형 AI의 간극이 있다고 설명한다.

4. MedAgentBench에서 PhysicianBench로 높아진 난도

MedAgentBench는 가상 전자의무기록 환경의 현실적인 환자 100명 프로필을 바탕으로, 의사가 작성한 10개 범주의 환자별 임상 과제 300개를 제공했다. 2025년 초 공개 당시에는 최고 프런티어 모델도 적절한 과제 완수율이 70% 미만이었지만, 2026년에는 에이전트 기술의 발전으로 90%를 넘는 모델이 등장했다. PhysicianBench는 일차진료 의사와 세부 전문의 사이의 실제 의료 자문을 바탕으로 21개 전문분야에 걸친 장기·다단계 과제 100개를 구성해 평가 난도를 높였다. 별도의 의사 패널이 각 과제를 독립적으로 검토했으며, 에이전트는 합성 방식으로 재구성한 환자 기록이 있는 전자의무기록 샌드박스에서 과제를 수행한다. 과제당 평균 도구 호출은 27회이고, 전체 결과는 자료 검색·임상 추론·행동 실행·문서화를 포괄하는 총 670개 점검 항목으로 평가한다. 채점은 실행 결과에 근거해 과제별 스크립트로 필요한 처방·오더가 실제 기록에 존재하는지 확인하고, 추론과 진료기록에는 LLM 판단을 활용한다.

5. PhysicianBench의 낮은 완수율과 실행 누락

PhysicianBench에서 평가한 모델 12개 가운데 단일 시도 성과가 가장 높은 GPT-5.5의 과제 완수율은 46%였으며, 최고 오픈소스 모델인 DeepSeek V4-Pro는 19%였다. 반복 신뢰성은 더 낮아, GPT-5.5가 세 차례 실행 모두에서 적절히 수행한 과제는 28%에 그쳤다. 실패 분석에서는 실패한 점검 항목의 약 절반이 임상 추론의 한계와 관련됐고, 명백히 틀린 결론보다는 불완전한 추론이나 정답에 근접했지만 충분하지 않은 판단이 주로 나타났다. 또 기존 벤치마크로는 포착하기 어려웠던 문제로, 에이전트가 진료기록에 올바른 조치를 적고도 전자의무기록에 실제 처방·오더를 입력하지 않는 현상이 확인됐다. 이러한 사례는 행동 실행 실패 중 GPT-5.5에서 62%, Claude Opus 4.6에서 73%를 차지했다. 저자들은 잘 작성된 계획과 문서가 실제 업무 수행을 보장하지 않는다는 점을 이 결과의 핵심으로 제시한다.

6. HealthAdminBench의 행정 업무 재현 방식

HealthAdminBench는 환자 진료 뒤에서 이루어지는 청구·승인·행정 업무를 대상으로 하며, 저자들은 관련 인력이 빠르게 증가해 일선 임상의 대비 이미 10대 1을 넘었을 가능성도 제시한다. 연구진은 Stanford Health Care의 행정 담당자 업무를 100시간 넘게 관찰하고, 전자의무기록 하나·보험자 포털 두 개·팩스 시스템 하나로 이루어진 모의 웹 환경 네 개를 구축했다. 에이전트는 사람이 일하듯 화면을 보고 클릭하고 문자를 입력하는 방식으로 이 환경을 사용한다. 현직 행정 담당자들과 설계한 과제는 사전승인 60개, 이의신청·거절 대응 60개, 내구성 의료장비 주문 15개로 총 135개이며, 난도는 세 단계로 나뉜다. 각 과제를 하위과제로 분해한 뒤 결정론적 검사 1,177개와 LLM 심사 기준 521개를 합친 검증 항목 1,698개로 평가한다. 모든 환자 데이터는 합성이므로 환경을 공개하고 누구나 이용할 수 있는 리더보드를 운영할 수 있도록 했다.

7. 하위과제 수행 능력이 전체 업무 신뢰성으로 이어지지 않는 이유

HealthAdminBench에서 시험 당시 가장 높은 성과를 낸 에이전트는 기본 컴퓨터 사용 모드의 Claude Opus 4.6이었으며, 전체 과제를 처음부터 끝까지 완수한 비율은 36.3%였다. 최고 공개 가중치 모델인 Kimi K2.5의 완수율은 15.6%였다. 컴퓨터 사용 모드의 GPT-5.4는 개별 하위과제의 82.8%를 통과했지만 전체 과제 완수율은 26.7%에 그쳐, 부분적인 능력이 전체 업무의 신뢰성으로 곧바로 이어지지 않음을 보여줬다. 저자들은 양식을 제대로 작성하고도 잘못된 주소로 보내면 성공으로 볼 수 없으며, 환자 역시 문서 작성을 마쳤더라도 잘못된 약을 처방한 결과에 부분 점수를 주지 않을 것이라고 설명한다. 주요 실패는 단계 간 조율에서 발생해, 에이전트가 나중에 보험자 포털에서 쓸 정보를 전자의무기록에서 확보하고도 기록해 두지 않아 잃어버리거나 필요한 파일 업로드·다운로드를 빠뜨렸다. 앞선 단계로 돌아가 오류를 수정하는 경우도 드물었고, 대신 주어진 수행 예산을 소진하는 양상이 나타났다.

8. 두 벤치마크의 공통 결론과 공개 평가의 역할

PhysicianBench는 실제 임상 기록에 기반한 임상의 업무 과정의 충실한 재현에, HealthAdminBench는 광범위한 행정 업무에서 사람이 수행하는 절차의 재현에 무게를 둔다. 환경·모델 집합·인터페이스·채점 방식이 다르므로 PhysicianBench의 46%와 HealthAdminBench의 약 36%를 직접 비교할 수는 없지만, 독립적으로 구축한 두 실행 기반 평가 모두 최고 에이전트가 업무의 절반 미만을 완수했다는 방향성은 공통적이다. 저자들은 두 평가에서 진료 시점·문서·시스템 사이로 정보를 이어 가지 못하는 문제가 지배적이라고 보고, 더 큰 모델뿐 아니라 에이전트 구조와 메모리, 실행을 뒷받침하는 체계의 개선이 적어도 그만큼 중요하다고 주장한다. 의료기관의 AI 도입 판단에는 임상·행정 양쪽의 근거가 필요하며, 합성 데이터·공개 코드·리더보드를 통한 재현성과 투명성도 요구된다. 두 벤치마크는 MedHELM에서 가장 취약했던 분야를 확장한 것으로, 연구진은 이를 MedHELM에 기여하고 다른 기관에도 중요한 업무 흐름의 벤치마크를 보태도록 제안한다. MedHELM은 공동체가 소유하는 공개 프레임워크이며 Apache 2.0 라이선스로 배포된다.

🧾 핵심 주장 / 시사점

• MedAgentBench에서 90%를 넘는 완수율이 등장한 뒤에도 더 긴 업무를 평가하는 PhysicianBench의 최고 성과는 46%였다. 기존 평가에서의 발전만으로 실제 임상 업무 전반의 준비 수준을 판단하기 어렵다는 점을 시사한다.
• PhysicianBench의 처방·오더 누락과 HealthAdminBench의 정보·파일 처리 실패는 공통적으로 중간 단계의 성과를 최종 실행으로 연결하지 못한 사례다. 따라서 문서의 정확성과 실제 환경에서 완료된 조치를 함께 평가할 필요가 있다.
• PhysicianBench의 임상 추론 한계와 두 벤치마크의 정보 유지 실패를 함께 보면, 개선 과제는 의학적 판단과 다단계 실행 양쪽에 걸쳐 있다. 저자들이 모델 규모 확대와 에이전트 구조·메모리 개선을 함께 강조하는 이유다.

✅ 액션 아이템

• 의료 AI 도입 평가에서 PhysicianBench·HealthAdminBench의 전체 업무 완수율과 반복 실행 신뢰성을 함께 검토.
• 진료기록의 올바른 조치와 실제 처방·오더 입력의 연결, 다단계 정보 유지를 핵심 개선 대상으로 검토.
• PhysicianBench·HealthAdminBench의 환경·모델·인터페이스·채점 방식 차이를 반영하고, 평가의 재현성과 투명성을 함께 확인.

❓ 열린 질문

• PhysicianBench에서 GPT-5.5의 단일 시도 완수율 46%와 세 번 모두 성공한 비율 28% 사이의 차이를 줄이려면 무엇을 개선해야 하는가?
• HealthAdminBench에서 GPT-5.4의 하위과제 통과율 82.8%가 전체 과제 완수율 26.7%로 낮아지는 데 가장 큰 영향을 주는 단계 간 실패는 무엇인가?
• 에이전트 구조·메모리·실행 체계 개선이 PhysicianBench와 HealthAdminBench의 전체 업무 완수율을 얼마나 높일 수 있는가?