How Numan Built an Eval-First AI Health Coach with LangGraph and LangSmith

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Numan은 LangGraph와 LangSmith로 AI 건강 코치 Nu를 구축하며, 의료적 판단의 경계를 지키는 대화 품질의 핵심이 에이전트 자체보다 평가 기준의 설계와 임상 전문가의 검토에 있음을 확인했다.

📌 핵심 요약

• 영국 디지털 헬스 기업 Numan의 Nu는 생활습관 코칭과 교육을 제공하며, 의료 진단·처방·임상적 의사결정은 범위에서 제외한다. 고정된 단일 응답 평가와 사전 작성된 다중 턴 대본은 대화의 맥락과 코칭의 진행 속도를 제대로 평가하지 못했다.
• Nu는 LangGraph에서 감독 모델이 분야별 전문 하위 에이전트를 조율하는 구조다. 단일 응답으로 판단할 수 있는 항목은 주제별 데이터셋과 범주별 LLM 심사로 평가하며, 모든 평가는 환자가 사용하는 것과 동일한 그래프를 통과한다.
• Nu는 현재 감독 모델과 전문 에이전트에 서로 다른 두 최첨단 모델 제공업체를 사용한다. 동일한 평가 데이터셋으로 제공업체를 비교한 덕분에 통상 수주의 수동 테스트가 필요한 제공업체 전환을 하루 만에 수행했으며, LangSmith에서 대화 추적 기록·검토 주석·데이터셋·실험 결과를 관리한다.
• 안전성 평가의 회귀는 출시를 자동 차단하며, 그래프 내부 안전 가드는 발송 전 응답을 검사해 재생성을 요청하거나 안전한 대체 응답으로 바꾼다. 건강 코치는 실제 대화 표본을 매일 검토하고, 범위 밖 요청에는 유용성을 유지하는 안전한 응답인 safe-completion을 지향한다.
• 프로토타입인 대화 시뮬레이션은 저렴한 모델이 환자 역할을 맡아 실제 Nu와 상호작용하며, 탈옥 시나리오의 심각한 범위 위반을 줄였다. 다만 현재 기준은 엔지니어가 작성했으므로 임상의 승인 전에는 이 계층을 출시 차단이나 안전성 주장의 근거로 쓰지 않는다. 향후에는 온라인 평가와 임상의가 관여하는 평가 기준을 확대할 계획이다.

🧩 주요 포인트

1. 평가 단위를 판단 대상에 맞춤 → 단일 응답의 안전성과 대화 전체의 코칭 품질을 나눠 검증하고, 범주별 점수로 평균에 가려지는 실패를 드러낸다.
2. 운영 환경과 평가 환경을 동일한 LangGraph로 통합 → 평가용 구현과 실제 동작의 불일치를 줄이고, 전문 에이전트 추가와 모델 제공업체 비교에도 같은 평가 체계를 활용한다.
3. 평가 기준의 충돌과 임상적 승인 여부가 자동화의 한계를 결정 → 규제 경계에 관한 기준을 먼저 정합적으로 확정해야 대화 시뮬레이션과 후속 자동화의 결과를 신뢰할 수 있다.

🧠 상세 정리

1. Nu의 목표와 규제 경계

Numan은 체중, 호르몬, 성 건강 분야에서 장기적인 건강 상태 관리를 돕는 영국 디지털 헬스 기업이며, 많은 환자가 체중 감량 프로그램에 참여하면서 앱으로 매일 진행 상황을 기록한다. AI 건강 코치 Nu의 과제는 높은 품질의 코칭을 제공하면서 의료 진단, 처방, 임상적 의사결정으로 넘어가지 않는 것이었다. 원문은 MHRA 지침상 의료적 목적을 가진 소프트웨어가 의료기기에 해당한다고 설명하며, Nu의 범위는 생활습관 코칭과 교육을 제공하는 웰니스 제품으로 설정됐다고 밝힌다. 팀은 처음에는 에이전트와 주변 자동화에 집중했지만, 개발 과정에서 사용자 경험과 범위 준수를 좌우하는 요소가 평가 기준의 품질임을 발견했다. 따라서 이 사례의 중심은 에이전트를 만드는 방법뿐 아니라, 무엇을 좋은 코칭과 안전한 행동으로 인정할지 정하고 그 판단 기준을 개선하는 과정에 있다.

2. 고정된 응답과 대본 기반 평가의 실패

초기에는 입력과 기대 출력을 묶은 데이터셋을 만들고 LLM 심사자가 개별 응답을 채점했지만, 행동 코칭에는 하나의 정답이 드물고 안전성도 앞뒤 대화에 따라 달라졌다. 전체 데이터셋의 평균 점수는 일부 실패가 미치는 영향을 희석했으며, 두 차례의 대화 안에 공감·탐색·조언을 모두 요구한 평가 기준은 적절한 속도로 코칭하는 Nu를 오히려 실패로 판단했다. 이는 낮은 점수가 항상 에이전트의 문제를 뜻하지 않으며, 평가 자체가 잘못된 기대를 담을 수도 있음을 보여줬다. 다음으로 환자의 여러 발화를 미리 작성해 전체 대화를 채점했지만, 환자의 두 번째 발화가 Nu의 첫 응답을 반영하지 못하는 문제가 생겼다. Nu가 대본에서 예상하지 못한 말을 하는 순간 이후 발화는 실제로 일어나지 않은 대화에 답하게 됐고, 이 두 실패가 새로운 평가 체계의 출발점이 됐다.

3. 그래프 구조와 범주별 평가의 결합

Nu는 LangGraph 그래프로 구성되며, 감독 모델이 각자의 프롬프트와 도구를 가진 분야별 전문 하위 에이전트로 작업을 넘긴다. 이 구성은 새로운 전문 에이전트를 추가하기 쉽게 만들고, 각 전문 에이전트에 동일한 평가 체계를 적용할 수 있게 한다. 감독 모델의 올바른 라우팅, 약물 질문에 대한 안전한 답변, 안전 가드의 탐지 여부처럼 단일 응답으로 판단할 수 있는 항목에는 코칭 품질·안전성·약물 질문·라우팅·요약 등의 주제별 데이터셋을 사용한다. 초기 방식과 달리 LLM 심사자는 전체 평균 하나가 아니라 범주별 점수를 산출하며, 각 평가 기준도 한 번의 응답에서 확인할 수 있는 내용만 요구한다. 따라서 특정 범주의 실패를 다른 범주의 높은 점수가 가리지 않고, 대화의 속도를 조절하는 정상적인 코칭도 불필요한 감점을 받지 않는다. 대화 전체의 전개가 필요한 항목에는 별도 계층을 적용하고, 평가는 전체 시스템이나 개별 하위 에이전트 중 필요한 대상을 겨냥할 수 있다.

4. 실제 운영 그래프를 평가하고 제공업체를 비교

팀은 에이전트 프롬프트를 복사해 모델을 직접 호출하는 별도 평가 장치를 두는 대신, 출시하는 대상과 테스트하는 대상이 같아야 한다는 원칙을 채택했다. 모든 평가는 환자가 실제로 대화하는 LangGraph 그래프를 통과하므로, 평가용 구현과 운영 구현이 달라지는 문제를 피할 수 있다. 규모가 커지면서 감독 모델과 분야별 전문 에이전트가 서로 다른 인지 작업을 수행한다는 점에 주목했고, 현재는 두 최첨단 모델 제공업체를 에이전트별로 나눠 사용한다. 공개된 형식의 주제별 데이터셋으로 구성한 평가 묶음은 여러 설정에 적용할 수 있어, 같은 데이터셋을 제공업체별로 실행하고 결과를 나란히 비교하는 데 활용됐다. 원문에 따르면 이 방식으로 통상 수주의 수동 테스트가 필요한 제공업체 전환을 하루 만에 수행했으며, 해당 비교 결과는 LangSmith에서 직접 확인했다.

5. 출시 차단과 실행 중 안전 가드

Nu가 웰니스 범위 안에 머무는지는 모든 변경에서 확인하며, 범주별 안전성 평가에서 회귀가 발생하면 해당 변경의 출시가 자동으로 차단된다. 범위 밖 요청에 대한 목표는 갑작스러운 거절이 아니라, 코치다운 따뜻함과 유용성을 유지하면서 경계를 지키는 safe-completion이다. 평가와 별개로 그래프 내부의 안전 가드는 환자에게 보낼 모든 응답을 고정된 임상 안전 규칙에 대조하고, 안전하지 않은 초안은 감독 모델로 돌려보내 재생성하도록 한다. 재생성 후에도 계속 실패하면 위험한 응답을 전달하는 대신 안전한 대체 메시지로 바꾼다. 안전 가드 역시 같은 그래프 안에 있으므로 평가 대상에 포함되며, 전용 주제별 데이터셋으로 필요한 위험을 제대로 탐지하는지 확인한다. 여기에 건강 코치가 실제 대화 표본을 매일 읽고 안전상 누락으로 보이는 사례를 표시하면서, 사람이 안전성 판단의 기준을 보정한다.

6. 대본 대신 반응하는 환자 시뮬레이션

최신 평가 계층은 아직 프로토타입이며, 환자의 발화를 미리 고정하는 대신 환자 페르소나, 시나리오, Nu가 파악해야 할 핵심 문제, 대화 턴 제한을 제공한다. 저렴한 모델이 환자 역할을 맡아 실제 Nu의 발화에 반응하고, 대화가 끝나면 심사자가 전체 기록을 범주별로 평가한다. 이 방식은 임상적 요청을 코칭 질문처럼 숨기거나 평범한 질문으로 위장해 조작을 시도하는 적대적 사례를 탐색하고, Nu가 충분히 탐색하지 않은 채 성급하게 답하는 문제도 드러낼 수 있다. 원문은 이러한 시뮬레이션을 이용한 프롬프트 강화가 규제 경계와 관련된 탈옥 시나리오에서 심각한 범위 위반을 줄였다고 보고하지만, 감소 폭을 수치로 제시하지는 않는다. 동시에 약물 질문 평가를 회귀 차단 조건으로 병행해, 새 프롬프트가 개선되는 과정에서 이미 신뢰하던 행동이 손상되지 않도록 확인했다.

7. 프롬프트보다 중요한 평가 기준의 정합성

시뮬레이션 계층을 지속적인 개선에 활용할 때 드러난 핵심 문제는 구현보다 평가 기준 사이의 충돌이었다. 복용을 놓친 상황에 대해 한 기준은 답변을 거절하고 임상의에게 안내하도록 요구했지만, 다른 기준은 환자용 의약품 설명서의 일반 정보를 활용해 safe-completion을 제공하도록 요구했다. 하나의 프롬프트가 두 요구를 동시에 만족할 수 없었으므로, 팀은 희소하고 가치 있는 자산이 프롬프트보다 평가 기준이라는 결론을 얻었다. 규제 경계와 관련된 기준은 그 경계를 이해하는 임상의가 작성하고 승인해야 하며, 엔지니어가 단독으로 정할 수 있는 문제가 아니라고 설명한다. 현재 시뮬레이션 결과는 엔지니어가 작성한 기준으로 판단하고 있어, 임상의가 해당 기준을 승인하기 전에는 이 계층을 출시 차단 조건이나 안전성 주장의 근거로 사용하지 않는다. 이는 시뮬레이션에서 관찰한 개선과, 제품의 안전성을 뒷받침할 수 있는 검증 사이에 아직 남아 있는 중요한 제약이다.

8. LangGraph와 LangSmith의 역할

이 개발 체계에서 LangGraph는 감독 모델과 분야별 전문 에이전트가 동작하는 실제 에이전트이며, LangSmith는 실제 대화와 시뮬레이션 대화를 측정하는 공간이다. 고정 입력 평가와 대화 시뮬레이션 모두 같은 그래프를 실행하고, 필요에 따라 전체 시스템 또는 특정 하위 에이전트를 평가한다. 모든 대화는 LangSmith에 추적 기록으로 남으며, 검토자는 기록에 주석을 달아 지속적인 품질 개선에 활용한다. 데이터셋과 실험 결과도 같은 곳에서 관리하므로, 제공업체 전환 때 사용한 비교 결과와 실제 대화 검토가 하나의 측정 환경에 연결된다. 원문은 이 통합 덕분에 서로 분리된 세 도구를 별도 연결 코드로 이어 붙일 필요가 없고 평가 실행 부담도 낮아진다고 설명한다. 다만 도식에서 프로토타입이나 향후 방향으로 표시된 부분은 현재 운영 중인 기능과 구분해야 하며, 특히 시뮬레이션 평가의 출시 차단 적용에는 임상의 승인이 남아 있다.

9. 기준과 적용 범위를 넓히는 다음 단계

향후 계획은 에이전트 자체의 확장뿐 아니라 적대적 페르소나와 시나리오를 늘리고, 전문 에이전트가 추가될 때 평가 주제를 보강하며, 안전성과 범위에 관련된 기준에 임상의의 관여를 확대하는 데 초점을 둔다. 현재까지 설명한 평가는 모두 출시 전에 변경을 검증하는 오프라인 방식이고, 다음 단계는 실제 대화가 LangSmith에 들어올 때 동일한 기준으로 Nu의 발화를 지속 평가하는 온라인 평가다. 이 방식이 도입되면 사람 검토자는 현재의 일일 표본 대신 평가기가 먼저 표시한 대화부터 검토하고, 오탐을 바탕으로 기준을 다듬게 된다. 검토한 대화의 우선순위를 정하거나 고정 벤치마크에 맞춰 프롬프트를 조정하는 자동화도 초기 실험 중이며, 단일 행동 벤치마크를 대상으로 한 오프라인 최적화는 수동 조정 없이 점수를 의미 있게 높였다고 보고한다. 현재도 검토자는 실제 대화를 읽고 모든 프롬프트 변경은 엔지니어가 발의하며, 원문은 단일 응답에는 고정 입력 평가를, 대화 전체에는 시뮬레이션을 쓰고 범주별 점수와 경계 위반 평가를 중심에 두라고 권고한다.

🧾 핵심 주장 / 시사점

• 평가 실패는 에이전트의 결함뿐 아니라 부적절한 평가 기준에서도 발생한다. 코칭의 대화 속도와 맥락을 무시하면 올바른 행동을 잘못된 행동으로 판정할 수 있다.
• 운영과 평가가 같은 그래프를 공유하면 안전 가드와 라우팅까지 실제 동작을 검증하면서, 모델 제공업체 변경에도 평가 자산을 재사용할 수 있다.
• 대화 시뮬레이션의 개선 결과만으로 안전성을 주장할 수는 없다. 규제 경계에 관한 기준의 정합성과 임상의 승인이 후속 자동화의 신뢰 범위를 결정한다.

✅ 액션 아이템

• Nu의 평가 대상을 단일 응답과 대화 전체로 구분하고, 범주별 점수로 실패 여부 확인.
• LangGraph의 동일한 운영 그래프를 평가에 사용하고, 안전성 평가의 회귀에 따른 출시 차단 유지.
• 대화 시뮬레이션의 출시 차단 적용과 안전성 주장에 앞서 임상의의 평가 기준 검토·승인 확보.

❓ 열린 질문

• Nu의 대화 시뮬레이션 평가 기준은 언제 임상의 승인을 받아 출시 차단에 사용될 수 있는가?
• 향후 온라인 평가는 실제 Nu 대화에서 의료 진단·처방·임상적 의사결정의 경계 위반을 얼마나 포착할 수 있는가?
• 범주별 평가 결과에서 감독 모델과 전문 에이전트에 서로 다른 두 최첨단 모델 제공업체를 선택하게 한 차이는 무엇인가?