Blue J’s approach for scaling fast in complex, regulated domains

🖼️ 인포그래픽

Blue J’s approach for scaling fast in complex, regulated domains 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Blue J는 세무 전문성, GPT‑4.1 기반 검색증강생성, 체계적인 사용자 피드백과 평가 체계를 결합해 복잡하고 규제가 엄격한 세무 조사 서비스를 빠르게 확장했다.

📌 핵심 요약

기존 세무 조사는 수백 개의 법령·규정·판례·유권해석·전문가 논평을 검토해야 하므로 답변에 수시간에서 수주가 걸리고, 결과도 불일치하거나 오래될 수 있었다.
Blue J는 수백만 건의 선별된 세무 문서와 GPT‑4.1을 결합한 검색증강생성 시스템을 구축해 근거 인용과 출처 목록이 포함된 답변을 수초 안에 제공했다.
모든 답변에 이의 제기 기능을 두고 오류 유형·세무 주제·추정 원인을 분류함으로써 개별 문제뿐 아니라 반복되는 품질 저하 패턴까지 찾아냈다.
350개가 넘는 미국·캐나다·영국 세법 질문으로 모델의 지시 준수, 출처 정합성, 답변 명료성을 평가하며 실제 배포 여부를 엄격히 결정했다.
Blue J의 핵심 교훈은 범용 모델만으로 차별화하기보다 특정 분야의 깊은 전문성을 중심에 두고, 적합한 모델과 반복 개선 체계로 그 전문성을 확장해야 한다는 것이다.

🧩 주요 포인트

기존 세무 조사는 수백 개의 법령·규정·판례·유권해석·전문가 논평을 검토해야 하므로 답변에 수시간에서 수주가 걸리고, 결과도 불일치하거나 오래될 수 있었다.
Blue J는 수백만 건의 선별된 세무 문서와 GPT‑4.1을 결합한 검색증강생성 시스템을 구축해 근거 인용과 출처 목록이 포함된 답변을 수초 안에 제공했다.
모든 답변에 이의 제기 기능을 두고 오류 유형·세무 주제·추정 원인을 분류함으로써 개별 문제뿐 아니라 반복되는 품질 저하 패턴까지 찾아냈다.
350개가 넘는 미국·캐나다·영국 세법 질문으로 모델의 지시 준수, 출처 정합성, 답변 명료성을 평가하며 실제 배포 여부를 엄격히 결정했다.
Blue J의 핵심 교훈은 범용 모델만으로 차별화하기보다 특정 분야의 깊은 전문성을 중심에 두고, 적합한 모델과 반복 개선 체계로 그 전문성을 확장해야 한다는 것이다.

🧠 상세 정리

1. 기존 세무 조사의 한계와 Blue J의 출발

전통적인 세무 조사는 해석을 시작하기도 전에 수백 개의 자료를 찾아야 하며, 이후에도 법령·규정·유권해석·판례·전문가 논평 사이의 관계를 직접 정리해야 했다. 질문의 복잡도에 따라 이 작업은 수시간에서 수일, 때로는 수주까지 걸렸고, 많은 시간을 들인 뒤에도 답변이 서로 다르거나 최신 개정 내용을 반영하지 못할 수 있었다. 세무에서는 작은 뉘앙스 하나를 놓쳐도 실제 비용으로 이어질 수 있기 때문에 이러한 비효율과 불확실성은 중요한 문제였다. 세법 교수와 실무자들은 더 나은 조사 도구가 필요하다고 보고 2015년 Blue J를 설립했으며, 초기에는 인공지능으로 세법 사건의 결과를 예측하는 방법을 탐구했다. 이후 세무·회계법인의 규모와 관계없이 활용할 수 있는 여러 제품으로 범위를 넓혔다.

2. 생성형 인공지능을 활용한 빠른 제품 전환

ChatGPT가 출시되자 Blue J는 복잡한 규정을 추론하는 능력과 구조화된 검색을 결합해 새로운 세무 조사 경험을 만들 기회로 판단했다. 목표는 단순한 문장 생성을 넘어, 전문가가 신뢰할 수 있도록 본문 내 인용과 전체 출처 목록을 갖춘 세무 답변을 수초 안에 제공하는 것이었다. 회사는 이미 세무 전문가가 실제로 겪는 문제와 해결 방식을 알고 있었고, 여기에 필요한 모델 품질을 확보함으로써 기존 전문성을 대규모로 제공할 수 있었다. ChatGPT 공개 후 불과 6개월 만에 첫 제품을 출시했으며, 이후 사용자 피드백을 반영하고 견고한 평가 체계를 구축하면서 빠르게 개선했다. 출시 후 2년 안에는 GPT‑4.1을 사용하는 세무 조사 엔진을 미국·캐나다·영국에 제공했다.

3. 전문 자료와 GPT‑4.1을 결합한 검색증강생성

Blue J의 세무 조사 솔루션은 GPT‑4.1과 독점 문서 라이브러리를 결합한 검색증강생성 시스템으로 구성된다. 이 라이브러리에는 권위 있는 1차 자료와 전문 세무 논평을 포함해 선별된 문서 수백만 건이 담겨 있다. 사용자가 복잡한 세무 질문을 입력하면 시스템은 관련 근거 자료를 즉시 검색하고, GPT‑4.1은 이를 종합해 명확하고 인용이 완비된 답변으로 만든다. 결과물은 모델이 단순히 생성한 문장이라기보다 신뢰하는 동료가 근거를 들어 안내하는 형식에 가깝도록 설계됐다. Blue J는 여러 모델을 시험한 결과 GPT‑4.1이 지시를 안정적으로 따르고, 주어진 문맥을 존중하며, 예외적인 사례를 더 잘 처리했다고 설명했다. 이러한 구현은 세무 지식과 기술 역량을 함께 갖춘 팀의 분야 전문성이 핵심 기반이 됐다.

4. 사용자 피드백을 품질 개선의 순환 구조로 전환

세무 답변의 작은 오류도 감사, 신고 지연, 고객의 금전적 손실로 이어질 수 있기 때문에 Blue J는 드문 예외 사례까지 신속하게 발견하고 수정해야 한다고 판단했다. 회사는 제품 개선에 기여하려는 고객을 위해 선택적 데이터 공유 기능을 마련하고, 모든 답변에 사용자가 이의를 제기할 수 있는 버튼을 배치했다. 지적된 답변은 문제 유형, 세무 주제, 가능성이 높은 근본 원인에 따라 체계적으로 분류됐다. 이 과정은 일회성 오류를 잡는 데 그치지 않고, 특정 세무 분야의 질문이 지속적으로 낮은 성능을 보이거나 같은 프롬프트에서 답변이 불안정해지는 패턴도 드러냈다. GPT‑4.1은 수천 건의 피드백을 분석하고 유사 문제를 묶는 분류 단계에도 사용됐으며, 제품팀과 세무 조사팀이 효과가 큰 개선 과제에 집중하도록 지원했다.

5. 반복 개선으로 신뢰와 변화 대응 속도 확보

GPT‑4.1이 일관된 방식으로 응답했기 때문에 프롬프트, 검색 로직, 자료 구성에 적용한 작은 개선도 누적될 수 있었다. 사용자와의 매 상호작용에서 오류와 패턴을 학습하는 순환 구조는 반복 개발 속도를 높이고 답변 품질을 개선했으며, 제품이 실제 사용자 요구와 함께 변화하도록 만들었다. 그 결과 Blue J에서 이의가 제기되는 비율은 답변 700건당 1건 미만으로 낮아졌다. 이 개발 방식은 세법이 급격히 바뀌는 상황에서도 효과를 보였다. 2025년 미국의 대규모 세법안이 통과될 때 Blue J는 이미 6주 동안 해당 법안이 시스템 전반에 미치는 영향을 정리해 두었고, 법안 서명 후 수시간 안에 갱신된 답변을 운영 환경에 제공했다. 규칙의 변화가 잦고 정확성이 핵심인 분야에서 이러한 폐쇄형 개선 순환은 속도와 신뢰를 동시에 유지하는 기반이 됐다.

6. 실제 배포 기준을 높이는 평가 체계와 최종 교훈

Blue J는 모델 품질을 부가 기능이 아니라 제품 배포를 결정하는 필수 관문으로 다뤘다. 새로운 모델이 나올 때마다 미국·캐나다·영국 세법을 포괄하는 350개 이상의 질문으로 구성된 내부 기준 평가를 수행했다. 각 모델은 지시를 제대로 따르는지, 답변이 검색된 출처와 일치하는지, 설명이 명확한지를 중심으로 검증됐으며, 프롬프트나 검색 로직의 개선이 실제 상황에서도 예측 가능한 결과로 이어지는지 확인했다. Blue J는 여러 모델을 시험했지만 내부 기준을 충족한 비오픈AI 모델을 실제 제품에 배포한 적은 없다고 밝혔다. 특히 지시 준수와 실제 업무에 사용할 수 있는 답변 품질에서 오픈AI 모델이 지속적으로 더 높은 성과를 냈다는 설명이다. Blue J의 사례는 창업자가 자신만의 분야 전문성을 핵심 경쟁력으로 삼고, 그 지식을 안정적으로 확장할 수 있는 모델과 평가·피드백 체계를 선택해야 한다는 결론으로 이어진다.