How ONESTRUCTION built the Ishigaki-IDS foundation model with AWS GenAIIC

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

ONESTRUCTION은 도메인 전문가가 설계한 합성 데이터와 3단계 학습, 자동 검증 보상을 결합해 데이터가 부족한 건설 BIM 분야의 IDS 생성 특화 모델 Ishigaki-IDS를 구축했다.

📌 핵심 요약

• Ishigaki-IDS는 BIM 모델의 정보 요구사항을 정의하고 검증하는 XML 기반 표준인 IDS를 생성하도록 특화된 기반 모델이다.
• 프로젝트는 부족한 공개 데이터를 보완하기 위해 전문가가 설계한 합성 데이터를 중심으로 IDS·IFC 지식과 유효한 IDS 파일을 학습 자료로 구축했다.
• Qwen3 8B·14B·32B 모델을 기반으로 지속 사전학습, 지도 미세조정, 검증 가능한 보상을 이용한 강화학습의 3단계 학습 파이프라인을 적용했다.
• IDS-Bench 평가에서 Ishigaki-IDS는 XML 및 IDS 구조 준수율이 100%에 근접했고, IDS 내용 일관성은 80%를 넘었으며 약 12만 토큰 길이의 입출력 생성도 확인됐다.
• 프로젝트는 도메인 전문가의 합성 데이터 설계, IDS-Audit-Tool을 활용한 자동 검증, 안정적인 다중 노드 분산 학습 환경이 성능과 반복 개발 속도에 중요했다고 정리했다.

🧩 주요 포인트

1. 공개 IDS 자료가 매우 적고 IFC 용어와 전용 문법까지 익혀야 했기 때문에, 전문가가 통제한 합성 데이터가 단순한 데이터 증량을 넘어 핵심 지식 공급원으로 사용됐다.
2. 지도 미세조정만으로 남은 그럴듯하지만 잘못된 태그와 속성값 문제를 자동 검증 보상으로 교정함으로써, 구조화 출력에서는 기계적으로 판정 가능한 정확성 신호가 효과적인 학습 수단임을 보였다.
3. 실무 범주를 반영한 자체 평가와 전문가·비전문가 대상 개념 검증을 함께 수행해, 형식적 준수뿐 아니라 내용 일관성과 현장 활용 가능성까지 확인했다.

🧠 상세 정리

1. 건설 BIM 현장의 배경과 개발 목표

일본 건설업은 지속적인 인력 부족에 직면해 있으며, 설계·시공·유지관리 관계자가 정보를 한곳에서 공유할 수 있는 BIM의 보급이 국가 차원에서 추진되고 있다. 그러나 BIM을 실제 업무에 도입하려면 전문 지식이 필요해 학습 비용이 높고, 이 점이 폭넓은 활용을 늦추는 요인이 됐다. 특히 IDS는 IFC 기반 BIM 모델에 어떤 정보를 첨부하고 무엇을 검증할지를 정의하는 XML 기반 표준으로, 파일을 작성하려면 IDS 문법과 IFC 규칙을 함께 알아야 한다. ONESTRUCTION은 이러한 장벽을 낮추기 위해 건설업 BIM 업무에 특화된 기반 모델 Ishigaki-IDS를 개발했다. 목표는 BIM 비전문가도 속성 정보를 검토하고 관리할 수 있도록 IDS 작성을 지원하는 것이며, 데이터가 부족한 전문 분야에서 재사용할 수 있는 모델 개발 방식을 제시하는 데에도 초점을 맞췄다.

2. IDS 특화 모델이 마주한 세 가지 난제

첫 번째 문제는 IDS가 2024년에 공개된 비교적 새로운 표준이고 건설 분야의 공개 웹 콘텐츠도 제한적이어서, 학습에 사용할 수 있는 자료의 양과 깊이가 모두 부족했다는 점이다. 최신 웹 자료를 수집한 뒤에도 모델이 IDS와 관련 개념의 충분한 맥락을 데이터만으로 익히기에는 규모가 작았다. 두 번째 문제는 일반 용어를 수천 개의 IFC 어휘에 대응시키는 것으로, 예를 들어 보를 IfcBeam에, 에어컨을 IfcUnitaryEquipment에 연결하는 지식을 모델이 직접 학습해야 했다. 이 작업은 과거에 도메인 전문가가 수작업으로 처리하던 영역이었다. 세 번째 문제는 IDS가 단순한 XML이 아니라 첨부하거나 검증할 정보에 따라 태그 구조가 바뀌고 전용 태그와 반복 패턴을 요구한다는 점으로, 범용 기반 모델은 형식상 XML을 만들더라도 올바른 IDS 구조와 내용을 정확히 생성하기 어려웠다.

3. Qwen3 기반 모델과 지속 사전학습

Ishigaki-IDS는 다국어 처리 역량과 다양한 매개변수 규모를 갖춘 공개 대규모 언어 모델 Qwen3의 8B·14B·32B 버전을 기반으로 개발됐다. 여러 크기를 함께 활용함으로써 작은 모델에서 먼저 실험한 뒤 32B 규모의 전체 학습으로 확장할 수 있었다. 첫 단계인 지속 사전학습에서는 웹 말뭉치와 내부 도메인 전문가가 만든 합성 데이터를 이용해 IDS 및 IFC 지식을 주입했다. 팀은 유효한 IDS 파일을 대규모로 생성하고, IDS 관련 문서를 여러 관점에서 설명하는 합성 데이터 세트도 구축했다. 합성 데이터가 전체 학습 말뭉치의 대부분을 차지했으며, 제한적인 공개 자료만으로는 확보하기 어려운 전문 용어, 규칙, 문서 구조와 맥락을 보충하는 핵심 수단으로 사용됐다.

4. 지도 미세조정과 검증 가능한 보상 학습

두 번째 단계인 지도 미세조정에서는 CSV 또는 자연어로 작성된 IDS 생성 지시와 그에 대응하는 정답 IDS 출력을 쌍으로 구성해 학습했다. 이 단계는 입력 요구를 구조화된 IDS 파일로 변환하는 기본 능력을 형성했지만, 그럴듯해 보이면서도 실제로는 잘못된 XML 태그를 선택하거나 속성값을 틀리는 문제가 남았다. 이를 교정하기 위해 세 번째 단계에서는 검증 가능한 보상을 이용한 강화학습을 적용했다. 보상 함수로 사용한 buildingSMART의 IDS-Audit-Tool은 XML 문법 적합성, IDS 구조 유효성, 의미적 일관성을 기계적으로 검사했다. 모델은 이 명확한 정확성 신호를 바탕으로 출력을 반복 개선할 수 있었고, 많은 양의 수동 정답 데이터가 없는 상황에서도 구조와 내용의 품질을 높일 수 있었다.

5. 도메인 전문가와 기술 자문의 반복 개발

ONESTRUCTION은 건설 및 BIM 전문 지식을 바탕으로 개발을 주도하고, GenAIIC와 2주마다 만나 학습 결과와 평가 데이터를 검토했다. 논의 범위에는 IDS 합성 데이터 전략과 단계별 데이터 구성 비율, IFC·IDS 지식 및 구조화 생성과 일반 대화 능력을 측정하는 평가 기준이 포함됐다. 또한 지속 사전학습·지도 미세조정·강화학습 기법, 긴 문맥 처리, 보상 설계와 구조화 출력 방식을 함께 조정했다. 분산 학습의 병렬화, 처리량, 안정성도 검토했으며, 문제가 나타날 때마다 원인을 진단하고 다음 반복 개발의 방향을 정했다. 각 주기에서 어떤 변경이 IDS 생성 정확성과 실용성을 높이는지를 평가한 과정은 데이터가 부족한 틈새 분야에서도 짧은 일정 안에 특화 모델을 완성하는 데 기여했다.

6. 다중 노드 분산 학습 구조

학습 환경은 NVIDIA H200 텐서 코어 GPU를 탑재한 Amazon EC2 p5en.48xlarge 인스턴스 두 노드로 구성됐고, AWS ParallelCluster가 클러스터 배포와 관리를 담당했다. ParallelCluster는 고성능 컴퓨팅 클러스터를 구성하고 운영하기 위한 오픈 소스 도구로 사용됐다. 학습 데이터, 합성 데이터와 체크포인트는 계산 집약적 작업에 맞춘 관리형 파일 시스템인 Amazon FSx for Lustre에 저장됐다. 이 파일 시스템은 짧은 지연 시간과 높은 처리량을 제공해 여러 학습 노드가 대규모 데이터에 병렬로 접근할 수 있게 했다. 전체 구성은 안정적인 다중 노드 분산 학습을 제공했으며, 개발팀이 클러스터 문제 해결보다 모델 실험과 품질 개선에 집중할 수 있는 기반이 됐다.

7. IDS-Bench 평가와 모델 성능

팀은 내부 IDS 전문가와 함께 실제 업무 요구를 반영한 자체 평가 기준 IDS-Bench를 구축했다. 이 평가는 IFC 버전, 건축·구조·기계전기배관·공통 등 건설 분야, 일본어와 영어, 그리고 구현·구조·내용의 세 축을 포괄했다. 평가 결과 Ishigaki-IDS는 XML 구조 준수와 IDS 구조 준수에서 100%에 가까운 점수를 기록했고, IDS 내용 일관성도 80%를 넘었다. 비교 대상인 범용 최전선 모델은 올바른 형태의 XML은 생성했지만 IDS 구조 준수는 대략 25% 미만, 내용 일관성은 거의 0%에 머물렀다. 또한 YaRN을 적용해 기존 학습 길이를 넘어 문맥 창을 확장했으며, 입력과 출력을 합쳐 약 12만 토큰에 이르는 조건에서도 올바르게 생성하는 것을 확인했다. 이 결과는 일반적인 XML 생성 능력과 IDS 규칙에 맞는 구조·내용 생성 능력이 서로 다르며, 새로운 전문 표준에는 도메인 특화 학습이 필요하다는 점을 보여줬다.

8. 실무 검증과 프로젝트의 교훈

buildingSMART와 진행한 공동 개념 검증에서는 IDS 전문가와 비전문가 모두 업무 활용 가능성과 모호한 지시에서도 의도한 IDS를 생성하는 능력에 긍정적으로 반응했다. 참가자들은 추가 개발을 위한 개선 의견도 제시했으며, 팀은 이를 모델이 실무에서 유용하다는 판단을 뒷받침하는 결과로 받아들였다. 프로젝트가 정리한 첫 번째 교훈은 합성 데이터에서 단순한 양보다 품질이 중요하고, 도메인 전문가의 직접 참여가 모델 성능을 가르는 요인이었다는 것이다. 두 번째는 IDS-Audit-Tool 같은 자동 검증 신호가 수동 평가보다 빠른 반복 개선을 가능하게 했다는 점이며, 세 번째는 안정적인 분산 학습 환경이 인프라 장애 대응 대신 모델 개선에 집중하도록 했다는 점이다. 최종적으로 전문가 협업, 합성 데이터, 검증 도구와 연결된 강화학습의 조합은 공개 데이터가 적은 전문 분야에서도 목표 정확도에 도달할 수 있는 실증된 개발 방식으로 제시됐다.

🧾 핵심 주장 / 시사점

• 전문 분야의 합성 데이터는 규모만 늘리는 방식보다 도메인 전문가가 용어·규칙·유효성 조건을 반영해 설계할 때 실제 성능 향상에 더 크게 기여했다.
• 출력의 정답 여부를 도구로 판정할 수 있는 구조화 생성 과제에서는 자동 검증 결과를 보상으로 사용하는 방식이 수동 평가 부담과 지도 데이터 부족을 함께 완화했다.
• 범용 모델이 문법적으로 올바른 XML을 생성하더라도 전문 표준의 구조와 의미를 충족하지 못할 수 있으므로, 평가는 표면 형식뿐 아니라 도메인 구조와 내용 일관성을 분리해 측정해야 한다.

✅ 액션 아이템

• ONESTRUCTION는 공개 IDS 자료가 부족한 조건에서 도메인 전문가 설계 합성 데이터를 중심으로 Ishigaki-IDS 학습세트 품질을 재정의한다.
• Qwen3 8B·14B·32B 기반 3단계 학습에서 지도 미세조정 후 강화학습 보상으로 IDS-Audit-Tool이 잘못된 태그·속성값을 교정한다.
• IDS-Bench를 반복 실행해 Ishigaki-IDS의 XML·IDS 구조 준수율을 100% 근접으로 점검하고, 내용 일관성 지표를 80% 이상으로 관리한다.

❓ 열린 질문

• Ishigaki-IDS가 12만 토큰 수준 입출력을 만들 때 IDS-Audit-Tool이 IFC 용어·전용 문법 오류를 언제까지 안정적으로 잡아내는가?
• Qwen3 8B·14B·32B 중 어느 모델이 강화학습의 보상 신호를 사용한 3단계 학습에서 IDS-Bench 준수율 100%와 내용 일관성 80%의 균형을 더 잘 맞추는가?
• 도메인 전문가 합성 데이터를 더 늘릴 때 다중 노드 분산 환경에서 ONESTRUCTION가 프로젝트 반복 속도를 유지하기 위한 제한 요인은 무엇인가?