Advancing coding in low‑resource programming languages

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI의 최신 모델은 COBOL·Fortran·Visual Basic처럼 학습 자료가 적은 프로그래밍 언어의 소프트웨어 구축과 동작 보존 마이그레이션 평가에서 성능과 비용 효율을 개선했다.

📌 핵심 요약

• COBOL·Fortran·Visual Basic은 Python·JavaScript보다 모델 학습에 사용할 코드와 문서가 적지만 핵심 인프라를 지탱한다. COBOL은 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 지원하며, 기존 소프트웨어의 유지보수와 현대화에서는 시스템 동작 보존이 중요하다.
• MultiLangBench는 20개 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 구축하는 능력을 평가한다. 최대 추론 노력에서 GPT‑6 Astra의 평균 테스트 통과율은 GPT‑5.6 Sol의 26.8%에서 87.4%로 상승했으며, 모든 평가 언어에서 개선됐다.
• GPT‑6 Luna는 MultiLangBench의 모든 평가 언어에서 GPT‑5.6 Sol을 앞섰고, 최대 추론 노력에서 평균 테스트 통과율 40.3%를 기록했다. 샘플당 추정 평균 API 비용은 $3.48에서 $0.77로 약 78% 낮아졌다.
• COBOL 마이그레이션 평가는 프로그램을 C++·Java·Kotlin·Python·Rust로 옮기면서 관찰 가능한 출력을 바이트 단위로 일치시키는지 확인한다. 낮은 추론 노력에서 GPT‑6.1 Sol의 정확도는 86.6%로 GPT‑5.6 Sol의 5.4%보다 높았고 API 비용은 39% 낮았으며, 더 높은 추론 노력에서는 정확도가 97.9%에 도달했다.
• OpenAI는 MultiLangBench 평가 구성과 테스트 모음, 언어별 결과를 GitHub에 공개한다. 평가 성과와 별개로 실제 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙·의존성을 반영한 테스트가 필요하며, 개발자와 기업 고객의 피드백을 향후 학습·평가에 활용한다.

🧩 주요 포인트

1. 신규 구축과 기존 동작 보존을 별도로 평가하므로, MultiLangBench 성능과 COBOL 마이그레이션 정확도는 서로 다른 소프트웨어 역량을 판단하는 근거가 된다.
2. GPT‑6 Astra의 높은 통과율과 GPT‑6 Luna의 낮은 추정 API 비용은 성능과 비용에 따른 선택 근거를 제공하지만, 언어별 결과를 통해 실제 사용 언어의 격차를 확인해야 한다.
3. COBOL 마이그레이션의 바이트 단위 출력 일치와 97.9% 정확도는 동작 보존의 진전을 보여주지만, 운영 적용의 타당성은 전문가 검토와 업무 규칙·의존성 테스트로 추가 확인해야 한다.

🧠 상세 정리

1. 학습 자료가 적어도 핵심 서비스를 지탱하는 언어

COBOL·Fortran·Visual Basic은 Python·JavaScript보다 모델이 학습할 수 있는 코드와 문서가 적지만, 전 세계의 핵심 인프라와 필수 서비스를 뒷받침한다. 원문에 따르면 COBOL은 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 지원하며, Fortran은 기상 예측과 원자로 안전 분석에 쓰인다. 개발자와 기업 고객은 코딩 모델이 이러한 언어를 다룰 때 어려움을 겪는다고 전했으며, 이 피드백이 개선 작업의 방향을 이끌었다. 문서가 불완전하거나 원래 개발자가 회사를 떠나고 중요한 업무 규칙이 코드에만 남아 있을 수 있어, 버그 수정과 다른 언어로의 이전 모두 기존 시스템의 동작을 보존하는 일이 핵심이다.

2. MultiLangBench가 신규 소프트웨어 구축을 측정하는 방법

OpenAI는 신규 소프트웨어 구축과 기존 프로그램의 동작 보존이라는 상호 보완적 역량을 측정하기 위해 두 가지 평가를 개발했다. 그중 MultiLangBench는 지정된 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 만들도록 요구하며, 총 20개 언어를 평가한다. 모델은 코드베이스를 구성하고 상태와 오류를 관리하며, 기존 기능을 유지하면서 새로운 기능을 추가해야 한다. 언어별 구현을 같은 기준으로 비교하기 위해 후보 프로그램에 초기 데이터베이스와 SQL 질의를 제공하고, 프로그램이 생성한 수정 데이터베이스의 내용이 예상과 일치하는지 기준 SQLite 구현으로 검사한다. SQLite의 기존 테스트 모음을 이 형식에 맞춰 조정했으며, 긴 코딩 세션 동안 구현한 기능의 수준을 테스트 통과율과 API 비용으로 보고한다.

3. 언어 전반의 성능 향상과 비용 선택지

최대 추론 노력에서 GPT‑6 Astra의 MultiLangBench 평균 테스트 통과율은 GPT‑5.6 Sol의 26.8%에서 87.4%로 상승했고, 평가한 모든 언어에서 개선됐다. 언어별로 COBOL은 10.9%에서 72.1%, OCaml은 25.6%에서 85.8%, Fortran은 21.4%에서 83.5%, Visual Basic은 27.5%에서 89.4%로 높아졌다. Astra는 20개 중 19개 언어에서 83%를 넘었으며, COBOL이 가장 어려운 언어로 남았다. GPT‑6 Luna 역시 최대 추론 노력에서 모든 평가 언어의 기존 모델 성능을 넘어 평균 40.3%를 기록했고, COBOL 17.1%, OCaml 34.1%, Fortran 31.4%, Visual Basic 41.6%에 도달했다. Luna의 샘플당 추정 평균 API 비용은 GPT‑5.6 Sol의 $3.48에 비해 약 78% 낮은 $0.77로, 성능 개선과 함께 더 낮은 비용의 선택지를 제공했다.

4. COBOL 마이그레이션에서 보존해야 하는 동작

두 번째 평가는 COBOL 프로그램을 C++·Java·Kotlin·Python·Rust로 이전하면서 각 프로그램의 동작을 유지할 수 있는지 측정한다. 성공적인 이전에는 업무 로직뿐 아니라 COBOL 고유의 언어 동작에 대한 이해가 필요하며, 금융 거래와 업무 기록을 처리하는 프로그램의 반올림 규칙이나 누락된 레코드 처리 방식도 업무 요구사항을 반영할 수 있다. 예를 들어 COBOL의 고정소수점 연산은 반올림을 명시적으로 요청하지 않으면 초과 소수 자릿수를 버리므로, 이전한 코드가 대신 반올림하면 오류 없이 실행되더라도 금융 계산 결과가 달라질 수 있다. 평가는 이러한 차이를 확인하기 위해 관찰 가능한 출력이 바이트 단위로 일치해야 하는 비공개 테스트를 사용한다. 모든 테스트를 통과한 경우에만 해당 마이그레이션을 성공으로 판정한다.

5. 마이그레이션 정확도 개선과 운영 적용의 한계

COBOL 마이그레이션 평가에서 GPT‑6.1 Sol은 낮은 추론 노력으로 86.6% 정확도를 기록했으며, 같은 설정의 GPT‑5.6 Sol이 기록한 5.4%보다 크게 높았다. 이때 API 비용은 이전 모델의 61% 수준으로, 정확도를 높이면서 비용도 39% 줄였다. 더 높은 추론 노력에서는 정확도가 97.9%에 도달해 해당 평가가 거의 포화 상태에 가까워졌다. 이 결과는 기존 소프트웨어를 현대화하는 팀이 더 정확하고 저렴한 코드 이전을 수행할 가능성을 보여주지만, 실제 운영 소프트웨어 적용에는 여전히 전문가 검토가 필요하다. 특히 시스템의 업무 규칙과 의존성을 반영한 테스트가 요구되므로, 높은 평가 정확도만으로 개별 운영 환경의 적합성까지 확인됐다고 볼 수는 없다.

6. 평가 공개와 기업 소프트웨어 역량의 확장

OpenAI는 MultiLangBench의 평가 구성과 테스트 모음, 각 언어의 결과를 GitHub에 공개해 개발자가 평가 내용을 직접 살펴볼 수 있도록 한다. 개발자는 자신이 사용하는 언어의 성능을 검토하고 실제 업무에서 중요한 기능의 부족한 부분을 확인할 수 있다. 이러한 평가와 개발자·기업 고객의 직접적인 피드백은 모델이 개선된 영역과 여전히 부족한 영역을 파악하는 근거로 사용된다. OpenAI가 제시한 목표는 더 많은 언어에서 낯선 저장소 이해, 변경 계획 수립, 빌드 도구 사용, 테스트 실행, 실패 디버깅 등의 소프트웨어 엔지니어링 역량을 적용하도록 하는 것이다. 최신 모델은 API로 사용해 볼 수 있으며, 잘 작동하는 부분과 어려움을 겪는 부분, 향후 집중할 언어와 작업 흐름에 관한 피드백은 모델의 학습 및 평가 방향에 반영된다.

🧾 핵심 주장 / 시사점

• 학습 자료가 적은 언어에서도 신규 구축 성능이 개선됐지만, GPT‑6 Astra의 COBOL 통과율 72.1%는 다른 19개 언어의 83% 초과 성과와 차이가 있어 언어별 난도가 여전히 중요하다.
• GPT‑6 Luna는 기존 모델보다 높은 평균 통과율과 낮은 추정 API 비용을 함께 보여주므로, 비용 효율 개선이 반드시 성능 저하를 수반하는 것은 아니라는 평가 근거를 제공한다.
• COBOL 이전에서는 실행 오류가 없는 것만으로 충분하지 않다. 소수 자릿수 처리처럼 결과를 바꾸는 언어 동작까지 보존해야 하며, 바이트 단위 출력 검증과 운영 환경의 업무 규칙 테스트가 이를 판단하는 서로 다른 근거가 된다.

✅ 액션 아이템

• GitHub에 공개되는 MultiLangBench의 언어별 결과를 검토해 실제 사용 언어에서의 성능 격차를 확인한다.
• GPT‑6 Astra의 평균 테스트 통과율 87.4%와 GPT‑6 Luna의 샘플당 추정 평균 API 비용 $0.77을 참고해 성능·비용 요구에 맞는 모델을 검토한다.
• COBOL 마이그레이션의 운영 적용 가능성을 전문가 검토와 업무 규칙·의존성을 반영한 테스트로 확인한다.

❓ 열린 질문

• MultiLangBench의 언어별 결과에서 실제 사용 언어의 성능 격차는 어느 정도인가?
• GPT‑6 Astra의 평균 테스트 통과율 87.4%와 GPT‑6 Luna의 평균 테스트 통과율 40.3%·샘플당 추정 평균 API 비용 $0.77 중 실제 작업의 요구에 더 적합한 선택은 무엇인가?
• COBOL 마이그레이션 정확도 97.9%가 실제 시스템에서도 동작 보존으로 이어지는지 확인하려면 어떤 업무 규칙과 의존성을 테스트해야 하는가?