Introducing GPT-4.1 in the API

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

오픈AI는 코딩, 지시 이행, 장문 맥락 처리 능력을 크게 개선하면서 비용과 지연 시간도 낮춘 API 전용 모델군 GPT‑4.1, GPT‑4.1 미니, GPT‑4.1 나노를 공개했다.

📌 핵심 요약

• GPT‑4.1 모델군은 최대 100만 토큰의 맥락 창과 2024년 6월까지의 지식 기준점을 지원하며, GPT‑4o 계열보다 코딩과 지시 이행을 중심으로 전반적인 성능이 향상됐다.
• GPT‑4.1은 SWE-bench Verified에서 54.6%, MultiChallenge에서 38.3%, Video-MME의 장문·무자막 부문에서 72.0%를 기록했다.
• GPT‑4.1 미니는 여러 지능 평가에서 GPT‑4o와 대등하거나 더 높은 성능을 보이면서 지연 시간을 약 절반으로, 비용을 83% 줄였다.
• 코딩 분야에서는 저장소 탐색과 문제 해결, 코드 차이 형식 준수, 프런트엔드 제작, 도구 사용, 불필요한 수정 억제 능력이 개선됐다.
• GPT‑4.1은 API에서만 제공되며, 오픈AI는 GPT‑4.5 프리뷰를 2025년 7월 14일 종료하고 개발자에게 전환 기간을 제공한다고 밝혔다.

🧩 주요 포인트

1. GPT‑4.1 모델군은 최대 100만 토큰의 맥락 창과 2024년 6월까지의 지식 기준점을 지원하며, GPT‑4o 계열보다 코딩과 지시 이행을 중심으로 전반적인 성능이 향상됐다.
2. GPT‑4.1은 SWE-bench Verified에서 54.6%, MultiChallenge에서 38.3%, Video-MME의 장문·무자막 부문에서 72.0%를 기록했다.
3. GPT‑4.1 미니는 여러 지능 평가에서 GPT‑4o와 대등하거나 더 높은 성능을 보이면서 지연 시간을 약 절반으로, 비용을 83% 줄였다.
4. 코딩 분야에서는 저장소 탐색과 문제 해결, 코드 차이 형식 준수, 프런트엔드 제작, 도구 사용, 불필요한 수정 억제 능력이 개선됐다.
5. GPT‑4.1은 API에서만 제공되며, 오픈AI는 GPT‑4.5 프리뷰를 2025년 7월 14일 종료하고 개발자에게 전환 기간을 제공한다고 밝혔다.

🧠 상세 정리

1. GPT‑4.1 모델군의 공개와 핵심 개선점

오픈AI는 2025년 4월 14일 API용 신규 모델로 GPT‑4.1, GPT‑4.1 미니, GPT‑4.1 나노를 공개했다. 세 모델은 GPT‑4o와 GPT‑4o 미니보다 전반적으로 높은 성능을 보이며, 특히 코딩과 지시 이행에서 큰 향상을 목표로 한다. 최대 100만 토큰의 맥락 창을 지원하고 장문에 포함된 정보를 활용하는 능력도 개선됐으며, 지식 기준점은 2024년 6월로 갱신됐다. 오픈AI는 단순한 벤치마크 점수보다 실제 개발자 애플리케이션에서 유용한 작업을 수행하도록 모델을 훈련했다고 설명한다. 또한 개발자 커뮤니티와 긴밀히 협력해 실제 사용 사례를 최적화했으며, 지연 시간과 비용의 여러 구간에서 성능을 높이는 데 초점을 맞췄다.

2. 대표 벤치마크와 장문 맥락 성능

GPT‑4.1은 실제 소프트웨어 공학 능력을 측정하는 SWE-bench Verified에서 54.6%를 기록해 GPT‑4o보다 21.4%포인트, GPT‑4.5보다 26.6%포인트 높은 결과를 냈다. 지시 이행 평가인 스케일의 MultiChallenge에서는 38.3%를 기록했으며, 이는 GPT‑4o보다 10.5%포인트 높은 수치다. 멀티모달 장문 맥락 이해를 평가하는 Video-MME의 장문·무자막 부문에서는 72.0%를 기록해 GPT‑4o보다 6.7%포인트 향상됐다. 오픈AI는 이 결과들을 모델의 개선 방향을 보여주는 지표로 제시하면서도, 실제 제품 환경에서의 효용을 중심으로 훈련했다는 점을 함께 강조한다. 즉 핵심 변화는 더 많은 정보를 입력받는 데 그치지 않고, 긴 입력 속의 정보를 실제 작업에 더 효과적으로 사용하는 능력의 향상이다.

3. 미니와 나노 모델의 비용·속도·용도

GPT‑4.1 미니는 소형 모델의 성능을 크게 끌어올려 여러 벤치마크에서 GPT‑4o를 능가했으며, 지능 평가에서도 GPT‑4o와 대등하거나 더 높은 결과를 보였다. 그러면서 지연 시간은 거의 절반으로 줄이고 비용은 83% 낮춰, 성능과 운영 효율을 함께 개선했다. GPT‑4.1 나노는 오픈AI가 공개한 모델 가운데 가장 빠르고 저렴한 모델로 소개되며, 작은 규모에서도 100만 토큰의 맥락 창을 지원한다. 나노는 MMLU 80.1%, GPQA 50.3%, 에이더 다국어 코딩 평가 9.8%를 기록했으며, 해당 코딩 평가에서는 GPT‑4o 미니보다 높은 성과를 냈다. 오픈AI는 낮은 지연 시간이 중요한 분류와 자동 완성 등을 나노 모델에 적합한 작업으로 제시한다.

4. 에이전트 활용과 API 제품 전환

오픈AI는 지시 이행의 신뢰성과 장문 맥락 이해가 개선되면서 GPT‑4.1 모델군이 사용자를 대신해 독립적으로 과업을 수행하는 에이전트에 더 효과적이라고 설명한다. Responses API와 같은 구성 요소를 결합하면 실제 소프트웨어 공학 작업, 대형 문서에서의 정보 추출, 고객 요청 해결처럼 여러 단계가 필요한 작업을 더 적은 개입으로 처리할 수 있다는 주장이다. GPT‑4.1은 API에서만 제공되며, ChatGPT에서는 관련 개선 사항이 최신 GPT‑4o에 점진적으로 반영돼 왔다. 한편 오픈AI는 주요 능력에서 GPT‑4.1이 더 낮은 비용과 지연 시간으로 GPT‑4.5 프리뷰와 비슷하거나 더 나은 결과를 보인다고 판단해 GPT‑4.5 프리뷰의 지원 종료를 예고했다. 종료일은 2025년 7월 14일이며, 오픈AI는 전환 기간을 제공하는 동시에 GPT‑4.5에서 호평받은 창의성, 글쓰기 품질, 유머와 뉘앙스를 향후 API 모델에 계승하겠다고 밝혔다.

5. 실제 저장소를 다루는 코딩 능력

GPT‑4.1의 코딩 개선은 단일 코드 생성보다 저장소를 탐색하고 문제를 해결한 뒤 실행 및 테스트를 통과하는 변경을 만드는 능력에 초점을 둔다. SWE-bench Verified에서 GPT‑4.1은 54.6%의 과제를 완료했으며, 비교 대상으로 제시된 GPT‑4o의 점수는 33.2%였다. 이 평가는 코드 저장소와 이슈 설명을 받은 모델이 문제를 해결하는 패치를 작성하도록 구성되며, 사용된 프롬프트와 도구에 따라 성능이 크게 달라질 수 있다. 오픈AI의 결과에서는 자체 인프라에서 해답을 실행할 수 없었던 전체 500문제 중 23문제가 제외됐다. 제외된 23문제를 모두 실패로 보수적으로 계산하면 GPT‑4.1의 점수는 54.6%가 아니라 52.1%가 된다는 평가 조건도 함께 공개됐다.

6. 코드 차이 형식과 대용량 파일 편집

GPT‑4.1은 큰 파일을 편집할 때 전체 파일을 다시 작성하기보다 변경된 부분만 표현하는 코드 차이 형식을 더 안정적으로 따르도록 훈련됐다. 에이더의 다국어 차이 벤치마크에서 GPT‑4o의 점수를 두 배 넘게 끌어올렸고, GPT‑4.5보다도 8%포인트 높은 결과를 기록했다. 이 평가는 여러 프로그래밍 언어의 코딩 능력뿐 아니라 전체 파일 형식과 검색·교체 블록으로 구성된 차이 형식을 정확히 생성하는 능력을 함께 측정한다. 차이 형식을 안정적으로 사용하면 모델이 수정된 줄만 출력할 수 있어 전체 파일 재작성보다 비용과 지연 시간을 줄일 수 있다. 전체 파일을 다시 써야 하는 경우를 위해 GPT‑4.1의 최대 출력은 GPT‑4o의 1만6384토큰에서 3만2768토큰으로 늘어났으며, 오픈AI는 전체 파일 재작성 지연을 낮추는 방법으로 예측 출력 기능도 권장한다.

7. 프런트엔드 품질과 불필요한 수정 감소

GPT‑4.1은 프런트엔드 코딩에서도 GPT‑4o보다 기능성과 시각적 완성도가 높은 웹 애플리케이션을 만드는 능력이 향상됐다. 유료 인간 평가자가 두 모델의 결과물을 직접 비교한 평가에서는 GPT‑4.1이 만든 웹사이트가 GPT‑4o의 결과보다 선호된 비율이 80%였다. 원문은 플래시카드 생성, 동적 검색, 뒤집기 애니메이션을 포함한 복습, 키보드 탐색, 학습 통계, 사이드바를 갖춘 단일 페이지 리액트 애플리케이션을 비교용 과제로 제시한다. 또한 GPT‑4.1은 지정된 출력 형식을 더 안정적으로 따르고, 요청과 관계없는 코드를 수정하는 빈도도 낮췄다. 오픈AI의 내부 평가에서 불필요한 코드 수정 비율은 GPT‑4o의 9%에서 GPT‑4.1의 2%로 감소했다.

8. 개발 현장의 코딩 평가 사례

윈드서프의 내부 코딩 벤치마크에서 GPT‑4.1은 GPT‑4o보다 60% 높은 점수를 받았으며, 해당 평가는 코드 변경이 첫 검토에서 수락되는 빈도와 높은 상관관계를 갖는다고 설명된다. 사용자들은 도구 호출 효율이 약 30% 높아졌고, 불필요한 수정을 반복하거나 코드를 지나치게 좁은 단위로 연속해서 읽는 행동이 약 50% 줄었다고 평가했다. 코드 리뷰 업체 코도는 동일한 프롬프트와 조건으로 실제 깃허브 풀 리퀘스트 200건을 비교해, 55%의 사례에서 GPT‑4.1이 더 나은 제안을 생성했다고 보고했다. 코도는 GPT‑4.1이 제안하지 않아야 할 때를 판단하는 정밀성과, 분석이 필요할 때 충분한 내용을 제공하는 포괄성을 함께 갖췄다고 평가했다. 이러한 사례는 모델의 개선이 코드 생성 점수에만 한정되지 않고, 도구 사용과 변경 범위 통제, 검토 품질 같은 실제 개발 흐름에도 연결된다는 근거로 제시된다.

9. 지시 이행 평가와 다중 대화 유지 능력

오픈AI는 실제 개발자 의견을 토대로 형식 준수, 금지 지시, 순서가 있는 지시, 필수 콘텐츠, 출력 순위, 과도한 확신 억제라는 범주로 내부 지시 이행 평가를 구성했다. 각 범주는 쉬움, 보통, 어려움 수준의 프롬프트로 나뉘며, GPT‑4.1은 특히 어려운 프롬프트에서 GPT‑4o보다 큰 폭으로 개선됐다. 이 평가는 XML이나 YAML 같은 형식뿐 아니라 답변의 길이와 상세도, 반드시 포함하거나 피해야 하는 행동 등 실제 개발 환경에서 결합되는 조건을 다룬다. 여러 차례의 대화가 이어질 때 이전 메시지의 정보를 찾아 일관성을 유지하는 능력도 별도로 강화됐다. 이전 대화의 네 가지 정보 유형을 적절히 활용해야 하는 MultiChallenge에서 GPT‑4.1은 GPT‑4o보다 10.5%포인트 높은 성과를 냈으며, IFEval에서는 87.4%를 기록했다.

🧾 핵심 주장 / 시사점

• GPT‑4.1의 코딩 개선은 코드 생성량보다 저장소 탐색, 정확한 변경 범위 유지, 차이 형식 준수, 도구 호출, 테스트 통과처럼 실제 개발 과정의 신뢰성을 높이는 데 집중돼 있다.
• 미니와 나노는 최대 100만 토큰의 맥락 창을 유지하면서 비용과 지연 시간을 낮춰, 작업의 난도와 응답 속도 요구에 따라 모델을 선택할 수 있는 구성을 제공한다.
• 벤치마크 결과는 평가 프롬프트와 도구, 실행 가능한 문제의 범위에 영향을 받으므로, 공개된 점수와 함께 제외 문제 및 보수적 재계산 수치 같은 평가 조건도 함께 확인해야 한다.

✅ 액션 아이템

• GPT‑4.1 모델군은 API 전용이므로 100만 토큰 맥락 창과 2024년 6월 기준 지식을 반영한 장문 처리 대상 업무를 먼저 분류한다.
• SWE-bench Verified 54.6%, MultiChallenge 38.3%, Video‑MME 72.0% 수치로 코딩·지시 이행 처리 범위의 우선순위를 재조정한다.
• GPT‑4.1 미니의 지연 절반·비용 83% 절감 조건을 반영해 GPT‑4o 대비 배치 규모별 모델 선택 기준을 정한다.

❓ 열린 질문

• GPT‑4.1 API 전용 모델은 100만 토큰 의존 작업 중 어디부터 언제 적용하는 것이 적절한가?
• 코딩·지시 이행 성능은 좋아졌지만 지식 기준이 2024년 6월까지인 제약을 어떻게 운영상 리스크로 관리할 것인가?
• SWE‑bench 54.6%, MultiChallenge 38.3%, Video‑MME 72.0% 수치 차이를 근거로 GPT‑4.1/미니/나노를 어떻게 구분해 배치할지 정량화된 기준이 필요한가?