Evals 읽는 법: Setup, 토큰, 시간
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Evals에서 AI 모델을 고르려면 결과물과 셋업을 함께 보고, 토큰·실행 시간·참고 비용을 각각 따로 읽어야 한다.
📌 핵심 요점
- 셋업은 LLM·젠 AI·스킬·소프트웨어의 조합이다. 같은 LLM이라도 생성 모델과 도구 조합이 다르면 결과물이 달라지며, 리더보드도 이 조합을 기준으로 구성된다.
- 모델 비교는 같은 프롬프트의 결과물을 묶어 보여주는 태스크에서 시작한다. 공룡 애니메이션 사례에서 GPT 6.1 솔은 약 1.6만 토큰·3분, 클로드 오퍼스 5.5는 약 24.7만 토큰·17분을 사용했지만, 숫자만으로 품질의 우열을 정할 수는 없다.
- 토큰은 입력과 출력의 합이며 품질 점수가 아니다. 참고 비용은 토큰 수와 공식 단가로 계산한 실행 1회 추정치이므로, 입력·출력 구성과 비용을 별도로 확인해야 한다. 비용 공란은 무료를 뜻하지 않는다.
- 미리보기로 확인할 수 있는 범위를 구분해야 한다. 애니메이션의 마지막 장면이나 스프레드시트의 계산 정확성은 직접 열어 확인하고, 검은 화면이나 다른 실행과 겹친 미리보기는 시각적 평가에서 제외한다.
- 녹화 당시 리더보드에는 승률이 없었다. 강의의 모델 선택 제안은 소수 실행을 나란히 본 조건부 판단이며, 투표로 검증된 순위나 일반적인 성능 서열이 아니다.
🧩 배경과 문제 정의
Evals는 사람들이 만든 결과물을 카드로 보여주고, 같은 프롬프트의 실행을 묶어 비교할 수 있게 하는 화면이다. 이 강의는 결과물만 보고 모델을 고르거나, 토큰 수 하나로 품질·비용·속도를 판단하는 문제를 다룬다.
읽기의 기준은 셋업과 지표의 구분이다. LLM은 계획·코드 작성·도구 호출을 맡고, 젠 AI는 영상·이미지·소리를 생성한다. 스킬은 작업 설명서이며 소프트웨어는 작업에 사용한 프로그램이다. 이 조합을 확인한 뒤 결과물, 토큰, 시간, 참고 비용을 연결해 판단한다.
🕒 시간순 섹션별 상세정리
1. 결과물 피드와 셋업 네 칸 읽기
- 같은 공룡 프롬프트에서 클로드 오퍼스 5.5는 약 24.7만 토큰·17분, GPT 6.1 솔은 약 1.6만 토큰·3분을 사용했다. 토큰 차이는 약 15배지만 그림만으로는 드러나지 않아 결과물과 숫자를 함께 봐야 한다. [00:29]
- 아웃풋 화면은 결과물 카드가 쌓인 피드다. 카드에는 썸네일·작성자·날짜·프롬프트 일부와 LLM·젠 AI·스킬·소프트웨어가 표시되며, 네 항목의 조합을 셋업이라고 부른다. [01:15]
- 같은 LLM을 쓰더라도 연결한 젠 AI가 달라질 수 있다. 카드 하단의 참고 비용·실행 시간·토큰 수도 각각 읽어야 하며, 비용 자리에 선이 있으면 미표시이지 무료라는 뜻이 아니다. [01:51]
2. 같은 공룡 과제에서 결과물 비교하기
- 태스크는 같은 프롬프트의 결과물을 묶어 보여준다. 공룡 과제는 단일 HTML 파일로 10초 반복 애니메이션을 만들되, 코드로만 그림을 그리고 외부 이미지·라이브러리 없이 브라우저 테스트도 하지 않고 한 번에 제출하도록 요구한다. [02:33]
- GPT 6.1 솔은 평평한 그림책 스타일을 약 1.6만 토큰·3분 7초에 만들었다. 클로드 오퍼스 5.5는 해돋이·반사광·안개 표현이 두드러졌지만 4초 미리보기로 마지막 장면은 확인하지 못했다. 제미나이 결과는 실루엣 표현과 함께 반투명 네모가 보였으며 약 5.6만 토큰·5분 52초·참고 비용 0.33달러였다. [03:42]
- 클로드 페이블 5.1은 미리보기가 검은 화면이어서 평가를 보류했다. 네 실행의 토큰은 약 1.6만·5.6만·23.5만·24.7만으로 갈렸지만, 이는 입력과 출력의 합이며 품질 점수가 아니라 읽고 쓴 양이다. [04:24]
3. 참고 비용의 의미와 조건부 모델 선택
- 공룡 실행의 참고 비용은 클로드 오퍼스 5.5가 2.61달러, 제미나이가 0.33달러이며 GPT 6.1 솔은 공란이다. 강의에서 제시한 오퍼스 단가는 입력 100만 토큰당 4달러, 출력 20달러로, 입력 약 14.4만·출력 약 10.3만 토큰인 실행에서는 출력이 비용의 대부분을 차지한다. [05:02]
- 이미지·영상 모델 사용 금지 조건을 추가한 공룡 과제에서는 클로드 페이블 5.2의 미리보기에 요구된 세 장면이 가장 뚜렷하게 담겼다는 평가가 나온다. 페이블은 약 19.9만 토큰·14분 44초, GPT 6.1 솔은 약 1.5만 토큰·3분 14초였고 솔의 그림체와 자원 사용은 앞선 과제와 비슷했다. [06:05]
- 강의자는 한 번에 작성하는 HTML 애니메이션의 빠른 초안에는 GPT 6.1 솔을, 빛과 안개 같은 분위기가 중요하면 클로드 계열을 검토한다. 다만 모델마다 한 번씩 실행한 결과이므로 순위로 받아들이지 말라고 제한한다. [06:23]
4. 스프레드시트로 확인하는 기능 검증과 비용 해석
- 스프레드시트 과제는 A~Z열·1,000행, 수식 입력줄, 실행 취소, 행 삽입·삭제, CSV 입출력, 함수와 오류 처리 등을 요구한다. 네 결과물의 미리보기는 비슷한 격자와 버튼을 보여주므로, 계산 정확성은 직접 열어 수식을 넣어봐야 판단할 수 있다. [07:10]
- 토큰은 GPT-6 아스트라 약 3.3만, GPT-6.1 솔 약 17.7만, 클로드 소넷 5.5 약 35.5만, 클로드 오퍼스 5.5 약 59.7만이었다. 실행 시간은 아스트라가 3분 37초로 가장 짧고 오퍼스가 13분 8초로 가장 길었다. [07:30]
- 오퍼스의 스프레드시트 실행은 공룡 실행보다 총토큰이 두 배 이상이지만 표시 비용은 2.14달러로 더 낮다. 강의는 입력 약 51.8만·출력 약 7.9만으로 출력이 적다는 점을 설명하며, 총토큰으로 비용을 짐작하지 말고 참고 비용을 별도로 읽으라고 강조한다. [07:57]
5. 영상 생성에서 LLM 토큰과 실행 시간 구분하기
- 오디세이 과제는 인물 일관성과 소리를 갖춘 16:9 영상의 첫 30초를 요구한다. 다섯 실행의 LLM은 모두 클로드 오퍼스 5.5지만 연결한 생성 모델은 다르다. 시댄스는 가족을 떠나는 아버지, 클링은 해변·뗏목·폭풍, 그록은 물속 얼굴과 거친 파도 등 서로 다른 장면 구성을 보여준다. [09:21]
- 토큰은 그록 약 457만, 시네마 스튜디오 약 518만, 원 쓰리 약 659만, 클링 약 798만, 시댄스 약 1,352만이다. 이는 영상 모델 사용량이 아니라 감독 역할의 LLM 토큰이다. 시댄스는 입력 약 1,348만·출력 약 4.3만으로 대부분 입력이며, 강의자는 여러 단계에서 같은 맥락을 다시 읽은 것으로 추정한다. [10:06]
- 실행 시간은 시네마 스튜디오 9분 54초부터 원 쓰리 32분 54초까지로, 토큰 최다 실행과 시간 최장 실행이 다르다. 다섯 실행 모두 참고 비용이 없어 비용 비교를 보류하고, 시네마 스튜디오는 제공된 미리보기가 다른 실행과 겹쳐 숫자만 보여준다. [10:50]
6. 블라인드 비교·리더보드·직접 실행 화면의 한계
- 컴페어는 모델명을 숨긴 아웃풋 A·B를 나란히 보여주고 선호·무승부·둘 다 아님·불러오기 실패·건너뛰기 등의 선택을 받는다. 이런 비교 투표가 쌓여야 리더보드의 승률이 만들어진다. [11:15]
- 녹화 당시 리더보드에는 설정 250개·결과물 535개가 표시되지만 모두 순위 없음·근거 불충분 상태였고 승률도 없었다. 강의의 평가는 투표 결과가 아닌 강의자의 관찰이며, 리더보드의 각 행은 모델 하나가 아니라 젠 AI·소프트웨어 등을 포함한 셋업 단위다. [12:07]
- 직접 비교를 실행하는 뉴런 화면도 소개하지만 로그인 전·어드밴스드 꺼짐 상태여서 세부 설정은 확인하지 못한다. 마지막으로 셋업 네 칸과 토큰·시간·참고 비용을 따로 읽고, 비용 공란은 비교에서 제외하며, 미리보기로 안 보이는 것은 직접 열어보라는 원칙을 정리한다. [12:56]
🧾 결론
- Evals 카드의 핵심은 결과물의 인상과 실행 조건을 연결해 읽는 것이다. 먼저 셋업 네 칸을 확인하고 토큰·시간·참고 비용을 각각 살핀다.
- 한 번에 작성하는 HTML 애니메이션에서는 빠른 초안에 GPT 6.1 솔, 빛과 안개 같은 분위기 표현에는 클로드 계열을 먼저 검토한다는 조건부 선택이 제시된다.
- 스프레드시트처럼 기능 정확성이 중요한 과제는 화면만으로 평가할 수 없다. 실제 입력과 동작 검증이 필요하다.
- 확인하지 못한 결과와 표시되지 않은 비용은 판단을 유보하고, 소수 사례를 모델 전체의 순위로 확대하지 않는다.
📈 투자·시사 포인트
- AI 도입 예산은 토큰 총량만으로 잡기 어렵다. 입력·출력 비중과 적용 단가, 표시된 참고 비용의 산정 조건을 확인해야 한다.
- 작업별 요구 품질과 대기 시간을 함께 고려해야 한다. 빠른 초안이 필요한 작업과 분위기 표현이 중요한 작업은 모델 선택 기준이 달라질 수 있다.
- 영상 제작에서는 감독 역할의 LLM과 실제 생성 모델을 함께 비교해야 한다. LLM 이름만으로 제작 결과나 효율을 설명하기 어렵다.
- 구매·도입 판단에 리더보드를 활용하려면 승률과 비교 투표의 존재부터 확인해야 한다. 녹화 당시 화면은 승자를 뒷받침하는 근거를 제공하지 않았다.
⚠️ 불확실하거나 확인이 필요한 부분
- 공룡 사례는 모델마다 한 번씩 실행한 작은 표본이다. 관찰된 속도·토큰·그림체 차이가 반복 실행에서도 유지되는지는 확인되지 않았다.
- 클로드 오퍼스의 공룡 미리보기는 4초여서 마지막 티라노사우루스 장면을 확인하지 못했다. 클로드 페이블 5.1은 검은 미리보기, 시네마 스튜디오는 다른 실행과 겹친 미리보기 때문에 시각적 평가가 제한됐다.
- 참고 비용은 실제 청구액이 아니다. GPT 6.1 솔의 해당 공룡 카드와 오디세이 영상 실행들은 비용이 표시되지 않아 비용 비교를 할 수 없다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 비교할 과제의 프롬프트 원문과 제약을 먼저 확인하고, 같은 태스크에 연결된 결과물을 모은다.
- 각 결과물의 LLM·젠 AI·스킬·소프트웨어를 기록해 셋업 차이를 확인한다.
- 총토큰, 입력·출력 토큰, 실행 시간, 참고 비용을 별도 항목으로 기록하고 비용 공란은 비교에서 제외한다.
- 애니메이션은 전체 재생으로 필수 장면을 확인하고, 스프레드시트는 수식·행 조작·CSV 기능을 직접 시험한다.
❓ 열린 질문
- 동일한 프롬프트와 셋업으로 반복 실행해도 빠른 초안과 분위기 표현의 차이가 유지될까?
- 스프레드시트 결과물의 수식 계산과 오류 처리, CSV 입출력은 실제로 얼마나 정확할까?
- 스프레드시트 참고 비용과 제시된 토큰·단가 사이의 차이는 어떤 산정 조건에서 발생했을까?