YouTube메이커 에반·2026년 11월 15일·0

Evals 읽는 법: Setup, 토큰, 시간

Quick Summary

Evals에서 AI 모델을 고르려면 결과물과 셋업을 함께 보고, 토큰·실행 시간·참고 비용을 각각 따로 읽어야 한다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Evals 읽는 법: Setup, 토큰, 시간 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Evals 읽는 법: Setup, 토큰, 시간의 핵심 내용을 4단계로 요약한 인포그래픽
Evals 읽는 법: Setup, 토큰, 시간 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

Evals에서 AI 모델을 고르려면 결과물과 셋업을 함께 보고, 토큰·실행 시간·참고 비용을 각각 따로 읽어야 한다.

📌 핵심 요점

  1. 셋업은 LLM·젠 AI·스킬·소프트웨어의 조합이다. 같은 LLM이라도 생성 모델과 도구 조합이 다르면 결과물이 달라지며, 리더보드도 이 조합을 기준으로 구성된다.
  2. 모델 비교는 같은 프롬프트의 결과물을 묶어 보여주는 태스크에서 시작한다. 공룡 애니메이션 사례에서 GPT 6.1 솔은 약 1.6만 토큰·3분, 클로드 오퍼스 5.5는 약 24.7만 토큰·17분을 사용했지만, 숫자만으로 품질의 우열을 정할 수는 없다.
  3. 토큰은 입력과 출력의 합이며 품질 점수가 아니다. 참고 비용은 토큰 수와 공식 단가로 계산한 실행 1회 추정치이므로, 입력·출력 구성과 비용을 별도로 확인해야 한다. 비용 공란은 무료를 뜻하지 않는다.
  4. 미리보기로 확인할 수 있는 범위를 구분해야 한다. 애니메이션의 마지막 장면이나 스프레드시트의 계산 정확성은 직접 열어 확인하고, 검은 화면이나 다른 실행과 겹친 미리보기는 시각적 평가에서 제외한다.
  5. 녹화 당시 리더보드에는 승률이 없었다. 강의의 모델 선택 제안은 소수 실행을 나란히 본 조건부 판단이며, 투표로 검증된 순위나 일반적인 성능 서열이 아니다.

🧩 배경과 문제 정의

Evals는 사람들이 만든 결과물을 카드로 보여주고, 같은 프롬프트의 실행을 묶어 비교할 수 있게 하는 화면이다. 이 강의는 결과물만 보고 모델을 고르거나, 토큰 수 하나로 품질·비용·속도를 판단하는 문제를 다룬다.

읽기의 기준은 셋업과 지표의 구분이다. LLM은 계획·코드 작성·도구 호출을 맡고, 젠 AI는 영상·이미지·소리를 생성한다. 스킬은 작업 설명서이며 소프트웨어는 작업에 사용한 프로그램이다. 이 조합을 확인한 뒤 결과물, 토큰, 시간, 참고 비용을 연결해 판단한다.

🕒 시간순 섹션별 상세정리

1. 결과물 피드와 셋업 네 칸 읽기

  • 같은 공룡 프롬프트에서 클로드 오퍼스 5.5는 약 24.7만 토큰·17분, GPT 6.1 솔은 약 1.6만 토큰·3분을 사용했다. 토큰 차이는 약 15배지만 그림만으로는 드러나지 않아 결과물과 숫자를 함께 봐야 한다. [00:29]
  • 아웃풋 화면은 결과물 카드가 쌓인 피드다. 카드에는 썸네일·작성자·날짜·프롬프트 일부와 LLM·젠 AI·스킬·소프트웨어가 표시되며, 네 항목의 조합을 셋업이라고 부른다. [01:15]
  • 같은 LLM을 쓰더라도 연결한 젠 AI가 달라질 수 있다. 카드 하단의 참고 비용·실행 시간·토큰 수도 각각 읽어야 하며, 비용 자리에 선이 있으면 미표시이지 무료라는 뜻이 아니다. [01:51]

2. 같은 공룡 과제에서 결과물 비교하기

  • 태스크는 같은 프롬프트의 결과물을 묶어 보여준다. 공룡 과제는 단일 HTML 파일로 10초 반복 애니메이션을 만들되, 코드로만 그림을 그리고 외부 이미지·라이브러리 없이 브라우저 테스트도 하지 않고 한 번에 제출하도록 요구한다. [02:33]
  • GPT 6.1 솔은 평평한 그림책 스타일을 약 1.6만 토큰·3분 7초에 만들었다. 클로드 오퍼스 5.5는 해돋이·반사광·안개 표현이 두드러졌지만 4초 미리보기로 마지막 장면은 확인하지 못했다. 제미나이 결과는 실루엣 표현과 함께 반투명 네모가 보였으며 약 5.6만 토큰·5분 52초·참고 비용 0.33달러였다. [03:42]
  • 클로드 페이블 5.1은 미리보기가 검은 화면이어서 평가를 보류했다. 네 실행의 토큰은 약 1.6만·5.6만·23.5만·24.7만으로 갈렸지만, 이는 입력과 출력의 합이며 품질 점수가 아니라 읽고 쓴 양이다. [04:24]

3. 참고 비용의 의미와 조건부 모델 선택

  • 공룡 실행의 참고 비용은 클로드 오퍼스 5.5가 2.61달러, 제미나이가 0.33달러이며 GPT 6.1 솔은 공란이다. 강의에서 제시한 오퍼스 단가는 입력 100만 토큰당 4달러, 출력 20달러로, 입력 약 14.4만·출력 약 10.3만 토큰인 실행에서는 출력이 비용의 대부분을 차지한다. [05:02]
  • 이미지·영상 모델 사용 금지 조건을 추가한 공룡 과제에서는 클로드 페이블 5.2의 미리보기에 요구된 세 장면이 가장 뚜렷하게 담겼다는 평가가 나온다. 페이블은 약 19.9만 토큰·14분 44초, GPT 6.1 솔은 약 1.5만 토큰·3분 14초였고 솔의 그림체와 자원 사용은 앞선 과제와 비슷했다. [06:05]
  • 강의자는 한 번에 작성하는 HTML 애니메이션의 빠른 초안에는 GPT 6.1 솔을, 빛과 안개 같은 분위기가 중요하면 클로드 계열을 검토한다. 다만 모델마다 한 번씩 실행한 결과이므로 순위로 받아들이지 말라고 제한한다. [06:23]

4. 스프레드시트로 확인하는 기능 검증과 비용 해석

  • 스프레드시트 과제는 A~Z열·1,000행, 수식 입력줄, 실행 취소, 행 삽입·삭제, CSV 입출력, 함수와 오류 처리 등을 요구한다. 네 결과물의 미리보기는 비슷한 격자와 버튼을 보여주므로, 계산 정확성은 직접 열어 수식을 넣어봐야 판단할 수 있다. [07:10]
  • 토큰은 GPT-6 아스트라 약 3.3만, GPT-6.1 솔 약 17.7만, 클로드 소넷 5.5 약 35.5만, 클로드 오퍼스 5.5 약 59.7만이었다. 실행 시간은 아스트라가 3분 37초로 가장 짧고 오퍼스가 13분 8초로 가장 길었다. [07:30]
  • 오퍼스의 스프레드시트 실행은 공룡 실행보다 총토큰이 두 배 이상이지만 표시 비용은 2.14달러로 더 낮다. 강의는 입력 약 51.8만·출력 약 7.9만으로 출력이 적다는 점을 설명하며, 총토큰으로 비용을 짐작하지 말고 참고 비용을 별도로 읽으라고 강조한다. [07:57]

5. 영상 생성에서 LLM 토큰과 실행 시간 구분하기

  • 오디세이 과제는 인물 일관성과 소리를 갖춘 16:9 영상의 첫 30초를 요구한다. 다섯 실행의 LLM은 모두 클로드 오퍼스 5.5지만 연결한 생성 모델은 다르다. 시댄스는 가족을 떠나는 아버지, 클링은 해변·뗏목·폭풍, 그록은 물속 얼굴과 거친 파도 등 서로 다른 장면 구성을 보여준다. [09:21]
  • 토큰은 그록 약 457만, 시네마 스튜디오 약 518만, 원 쓰리 약 659만, 클링 약 798만, 시댄스 약 1,352만이다. 이는 영상 모델 사용량이 아니라 감독 역할의 LLM 토큰이다. 시댄스는 입력 약 1,348만·출력 약 4.3만으로 대부분 입력이며, 강의자는 여러 단계에서 같은 맥락을 다시 읽은 것으로 추정한다. [10:06]
  • 실행 시간은 시네마 스튜디오 9분 54초부터 원 쓰리 32분 54초까지로, 토큰 최다 실행과 시간 최장 실행이 다르다. 다섯 실행 모두 참고 비용이 없어 비용 비교를 보류하고, 시네마 스튜디오는 제공된 미리보기가 다른 실행과 겹쳐 숫자만 보여준다. [10:50]

6. 블라인드 비교·리더보드·직접 실행 화면의 한계

  • 컴페어는 모델명을 숨긴 아웃풋 A·B를 나란히 보여주고 선호·무승부·둘 다 아님·불러오기 실패·건너뛰기 등의 선택을 받는다. 이런 비교 투표가 쌓여야 리더보드의 승률이 만들어진다. [11:15]
  • 녹화 당시 리더보드에는 설정 250개·결과물 535개가 표시되지만 모두 순위 없음·근거 불충분 상태였고 승률도 없었다. 강의의 평가는 투표 결과가 아닌 강의자의 관찰이며, 리더보드의 각 행은 모델 하나가 아니라 젠 AI·소프트웨어 등을 포함한 셋업 단위다. [12:07]
  • 직접 비교를 실행하는 뉴런 화면도 소개하지만 로그인 전·어드밴스드 꺼짐 상태여서 세부 설정은 확인하지 못한다. 마지막으로 셋업 네 칸과 토큰·시간·참고 비용을 따로 읽고, 비용 공란은 비교에서 제외하며, 미리보기로 안 보이는 것은 직접 열어보라는 원칙을 정리한다. [12:56]

🧾 결론

  • Evals 카드의 핵심은 결과물의 인상과 실행 조건을 연결해 읽는 것이다. 먼저 셋업 네 칸을 확인하고 토큰·시간·참고 비용을 각각 살핀다.
  • 한 번에 작성하는 HTML 애니메이션에서는 빠른 초안에 GPT 6.1 솔, 빛과 안개 같은 분위기 표현에는 클로드 계열을 먼저 검토한다는 조건부 선택이 제시된다.
  • 스프레드시트처럼 기능 정확성이 중요한 과제는 화면만으로 평가할 수 없다. 실제 입력과 동작 검증이 필요하다.
  • 확인하지 못한 결과와 표시되지 않은 비용은 판단을 유보하고, 소수 사례를 모델 전체의 순위로 확대하지 않는다.

📈 투자·시사 포인트

  • AI 도입 예산은 토큰 총량만으로 잡기 어렵다. 입력·출력 비중과 적용 단가, 표시된 참고 비용의 산정 조건을 확인해야 한다.
  • 작업별 요구 품질과 대기 시간을 함께 고려해야 한다. 빠른 초안이 필요한 작업과 분위기 표현이 중요한 작업은 모델 선택 기준이 달라질 수 있다.
  • 영상 제작에서는 감독 역할의 LLM과 실제 생성 모델을 함께 비교해야 한다. LLM 이름만으로 제작 결과나 효율을 설명하기 어렵다.
  • 구매·도입 판단에 리더보드를 활용하려면 승률과 비교 투표의 존재부터 확인해야 한다. 녹화 당시 화면은 승자를 뒷받침하는 근거를 제공하지 않았다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 공룡 사례는 모델마다 한 번씩 실행한 작은 표본이다. 관찰된 속도·토큰·그림체 차이가 반복 실행에서도 유지되는지는 확인되지 않았다.
  • 클로드 오퍼스의 공룡 미리보기는 4초여서 마지막 티라노사우루스 장면을 확인하지 못했다. 클로드 페이블 5.1은 검은 미리보기, 시네마 스튜디오는 다른 실행과 겹친 미리보기 때문에 시각적 평가가 제한됐다.
  • 참고 비용은 실제 청구액이 아니다. GPT 6.1 솔의 해당 공룡 카드와 오디세이 영상 실행들은 비용이 표시되지 않아 비용 비교를 할 수 없다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 비교할 과제의 프롬프트 원문과 제약을 먼저 확인하고, 같은 태스크에 연결된 결과물을 모은다.
  • 각 결과물의 LLM·젠 AI·스킬·소프트웨어를 기록해 셋업 차이를 확인한다.
  • 총토큰, 입력·출력 토큰, 실행 시간, 참고 비용을 별도 항목으로 기록하고 비용 공란은 비교에서 제외한다.
  • 애니메이션은 전체 재생으로 필수 장면을 확인하고, 스프레드시트는 수식·행 조작·CSV 기능을 직접 시험한다.

❓ 열린 질문

  • 동일한 프롬프트와 셋업으로 반복 실행해도 빠른 초안과 분위기 표현의 차이가 유지될까?
  • 스프레드시트 결과물의 수식 계산과 오류 처리, CSV 입출력은 실제로 얼마나 정확할까?
  • 스프레드시트 참고 비용과 제시된 토큰·단가 사이의 차이는 어떤 산정 조건에서 발생했을까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.