YouTubeEvery·2026년 11월 19일·0

Retesting GPT-6.2 Astra & Sol

Quick Summary

Every가 GPT 6.2 Astra와 Sol의 출시판을 다시 시험한 결과, Astra는 일부 개발 과제에서 뚜렷이 나아졌지만 두 모델 모두 출시 전후 종합 점수는 거의 같았다.

영상 보기

클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.

원본 열기

🖼️ 인포그래픽

Retesting GPT-6.2 Astra & Sol 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

Retesting GPT-6.2 Astra & Sol의 핵심 내용을 4단계로 요약한 인포그래픽
Retesting GPT-6.2 Astra & Sol 핵심 내용을 4단계로 압축한 4컷 인포그래픽

💡 한 줄 결론

Every가 GPT-6.2 Astra와 Sol의 출시판을 다시 시험한 결과, Astra는 일부 개발 과제에서 뚜렷이 나아졌지만 두 모델 모두 출시 전후 종합 점수는 거의 같았다.

📌 핵심 요점

  1. 티보는 출시 직전 변경을 반영하지 않은 점이 첫 리뷰에 영향을 줬다고 지적했다. Every는 변경 통보를 받지 못했다고 설명했다. 마이크가 출시판으로 다시 측정했을 때 개별 점수는 오르내렸지만 전체 순위는 대체로 유지됐다.
  2. Astra의 개선이 가장 분명한 사례는 밀린 개발 일감 중 설명이 충분한 것을 골라 풀 리퀘스트까지 완성하는 과제였다. 일부 일감에서는 출시 전보다 29점 올랐다. 다만 마이크는 이 유형의 과제 전반에서는 여전히 Fable 5.2를 높게 평가했다.
  3. 편집에서는 무엇을 맡기느냐에 따라 평가가 갈렸다. 댄은 Astra의 수정안만 보고는 원문의 장점이나 고쳐야 할 이유를 파악하기 어려웠다. 반면 문장별 수정 지시를 준 잭은 두 모델의 결과가 비슷하다고 봤고, 출시판 실행 시간은 Astra가 약 36초, Sol이 약 60초였다고 회상했다.
  4. 클릭 반응 속도를 개선하는 과제에서 Astra는 가장 느린 지점 하나를 찾아 고쳤다. 그 항목에서는 Carbon을 앞섰지만 나머지 11개 항목에서는 Carbon이 앞섰다. 키런은 Astra의 구현 속도를 높게 평가하면서도, 처음 택한 방법을 재검토하는 능력에는 아쉬움을 표했다.
  5. 디자인 재시험에서 Sol은 앞서 빠뜨렸던 달걀을 그려 넣었다. 다만 냅킨이 접시를 통과하는 문제는 재시험에서도 남았다. 타일러는 이런 사례를 특정 사물이나 움직임이 개선됐는지 확인하는 데 활용했다.

🧩 배경과 문제 정의

  • Every의 GPT-6.2 Astra 리뷰를 두고 티보는 평가팀이 모델 변경 후 재시험하지 않은 점이 부정적인 평가에 영향을 줬다고 지적했다. 평가팀은 사용자가 접할 버전을 기준으로 리뷰해 왔으며, 이번에는 출시 직전 변경을 통보받지 못했다고 설명했다.
  • 재시험의 쟁점은 출시판 Astra와 Sol이 사전 출시판보다 나아졌는지, 달라졌다면 집필이나 소프트웨어 개발에서 기존에 쓰던 모델을 바꿀 만큼 차이가 큰지였다.
  • 과제 하나에 몇 시간이 걸리고 토큰 비용도 커서 방송 시점에 일부 결과는 나오지 않았다. 정량 평가에서도 각 과제를 한 번씩만 실행해 작은 점수 차이에는 실행 간 변동이 섞일 수 있다.

🕒 시간순 섹션별 상세정리

1. 출시 직전 변경을 둘러싼 이견과 재시험의 범위

  • 티보는 변경된 모델을 다시 시험하지 않은 점을 문제 삼았다. 댄은 평가팀도 출시 직전까지 모델이 바뀔 수 있다는 사실을 감안해 왔으며, 이번 변경에 관해서는 연락을 받지 못했다고 답했다. [01:39]
  • 평가팀은 기존 리뷰에서 지적한 문제가 사용자가 접하는 모델에서도 나타나는지 다시 확인했다. 시간과 비용 때문에 아직 끝나지 않은 시험이 있어 이번 평가는 잠정적이었다. [02:25]

2. 기사 편집에서 수정안에 밀린 피드백

  • Every는 댄이 실제로 하는 기사 편집을 평가 과제로 삼았다. 당일 재시험에서도 Astra는 고쳐 쓴 문안을 맨 위에 놓고, 원문의 어떤 부분이 좋고 어디를 손봐야 하는지에 대한 설명은 맨 아래에 짧게 붙였다. [05:27]
  • 같은 원고에 Argon은 편집자가 실제 수정에 활용할 만한 제안을 여러 개 내놓았다. 댄에게는 바로 쓸 문안을 얻는 것만큼 수정 이유를 이해하는 일도 중요했고, Astra의 피드백은 그러기에는 너무 압축돼 있었다. [06:25]

3. 같은 수치도 실행에 따라 달라진 문장 명료성

  • 한 실행에서 Astra는 2위의 토큰 사용량을 세 배로 늘려도 댄이 여전히 1위라는 식으로 문장을 시작했다. 다른 실행에서는 댄이 2위보다 세 배 넘게 썼다고 바로 밝혀 누구의 사용량을 비교하는지 쉽게 읽혔다. [07:12]
  • 댄은 최근 며칠 사이 일부 문장이 나아졌을 가능성을 열어 뒀다. 다만 실행마다 결과가 달랐고, 지나친 압축도 반복돼 최초 리뷰의 판단을 바꿀 만큼 뚜렷한 차이는 찾기 어려웠다. [07:55]

4. 클릭 반응 속도 최적화에서 드러난 좁은 접근

  • 키런은 사용자 클릭에 빠르게 반응하도록 라이브러리를 최적화하는 과제에서 높은 추론 강도의 Astra와 Carbon을 비교했다. Astra가 앞선 항목은 하나였고 나머지 항목에서는 Carbon이 앞섰다. [09:17]
  • Astra 스스로도 처음에 너무 좁은 벤치마크에 집중했다고 설명했다. 키런은 구현 속도는 높게 평가했지만, 소프트웨어가 커질 때를 고려해 구조를 정하고 설계 선택의 이유를 설명하는 면에서는 아쉬움을 느꼈다. [10:23]

5. 빠른 실행과 대안 탐색 사이의 균형

  • 평가팀은 지시를 잘 따르도록 조정한 모델이 사용자에게 지나치게 동의할 수 있듯, 속도와 간결성도 과제에 따라 약점이 될 수 있다고 봤다. 앱 최적화에서는 첫 접근을 곧바로 구현하기 전에 다른 방법을 검토하는 데 가치가 있다. [12:13]
  • 댄은 기사 편집에서도 모델과 함께 수정 방향을 생각하고 싶어 했다. 키런은 Fable이나 Google 모델이 열린 요구만으로도 개선 방향을 찾는 경험을 제공하면서 장시간 작업과 창의적 문제 해결에 대한 기대치가 높아졌다고 평가했다. [13:27]

6. 재작업을 줄이는 질문과 사용자의 주의를 소모하는 질문

  • 마이크는 코딩 전에 질문 하나를 했으면 상당한 재작업을 피했을 사례가 있는 반면, Astra는 답이 달라져도 결과에 별 영향이 없을 질문까지 한다고 느꼈다. [14:18]
  • 모델이 직접 만든 기능의 작동 방식까지 사용자에게 되묻는 경우도 있어 마이크는 작업을 맡긴 뒤 손을 떼기 어려웠다. 키런은 Gemini와 Anthropic 모델이 특정 방법을 택하거나 배제한 이유를 더 잘 설명한다고 평가했다. [15:35]

7. Astra와 Sol의 종합 점수는 출시 전후에 거의 그대로

  • 마이크가 Astra와 Sol의 사전 출시판과 출시판을 각각 비교한 결과, 두 모델 모두 종합 점수가 거의 움직이지 않았다. 각 과제는 한 번씩 실행했고, 일부는 몇 시간이 걸렸다. [16:47]
  • Talk Form 앱 제작에서는 사전 출시판의 점수가 오히려 조금 높았다. 개별 과제에서는 이런 편차가 있었지만 전체 과제를 놓고 본 순위는 대체로 같았다. [17:14]

8. 스스로 개발 일감을 골라 끝내는 과제에서 개선된 Astra

  • 주니어 엔지니어 벤치마크에서는 수백 개의 밀린 개발 과제 중 추가 질문 없이 진행할 만큼 설명이 충분한 일을 모델이 직접 골랐다. 과제 선택의 적절성과 요구 수준에 맞는 풀 리퀘스트를 완성했는지를 함께 평가했다. [18:06]
  • 출시판 Astra는 사전 출시판보다 이 평가에서 뚜렷하게 나아졌고, 일부 티켓에서는 점수가 29점 올랐다. Fable 5.2를 앞선 과제도 있었지만 마이크는 이 과제 유형 전반에서는 Fable 5.2의 수준에 아직 못 미친다고 판단했다. [18:54]

9. 개인 칼럼과 모델 리뷰에 서로 다른 글쓰기 모델을 쓰는 이유

  • 케이티는 개인 칼럼을 쓸 때 Claude가 인터뷰에서 더 예리한 질문을 던지고, 결과물에도 자신의 목소리와 문장 리듬을 더 잘 살린다고 느꼈다. [21:26]
  • 정보를 명료한 순서로 전달하는 모델 리뷰에는 OpenAI 모델의 직선적인 서술이 잘 맞았다. 이전 GPT-6 Astra로는 리뷰 초고를 한 번에 얻었지만, 6.2의 문장에서는 처음 읽는 독자에게 필요한 정보를 짚는 능력에 의문이 들어 같은 방식으로 초고를 맡기기 어려웠다. [22:08]

10. 사전 출시판 Astra의 도입부가 남긴 혼란

  • 케이티는 여러 모델에 댄의 글 「After Automation」 도입부를 쓰는 동일한 과제를 주고 실제 게재본과 비교했다. 사전 출시판 Astra는 관리자가 좋은 코드를 작성해도 엔지니어의 일이 늘어난다는 역설로 글을 열었다. [23:33]
  • 케이티는 원문을 아는 자신도 그 문장이 글의 주제와 어떻게 이어지는지 알기 어렵다고 봤다. 좋은 도입부라면 독자가 무엇이 궁금한지는 알고 답을 찾아 읽어야 하는데, 이 문장에서는 뜻부터 파악하려고 다음 줄을 읽게 된다는 평가였다. [24:20]

11. 사전 출시판 Sol의 첫 문장과 뒤바뀐 화자

  • Sol은 Every에서 AI에 일을 더 많이 맡길수록 AI가 사람에게 돌려주는 일도 많아진다는 문장으로 시작했다. 케이티는 결론을 너무 일찍 드러낼 가능성은 있지만 첫 문장 자체는 마음에 든다고 평가했다. [24:38]
  • 이어지는 문장에서 Sol은 댄을 ‘우리 창업자’라고 불렀다. 댄이 자기 경험을 1인칭으로 쓰는 글에서 화자가 동료의 시점으로 바뀌었다. [24:54]

12. 추론 강도를 바꿔도 남은 글쓰기 문제

  • 케이티가 평소 집필에 선호한 설정은 ‘높음’이었다. 경험상 강도를 더 올리면 글이 복잡해져 따라가기 어려웠고, 낮추면 분량이 길어지는 경향이 있었다. [25:34]
  • 사전 출시판 Astra가 쓴 예시 중에는 AI가 내 이메일의 약 95%에 답할 즈음이면 금요일 오후를 돌려받을 줄 알았다는 재치 있는 문장도 있었다. 다만 글 전체에서는 독자의 흥미를 끌면서 맥락도 놓치지 않도록 정보를 배열하는 능력이 일관되게 드러나지 않았다. [26:02]

13. 출시판 Astra의 ‘매우 높음’ 설정이 빗나간 지점

  • 출시판 Astra는 ‘매우 높음’ 설정에서 엔지니어의 “석 달 걸린다”는 견적을 노동 절약 장치에 빗댔다. 석 달을 쓸 여유가 없으니 아이디어가 좋은지 판단할 수고도 던다는 농담이었다. [26:45]
  • 케이티는 이 도입부가 독자를 글의 본래 주제로 이끌지 못했다고 봤고, 이 집필 과제에는 해당 설정을 쓰지 않겠다고 판단했다. [27:01]

14. ‘높음’ 설정에서도 개인 일화에 머문 도입부

  • ‘높음’ 설정의 도입부는 이메일 답장을 거의 자동화한 댄에게 왜 여전히 결정을 기다리는 사람이 많은지 물었다. 케이티는 원래 주제에 더 가까워졌다고 봤지만, 댄 개인의 경험에서 더 넓은 업무 변화로 빨리 넘어가기를 원했다. [27:44]
  • 댄은 보낸편지함과 미결 결정을 나란히 놓은 문장이 통찰처럼 들려도 둘 사이의 관계를 분명하게 설명하지 못한다고 평가했다. [28:22]

15. 문장의 명료성과 정보 배열을 따로 보는 평가 설계

  • 도입부 과제에서 모델이 받은 것은 완성된 기사가 아니라 포함할 세부 사항과 그 순서를 정해 둔 자료 묶음이었다. 케이티는 여러 달 동안 같은 자료를 써서 내용 선택의 차이를 줄이고, 주어진 내용을 얼마나 명료하게 전달하는지 비교했다. [29:32]
  • 정보를 어떤 순서로 풀어내는지는 별도 과제로 살폈다. 케이티가 이미 쓴 글을 바탕으로 모델이 개요와 도입부, 본문 한 부분을 작성하는 방식이었다. [29:58]

16. 서술형 개요에서는 본문의 정보 순서를 검토하기 어려웠다

  • 작가에게 개요는 집필 전에 정보 순서를 검토하는 도구다. 초안에서는 그 순서를 따르면서 도입부만 읽어도 독자가 상황을 이해할 수 있어야 한다. [30:25]
  • 출시 전 Astra는 Sol과 달리 제목까지 제안했지만, 두 모델 모두 개요를 산문처럼 썼다. 작가가 쓰는 ‘30% 개요’는 각 본문 단락을 핵심 주장, 뒷받침 근거, 결론, 다음 단락으로의 연결로 나눈다. 이 구분이 있어야 초안을 쓴 뒤 문단을 재배열하는 수고를 줄일 수 있다. [31:29]

17. 일부 코딩·글쓰기 과제의 개선은 전체 평가를 바꾸지 않았다

  • 마이크 테일러는 일부 코딩 과제에서 개선을 발견했고 글쓰기에서도 나아진 사례가 있었다. 다만 평가팀이 실제 업무에서 뽑은 수천 건의 시험에서는 이전과 비슷한 결과가 많았고, 팀은 여전히 대부분의 출력에서 Fable·Opus·Argon·Carbon이 앞선다고 판단했다. [33:26]

18. 문장별 편집에서는 구체적인 코멘트를 수정안으로 옮겼다

  • 잭의 편집 시험은 한 단락에 여러 코멘트를 남기고 수정안을 받는 방식이었다. 가령 코드를 작성하는 방법을 설명할 때 ‘직관적이다’라는 표현은 어울리지 않는다고 지적하자, 모델은 ‘간단명료하다’에 해당하는 straightforward로 바꿨다. [35:28]
  • 같은 원고에는 인용문의 반복을 줄이고 린터 오류와 아키텍처 위반 같은 용어를 쉽게 풀어 달라는 코멘트도 있었다. 잭이 선호한 출시 전 Astra의 높은 추론 설정 결과는 팀이 코드 작성과 검토에 쓰는 지침을 Codex에도 주라는 문장으로 요점을 살렸다. [36:16]

19. 편집 품질이 비슷하자 실행 시간이 모델 선택을 갈랐다

  • 출시 전 Sol의 높은 추론 설정은 Astra와 조금 다른 표현을 골랐지만, 잭은 두 수정안의 품질을 비슷하게 봤다. 공개 버전 결과까지 놓고 봐도 어느 문장을 선호하는지는 대체로 개인 취향에 달렸다. [37:34]
  • 잭이 비교한 편집 실행에서 Astra는 출시 전 약 2분이 걸렸고 공개 버전은 그의 기억으로 36초였다. Sol은 각각 3분과 60초가 걸렸다. 평소 Sol을 쓰던 편집 작업에서도 Astra가 더 빨랐다는 점이 Astra에 노란색, Sol에 빨간색을 준 이유였다. [38:21]

20. 경주 게임은 사진과 더 닮아졌지만 조작감은 뒤처졌다

  • 아이의 어질러진 놀이방 사진으로 만든 경주 게임에서 Fable은 사진 속 장난감을 게임에 살렸고 조작도 자연스러웠다. 잭은 직접 플레이 테스트를 거친 게임 같은 느낌을 비교 기준으로 삼았다. [39:31]
  • GPT 모델의 그래픽은 이전보다 사진에 가까워졌지만, 손을 떼도 차가 저절로 달려 조작의 의미가 작았다. 잭은 Gemini Carbon 게임에서는 조작감과 진행 속도를 원하는 쪽으로 조정할 여지가 더 컸다고 봤다. [40:42]

21. 디자이너의 평가에서는 Astra와 Sol의 사용 경험이 갈렸다

  • 디자이너 타일러는 Opus가 기대 수준을 크게 높였다는 점을 감안하면 Astra는 무난했다고 봤다. 반면 Sol이 만든 인터랙션과 애니메이션 중에는 자신의 기준으로 10점 만점에 1점이라고 느낀 결과도 있었다. [42:48]
  • 타일러의 시험에서 Sol은 녹색과 노란색 사이의 연두색 계열을 반복해서 골랐다. 그가 시험한 다른 어느 모델보다 이 색 조합을 쓴 빈도가 두 배 넘게 높았다. [43:06]

22. 주방 사물 시험에서는 빠졌던 달걀이 재시험에 나타났다

  • 타일러가 다시 실행한 디자인 사례는 9개였다. 그중 출시 전 Sol이 달걀 자체를 빠뜨렸던 장면에는 새 결과에서 달걀이 나타났다. [43:50]
  • 이 시험에서는 달걀을 움직였을 때 자연스럽게 구르는지, 움직임이 끊기거나 튀는지도 살폈다. 타일러는 이런 작은 과제를 실무 전반의 성능을 재는 척도보다 특정 묘사와 물리 동작의 개선을 알아보는 기준으로 썼다. [45:22]

23. 가쓰오부시 덮밥은 그릇의 깊이와 재료의 움직임에서 현실감이 깨졌다

  • 밥 위에 가쓰오부시를 얹은 장면에서 타일러는 그릇의 모양과 깊이가 어색하고 젓가락의 방향도 잘못된 듯하다고 봤다. 가쓰오부시가 공중으로 떠오르는 움직임도 부자연스러웠다. [46:37]
  • 그림자와 쌀알을 함께 보면 문제가 더 분명했다. 한 결과는 확대했을 때 그릇에 담긴 밥처럼 보이지 않았고, 같은 묶음의 OpenAI 모델들이 만든 장면은 서로 매우 비슷했다. [47:27]

24. 냄비를 드는 동작은 구현됐지만 냅킨은 여전히 접시를 통과했다

  • 새 Sol이 만든 장면에서는 타일러가 예상한 대로 냄비를 들어 올릴 수 있었다. 그는 이 동작에서 개선 가능성을 봤다. [47:58]
  • 냅킨을 주스에 담그면 물든 색이 나타나는 과제에서는 타일러가 보기에 Fable만 동작을 잘 구현했다. 비교 화면의 이전 결과와 재시험 결과에서는 모두 냅킨이 접시를 그대로 통과했다. [48:32]

25. 입자 질감과 글꼴의 반복은 코드에서도 확인됐다

  • 타일러의 집계로는 Astra 결과물의 약 94%에 입자 질감을 만드는 동일한 난수 생성 코드가 들어갔다. 질감을 빼 달라는 조건을 줬는데도 모델은 그 효과를 추가했다. [49:45]
  • Astra 결과물의 절반은 Georgia 글꼴을 썼고, Sol 결과물의 77%에는 같은 방식의 입자 질감 코드가 들어갔다. 연두색과 입자 질감을 빼고 선명한 색을 써 달라고 해도 타일러에게는 익숙한 기본 양식이 남아 보였다. [50:55]

26. 경쟁 모델도 고유한 양식이 있었지만 결과물 사이의 편차가 달랐다

  • 잭은 Opus와 Fable 역시 결과물만 보고 같은 계열임을 짐작할 수 있다고 지적했다. 타일러도 Opus가 간혹 입자 질감을 쓴다고 인정했다. 다만 Astra는 이전 지시나 결과물을 볼 수 없게 해도 같은 질감 코드를 반복했다. [52:41]
  • 이번 재시험은 9개였고 이전 시험은 타일러의 기억으로 93개였다. 색상별 수치까지 갖춘 전체 비교표는 준비되지 않았지만, 그가 비교한 결과에서 Opus와 Fable은 Georgia 글꼴과 입자 효과의 사용 여부가 더 다양했고 Carbon과 Argon의 화면 구성도 편차가 컸다. [53:29]

27. 애플리케이션 코딩에서는 빠른 실행과 잘못된 선택에서 벗어나는 능력이 갈렸다

  • 키어런은 OpenAI 모델이 빠르고 대개 요청한 작업을 수행한다는 점을 장점으로 봤다. 다만 과제 범위가 넓어지면 초기에 잘못된 방향을 택한 뒤, 그 선택을 재검토하지 못하고 막히는 경우가 있었다. [56:07]

28. 속도 최적화에서는 병목 하나의 개선과 전체 성능이 다른 결과를 냈다

  • 사용자 조작을 빠르게 만드는 비교에서 Astra는 느린 부분 하나를 찾아 집중적으로 개선했고, 12개 항목 중 그 항목에서는 Google 모델을 앞섰다. Google 모델은 개선 대상을 폭넓게 찾아 전체 결과에서 우세했다. [56:53]
  • 키어런은 이 차이를 설계 판단의 문제로 봤다. Astra는 바꿀 부분을 구체적으로 지정하면 빠르게 처리했지만, 처음 선택이 잘못됐을 가능성을 따지거나 여러 구현 방식을 검토하는 데에는 약했다고 평가했다. [57:17]

29. Sol의 벤치마크 통과만으로는 경쟁 모델 대신 쓸 이유가 부족했다

  • 키어런은 모호한 문제를 맡길 때는 Fable, 창의적인 결과를 원할 때는 Opus, 오래 작업하면서 자신의 선택을 검토해야 할 때는 Carbon에서 강점을 느꼈다. Sol도 그의 벤치마크 과제를 수행했지만, 기대한 답을 넘어서는 결과는 경쟁 모델에서 더 자주 경험했다. [58:05]
  • 재시험에서는 엉뚱한 곳에 산을 그려 넣는 일이 줄어드는 등 표현상의 개선이 있었지만, 산은 여전히 등장했다. 키어런은 일부 출력이 나아졌어도 모델이 문제를 푸는 방식에 대한 평가는 비슷하다고 봤다. [58:28]

30. 간결하게 요청을 수행하는 성향은 OpenAI 모델을 선택한 이유이기도 했다

  • 진행자는 OpenAI 모델이 역사적으로 간결하고, 바로 행동에 옮길 수 있는 답을 빠르게 내놓는 편이었다고 평가했다. 복잡한 과제에서 대안을 충분히 탐색하지 않는다는 앞선 지적과 함께 고려할 만한 장점이었다. [59:39]
  • 진행자에 따르면 지난 1년간 팀원 상당수가 Anthropic 모델에서 OpenAI 모델로 옮겨 간 데도 이 특성이 작용했다. 당시에는 Anthropic 모델이 사용자와 실랑이를 벌이거나 의도를 잘못 짚는다고 느꼈고, OpenAI 모델은 요청을 곧바로 받아들이는 편이었다. [59:58]

31. 실행력과 간결함이 해법의 폭을 좁히는 경우

  • 한 평가자는 6.2 모델이 방향을 빨리 정하고 간결하게 실행하는 대신, 결과의 다양성과 사용자가 창작 방향을 조절할 여지가 줄었다고 느꼈다. 첫 접근이 적절하지 않을 때는 다른 해법을 탐색하는 능력도 중요했다. [1:00:42]
  • 이 차이는 실제 도구 선택에도 나타났다. 같은 평가자는 두 달 전보다 Carbon과 Opus를 자주 쓰고, 자신의 Dot은 주로 운영 업무에 썼다. [1:01:24]

32. Astra의 교육용 게임은 초보자에게 사전 지식을 요구했다

  • Compound Writing은 사용자의 글쓰기 방식을 학습하는 플러그인이다. 첫 게임은 램프를 고치는 과제를 냈지만 그 일이 글쓰기에 어떻게 연결되는지 보여주지 못했다. 제작자가 교육에 쓸 만하다고 본 부분은 화면 구석에서 몇 가지 기능을 설명하는 안내서였다. [1:03:36]
  • 교육 목적을 다시 알려준 뒤에도 Astra 6.2의 첫 과제는 퀴즈였다. 처음 접하는 개념을 가르치기 전에 사용자가 이미 뜻을 안다고 가정했다. [1:05:18]

33. Sol은 글쓰기 순서를, Carbon은 구성 요소의 역할을 보여줬다

  • Sol의 단계 이름에는 뜻이 모호한 표현도 있었지만, 이야기 찾기에서 원고 다듬기와 최종 검토까지 작업 순서를 알아볼 수 있었다. 제작자는 상대적으로 성능이 낮다고 본 Sol이 이 점에서는 Astra보다 나았다고 평가했다. [1:05:36]
  • Carbon은 가이드에 나온 ‘자판기’ 비유로 흔한 AI 글쓰기 습관을 짚은 뒤, 요리책·요리사·주방에 빗대어 플러그인·에이전트·파일의 역할을 설명했다. 화면은 복잡하고 게임처럼 느껴지지는 않았지만, 초보자가 작동 원리를 이해한다는 목표에는 가장 잘 맞았다. [1:06:28]

34. Neon의 첫 평가 기준은 Carbon의 응답 속도였다

  • 평가진은 전날 늦게나 당일 아침에야 Gemini 4 Neon을 접했다. 특히 Carbon이 단순한 채팅을 벗어나면 응답에 오래 걸렸던 만큼, Neon에서 기대한 개선점은 성능을 유지하면서 대기 시간을 줄이는 것이었다. [1:08:14]
  • 한 평가자가 직접 써본 인상은 Sonnet에 가까웠다. 모델의 성능 등급에 대해서는 평가진 사이에서도 의견이 잠정적이었다. [1:08:42]

35. 클릭 최적화에서는 Neon이 빨랐지만 처음부터 만드는 과제에서는 품질이 부족했다

  • 같은 최적화 과제에서 Astra High는 측정한 지연 중 가장 심한 한 곳에 집중했다. Neon은 개별 클릭마다 드는 처리 비용을 줄였고, 이 과제에서는 작업도 더 빨리 끝냈다. [1:09:27]
  • 별도의 벤치마크에서 Neon은 처음부터 결과물을 만드는 작업을 12분 만에 마쳤지만 품질은 평가자의 기준에 미치지 못했다. 평가자는 개선 범위가 좁고 여러 아이디어를 빠르게 시험할 수 있는 일에 더 기대를 걸었다. [1:10:03]

36. 몇 달 사이에도 모델에 대한 선호는 달라졌다

  • 한 출연자는 두 달 전만 해도 Google이 경쟁에서 뒤처졌다고 봤지만 Argon, Carbon, Hydrogen, Neon을 차례로 써보면서 판단이 달라졌다. OpenAI 역시 몇 달 안에 다시 기대할 만한 모델을 낼 수 있다는 것이 그의 전망이었다. [1:11:15]
  • 다른 출연자도 자신들이 혹평했던 Opus 5에서 높게 평가한 5.5로 선호가 바뀐 경험을 들었다. 현재의 Astra 평가만으로 후속 모델까지 판단하기 어렵다는 근거였다. [1:11:23]

37. 일상 과제의 포화와 업무 전체를 맡기는 일 사이에는 간극이 있었다

  • 한 평가자에게는 Sol 5.6 이후 모델들이 일상 지식 업무를 이미 충분히 처리했다. 그래서 신모델을 고를 때는 같은 과제를 더 잘하는지보다 예전에는 할 수 없었던 창작을 할 수 있는지가 중요해졌다. [1:12:21]
  • 다른 평가자는 이메일 한 통의 초안 작성과 수신 메일 대부분에 대한 답장 위임을 구분했다. 개별 초안의 품질이 충분해도 사람이 덜 관여하는 업무 전체를 맡기면 모델의 한계가 다시 드러난다는 견해였다. [1:13:53]

38. 개인 업무 평가에서 Neon은 Hydrogen에 조금 못 미쳤다

  • 마이크 테일러는 Neon과 직전에 시험한 OpenAI 모델의 결과가 크게 다르지 않았다고 봤다. Neon은 기대가 낮았던 만큼 반가웠고 OpenAI에는 큰 도약을 기대했다는 점도 첫인상에 영향을 줬다. [1:15:23]
  • 테일러의 업무 벤치마크에서는 Hydrogen이 선두였고 Neon은 조금 낮았다. 이 순위는 그가 매일 하는 일과 선호하는 결과에 모델의 기본 응답이 얼마나 잘 맞는지를 뜻했다. [1:16:13]

39. 영상 검토와 연구의 두 번째 의견에는 서로 다른 모델이 유용했다

  • 테일러는 Google 모델로 자신이 만든 영상을 검토하면서 발언에 문제가 없는지, 컷이 맞는지, 장면 전환이 자연스러운지 확인했다. [1:16:34]
  • 자동화한 연구에서는 Opus가 다음 실험을 정할 때 Argon의 의견도 받았다. 그의 경험에서는 Argon의 판단이 Neon보다 다른 모델들과 덜 겹쳐 독립적인 검토에 더 유용했다. [1:17:10]

40. Neon은 설문 대시보드에서 쉽게 보이지 않는 의견을 찾아냈다

  • 자동 평가 전체에서 Neon은 Sol·Astra와 비슷한 결과를 냈다. 테일러는 더 작고 빠른 모델이 자신의 업무에서 이 수준에 도달한 점을 의외로 봤다. 대시보드의 구성은 Carbon·Argon·Hydrogen이 같은 과제에서 만든 결과와 비슷했다. [1:18:21]
  • 일부 문구는 전형적인 AI 표현이었지만, Neon은 고객 추천 의향을 묻는 NPS 설문의 주관식 응답에서 쉽게 눈에 띄지 않는 대목을 찾아냈다. 평가자가 따로 요구하지 않았는데도 그런 의견을 골라낸 점이 좋은 평가를 받았다. [1:19:42]

41. 발표 자료 제작은 안정됐지만 내용의 밀도에는 편집이 필요했다

  • 연초에는 모델이 토큰을 소진하고도 열리는 PowerPoint 파일조차 만들지 못하는 일이 잦았다. 이번 평가에서 파일 제작 자체는 안정적이었지만, 슬라이드의 주장이 내용상 타당하고 충실한지는 여전히 사람이 검토해야 했다. [1:20:09]
  • Neon은 Compound Engineering 가이드와 브랜드 지침을 따라 맞춤 SVG 그래픽까지 만들었다. 테일러는 중견 직원에게 기대할 만한 결과라고 봤지만, 슬라이드 한 장에 아이디어를 많이 넣는 경향 때문에 이 작업에서는 여전히 Claude를 선호했다. [1:20:45]

42. 같은 슬라이드 과제에서 Neon은 약 400만 토큰을 썼다

  • Astra는 약 90만 토큰, Neon은 약 400만 토큰을 사용했다. Neon의 소요 시간은 평가 화면에서 확인할 수 없어 이 과제의 실제 속도 차이는 판단할 수 없었다. [1:21:58]
  • Argon은 약 1,000만 토큰을 썼고 슬라이드에 내용을 지나치게 많이 담았다는 평가를 받았다. 테일러가 Argon을 쓰는 이유는 완성된 디자인보다 다른 모델에서 보기 힘든 관점을 얻을 수 있기 때문이었다. [1:22:26]

43. Neon의 분류 자동화 채택은 가격에 달려 있었다

  • 테일러는 Neon의 가격이 기존에 저렴한 분류 작업에 쓰던 Gemini Flash 수준이라면 일부 자동화에 도입할 수 있다고 봤다. 당시에는 가격을 확인하기 전이어서 실제 교체 여부는 열어뒀다. [1:23:05]
  • 당장의 주력 모델은 Opus 5.5였고, 토큰 여유가 있으면 Fable을 쓰고 별도 의견이 필요하면 Argon을 쓰는 방식이었다. [1:23:25]

44. 인터뷰 글에서는 구조화된 개요와 구체적인 도입부가 돋보였다

  • Neon은 기존 인터뷰로 글의 30% 단계에 해당하는 개요를 만들면서 참고 문서와 근거를 확인하고 예상 독자를 짚었다. 도입부에는 핵심 주장과 독자가 얻을 내용을, 본문 각 절에는 요점·전환·뒷받침 자료를 배치했다. [1:25:31]
  • 세 가지 도입부 중 글쓴이가 고른 두 번째 안은 ‘스태프 라이터’라는 직함과 실제 한 일을 나란히 놓았다. 직접 만든 워드프로세서에 탭을 추가하고 동료의 다크 모드 요청을 받았다는 장면이 직업 정체성의 변화를 구체적으로 보여줬다. [1:26:55]

45. Astra·Sol의 소폭 개선과 Neon의 가능성은 근거의 범위가 달랐다

  • 재평가에서 Astra 6.2와 Sol 6.2는 전보다 조금 나아졌지만, 평가진이 중요하게 여긴 과제에서는 선두 수준에 미치지 못했다. [1:29:03]
  • Neon은 속도와 초기 결과가 유망했지만 짧게 시험한 단계였다. 평가진은 며칠 안에 후속 평가를 내놓을 계획이었고, 이번 결과로는 최근 Gemini 제품군을 다시 써볼 만하다는 정도의 판단을 내렸다. [1:29:26]

46. 엔지니어링과 글쓰기를 돕는 AI 스킬

  • 여러 도구와 스킬 가운데 ‘컴파운드 엔지니어링’과 ‘컴파운드 라이팅’은 사람이 AI를 활용해 더 나은 결과물을 만드는 데 도움을 줄 수 있다. [1:30:05]

47. 시청자에게 전하는 끝인사

  • 진행자는 함께해 준 시청자에게 감사를 전하며 다음에 다시 만나자고 인사한다. [1:30:08]
  • 다른 참석자들도 작별 인사를 나누며 방송을 마친다. [1:30:12]

🧾 결론

  • 마이크에게 Astra의 코딩 점수 상승과 비용상 이점은 의미가 있었지만, 평소 쓰던 Fable을 교체할 만큼 이점이 크지는 않았다.
  • 편집자의 판단은 맡긴 역할에 따라 달랐다. 잭에게는 코멘트를 정확하고 빠르게 반영하는 일이 중요했고, 댄에게는 다음 수정을 스스로 결정할 수 있도록 이유를 짚어 주는 일이 중요했다.
  • 같은 방송에서 짧게 시험한 Gemini 4 Neon은 클릭 최적화를 빠르게 마쳤고, 인터뷰 글에서는 근거와 전환이 드러나는 개요를 만들었다. 평가진은 이를 Gemini를 다시 써볼 이유로 봤으며, 가독성 시험은 방송 당시 진행 중이었다.

📈 투자·시사 포인트

  • 편집 도구 도입 비용을 따질 때는 모델 응답 시간과 편집자의 검토 시간을 함께 볼 필요가 있다. 수정 지시가 이미 구체적인 팀과 모델의 피드백을 받아 수정 방향을 정하는 팀은 같은 모델에서도 다른 가치를 얻을 수 있다.
  • 개발 도구 평가에서는 무엇을 고칠지 정해진 일과 개선 대상을 직접 찾아야 하는 일을 구분필요가 있다. Astra가 보인 일감 완성 능력과 클릭 최적화 결과는 서로 다른 구매 판단의 근거가 된다.
  • 자동화 도입에는 사용량과 단가도 영향을 준다. 같은 슬라이드 과제에서 Astra는 약 90만 토큰, Neon은 약 400만 토큰을 썼다. 별도의 분류 업무에 대해서도 마이크는 Neon의 가격이 기존 Gemini Flash 수준인지 확인한 뒤 도입을 판단하겠다고 했다.

⚠️ 불확실하거나 확인이 필요한 부분

  • 정량 평가에서는 버전별로 각 과제를 한 번씩 실행했다. 같은 수치를 설명하는 문장도 실행마다 달라졌으므로, 작은 점수 차이만으로 출시판의 개선 폭을 확정하기 어렵다.
  • 출시판 Astra와 Sol의 글쓰기 개요는 비교 화면에 표시되지 않았다. 평가자는 시험을 실행했다고 했지만, 두 모델이 요청한 개요 형식을 더 잘 따르는지는 확인하지 못했다.
  • 디자인 재시험은 9개 사례에 한정됐고 전체 색상 비교표도 없었다. 편집 시간 역시 잭이 회상한 개별 실행 수치여서 업무 전반의 평균으로 쓰기 어렵다.
  • 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
  • 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
  • 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

  • 같은 원고로 문장별 코멘트 반영과 자유로운 편집 피드백을 각각 시험하고, 편집자가 다음 수정을 결정하는 데 걸린 시간을 기록한다.
  • 같은 개발 과제를 동일한 설정으로 여러 번 실행해 점수의 범위를 확인하고, 일감 선택과 완성된 풀 리퀘스트의 품질을 따로 채점한다.
  • 클릭 최적화 결과를 검토할 때는 가장 크게 개선된 항목과 전체 항목의 측정값을 함께 비교한다.
  • 모델 교체 후보마다 기존 모델과 같은 일을 맡겨 토큰 사용량, 실제 과금액, 대기 시간, 사람이 다시 손본 시간을 기록한다.

❓ 열린 질문

  • Astra가 일부 개발 일감에서 얻은 29점 상승은 같은 일감을 반복하거나 다른 일감을 추가해도 유지될까?
  • 출시판 Astra와 Sol의 개요를 확인하면, 작가가 초안을 쓰기 전에 문단별 주장과 근거의 순서를 검토할 수 있을까?
  • 짧은 편집 과제에서 나타난 Astra의 속도 이점은 사람이 수정 이유를 확인하고 원고를 확정하기까지의 시간도 줄여 줄까?

관련 문서

공통 태그와 주제 흐름을 기준으로 같이 보면 좋은 문서를 이어서 제안합니다.