Retesting GPT-6.2 Astra & Sol
Quick Summary
Every가 GPT 6.2 Astra와 Sol의 출시판을 다시 시험한 결과, Astra는 일부 개발 과제에서 뚜렷이 나아졌지만 두 모델 모두 출시 전후 종합 점수는 거의 같았다.
영상 보기
클릭 전까지는 가벼운 미리보기만 먼저 불러옵니다.
🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론
Every가 GPT-6.2 Astra와 Sol의 출시판을 다시 시험한 결과, Astra는 일부 개발 과제에서 뚜렷이 나아졌지만 두 모델 모두 출시 전후 종합 점수는 거의 같았다.
📌 핵심 요점
- 티보는 출시 직전 변경을 반영하지 않은 점이 첫 리뷰에 영향을 줬다고 지적했다. Every는 변경 통보를 받지 못했다고 설명했다. 마이크가 출시판으로 다시 측정했을 때 개별 점수는 오르내렸지만 전체 순위는 대체로 유지됐다.
- Astra의 개선이 가장 분명한 사례는 밀린 개발 일감 중 설명이 충분한 것을 골라 풀 리퀘스트까지 완성하는 과제였다. 일부 일감에서는 출시 전보다 29점 올랐다. 다만 마이크는 이 유형의 과제 전반에서는 여전히 Fable 5.2를 높게 평가했다.
- 편집에서는 무엇을 맡기느냐에 따라 평가가 갈렸다. 댄은 Astra의 수정안만 보고는 원문의 장점이나 고쳐야 할 이유를 파악하기 어려웠다. 반면 문장별 수정 지시를 준 잭은 두 모델의 결과가 비슷하다고 봤고, 출시판 실행 시간은 Astra가 약 36초, Sol이 약 60초였다고 회상했다.
- 클릭 반응 속도를 개선하는 과제에서 Astra는 가장 느린 지점 하나를 찾아 고쳤다. 그 항목에서는 Carbon을 앞섰지만 나머지 11개 항목에서는 Carbon이 앞섰다. 키런은 Astra의 구현 속도를 높게 평가하면서도, 처음 택한 방법을 재검토하는 능력에는 아쉬움을 표했다.
- 디자인 재시험에서 Sol은 앞서 빠뜨렸던 달걀을 그려 넣었다. 다만 냅킨이 접시를 통과하는 문제는 재시험에서도 남았다. 타일러는 이런 사례를 특정 사물이나 움직임이 개선됐는지 확인하는 데 활용했다.
🧩 배경과 문제 정의
- Every의 GPT-6.2 Astra 리뷰를 두고 티보는 평가팀이 모델 변경 후 재시험하지 않은 점이 부정적인 평가에 영향을 줬다고 지적했다. 평가팀은 사용자가 접할 버전을 기준으로 리뷰해 왔으며, 이번에는 출시 직전 변경을 통보받지 못했다고 설명했다.
- 재시험의 쟁점은 출시판 Astra와 Sol이 사전 출시판보다 나아졌는지, 달라졌다면 집필이나 소프트웨어 개발에서 기존에 쓰던 모델을 바꿀 만큼 차이가 큰지였다.
- 과제 하나에 몇 시간이 걸리고 토큰 비용도 커서 방송 시점에 일부 결과는 나오지 않았다. 정량 평가에서도 각 과제를 한 번씩만 실행해 작은 점수 차이에는 실행 간 변동이 섞일 수 있다.
🕒 시간순 섹션별 상세정리
1. 출시 직전 변경을 둘러싼 이견과 재시험의 범위
- 티보는 변경된 모델을 다시 시험하지 않은 점을 문제 삼았다. 댄은 평가팀도 출시 직전까지 모델이 바뀔 수 있다는 사실을 감안해 왔으며, 이번 변경에 관해서는 연락을 받지 못했다고 답했다. [01:39]
- 평가팀은 기존 리뷰에서 지적한 문제가 사용자가 접하는 모델에서도 나타나는지 다시 확인했다. 시간과 비용 때문에 아직 끝나지 않은 시험이 있어 이번 평가는 잠정적이었다. [02:25]
2. 기사 편집에서 수정안에 밀린 피드백
- Every는 댄이 실제로 하는 기사 편집을 평가 과제로 삼았다. 당일 재시험에서도 Astra는 고쳐 쓴 문안을 맨 위에 놓고, 원문의 어떤 부분이 좋고 어디를 손봐야 하는지에 대한 설명은 맨 아래에 짧게 붙였다. [05:27]
- 같은 원고에 Argon은 편집자가 실제 수정에 활용할 만한 제안을 여러 개 내놓았다. 댄에게는 바로 쓸 문안을 얻는 것만큼 수정 이유를 이해하는 일도 중요했고, Astra의 피드백은 그러기에는 너무 압축돼 있었다. [06:25]
3. 같은 수치도 실행에 따라 달라진 문장 명료성
- 한 실행에서 Astra는 2위의 토큰 사용량을 세 배로 늘려도 댄이 여전히 1위라는 식으로 문장을 시작했다. 다른 실행에서는 댄이 2위보다 세 배 넘게 썼다고 바로 밝혀 누구의 사용량을 비교하는지 쉽게 읽혔다. [07:12]
- 댄은 최근 며칠 사이 일부 문장이 나아졌을 가능성을 열어 뒀다. 다만 실행마다 결과가 달랐고, 지나친 압축도 반복돼 최초 리뷰의 판단을 바꿀 만큼 뚜렷한 차이는 찾기 어려웠다. [07:55]
4. 클릭 반응 속도 최적화에서 드러난 좁은 접근
- 키런은 사용자 클릭에 빠르게 반응하도록 라이브러리를 최적화하는 과제에서 높은 추론 강도의 Astra와 Carbon을 비교했다. Astra가 앞선 항목은 하나였고 나머지 항목에서는 Carbon이 앞섰다. [09:17]
- Astra 스스로도 처음에 너무 좁은 벤치마크에 집중했다고 설명했다. 키런은 구현 속도는 높게 평가했지만, 소프트웨어가 커질 때를 고려해 구조를 정하고 설계 선택의 이유를 설명하는 면에서는 아쉬움을 느꼈다. [10:23]
5. 빠른 실행과 대안 탐색 사이의 균형
- 평가팀은 지시를 잘 따르도록 조정한 모델이 사용자에게 지나치게 동의할 수 있듯, 속도와 간결성도 과제에 따라 약점이 될 수 있다고 봤다. 앱 최적화에서는 첫 접근을 곧바로 구현하기 전에 다른 방법을 검토하는 데 가치가 있다. [12:13]
- 댄은 기사 편집에서도 모델과 함께 수정 방향을 생각하고 싶어 했다. 키런은 Fable이나 Google 모델이 열린 요구만으로도 개선 방향을 찾는 경험을 제공하면서 장시간 작업과 창의적 문제 해결에 대한 기대치가 높아졌다고 평가했다. [13:27]
6. 재작업을 줄이는 질문과 사용자의 주의를 소모하는 질문
- 마이크는 코딩 전에 질문 하나를 했으면 상당한 재작업을 피했을 사례가 있는 반면, Astra는 답이 달라져도 결과에 별 영향이 없을 질문까지 한다고 느꼈다. [14:18]
- 모델이 직접 만든 기능의 작동 방식까지 사용자에게 되묻는 경우도 있어 마이크는 작업을 맡긴 뒤 손을 떼기 어려웠다. 키런은 Gemini와 Anthropic 모델이 특정 방법을 택하거나 배제한 이유를 더 잘 설명한다고 평가했다. [15:35]
7. Astra와 Sol의 종합 점수는 출시 전후에 거의 그대로
- 마이크가 Astra와 Sol의 사전 출시판과 출시판을 각각 비교한 결과, 두 모델 모두 종합 점수가 거의 움직이지 않았다. 각 과제는 한 번씩 실행했고, 일부는 몇 시간이 걸렸다. [16:47]
- Talk Form 앱 제작에서는 사전 출시판의 점수가 오히려 조금 높았다. 개별 과제에서는 이런 편차가 있었지만 전체 과제를 놓고 본 순위는 대체로 같았다. [17:14]
8. 스스로 개발 일감을 골라 끝내는 과제에서 개선된 Astra
- 주니어 엔지니어 벤치마크에서는 수백 개의 밀린 개발 과제 중 추가 질문 없이 진행할 만큼 설명이 충분한 일을 모델이 직접 골랐다. 과제 선택의 적절성과 요구 수준에 맞는 풀 리퀘스트를 완성했는지를 함께 평가했다. [18:06]
- 출시판 Astra는 사전 출시판보다 이 평가에서 뚜렷하게 나아졌고, 일부 티켓에서는 점수가 29점 올랐다. Fable 5.2를 앞선 과제도 있었지만 마이크는 이 과제 유형 전반에서는 Fable 5.2의 수준에 아직 못 미친다고 판단했다. [18:54]
9. 개인 칼럼과 모델 리뷰에 서로 다른 글쓰기 모델을 쓰는 이유
- 케이티는 개인 칼럼을 쓸 때 Claude가 인터뷰에서 더 예리한 질문을 던지고, 결과물에도 자신의 목소리와 문장 리듬을 더 잘 살린다고 느꼈다. [21:26]
- 정보를 명료한 순서로 전달하는 모델 리뷰에는 OpenAI 모델의 직선적인 서술이 잘 맞았다. 이전 GPT-6 Astra로는 리뷰 초고를 한 번에 얻었지만, 6.2의 문장에서는 처음 읽는 독자에게 필요한 정보를 짚는 능력에 의문이 들어 같은 방식으로 초고를 맡기기 어려웠다. [22:08]
10. 사전 출시판 Astra의 도입부가 남긴 혼란
- 케이티는 여러 모델에 댄의 글 「After Automation」 도입부를 쓰는 동일한 과제를 주고 실제 게재본과 비교했다. 사전 출시판 Astra는 관리자가 좋은 코드를 작성해도 엔지니어의 일이 늘어난다는 역설로 글을 열었다. [23:33]
- 케이티는 원문을 아는 자신도 그 문장이 글의 주제와 어떻게 이어지는지 알기 어렵다고 봤다. 좋은 도입부라면 독자가 무엇이 궁금한지는 알고 답을 찾아 읽어야 하는데, 이 문장에서는 뜻부터 파악하려고 다음 줄을 읽게 된다는 평가였다. [24:20]
11. 사전 출시판 Sol의 첫 문장과 뒤바뀐 화자
- Sol은 Every에서 AI에 일을 더 많이 맡길수록 AI가 사람에게 돌려주는 일도 많아진다는 문장으로 시작했다. 케이티는 결론을 너무 일찍 드러낼 가능성은 있지만 첫 문장 자체는 마음에 든다고 평가했다. [24:38]
- 이어지는 문장에서 Sol은 댄을 ‘우리 창업자’라고 불렀다. 댄이 자기 경험을 1인칭으로 쓰는 글에서 화자가 동료의 시점으로 바뀌었다. [24:54]
12. 추론 강도를 바꿔도 남은 글쓰기 문제
- 케이티가 평소 집필에 선호한 설정은 ‘높음’이었다. 경험상 강도를 더 올리면 글이 복잡해져 따라가기 어려웠고, 낮추면 분량이 길어지는 경향이 있었다. [25:34]
- 사전 출시판 Astra가 쓴 예시 중에는 AI가 내 이메일의 약 95%에 답할 즈음이면 금요일 오후를 돌려받을 줄 알았다는 재치 있는 문장도 있었다. 다만 글 전체에서는 독자의 흥미를 끌면서 맥락도 놓치지 않도록 정보를 배열하는 능력이 일관되게 드러나지 않았다. [26:02]
13. 출시판 Astra의 ‘매우 높음’ 설정이 빗나간 지점
- 출시판 Astra는 ‘매우 높음’ 설정에서 엔지니어의 “석 달 걸린다”는 견적을 노동 절약 장치에 빗댔다. 석 달을 쓸 여유가 없으니 아이디어가 좋은지 판단할 수고도 던다는 농담이었다. [26:45]
- 케이티는 이 도입부가 독자를 글의 본래 주제로 이끌지 못했다고 봤고, 이 집필 과제에는 해당 설정을 쓰지 않겠다고 판단했다. [27:01]
14. ‘높음’ 설정에서도 개인 일화에 머문 도입부
- ‘높음’ 설정의 도입부는 이메일 답장을 거의 자동화한 댄에게 왜 여전히 결정을 기다리는 사람이 많은지 물었다. 케이티는 원래 주제에 더 가까워졌다고 봤지만, 댄 개인의 경험에서 더 넓은 업무 변화로 빨리 넘어가기를 원했다. [27:44]
- 댄은 보낸편지함과 미결 결정을 나란히 놓은 문장이 통찰처럼 들려도 둘 사이의 관계를 분명하게 설명하지 못한다고 평가했다. [28:22]
15. 문장의 명료성과 정보 배열을 따로 보는 평가 설계
- 도입부 과제에서 모델이 받은 것은 완성된 기사가 아니라 포함할 세부 사항과 그 순서를 정해 둔 자료 묶음이었다. 케이티는 여러 달 동안 같은 자료를 써서 내용 선택의 차이를 줄이고, 주어진 내용을 얼마나 명료하게 전달하는지 비교했다. [29:32]
- 정보를 어떤 순서로 풀어내는지는 별도 과제로 살폈다. 케이티가 이미 쓴 글을 바탕으로 모델이 개요와 도입부, 본문 한 부분을 작성하는 방식이었다. [29:58]
16. 서술형 개요에서는 본문의 정보 순서를 검토하기 어려웠다
- 작가에게 개요는 집필 전에 정보 순서를 검토하는 도구다. 초안에서는 그 순서를 따르면서 도입부만 읽어도 독자가 상황을 이해할 수 있어야 한다. [30:25]
- 출시 전 Astra는 Sol과 달리 제목까지 제안했지만, 두 모델 모두 개요를 산문처럼 썼다. 작가가 쓰는 ‘30% 개요’는 각 본문 단락을 핵심 주장, 뒷받침 근거, 결론, 다음 단락으로의 연결로 나눈다. 이 구분이 있어야 초안을 쓴 뒤 문단을 재배열하는 수고를 줄일 수 있다. [31:29]
17. 일부 코딩·글쓰기 과제의 개선은 전체 평가를 바꾸지 않았다
- 마이크 테일러는 일부 코딩 과제에서 개선을 발견했고 글쓰기에서도 나아진 사례가 있었다. 다만 평가팀이 실제 업무에서 뽑은 수천 건의 시험에서는 이전과 비슷한 결과가 많았고, 팀은 여전히 대부분의 출력에서 Fable·Opus·Argon·Carbon이 앞선다고 판단했다. [33:26]
18. 문장별 편집에서는 구체적인 코멘트를 수정안으로 옮겼다
- 잭의 편집 시험은 한 단락에 여러 코멘트를 남기고 수정안을 받는 방식이었다. 가령 코드를 작성하는 방법을 설명할 때 ‘직관적이다’라는 표현은 어울리지 않는다고 지적하자, 모델은 ‘간단명료하다’에 해당하는 straightforward로 바꿨다. [35:28]
- 같은 원고에는 인용문의 반복을 줄이고 린터 오류와 아키텍처 위반 같은 용어를 쉽게 풀어 달라는 코멘트도 있었다. 잭이 선호한 출시 전 Astra의 높은 추론 설정 결과는 팀이 코드 작성과 검토에 쓰는 지침을 Codex에도 주라는 문장으로 요점을 살렸다. [36:16]
19. 편집 품질이 비슷하자 실행 시간이 모델 선택을 갈랐다
- 출시 전 Sol의 높은 추론 설정은 Astra와 조금 다른 표현을 골랐지만, 잭은 두 수정안의 품질을 비슷하게 봤다. 공개 버전 결과까지 놓고 봐도 어느 문장을 선호하는지는 대체로 개인 취향에 달렸다. [37:34]
- 잭이 비교한 편집 실행에서 Astra는 출시 전 약 2분이 걸렸고 공개 버전은 그의 기억으로 36초였다. Sol은 각각 3분과 60초가 걸렸다. 평소 Sol을 쓰던 편집 작업에서도 Astra가 더 빨랐다는 점이 Astra에 노란색, Sol에 빨간색을 준 이유였다. [38:21]
20. 경주 게임은 사진과 더 닮아졌지만 조작감은 뒤처졌다
- 아이의 어질러진 놀이방 사진으로 만든 경주 게임에서 Fable은 사진 속 장난감을 게임에 살렸고 조작도 자연스러웠다. 잭은 직접 플레이 테스트를 거친 게임 같은 느낌을 비교 기준으로 삼았다. [39:31]
- GPT 모델의 그래픽은 이전보다 사진에 가까워졌지만, 손을 떼도 차가 저절로 달려 조작의 의미가 작았다. 잭은 Gemini Carbon 게임에서는 조작감과 진행 속도를 원하는 쪽으로 조정할 여지가 더 컸다고 봤다. [40:42]
21. 디자이너의 평가에서는 Astra와 Sol의 사용 경험이 갈렸다
- 디자이너 타일러는 Opus가 기대 수준을 크게 높였다는 점을 감안하면 Astra는 무난했다고 봤다. 반면 Sol이 만든 인터랙션과 애니메이션 중에는 자신의 기준으로 10점 만점에 1점이라고 느낀 결과도 있었다. [42:48]
- 타일러의 시험에서 Sol은 녹색과 노란색 사이의 연두색 계열을 반복해서 골랐다. 그가 시험한 다른 어느 모델보다 이 색 조합을 쓴 빈도가 두 배 넘게 높았다. [43:06]
22. 주방 사물 시험에서는 빠졌던 달걀이 재시험에 나타났다
- 타일러가 다시 실행한 디자인 사례는 9개였다. 그중 출시 전 Sol이 달걀 자체를 빠뜨렸던 장면에는 새 결과에서 달걀이 나타났다. [43:50]
- 이 시험에서는 달걀을 움직였을 때 자연스럽게 구르는지, 움직임이 끊기거나 튀는지도 살폈다. 타일러는 이런 작은 과제를 실무 전반의 성능을 재는 척도보다 특정 묘사와 물리 동작의 개선을 알아보는 기준으로 썼다. [45:22]
23. 가쓰오부시 덮밥은 그릇의 깊이와 재료의 움직임에서 현실감이 깨졌다
- 밥 위에 가쓰오부시를 얹은 장면에서 타일러는 그릇의 모양과 깊이가 어색하고 젓가락의 방향도 잘못된 듯하다고 봤다. 가쓰오부시가 공중으로 떠오르는 움직임도 부자연스러웠다. [46:37]
- 그림자와 쌀알을 함께 보면 문제가 더 분명했다. 한 결과는 확대했을 때 그릇에 담긴 밥처럼 보이지 않았고, 같은 묶음의 OpenAI 모델들이 만든 장면은 서로 매우 비슷했다. [47:27]
24. 냄비를 드는 동작은 구현됐지만 냅킨은 여전히 접시를 통과했다
- 새 Sol이 만든 장면에서는 타일러가 예상한 대로 냄비를 들어 올릴 수 있었다. 그는 이 동작에서 개선 가능성을 봤다. [47:58]
- 냅킨을 주스에 담그면 물든 색이 나타나는 과제에서는 타일러가 보기에 Fable만 동작을 잘 구현했다. 비교 화면의 이전 결과와 재시험 결과에서는 모두 냅킨이 접시를 그대로 통과했다. [48:32]
25. 입자 질감과 글꼴의 반복은 코드에서도 확인됐다
- 타일러의 집계로는 Astra 결과물의 약 94%에 입자 질감을 만드는 동일한 난수 생성 코드가 들어갔다. 질감을 빼 달라는 조건을 줬는데도 모델은 그 효과를 추가했다. [49:45]
- Astra 결과물의 절반은 Georgia 글꼴을 썼고, Sol 결과물의 77%에는 같은 방식의 입자 질감 코드가 들어갔다. 연두색과 입자 질감을 빼고 선명한 색을 써 달라고 해도 타일러에게는 익숙한 기본 양식이 남아 보였다. [50:55]
26. 경쟁 모델도 고유한 양식이 있었지만 결과물 사이의 편차가 달랐다
- 잭은 Opus와 Fable 역시 결과물만 보고 같은 계열임을 짐작할 수 있다고 지적했다. 타일러도 Opus가 간혹 입자 질감을 쓴다고 인정했다. 다만 Astra는 이전 지시나 결과물을 볼 수 없게 해도 같은 질감 코드를 반복했다. [52:41]
- 이번 재시험은 9개였고 이전 시험은 타일러의 기억으로 93개였다. 색상별 수치까지 갖춘 전체 비교표는 준비되지 않았지만, 그가 비교한 결과에서 Opus와 Fable은 Georgia 글꼴과 입자 효과의 사용 여부가 더 다양했고 Carbon과 Argon의 화면 구성도 편차가 컸다. [53:29]
27. 애플리케이션 코딩에서는 빠른 실행과 잘못된 선택에서 벗어나는 능력이 갈렸다
- 키어런은 OpenAI 모델이 빠르고 대개 요청한 작업을 수행한다는 점을 장점으로 봤다. 다만 과제 범위가 넓어지면 초기에 잘못된 방향을 택한 뒤, 그 선택을 재검토하지 못하고 막히는 경우가 있었다. [56:07]
28. 속도 최적화에서는 병목 하나의 개선과 전체 성능이 다른 결과를 냈다
- 사용자 조작을 빠르게 만드는 비교에서 Astra는 느린 부분 하나를 찾아 집중적으로 개선했고, 12개 항목 중 그 항목에서는 Google 모델을 앞섰다. Google 모델은 개선 대상을 폭넓게 찾아 전체 결과에서 우세했다. [56:53]
- 키어런은 이 차이를 설계 판단의 문제로 봤다. Astra는 바꿀 부분을 구체적으로 지정하면 빠르게 처리했지만, 처음 선택이 잘못됐을 가능성을 따지거나 여러 구현 방식을 검토하는 데에는 약했다고 평가했다. [57:17]
29. Sol의 벤치마크 통과만으로는 경쟁 모델 대신 쓸 이유가 부족했다
- 키어런은 모호한 문제를 맡길 때는 Fable, 창의적인 결과를 원할 때는 Opus, 오래 작업하면서 자신의 선택을 검토해야 할 때는 Carbon에서 강점을 느꼈다. Sol도 그의 벤치마크 과제를 수행했지만, 기대한 답을 넘어서는 결과는 경쟁 모델에서 더 자주 경험했다. [58:05]
- 재시험에서는 엉뚱한 곳에 산을 그려 넣는 일이 줄어드는 등 표현상의 개선이 있었지만, 산은 여전히 등장했다. 키어런은 일부 출력이 나아졌어도 모델이 문제를 푸는 방식에 대한 평가는 비슷하다고 봤다. [58:28]
30. 간결하게 요청을 수행하는 성향은 OpenAI 모델을 선택한 이유이기도 했다
- 진행자는 OpenAI 모델이 역사적으로 간결하고, 바로 행동에 옮길 수 있는 답을 빠르게 내놓는 편이었다고 평가했다. 복잡한 과제에서 대안을 충분히 탐색하지 않는다는 앞선 지적과 함께 고려할 만한 장점이었다. [59:39]
- 진행자에 따르면 지난 1년간 팀원 상당수가 Anthropic 모델에서 OpenAI 모델로 옮겨 간 데도 이 특성이 작용했다. 당시에는 Anthropic 모델이 사용자와 실랑이를 벌이거나 의도를 잘못 짚는다고 느꼈고, OpenAI 모델은 요청을 곧바로 받아들이는 편이었다. [59:58]
31. 실행력과 간결함이 해법의 폭을 좁히는 경우
- 한 평가자는 6.2 모델이 방향을 빨리 정하고 간결하게 실행하는 대신, 결과의 다양성과 사용자가 창작 방향을 조절할 여지가 줄었다고 느꼈다. 첫 접근이 적절하지 않을 때는 다른 해법을 탐색하는 능력도 중요했다. [1:00:42]
- 이 차이는 실제 도구 선택에도 나타났다. 같은 평가자는 두 달 전보다 Carbon과 Opus를 자주 쓰고, 자신의 Dot은 주로 운영 업무에 썼다. [1:01:24]
32. Astra의 교육용 게임은 초보자에게 사전 지식을 요구했다
- Compound Writing은 사용자의 글쓰기 방식을 학습하는 플러그인이다. 첫 게임은 램프를 고치는 과제를 냈지만 그 일이 글쓰기에 어떻게 연결되는지 보여주지 못했다. 제작자가 교육에 쓸 만하다고 본 부분은 화면 구석에서 몇 가지 기능을 설명하는 안내서였다. [1:03:36]
- 교육 목적을 다시 알려준 뒤에도 Astra 6.2의 첫 과제는 퀴즈였다. 처음 접하는 개념을 가르치기 전에 사용자가 이미 뜻을 안다고 가정했다. [1:05:18]
33. Sol은 글쓰기 순서를, Carbon은 구성 요소의 역할을 보여줬다
- Sol의 단계 이름에는 뜻이 모호한 표현도 있었지만, 이야기 찾기에서 원고 다듬기와 최종 검토까지 작업 순서를 알아볼 수 있었다. 제작자는 상대적으로 성능이 낮다고 본 Sol이 이 점에서는 Astra보다 나았다고 평가했다. [1:05:36]
- Carbon은 가이드에 나온 ‘자판기’ 비유로 흔한 AI 글쓰기 습관을 짚은 뒤, 요리책·요리사·주방에 빗대어 플러그인·에이전트·파일의 역할을 설명했다. 화면은 복잡하고 게임처럼 느껴지지는 않았지만, 초보자가 작동 원리를 이해한다는 목표에는 가장 잘 맞았다. [1:06:28]
34. Neon의 첫 평가 기준은 Carbon의 응답 속도였다
- 평가진은 전날 늦게나 당일 아침에야 Gemini 4 Neon을 접했다. 특히 Carbon이 단순한 채팅을 벗어나면 응답에 오래 걸렸던 만큼, Neon에서 기대한 개선점은 성능을 유지하면서 대기 시간을 줄이는 것이었다. [1:08:14]
- 한 평가자가 직접 써본 인상은 Sonnet에 가까웠다. 모델의 성능 등급에 대해서는 평가진 사이에서도 의견이 잠정적이었다. [1:08:42]
35. 클릭 최적화에서는 Neon이 빨랐지만 처음부터 만드는 과제에서는 품질이 부족했다
- 같은 최적화 과제에서 Astra High는 측정한 지연 중 가장 심한 한 곳에 집중했다. Neon은 개별 클릭마다 드는 처리 비용을 줄였고, 이 과제에서는 작업도 더 빨리 끝냈다. [1:09:27]
- 별도의 벤치마크에서 Neon은 처음부터 결과물을 만드는 작업을 12분 만에 마쳤지만 품질은 평가자의 기준에 미치지 못했다. 평가자는 개선 범위가 좁고 여러 아이디어를 빠르게 시험할 수 있는 일에 더 기대를 걸었다. [1:10:03]
36. 몇 달 사이에도 모델에 대한 선호는 달라졌다
- 한 출연자는 두 달 전만 해도 Google이 경쟁에서 뒤처졌다고 봤지만 Argon, Carbon, Hydrogen, Neon을 차례로 써보면서 판단이 달라졌다. OpenAI 역시 몇 달 안에 다시 기대할 만한 모델을 낼 수 있다는 것이 그의 전망이었다. [1:11:15]
- 다른 출연자도 자신들이 혹평했던 Opus 5에서 높게 평가한 5.5로 선호가 바뀐 경험을 들었다. 현재의 Astra 평가만으로 후속 모델까지 판단하기 어렵다는 근거였다. [1:11:23]
37. 일상 과제의 포화와 업무 전체를 맡기는 일 사이에는 간극이 있었다
- 한 평가자에게는 Sol 5.6 이후 모델들이 일상 지식 업무를 이미 충분히 처리했다. 그래서 신모델을 고를 때는 같은 과제를 더 잘하는지보다 예전에는 할 수 없었던 창작을 할 수 있는지가 중요해졌다. [1:12:21]
- 다른 평가자는 이메일 한 통의 초안 작성과 수신 메일 대부분에 대한 답장 위임을 구분했다. 개별 초안의 품질이 충분해도 사람이 덜 관여하는 업무 전체를 맡기면 모델의 한계가 다시 드러난다는 견해였다. [1:13:53]
38. 개인 업무 평가에서 Neon은 Hydrogen에 조금 못 미쳤다
- 마이크 테일러는 Neon과 직전에 시험한 OpenAI 모델의 결과가 크게 다르지 않았다고 봤다. Neon은 기대가 낮았던 만큼 반가웠고 OpenAI에는 큰 도약을 기대했다는 점도 첫인상에 영향을 줬다. [1:15:23]
- 테일러의 업무 벤치마크에서는 Hydrogen이 선두였고 Neon은 조금 낮았다. 이 순위는 그가 매일 하는 일과 선호하는 결과에 모델의 기본 응답이 얼마나 잘 맞는지를 뜻했다. [1:16:13]
39. 영상 검토와 연구의 두 번째 의견에는 서로 다른 모델이 유용했다
- 테일러는 Google 모델로 자신이 만든 영상을 검토하면서 발언에 문제가 없는지, 컷이 맞는지, 장면 전환이 자연스러운지 확인했다. [1:16:34]
- 자동화한 연구에서는 Opus가 다음 실험을 정할 때 Argon의 의견도 받았다. 그의 경험에서는 Argon의 판단이 Neon보다 다른 모델들과 덜 겹쳐 독립적인 검토에 더 유용했다. [1:17:10]
40. Neon은 설문 대시보드에서 쉽게 보이지 않는 의견을 찾아냈다
- 자동 평가 전체에서 Neon은 Sol·Astra와 비슷한 결과를 냈다. 테일러는 더 작고 빠른 모델이 자신의 업무에서 이 수준에 도달한 점을 의외로 봤다. 대시보드의 구성은 Carbon·Argon·Hydrogen이 같은 과제에서 만든 결과와 비슷했다. [1:18:21]
- 일부 문구는 전형적인 AI 표현이었지만, Neon은 고객 추천 의향을 묻는 NPS 설문의 주관식 응답에서 쉽게 눈에 띄지 않는 대목을 찾아냈다. 평가자가 따로 요구하지 않았는데도 그런 의견을 골라낸 점이 좋은 평가를 받았다. [1:19:42]
41. 발표 자료 제작은 안정됐지만 내용의 밀도에는 편집이 필요했다
- 연초에는 모델이 토큰을 소진하고도 열리는 PowerPoint 파일조차 만들지 못하는 일이 잦았다. 이번 평가에서 파일 제작 자체는 안정적이었지만, 슬라이드의 주장이 내용상 타당하고 충실한지는 여전히 사람이 검토해야 했다. [1:20:09]
- Neon은 Compound Engineering 가이드와 브랜드 지침을 따라 맞춤 SVG 그래픽까지 만들었다. 테일러는 중견 직원에게 기대할 만한 결과라고 봤지만, 슬라이드 한 장에 아이디어를 많이 넣는 경향 때문에 이 작업에서는 여전히 Claude를 선호했다. [1:20:45]
42. 같은 슬라이드 과제에서 Neon은 약 400만 토큰을 썼다
- Astra는 약 90만 토큰, Neon은 약 400만 토큰을 사용했다. Neon의 소요 시간은 평가 화면에서 확인할 수 없어 이 과제의 실제 속도 차이는 판단할 수 없었다. [1:21:58]
- Argon은 약 1,000만 토큰을 썼고 슬라이드에 내용을 지나치게 많이 담았다는 평가를 받았다. 테일러가 Argon을 쓰는 이유는 완성된 디자인보다 다른 모델에서 보기 힘든 관점을 얻을 수 있기 때문이었다. [1:22:26]
43. Neon의 분류 자동화 채택은 가격에 달려 있었다
- 테일러는 Neon의 가격이 기존에 저렴한 분류 작업에 쓰던 Gemini Flash 수준이라면 일부 자동화에 도입할 수 있다고 봤다. 당시에는 가격을 확인하기 전이어서 실제 교체 여부는 열어뒀다. [1:23:05]
- 당장의 주력 모델은 Opus 5.5였고, 토큰 여유가 있으면 Fable을 쓰고 별도 의견이 필요하면 Argon을 쓰는 방식이었다. [1:23:25]
44. 인터뷰 글에서는 구조화된 개요와 구체적인 도입부가 돋보였다
- Neon은 기존 인터뷰로 글의 30% 단계에 해당하는 개요를 만들면서 참고 문서와 근거를 확인하고 예상 독자를 짚었다. 도입부에는 핵심 주장과 독자가 얻을 내용을, 본문 각 절에는 요점·전환·뒷받침 자료를 배치했다. [1:25:31]
- 세 가지 도입부 중 글쓴이가 고른 두 번째 안은 ‘스태프 라이터’라는 직함과 실제 한 일을 나란히 놓았다. 직접 만든 워드프로세서에 탭을 추가하고 동료의 다크 모드 요청을 받았다는 장면이 직업 정체성의 변화를 구체적으로 보여줬다. [1:26:55]
45. Astra·Sol의 소폭 개선과 Neon의 가능성은 근거의 범위가 달랐다
- 재평가에서 Astra 6.2와 Sol 6.2는 전보다 조금 나아졌지만, 평가진이 중요하게 여긴 과제에서는 선두 수준에 미치지 못했다. [1:29:03]
- Neon은 속도와 초기 결과가 유망했지만 짧게 시험한 단계였다. 평가진은 며칠 안에 후속 평가를 내놓을 계획이었고, 이번 결과로는 최근 Gemini 제품군을 다시 써볼 만하다는 정도의 판단을 내렸다. [1:29:26]
46. 엔지니어링과 글쓰기를 돕는 AI 스킬
- 여러 도구와 스킬 가운데 ‘컴파운드 엔지니어링’과 ‘컴파운드 라이팅’은 사람이 AI를 활용해 더 나은 결과물을 만드는 데 도움을 줄 수 있다. [1:30:05]
47. 시청자에게 전하는 끝인사
- 진행자는 함께해 준 시청자에게 감사를 전하며 다음에 다시 만나자고 인사한다. [1:30:08]
- 다른 참석자들도 작별 인사를 나누며 방송을 마친다. [1:30:12]
🧾 결론
- 마이크에게 Astra의 코딩 점수 상승과 비용상 이점은 의미가 있었지만, 평소 쓰던 Fable을 교체할 만큼 이점이 크지는 않았다.
- 편집자의 판단은 맡긴 역할에 따라 달랐다. 잭에게는 코멘트를 정확하고 빠르게 반영하는 일이 중요했고, 댄에게는 다음 수정을 스스로 결정할 수 있도록 이유를 짚어 주는 일이 중요했다.
- 같은 방송에서 짧게 시험한 Gemini 4 Neon은 클릭 최적화를 빠르게 마쳤고, 인터뷰 글에서는 근거와 전환이 드러나는 개요를 만들었다. 평가진은 이를 Gemini를 다시 써볼 이유로 봤으며, 가독성 시험은 방송 당시 진행 중이었다.
📈 투자·시사 포인트
- 편집 도구 도입 비용을 따질 때는 모델 응답 시간과 편집자의 검토 시간을 함께 볼 필요가 있다. 수정 지시가 이미 구체적인 팀과 모델의 피드백을 받아 수정 방향을 정하는 팀은 같은 모델에서도 다른 가치를 얻을 수 있다.
- 개발 도구 평가에서는 무엇을 고칠지 정해진 일과 개선 대상을 직접 찾아야 하는 일을 구분필요가 있다. Astra가 보인 일감 완성 능력과 클릭 최적화 결과는 서로 다른 구매 판단의 근거가 된다.
- 자동화 도입에는 사용량과 단가도 영향을 준다. 같은 슬라이드 과제에서 Astra는 약 90만 토큰, Neon은 약 400만 토큰을 썼다. 별도의 분류 업무에 대해서도 마이크는 Neon의 가격이 기존 Gemini Flash 수준인지 확인한 뒤 도입을 판단하겠다고 했다.
⚠️ 불확실하거나 확인이 필요한 부분
- 정량 평가에서는 버전별로 각 과제를 한 번씩 실행했다. 같은 수치를 설명하는 문장도 실행마다 달라졌으므로, 작은 점수 차이만으로 출시판의 개선 폭을 확정하기 어렵다.
- 출시판 Astra와 Sol의 글쓰기 개요는 비교 화면에 표시되지 않았다. 평가자는 시험을 실행했다고 했지만, 두 모델이 요청한 개요 형식을 더 잘 따르는지는 확인하지 못했다.
- 디자인 재시험은 9개 사례에 한정됐고 전체 색상 비교표도 없었다. 편집 시간 역시 잭이 회상한 개별 실행 수치여서 업무 전반의 평균으로 쓰기 어렵다.
- 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
- 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
- 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.
✅ 액션 아이템
- 같은 원고로 문장별 코멘트 반영과 자유로운 편집 피드백을 각각 시험하고, 편집자가 다음 수정을 결정하는 데 걸린 시간을 기록한다.
- 같은 개발 과제를 동일한 설정으로 여러 번 실행해 점수의 범위를 확인하고, 일감 선택과 완성된 풀 리퀘스트의 품질을 따로 채점한다.
- 클릭 최적화 결과를 검토할 때는 가장 크게 개선된 항목과 전체 항목의 측정값을 함께 비교한다.
- 모델 교체 후보마다 기존 모델과 같은 일을 맡겨 토큰 사용량, 실제 과금액, 대기 시간, 사람이 다시 손본 시간을 기록한다.
❓ 열린 질문
- Astra가 일부 개발 일감에서 얻은 29점 상승은 같은 일감을 반복하거나 다른 일감을 추가해도 유지될까?
- 출시판 Astra와 Sol의 개요를 확인하면, 작가가 초안을 쓰기 전에 문단별 주장과 근거의 순서를 검토할 수 있을까?
- 짧은 편집 과제에서 나타난 Astra의 속도 이점은 사람이 수정 이유를 확인하고 원고를 확정하기까지의 시간도 줄여 줄까?