Opus 5.5 + Jev Just Solved AI''s Biggest Problem

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

영상은 Opus 5.5의 글쓰기와 Jev의 독립 검사를 결합해 AI 슬롭을 줄이는 방법을 제시하지만, 완전한 해결을 입증하지는 않는다.

📌 핵심 요점

1. 작성과 검사를 분리한다. Opus 5.5가 초안을 작성하고 Jev가 입력 자료와 발행 전 결과물을 검사한다. 작성 모델이 자신의 결과물을 최종 승인하지 않도록 설계한다.
2. 내용 부실과 문체 문제를 다르게 처리한다. 구체적인 정보나 새로운 사실이 없는 자료는 제외하고, 내용은 유효하지만 기계적으로 읽히는 글은 다시 쓴다.
3. 작은 질문과 확신도로 처리 경로를 정한다. Jev는 미리 정한 답 중 하나와 확신도를 반환한다. 통과 또는 제외 판단의 확신도가 90% 이상이면 해당 경로로 보내고, 애매한 항목은 Opus에 넘긴다.
4. 발행 전 검사는 원문과 초안을 함께 본다. 첫 문장의 구체성, 상투적인 표현, 원문이 뒷받침하지 않는 주장 등을 검사한다. 실패한 항목만 피드백하고 최대 두 차례 재작성한 뒤에도 실패하면 본문 없이 링크만 게시한다.
5. 시연은 비용과 선별 가능성을 보여주지만 정확도 검증은 부족하다. 실시간 사례에서는 52건 중 18건을 게시했고, 약 3주치 기록 재실행에서는 약 1,300건 중 200건을 게시했다. 발표자는 중복과 관련성 판단의 오류가 남아 있다고 인정한다.

🧩 배경과 문제 정의

발표자는 AI 뉴스를 수집해 Slack에 게시하는 봇에서 오래된 소식의 재등장, 동일 뉴스의 반복 게시, 홍보성 글의 높은 점수 같은 문제를 발견했다고 설명한다. 이미 AI 필터가 있었지만, 포괄적인 지시와 종합 점수만으로는 원하는 정보 품질을 유지하기 어려웠다는 것이 출발점이다.

영상은 AI 슬롭을 정보 자체가 빈약한 입력과 내용은 있어도 기계적으로 읽히는 출력으로 나눈다. 이를 해결하기 위해 Jev가 작은 질문으로 입력과 출력을 검사하고, Opus 5.5가 작성과 애매한 판단을 맡으며, 일반 코드가 중복을 처리하는 구조를 제안한다. 근거는 발표자의 봇 운영 사례와 시연, 과거 기록 재실행이며 독립적인 성능 평가와는 구분해야 한다.

🕒 시간순 섹션별 상세정리

1. AI 슬롭 문제와 작성·검사 분업

• Opus 5.5는 글을 쓰고 Jev는 발행 전에 검사하는 조합으로 묶인다. 발표자는 약 3주치 AI 뉴스와 1,300건 이상의 입력, 약 200건의 게시를 사례 규모로 제시한다. [00:31]
• 출발점은 X 계정의 최근 40개 게시물을 평가하는 도구다. 구체성, 새로움, 반응 유도, 판매 목적, 공허한 표현, 재미 등을 나눠 묻고, 점수는 인간과 AI 중 누가 썼는지를 판별하는 지표가 아니라고 보여준다. [01:12]

2. Jev의 제한된 응답과 Opus의 글쓰기 역할

• Jev는 텍스트와 질문을 받아 예·아니요, 목록, 척도 등 미리 정한 선택지로 답하고 확신도를 제공하는 모델로 묶인다. 발표자는 자체 시험에서 항목당 1초 미만, 입력 100만 토큰당 약 4센트라고 주장한다. [01:59]
• 선택지 밖의 답을 생성하지 않는다고 해서 정답이 보장되지는 않는다. Jev도 잘못된 답을 고를 수 있으며, Opus 역시 가독성 개선에도 핵심을 뒤로 미루는 문제가 남아 있어 결과 검사가 필요하다고 보여준다. [02:48]

3. 버릴 입력과 고쳐 쓸 출력을 구분

• 구체성이나 새 정보가 없고 클릭·판매·반응만 요구하는 자료는 제외한다. 사실은 담겼지만 불필요한 표현 때문에 기계적으로 읽히는 글은 재작성 대상으로 구분한다. [03:25]
• 입력 단계에서는 검증 가능한 주장, 반응 유도, 과장, 실제로 새로운 정보 등을 작은 질문으로 검사한다. 확신도 90% 이상인 제외·통과 판단은 바로 처리하고, 애매한 항목은 Opus가 12단어 이하의 이유와 함께 판정하도록 한다. [04:22]

4. 발행 전 검사와 제한된 재작성

• Opus가 원문을 바탕으로 제목, 사건, 중요성을 작성하면 Jev가 원문과 초안을 대조한다. 첫 문장의 주체와 행동, 어디에나 붙일 수 있는 설명, 상투어, 근거 없는 주장과 추가 내용을 확인한다. [04:54]
• 모든 검사를 통과하면 게시하고, 실패하면 해당 검사만 피드백으로 보내 최대 두 번 다시 쓴다. 그래도 실패하면 링크만 게시하며, 규칙을 프롬프트에 넣는 것과 실제 준수 여부를 각각 검사하는 것의 차이를 강조한다. [05:20]

5. 기존 뉴스 봇의 오류와 검사 도입

• Slack 봇은 약 30분 간격으로 여러 출처를 수집한다. 발표자는 오래된 출시 소식을 새 소식처럼 알리거나, 같은 뉴스를 반복하고, 공식 발표보다 패치 노트와 홍보성 게시물에 높은 점수를 주던 사례를 보여준다. [06:47]
• 같은 봇과 출처를 유지한 채 Jev 검사와 확신도 표시를 추가했다고 보여준다. 통과한 자료는 Opus가 작성하고, 중복은 일반 코드가 처리한다. [07:15]

6. 검사 도구의 화면과 실시간 시연

• ‘슬롭 게이트’는 AI 뉴스피드, 사용자가 붙여 넣는 글, 3주치 저장 기록의 세 모드를 제공한다. 뉴스와 이메일·웹사이트 문구에 같은 검사 구조를 적용하며, 브라우저 수집은 별도 도구와 모델 연결이 필요한 작업으로 보여준다. [08:29]
• 최근 24시간 뉴스를 불러온 시연에서는 52건을 검사해 18건을 게시하고 34건을 제외한다. 통과·Opus 재판정·제외 경로와 개별 판단을 화면에 표시한다. [09:24]
• 무료 도구 배포를 안내한 뒤 시연 비용을 Jev 1센트 미만, Opus 약 30센트, 소요 시간 약 70초로 보여준다. 다만 원하는 주제와 신뢰 기준을 충분히 입력하지 않아 추가 조정이 필요하다고 인정한다. [10:37]

7. 3주치 기록 재실행과 남은 한계

• 발표자는 9월 4일부터 24일까지 수집한 과거 기록을 같은 검사 구조로 다시 처리했다고 보여준다. 약 1,300건 중 약 200건을 게시하고 1,000건 이상을 제외한 결과를 제시한다. [11:08]
• 이 실행의 비용으로 검사 측 10센트 미만과 Opus 약 4달러, 전체 시간 약 10분을 제시하지만 자막상 세부 처리량과 비용 귀속은 불명확하다. 이어 통과·수정·제외 목록을 보며 자신의 관심사와 맞는지 평가한다. [12:13]
• 제외 사유별 필터를 보여주면서 같은 게시물의 중복이 여전히 남아 있음을 인정한다. 질문과 기준을 더 다듬어야 한다고 보여준다. [12:43]

8. 읽기 비용과 다른 업무로의 확장

• 글쓰기 자동화가 수신자의 읽기·수정 부담을 없애지는 않는다고 지적한다. 연구와 자체 비용 계산을 인용하며, 경량 모델로 전수 검사하고 애매한 경우에 대형 모델을 쓰는 구조를 제안한다. [13:37]
• 고객 응답에서는 도움말에 없는 환불·정책 약속을, 영업 이메일에서는 특정 고객에 대한 구체적인 정보를 검사하는 예를 든다. 공개 게시물에는 독자가 구체적으로 배울 내용이 있는지 묻도록 제안한다. [14:21]
• 검사기가 작동하지 않을 때 뉴스피드와 고객 응답에 서로 다른 허용·차단 정책을 둘 필요성을 보여준다. 다만 자막의 장애 처리 용어와 사례 연결은 명확하지 않다. [14:35]

9. 구현 절차와 단계적인 적용

• Jev용 OpenRouter 키와 Opus용 Anthropic 키에 지출 한도를 설정하고, 코딩 도구에 입력 자료·질문·세 가지 처리 경로를 설명해 스크립트를 만드는 방식을 제시한다. 질문은 새 직원도 따라 할 수 있는 체크리스트 수준으로 구체화한다. [15:13]
• 확신도에 따라 실행·보류·대형 모델 재판정 경로를 나누고, 실제 차단 전에 일주일간 관찰하거나 과거 기록을 재실행하라고 권한다. 적용 첫 주에는 보류된 항목을 매일 확인하도록 한다. [15:31]
• 질문·프롬프트·스크립트·설정용 스킬을 포함한 배포 키트를 보여준다. 끝으로 문체가 문제면 재작성하고 내용이 없으면 제외한다는 원칙을 반복하며, 작성·검사·일반 코드의 역할을 구분한다. [15:53]

10. 다른 도구에서의 활용과 마무리

• 자신의 뉴스피드용 검사 구조를 자연어로 요청한 예를 보여주고, 기준과 체크리스트를 제공하는 방식은 다른 코딩 도구나 모델에서도 활용할 수 있다고 보여준다. 실제 호환 조건이나 별도 비용은 자세히 다루지 않는다. [16:21]
• 남은 구간은 무료 커뮤니티 자료와 사업자용 맞춤 가이드, 신청 양식을 안내하는 홍보다. 마지막에는 시청 감사와 구독 요청으로 영상을 마친다. [17:07]

🧾 결론

• 핵심은 모델 이름보다 입력 선별, 작성, 출력 검사, 재작성으로 이어지는 역할 분담이다.
• 좋은 검사 질문은 한 번에 하나의 판단만 요구하며, 예와 아니요의 의미를 명확히 정한다.
• 게시량 감소만으로 품질 향상을 확정할 수 없다. 제외된 좋은 정보와 통과한 부실 정보까지 확인해야 한다.
• 뉴스에서 시작한 구조를 고객 응답과 영업 이메일에도 적용할 수 있다는 것이 영상의 확장 논리다.

📈 투자·시사 포인트

• 생성 비용보다 검토 부담이 중요해진다. 영상은 AI가 글쓰기 비용을 낮춰도 독자의 읽기와 수정 비용까지 없애지는 못한다고 지적한다. 업무 가치는 생성량과 함께 후속 검토 시간으로 평가할 필요가 있다.
• 경량 검사와 대형 모델의 역할 분담이 비용 설계의 핵심이다. 모든 항목은 저렴한 모델로 검사하고, 불확실한 판단에 대형 모델을 투입하는 구조를 제안한다. 실제 절감폭은 호출량과 재작성 빈도에 따라 확인해야 한다.
• 업무별 기준이 제품의 실용성을 좌우한다. 같은 검사 구조라도 뉴스의 신선도, 고객 응답의 정책 일치, 영업 이메일의 구체성처럼 질문이 달라진다.
• 장애 처리도 사업 비용과 연결된다. 뉴스와 환불 약속을 포함한 고객 응답은 오류의 손실이 다르므로, 검사 불능 시 게시·발송 여부를 업무별로 정해야 한다. 이 사례만으로 특정 기업의 투자 매력을 판단할 근거는 제공되지 않는다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제목과 도입부는 AI 슬롭을 해결하거나 완전히 없앤다고 표현하지만, 후반부에서는 중복과 부적절한 선별이 남아 있다고 설명한다. 완전한 제거와 독립적인 정확도 검증은 확인되지 않는다.
• Opus 5.5와 Jev의 명칭, 제공 회사, 출시 상태, 가격과 속도는 제공 자막 속 주장이다. 이 자료만으로 공식 사양이나 현재 이용 조건까지 확인할 수 없다.
• 초반에는 약 3주간 운영한 사례처럼 소개하지만, 후반에는 기존 3주치 기록을 새 검사 구조로 재실행했다고 설명한다. 실제 운영 결과와 과거 자료 재평가 결과를 구분해야 한다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 입력 자료의 제외 기준과 출력 문장의 수정 기준을 분리하고, 각 질문을 하나의 예·아니요 판단으로 작성한다.
• 통과·제외·대형 모델 재판정의 세 경로를 정의하고, 판단 근거와 확신도를 함께 기록한다.
• 기존 기록을 재실행하거나 일주일 동안 실제 차단 없이 관찰해, 통과 오류와 유용한 정보의 오제외를 사람이 확인한다.
• 원문과 초안을 함께 검사하고, 실패한 질문만 재작성 피드백에 포함한다. 재작성 횟수와 최종 실패 시 처리도 정한다.

❓ 열린 질문

• 제외된 1,000건 이상의 자료 중 실제로 유용한 정보는 얼마나 있었으며, 게시된 약 200건에는 어떤 오류가 남았는가?
• 90% 임계값은 어떤 평가 자료로 정했으며, 뉴스와 고객 응답에 같은 기준을 적용해도 되는가?
• 품질 개선 중 Jev의 검사, Opus의 글쓰기, 일반 코드의 중복 제거가 각각 기여한 비중은 얼마인가?