Asana cuts model costs 76x in browser tests with GPT-6.1 Sol

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Asana는 Codex의 GPT‑6 Astra로 브라우저 에이전트를 최적화했으며, GPT‑6.1 Sol 워크플로는 테스트에서 기존 Model B 운영 구성 대비 추정 모델 비용이 76배 낮고 실행 속도가 5배 빨랐다.

📌 핵심 요약

• Asana가 인수한 StackAI는 코드 작성 없이 웹사이트 탐색, 양식 입력, 정보 수집을 자동화하는 플랫폼이다. StackAI CTO Frank Hidalgo는 Codex의 GPT‑6 Astra에 브라우저 에이전트 조사와 개선 실험을 맡겼으며, 수작업으로 1~2개월 걸렸을 것으로 추정한 작업을 약 1주에 마쳤다.
• 144회 실행 연구는 GPT‑6.1 Sol과 Model A·B·C를 대상으로, 120,000자와 480,000자의 이력 한도 및 6가지 캐싱·스크린샷 정책을 조합해 각각 3회씩 시험했다. 모든 구성은 공개 데모 카탈로그의 책 32권에서 각각 6개 항목을 수집했다.
• 기존 에이전트는 고정 지시와 도구 정의만 캐싱하고 누적 페이지 텍스트·스크린샷은 매번 정상 가격으로 재전송했다. 480,000자 이력 한도와 스크린샷을 20개까지 누적한 뒤 최신 1개만 남기는 정책을 결합한 최적화에서, GPT‑6.1 Sol 입력의 89%가 비캐시 가격의 5%로 캐시 처리됐다.
• 최적화된 GPT‑6.1 Sol은 실행당 평균 추정 모델 비용 $0.47, 시간 약 4분을 기록했다. 기존 Model B의 비용 최소 $36.21과 시간 최소 22.5분은 미완료 또는 단계 제한 실행을 포함한 하한값이다. Model B 자체 최적화는 비용을 $1.24로 29배 낮췄고, GPT‑6.1 Sol은 이보다 2.6배 저렴했다. GPT‑6.1 Sol 내에서도 새 정책 적용으로 비용이 $1.97에서 $0.47로 약 4배 낮아졌다.
• GPT‑6.1 Sol의 응답 산출 실행은 작은 이력 한도에서 18회 중 3회였지만 큰 한도에서는 18회 모두였고, 모두 정답이었다. 최적화 워크플로의 모든 실행도 과제를 완료하고 정답을 반환했다. Asana는 변경 사항을 StackAI에 배포했으며 비용·실행 시간·답변 품질 비교를 플랫폼 평가에 통합할 계획이다. 현재 GPT‑6 Astra를 출시 전 기능 테스트와 인간 QA 검토를 위한 버그 보고에도 활용한다.

🧩 주요 포인트

1. 이력 보존과 캐싱의 결합 → 입력 재전송 비용을 줄이면서, 이미 읽은 정보를 잃어 페이지를 다시 방문할 가능성도 낮추는 개선 방향.
2. 워크플로 최적화와 모델 선택의 단계적 효과 → Model B 자체의 29배 비용 절감에 더해 GPT‑6.1 Sol에서 추가 절감이 관측됐으며, 76배 결과는 기존 운영 구성과의 결합 비교.
3. 실험에서 배포·QA로 이어지는 인간과 에이전트의 역할 분담 → 인간이 방향을 정하고 결과를 검토하는 가운데 GPT‑6 Astra가 실험과 테스트를 수행하며, Hidalgo는 인간의 주의력이 새로운 병목이라고 주장.

🧠 상세 정리

1. StackAI의 자동화 비용과 실험의 출발점

Asana는 인수한 StackAI를 통해 고객이 코드 작성 없이 웹사이트를 탐색하고 양식을 입력하며 정보를 수집하는 업무 흐름을 만들도록 지원한다. 이런 작업이 Asana 규모로 실행되면 작은 비효율도 누적되므로, StackAI CTO Frank Hidalgo는 브라우저 에이전트의 비용과 실행 시간을 줄이려 했다. 그는 Codex의 GPT‑6 Astra에 에이전트를 조사하고 개선안을 시험하며 결과를 비교하도록 맡겼다. Hidalgo는 직접 수행했다면 1~2개월 걸렸을 작업이 약 1주 만에 끝났다고 추정했으며, 잠들기 전 /goal을 설정하고 아침에 결과를 검토했다고 설명했다. 이 과정에서 GPT‑6 Astra는 조사와 실험을 수행하는 역할을 맡았고, 최적화된 브라우저 워크플로의 실행 모델로는 GPT‑6.1 Sol이 사용됐다.

2. 캐시 누락과 잦은 이력 편집의 문제

GPT‑6 Astra는 먼저 코드베이스를 파악하고 에이전트가 각 모델 요청을 구성하는 방식을 설명했다. 조사 결과 고정 지시와 도구 정의는 캐싱됐지만, 탐색하면서 쌓인 페이지 텍스트와 스크린샷 이력은 캐싱되지 않아 매 요청에서 정상 가격으로 다시 전송되고 있었다. 에이전트는 거의 매 단계마다 오래된 스크린샷을 제거하고 텍스트도 잘라냈는데, 이런 편집은 요청에 포함되는 이력을 계속 바꿨다. 따라서 이력 캐싱만 추가해도 충분한 효과를 얻기 어려웠으며, 이미 수집한 정보를 잃으면 읽었던 페이지를 다시 방문해야 할 수도 있었다. 개선의 핵심은 캐시 적용 범위를 넓히는 동시에 이력이 일정 기간 바뀌지 않도록 보존 방식을 조정하는 데 있었다.

3. 144회 실행으로 비교한 최적화 구성

Hidalgo는 GPT‑6 Astra가 제안한 수정안을 검토하고 세 가지를 시험 대상으로 선택했으며, Astra는 빠른 초기 테스트로 중요한 변수를 확인했다. 기존 코드는 통제된 실험에 적합하게 설계되지 않았으므로, 하나의 프런트엔드와 백엔드에서 설정이 다른 여러 워크플로를 병렬 실행할 수 있도록 리팩터링했다. 본 연구는 120,000자와 480,000자의 이력 한도, 6가지 캐싱·스크린샷 정책, 4개 모델을 조합해 각 구성에서 3회씩 총 144회 실행했다. 공통 과제는 공개 데모 카탈로그의 책 32권에서 각각 6개 항목을 수집하는 것으로, 일부 StackAI 고객의 작업을 대표하도록 선정됐다. 가장 좋은 정책은 스크린샷을 20개까지 쌓은 뒤 최신 1개만 남겨 삭제 사이의 구간에서 앞선 이력을 더 오래 유지하는 방식이었으며, 이를 큰 이력 한도와 결합해 최적화 워크플로로 삼았다. 비교 모델 가운데 Model A의 가격은 GPT‑6.1 Sol의 절반이었고, 기존 운영 모델인 Model B와 그 업데이트 버전 Model C의 가격은 GPT‑6.1 Sol과 같았다.

4. 실험 기록과 검토를 거쳐 운영에 반영

GPT‑6 Astra는 워크플로를 실행하면서 요청 내용, 사용량 기록, 출력 결과를 확인했고, 별도의 모델 세션들이 작업을 검토했다. 각 세션의 요청과 데이터 추적 기록, 결과는 Asana의 소프트웨어 제공 플랫폼인 Command에 저장돼 팀이 전체 연구를 사후에 검토할 수 있었다. Command에서 연구 결과는 티켓으로 전환됐고, 이어 풀 리퀘스트와 운영 배포로 연결됐다. Asana CPO Arnab Bose는 엔지니어가 방향을 설정하고 GPT‑6 Astra가 실험을 수행하며 결과가 Command를 거쳐 운영에 반영된 과정을 인간과 에이전트 팀의 실제 협업 사례로 설명했다. 원문이 제시하는 개발 방식은 실험 실행의 자동화와 함께 인간의 방향 설정 및 결과 검토를 포함한다.

5. 비용·속도·정답률의 개선과 수치 해석

Model B의 실행당 추정 모델 비용은 기존 최소 $36.21에서 최적화 후 $1.24로 약 29배 낮아졌고, 최적화된 GPT‑6.1 Sol은 $0.47로 이보다 2.6배 더 저렴했다. 기존 Model B와 최적화된 GPT‑6.1 Sol을 비교한 비용 절감은 76배이며, 실행 시간은 최소 22.5분에서 약 4분으로 줄어 원문은 5배 빨라졌다고 보고한다. GPT‑6.1 Sol 자체에서도 큰 이력 한도 아래 새 캐싱·스크린샷 정책을 적용하자 비용이 $1.97에서 $0.47로 약 4배 낮아졌으며, 입력의 89%가 비캐시 가격의 5%로 처리돼 호출당 비용은 약 3배 낮아졌다. GPT‑6.1 Sol의 응답 산출은 작은 이력 한도에서 18회 중 3회였으나 큰 한도에서는 18회 모두였고 모두 정답이었으며, 최적화 워크플로의 모든 실행도 완료와 정답을 기록했다. 비용·시간 비교는 3회 실행 평균이며 기존 구성에 단계 제한 또는 미완료 실행이 포함돼 해당 평균은 하한값이고, Model B는 연구 1단계에서, Model C와 GPT‑6.1 Sol은 2단계에서 실행됐다. 또한 시간 그래프의 실행 표시와 표준편차 표시는 원본 이미지에서 근사 재구성됐으며 개별 실행값과 표준편차 원자료는 제공되지 않았다.

6. 고객 제공 모델과 출시 전 테스트로 확장

Hidalgo는 에이전트 효율을 높이면 운영 비용을 낮추면서 고객에게 더 빠르고 성능이 좋은 모델을 제공할 수 있다는 점을 사업적 가치로 제시했다. Asana는 StackAI의 브라우저 탐색 변경 사항을 이미 배포했으며, 비슷한 실험을 더 쉽게 반복할 수 있는 도구를 개발하고 있다. 장기적으로는 이러한 테스트를 플랫폼 평가에 통합해 고객과 내부 팀이 에이전트 설정에 따른 비용, 실행 시간, 답변 품질을 비교하도록 할 계획이다. 현재는 Codex의 GPT‑6 Astra가 출시 전 플랫폼을 탐색하고 다양한 입력을 시도하며 인간 QA 검토자를 위해 버그를 보고하는 데도 사용된다. Hidalgo는 여러 클라우드 에이전트 세션이 병렬로 기능을 시험하는 새로운 개발 생애주기의 기반으로 이를 보고, 출시 속도보다 인간의 주의력이 병목이 되고 있다고 주장했다. 전체 연구는 Asana와 StackAI 블로그에 공개돼 있다.

🧾 핵심 주장 / 시사점

• 76배 비용 절감은 모델 교체와 워크플로 개선이 결합된 결과다. Model B 자체에서도 29배 절감이 관측돼, 개선 효과를 GPT‑6.1 Sol 선택만으로 설명할 수는 없다.
• 이력 한도 확대는 비용 최적화뿐 아니라 과제 수행 가능성에도 영향을 미쳤다. GPT‑6.1 Sol의 응답 산출이 18회 중 3회에서 18회 모두로 늘어난 결과는 탐색 정보를 보존하는 방식의 중요성을 보여준다.
• 이 연구는 특정 도서 정보 수집 과제와 구성별 3회 반복에 근거한다. 관측된 비용·속도 개선과 정답 결과는 해당 실험의 성과이며, Asana는 다른 설정에서도 비교할 수 있도록 반복 실험과 플랫폼 평가 통합을 추진하고 있다.

✅ 액션 아이템

• Model B의 29배 절감과 GPT‑6.1 Sol의 추가 2.6배 절감을 구분해 76배 비용 개선의 구성 요인 검토.
• 120,000자와 480,000자 이력 한도에서 GPT‑6.1 Sol의 응답 산출 차이를 비용·실행 시간·답변 품질과 함께 비교.
• GPT‑6 Astra의 출시 전 기능 테스트와 버그 보고 결과를 인간 QA 검토에 활용.

❓ 열린 질문

• GPT‑6.1 Sol의 평균 추정 모델 비용 $0.47과 실행 시간 약 4분은 책 32권의 정보 수집 외 다른 StackAI 작업에서도 유지되는가?
• GPT‑6.1 Sol에서 480,000자 이력 한도와 스크린샷 20개 누적 정책은 비용·실행 시간·답변 품질에 각각 얼마나 기여하는가?
• GPT‑6 Astra의 실험과 출시 전 기능 테스트가 확대될 때 인간의 주의력이라는 병목은 결과 검토와 QA에 어떤 영향을 미치는가?