Measuring how AI agents handle everyday wet-lab science

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

BioBasicsBench는 일상적인 습식 실험실 분석을 평가하는 100개 과제로, xhigh에서 GPT‑6 Astra가 평균 획득 점수 66.7%를 기록해 GPT‑5.6 Sol의 43.8%를 앞섰지만 이미지 해석·대조군 확인·실험 맥락 적용에는 개선 여지가 남았다.

📌 핵심 요약

• 효소 설계 기업 Ligo와 개발한 BioBasicsBench는 단백질 실험법, 이미징·세포 분석, 정량·분석 실험, 핵산 실험법, 분자 클로닝의 다섯 영역에 걸친 100개 과제로 원시 실험 데이터 해석, 오류 탐지, 근거 부족 인식 능력을 평가한다.
• 과학자들이 실제 실험 데이터로 과제와 전문가 채점 기준을 만들고 세 단계 검토를 진행했다. 평가에서는 7개 모델의 37개 모델·추론 노력 설정마다 100개 과제를 각각 5회 시도해 총 18,500개 결과를 얻었으며, mean reward는 획득 가능한 점수 대비 평균 과제 점수다.
• xhigh에서 GPT‑6 Astra는 mean reward 66.7%, 95% 신뢰구간 60.3–73.1%, 과제당 출력 4,704토큰을 기록했다. GPT‑5.6 Sol은 각각 43.8%, 37.6–50.0%, 9,099토큰이었고, GPT‑6.1 Sol의 mean reward는 62.0%였다.
• GPT‑6 Astra는 형광 검출 채널의 중첩 때문에 세포 사멸을 단정할 수 없음을 인식하고, 잘못된 항생제가 표시된 음성 대조군을 배제했으며, 현미경 영상의 세포 가시성 변화를 서로 다른 깊이에서 촬영한 z-stack으로 해석했다.
• 결과는 일상적인 실험 분석의 진전을 보여주며, 더 강한 네이티브 멀티모달 능력이 성능 향상의 핵심일 가능성을 제시한다. 다만 이미지 해석·대조군 확인·실험 맥락 적용에는 개선 여지가 있고, 제공된 본문은 모델의 남은 한계를 다루는 절 도입부에서 끊겨 있다.

🧩 주요 포인트

1. 실제 실험 자료와 기준별 부분 점수 → 최종 결론의 정답 여부뿐 아니라 분석 과정과 근거 부족 인식을 구분해 평가한다.
2. GPT‑6 Astra의 점수 상승과 과제당 출력 토큰 감소 → 모델 비교에서는 추론 노력 설정, mean reward, 출력 토큰을 함께 살펴볼 필요가 있다.
3. 형광 채널 중첩·항생제 대조군 오류·z-stack 사례 → 관찰을 결론으로 연결하려면 대조군과 실험 맥락을 확인하고, 근거가 부족하면 결론을 유보해야 한다.

🧠 상세 정리

1. 일상적인 실험의 모호함을 평가하는 목적

글은 질병 이해부터 새로운 치료법 개발까지 생물학 연구를 가속하려면 AI 에이전트가 과학자들이 일상적으로 다루는 실험 근거를 신뢰성 있게 해석해야 한다는 문제의식에서 출발한다. 생물학적 시료로 실험하는 습식 실험실에서는 실험 실패, 모호한 이미지, 서로 충돌하는 관찰이 흔하며, 논문에 실리도록 선별된 도표와 이미지 중심의 기존 벤치마크는 이러한 모호함과 문제 해결 과정을 충분히 담지 못할 수 있다. 이를 평가하기 위해 효소 설계 기업 Ligo와 개발한 BioBasicsBench는 단백질 실험법, 이미징·세포 분석, 정량·분석 실험, 핵산 실험법, 분자 클로닝의 다섯 영역에 걸쳐 100개 과제를 구성했다. 과제는 겔에서 DNA 시료의 분자량을 읽는 단순한 요청부터 상세한 분석 실험 해석까지 포함하며, 모두 실험실 과학자가 안정적으로 수행해야 할 일상 업무를 대상으로 한다. 이미지나 대조군을 잘못 해석하면 잘못된 결론을 내리고 연구 질문에 도움이 되지 않는 후속 실험에 시간을 쓸 수 있다는 점이 평가의 필요성으로 제시된다.

2. 선별된 결과 대신 원시 실험 자료를 제공

BioBasicsBench의 입력은 겔·블롯 이미지, 배양 접시 사진, 현미경 영상, 시퀀싱 파일, 기기 출력, 실험 작업 영상처럼 과학자들이 실제로 접하는 형태를 유지한다. 겔·블롯은 31개 과제, 프로토콜·기록·사양은 27개, 표·기기 내보내기 자료는 20개, 실험대·장치·시약 사진은 18개 과제에 포함된다. 현미경 자료는 14개, 기기 화면·그래프는 13개, 시퀀싱 파일은 12개, 실험 절차 영상과 한천 배지·집락 자료는 각각 7개 과제에 쓰이고, 래더 표나 플라스미드 지도 등의 참고 자료는 21개 과제를 지원한다. 세부 입력에는 원시 유세포 분석 FCS 파일, 장독해 FASTQ, 다중 채널 현미경 영상, z-stack, 손으로 쓴 기록의 사진도 포함된다. 한 과제가 여러 종류의 자료와 여러 기술 태그를 포함할 수 있으므로 자료 유형별 수나 기술별 수를 합산해 전체 과제 수로 해석해서는 안 된다.

3. 과제 제작과 검토, 부분 점수 채점

과학자들은 자신의 실험에서 얻은 데이터를 바탕으로 질문을 작성하고, 실험 근거와 전문가가 만든 채점 기준을 연결했다. 각 과제는 작성자가 아닌 Ligo 과학자의 내부 검토, 습식 실험실에서 일하는 박사급 과학자의 외부 검토, 최종 내부 검토를 차례로 거쳤다. 검토 대상에는 질문과 실험 자료뿐 아니라 채점 기준, 작성자 메모, 채점된 모델 시도도 포함됐다. 에이전트는 요구된 결론·측정값·권고를 구조화된 답변으로 반환하고, 필요한 경우 이를 뒷받침하는 추론도 제시한다. 채점은 과제별 개별 기준에 점수를 부여하는 방식이며, 결론과 수치 결과, 설명의 타당성, 근거 불충분 인식 등을 평가하므로 올바른 최종 결론과 부분적으로만 맞는 분석을 구별할 수 있다. 대부분의 과제는 생물학 지식, 이미지와 기타 데이터의 해석, 오류 탐지, 프로토콜 이해 등 여러 능력을 함께 요구한다.

4. 평가 규모와 점수·불확실성의 해석

평가 대상은 GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna, GPT‑6 Astra의 7개 모델이다. 모델과 추론 노력 수준을 조합한 37개 설정에서 각각 100개 과제를 5회씩 시도해 총 18,500개 결과를 수집했다. 보고 지표인 mean reward는 과제마다 획득 가능한 점수 대비 실제 획득 점수의 평균을 백분율로 나타낸 것으로, 과제를 완전히 맞힌 비율과는 구별된다. 95% 신뢰구간은 각 과제의 다섯 시도를 함께 유지하면서 과제 전체를 재표집하는 방식으로 계산했다. 성능 그래프는 과제당 평균 출력 토큰을 로그 축으로 표시하며, 모델마다 제공되는 추론 노력 설정이 다르다는 조건도 명시한다. xhigh는 일곱 모델 모두에 대해 보고된 가장 높은 추론 노력 수준이고, 일부 모델에서 가능한 max 수준의 결과는 별도로 그래프에 포함됐다.

5. xhigh 성능과 출력 토큰 비교

xhigh에서 GPT‑6 Astra의 mean reward는 66.7%, 95% 신뢰구간은 60.3–73.1%, 과제당 출력은 4,704토큰이었으며, GPT‑6.1 Sol은 각각 62.0%, 55.6–68.4%, 5,238토큰이었다. 비교 대상인 GPT‑5.6 Sol은 43.8%, 37.6–50.0%, 9,099토큰을 기록했다. GPT‑6 Luna는 38.3%, 32.3–44.5%, 13,120토큰이었고, GPT‑5.5는 35.4%, 29.7–41.0%, 11,135토큰이었다. GPT‑5.4는 33.2%, 28.3–38.4%, 13,717토큰, GPT‑5.2는 31.2%, 26.2–36.3%, 27,620토큰으로 보고됐다. 모든 행은 100개 과제와 과제당 5회 시도를 포함하며, 본문은 GPT‑6 Astra가 낮은 추론 노력에서도 GPT‑5.6 Sol보다 크게 개선됐다고 설명한다. 이러한 결과는 더 강한 네이티브 멀티모달 능력이 일상적인 실험 분석 향상의 핵심일 가능성을 시사하지만, 그 설명을 확정적인 인과관계로 제시하지는 않는다.

6. 형광 신호에서 결론의 한계 인식

첫 번째 개선 사례는 가설을 검증하는 과정에서 데이터를 과도하게 해석할 수 있다는 문제를 다룬다. GPT‑5.6 Sol은 죽은 세포를 검출하는 염료의 신호를 근거로 세포가 죽었다고 분류했지만, 해당 검출기는 두 번째 염료에서 나온 빛도 포착할 수 있어 밝기만으로 그 결론을 정당화할 수 없었다. 제시된 같은 세포의 영상에서 SYTOX 표지 채널의 검출 범위는 470–540 nm, FUN-1 녹색 채널은 525–580 nm로, 525–540 nm 구간이 겹친다. 이 중첩 구간은 신호 간섭을 허용하지만 실제 간섭량은 측정되지 않았고, 채널마다 별도의 선형 강도 척도를 사용하므로 채널 사이 밝기를 정량적으로 비교할 수도 없다. GPT‑6 Astra는 이러한 모호함을 인식하고 신호를 분리할 수 있는 더 나은 대조군이 필요하다고 판단했으며, 이 사례는 관찰된 신호와 그 신호가 뒷받침할 수 있는 결론을 구분하는 능력을 보여준다.

7. 사진의 작은 표기로 대조군 오류 식별

두 번째 사례는 DNA 클로닝 실험의 사진에서 대조군의 유효성을 판단하는 과제다. GPT‑5.6 Sol은 음성 대조군 배지에 집락이 보이지 않는다는 관찰을 바탕으로 결론을 내렸지만, GPT‑6 Astra는 배지 가장자리의 표기에 잘못된 항생제가 적혀 있다는 점을 포착했다. 사진의 손글씨인 ‘LB Kan50’은 카나마이신을 가리키며, 해당 실험에서 사용한 항생제인 암피실린과 달랐다. GPT‑6 Astra는 이 불일치를 근거로 해당 배지를 신뢰할 수 있는 대조군으로 받아들이지 않았다. 본문은 이를 실험 이미지의 세부 정보를 더 잘 읽어 더 정확한 결론에 도달한 사례로 제시하며, 멀티모달 능력의 개선이 사진·영상뿐 아니라 시퀀싱, 플레이트 리더 분석, 현미경, 유세포 분석의 원시 출력 처리에서도 나타났다고 설명한다.

8. 현미경 촬영 맥락의 유지와 남은 개선점

세 번째 사례는 연속 현미경 영상에서 세포가 초점에 들어왔다가 벗어나는 모습을 어떻게 해석하는지 비교한다. GPT‑5.6 Sol은 세포가 사라지는 것처럼 보이는 현상에 생물학적 설명을 찾으려 했지만, GPT‑6 Astra는 서로 다른 깊이에서 촬영한 이미지 묶음인 z-stack임을 올바르게 인식했다. 제시된 여섯 프레임은 영상 재생 위치 0초, 3초, 6초, 9초, 12초, 15초에 해당하며, 표시된 상자는 현미경이 깊이를 따라 이동하는 동안 같은 위치를 가리킨다. 이 사례는 관찰 내용을 해석할 때 암묵적인 생물학 지식과 실험 맥락을 분석 전반에 유지해야 한다는 본문의 주장을 뒷받침한다. 글 앞부분은 성능 향상에도 이미지 해석, 대조군 확인, 실험 맥락 적용에 추가 개선이 필요하다고 명시한다. 다만 제공된 본문은 ‘모델이 여전히 부족한 부분’이라는 절의 첫 문장이 완성되기 전에 끊겨 있어, 이후의 구체적인 한계나 논거는 확인할 수 없다.

🧾 핵심 주장 / 시사점

• BioBasicsBench는 정답을 내는 능력과 결론을 내릴 근거가 부족함을 알아보는 능력을 함께 평가해, 모호한 실험 자료를 다루는 과학적 판단을 평가 대상으로 삼는다.
• GPT‑6 Astra는 xhigh에서 GPT‑5.6 Sol보다 높은 점수와 적은 출력 토큰을 기록했다. 이 비교는 성능 차이를 출력 토큰의 증가만으로 설명하기 어렵다는 점을 보여준다.
• 세 개선 사례는 각각 신호 간섭, 대조군 조건, 촬영 방식의 해석에 해당한다. 실험 자료의 시각적 특징을 읽는 것과 그 특징의 의미를 실험 조건 안에서 판단하는 것이 연결돼 있음을 보여준다.

✅ 액션 아이템

• GPT‑6 Astra와 GPT‑5.6 Sol의 비교에서 xhigh의 mean reward와 과제당 출력 토큰을 함께 검토.
• 형광 채널 중첩과 항생제 대조군 오류를 고려해 대조군의 적절성과 결론을 뒷받침하는 근거의 충분성을 확인.
• z-stack 사례처럼 실험 맥락을 적용해 관찰을 해석하고, 근거가 부족한 경우 결론을 유보.

❓ 열린 질문

• BioBasicsBench의 100개 과제에서 GPT‑6 Astra의 개선은 다섯 실험 영역에 걸쳐 얼마나 고르게 나타나는가?
• 추론 노력 설정이 달라질 때 GPT‑6 Astra와 GPT‑5.6 Sol의 mean reward와 과제당 출력 토큰은 어떻게 달라지는가?
• 이미지 해석·대조군 확인·실험 맥락 적용에서 GPT‑6 Astra에 남아 있는 구체적인 오류는 무엇인가?