Inside Genebench-Pro

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenAI의 ‘Inside Genebench-Pro’는 GeneBench-Pro 벤치마크의 대표 유전체학 사례 10개를 소개하며, 각 문제가 실제 데이터·분석 추론·정확한 JSON 답변을 요구하는 방식으로 구성되어 있음을 보여준다.

📌 핵심 요약

• 이 글은 GeneBench-Pro의 문제, 질문 형식, 지원 자료를 더 자세히 보여주는 페이지로, 10개의 대표 사례 연구를 통해 벤치마크가 다루는 생물의학·유전체학 분석 과제를 제시한다.
• 각 사례는 원래 프롬프트, 데이터셋, 보조 자료를 포함하며, 파일 미리보기는 전체 데이터의 일부 발췌라는 점이 명시되어 있다.
• 첫 번째 사례는 구조 변이에 의해 TXR1 표적 활성화가 일어난 종양군에서 TXR1 억제제의 임상적 유용성, 16주 임상 이득, 8주 독성·중단 위험, 순임상효용을 추정하도록 요구한다.
• 이어지는 사례들은 CRISPRi와 CasRx 기반 lncRNA 표적 검증, cis 다변량 멘델 무작위화를 통한 단백질 약물 표적 우선순위화, 보인자 선별검사의 잔여 위험 추정, 단일세포 RNA-seq에서 ambient RNA 보정 후 eQTL 추정 등을 다룬다.
• 페이지 전반에서 반복되는 요구는 단순한 숫자 맞히기가 아니라 데이터 전처리, 교란 요인 통제, 스케일 정렬, 조건부 효과 추정, 분석 논리의 품질을 함께 평가한다는 점이다.

🧩 주요 포인트

1. 이 글은 GeneBench-Pro의 문제, 질문 형식, 지원 자료를 더 자세히 보여주는 페이지로, 10개의 대표 사례 연구를 통해 벤치마크가 다루는 생물의학·유전체학 분석 과제를 제시한다.
2. 각 사례는 원래 프롬프트, 데이터셋, 보조 자료를 포함하며, 파일 미리보기는 전체 데이터의 일부 발췌라는 점이 명시되어 있다.
3. 첫 번째 사례는 구조 변이에 의해 TXR1 표적 활성화가 일어난 종양군에서 TXR1 억제제의 임상적 유용성, 16주 임상 이득, 8주 독성·중단 위험, 순임상효용을 추정하도록 요구한다.
4. 이어지는 사례들은 CRISPRi와 CasRx 기반 lncRNA 표적 검증, cis 다변량 멘델 무작위화를 통한 단백질 약물 표적 우선순위화, 보인자 선별검사의 잔여 위험 추정, 단일세포 RNA-seq에서 ambient RNA 보정 후 eQTL 추정 등을 다룬다.
5. 페이지 전반에서 반복되는 요구는 단순한 숫자 맞히기가 아니라 데이터 전처리, 교란 요인 통제, 스케일 정렬, 조건부 효과 추정, 분석 논리의 품질을 함께 평가한다는 점이다.

🧠 상세 정리

1. 페이지의 목적과 GeneBench-Pro 사례 구성

원문은 ‘Inside Genebench-Pro’라는 제목 아래 GeneBench-Pro 벤치마크의 질문과 지원 자료를 더 가까이 들여다보는 페이지로 구성되어 있다. 상단에는 사례 연구 목록과 목차가 제시되며, 이 10개 사례가 벤치마크의 대표 질문을 보여준다고 설명한다. 각 사례 연구에는 원래 프롬프트, 데이터셋, 지원 자료가 포함되어 있고, 벤치마크 개요와 주요 발견은 별도의 발표 블로그를 보라고 안내한다. 또한 페이지에 보이는 파일 미리보기는 전체 데이터셋의 일부 발췌라는 점을 밝혀, 실제 과제는 더 넓은 자료를 바탕으로 해결해야 함을 전제한다.

2. 사례 1: 구조 변이 기반 종양 치료 의사결정

첫 번째 사례는 체세포 종양학 영역의 문제로, 구조 변이에 의해 TXR1 표적 활성화가 유도된 종양에서 합성 TXR1 지향 억제제가 긍정적 임상 유용성을 갖는지 추정하도록 요구한다. 분석자는 장기 리드 데이터, 발현 정보, 종양 품질, 약물유전체학 근거를 종합해 표적 하위군을 먼저 복원해야 하며, 그 뒤 치료 이득과 독성을 해석해야 한다. 요구되는 출력은 TXR1i와 비-TXR1 전신 치료의 16주 임상 이득 차이, 같은 표적 집단에서의 8주 치료 제한 독성 또는 중단 위험, 그리고 이득 위험차에서 독성 위험에 0.35를 곱해 뺀 순임상효용이다. 최종적으로 순효용이 양수이면 therapy_class_code를 1로, 아니면 0으로 선택해야 한다.

3. 사례 2: lncRNA 의존성의 전사체 특이성 검증

두 번째 사례는 기능 유전체학 문제로, 관찰된 lncRNA 의존성이 실제 전사체 특이적인지, 아니면 근처 DNA 좌위나 이웃 유전자의 효과에서 비롯된 것인지 판정하게 한다. 제공 자료에는 pooled CRISPRi 스크리닝 데이터, 가이드 수준의 국소 발현 측정, 전사체 표적 CasRx 후속 데이터, 단일 가이드 후속 성장 측정이 포함된다. LINC473, KIN1, ANKRD42는 합성 벤치마크 라벨이며, 실제 인간 유전자와의 유사성은 우연이라고 명시되어 있다. 분석자는 dominant LINC473 전사체를 100% 효과적으로 knockdown했을 때의 성장 효과와, KIN1 억제가 국소 좌위 모델에서 만드는 효과를 분리해야 하며, 이 값들에 따라 LINC473를 전사체 지향 표적으로 advance할지 결정한다.

4. 사례 3: 연결된 유전 좌위에서 단백질 약물 표적 우선순위화

세 번째 사례는 통계 유전학 영역에서 두 가까운 단백질 PROTA와 PROTB의 질병 직접 효과를 추정하는 문제다. 원문은 cis 다변량 멘델 무작위화, 즉 cis-MVMR을 사용하되 assay scale, allele orientation, winner’s curse, LD, residual local pleiotropy를 처리해야 한다고 설명한다. 두 단백질은 상관된 유전 좌위를 공유하므로 단순 주변 연관만으로는 결론을 낼 수 없고, 공통 단백질 스케일에서 서로 조건화된 질병 효과를 산출해야 한다. 목표는 log10 농도에서 +1 SD 증가당 질병 log-odds 효과를 두 단백질 각각에 대해 추정하는 것이며, 제공 파일에는 단백질 연관 요약통계, 질병 연관 자료, 변이 메타데이터, 좌위 상관 참조, 단백질 측정 기록 등이 포함된다.

5. 사례 4: 보인자 선별검사의 잔여 생식 위험 추정

네 번째 사례는 임상 유전체학과 보인자 선별검사 문제로, DRX1이라는 상염색체 열성 질환에 대한 잔여 생식 위험을 추정하도록 한다. 분석 대상은 cohort_roster, partner_roster, calibration_controls, target_metadata, assay_observations 파일이며, 보고해야 할 값은 확률 스케일로 제시되어야 한다. 구체적으로는 선별검사 roster 성인에서 AFR 및 EUR ancestry별 보인자 빈도, 음성 DRX1 선별 결과를 받은 AFR 성인의 잔여 보인자 위험, 전체 partner roster에서 균일하게 뽑힌 파트너의 보인자 빈도, 그리고 index person이 AFR이고 screen-negative일 때의 affected conceptus 위험을 계산한다. 원문은 pseudogene-aware carrier call, founder haplotype collapse, ancestry-specific assay calibration, tested partner에서 전체 partner roster로의 표준화가 잔여 위험 추정에 중요하다고 강조한다.

6. 사례 5: 단일세포 RNA-seq에서 ambient RNA 보정 후 eQTL 추정

다섯 번째 사례는 단일세포 유전체학 문제로, activated monocyte 하위집단에서 CXCL10 발현에 대한 genotype 효과를 추정하는 과제다. 원문은 ambient RNA가 표적 발현뿐 아니라 activation state를 부르는 marker panel에도 영향을 주기 때문에, eQTL 모델을 적용하기 전에 보정이 선행되어야 한다고 설명한다. 제공 예시 데이터는 cell_id, donor, total_umi, HBB, IFI6, ISG15, LST1, CXCL10 같은 열을 포함하며, marker gene, contamination marker, target gene의 per-cell UMI count를 보여준다. 최종적으로 분석자는 activated monocyte subpopulation에서 CXCL10 expression의 per-allele log rate ratio를 산출해야 하며, 이 역시 숫자 자체뿐 아니라 분석 추론의 품질이 평가된다고 명시되어 있다.

7. 나머지 사례들이 보여주는 주제 범위

상단 사례 목록에는 앞선 다섯 사례 외에도 구조 유전학, 조절 유전체학, 다부모 QTL 매핑, 집단유전학 문제가 포함되어 있다. 여섯 번째는 nested structural variant의 expression support와 clinical association을 다루는 구조 유전학 사례로 표시되어 있으나, 제공된 본문에서는 세부 설명이 중간에서 끊겨 있다. 일곱 번째는 구조 변이와 mapping artifact를 masking한 뒤 chromatin loop strength를 측정하는 조절 유전체학 문제로 제시된다. 여덟 번째부터 열 번째까지는 founder reconstruction을 포함한 multi-parent QTL mapping, parent-specific ancestry와 최근 admixture timing, noisy ancient-DNA time series에서 selection을 추정하는 문제로 나열되어 GeneBench-Pro가 임상·기능·통계·집단 유전체학 전반을 포괄함을 보여준다.

8. 반복되는 평가 방식과 답변 형식의 의미

각 상세 사례에는 ‘이 데이터는 실제 실험에서 왔으며, 수치적 정확성뿐 아니라 분석적 추론의 품질도 평가된다’는 문장이 반복된다. 이는 GeneBench-Pro가 단순 지식 확인이나 표면적 데이터 읽기가 아니라, 복잡한 생물학적 교란 요인과 통계적 조건을 처리하는 능력을 평가하려 한다는 점을 드러낸다. 또한 각 문제는 최종 답변을 정확히 하나의 JSON 객체로 반환하고, 마크다운이나 부가 설명을 붙이지 말라고 요구한다. 이 형식은 벤치마크 평가가 자동 채점 가능한 구조화 출력과, 그 출력에 도달하기 위한 정교한 데이터 해석을 동시에 요구한다는 점을 잘 보여준다.

🧾 핵심 주장 / 시사점

• GeneBench-Pro의 사례들은 대부분 ‘무엇을 계산할 것인가’보다 ‘어떤 교란·보정·조건화를 먼저 해결해야 하는가’를 중심으로 설계되어 있다.
• 원문에서 반복되는 JSON-only 출력 요구는 벤치마크가 자유서술형 해석보다 재현 가능한 구조화 답변을 중시한다는 점을 시사한다.
• 제공된 본문만 기준으로 보면 이 페이지는 성능 결과를 설명하는 글이라기보다, 벤치마크 문제의 실제 난이도와 분야별 분석 요구를 보여주는 사례 모음에 가깝다.

✅ 액션 아이템

• 대표 사례 10개를 중심으로 GeneBench-Pro의 생물의학·유전체학 과제군, 질문 형식, JSON 응답 요구를 정리한다.
• TXR1 사례의 16주 임상 이득, 8주 독성·중단 위험, 순임상효용 계산을 CRISPRi/CasRx 및 cis MR 사례와 비교해 분석 요구 차이를 명확히 한다.
• 각 사례의 원문 프롬프트·데이터셋·보조 자료와 전처리, 교란 통제, 스케일 정렬, 조건부 효과 추정 항목을 함께 묶어 점검한다.

❓ 열린 질문

• 각 사례에서 데이터 전처리, 교란 요인 통제, 분석 논리 품질의 상대적 비중을 어떤 기준으로 판단할 것인가?
• 파일 미리보기만으로 빠지는 데이터 구간이 TXR1 등 수치 추정 결과에 어떤 편향을 유발할 수 있는가?
• 원본 프롬프트·데이터셋·보조 자료가 다른 문제에서 공통 JSON 응답값을 비교하려면 어떤 정규화 기준이 필요한가?