Training mRNA Language Models Across 25 Species for $165

🖼️ 인포그래픽

Training mRNA Language Models Across 25 Species for $165 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

OpenMed는 단백질 구조 예측, 서열 설계, 코돈 최적화를 잇는 단백질 AI 파이프라인을 구축하고, 코돈 수준 언어모델 비교 끝에 CodonRoBERTa-large-v2가 생물학적 지표에서 가장 유용하다는 결론을 제시했다.

📌 핵심 요약

이 글은 Part I의 단백질 AI 생태계 조사에 이어, 실제로 치료용 단백질 아이디어를 발현 준비가 된 DNA 서열까지 연결하는 파이프라인을 만든 과정을 다룬다.
파이프라인은 ESMFold 기반 단백질 3D 구조 예측, ProteinMPNN 기반 아미노산 서열 설계, 자체 개발한 코돈 최적화 모델로 구성된다.
저자들은 E. coli RefSeq의 25만 개 CDS를 사용해 CodonBERT, ModernBERT, CodonRoBERTa 계열을 비교했고, 64개 코돈과 5개 특수 토큰으로 구성된 생물학적 토크나이저를 사용했다.
결과적으로 CodonRoBERTa 계열이 ModernBERT보다 코돈 언어모델링에서 훨씬 강했고, 특히 CodonRoBERTa-large-v2는 perplexity 4.10과 CAI Spearman 0.404로 가장 의미 있는 생물학적 정렬을 보였다.
저자들은 MLM 손실이나 perplexity만으로는 생물학적 유용성을 판단할 수 없으며, CAI 상관 같은 도메인 지표가 실제 코돈 선호를 반영하는 데 필수적이라고 강조한다.

🧩 주요 포인트

이 글은 Part I의 단백질 AI 생태계 조사에 이어, 실제로 치료용 단백질 아이디어를 발현 준비가 된 DNA 서열까지 연결하는 파이프라인을 만든 과정을 다룬다.
파이프라인은 ESMFold 기반 단백질 3D 구조 예측, ProteinMPNN 기반 아미노산 서열 설계, 자체 개발한 코돈 최적화 모델로 구성된다.
저자들은 E. coli RefSeq의 25만 개 CDS를 사용해 CodonBERT, ModernBERT, CodonRoBERTa 계열을 비교했고, 64개 코돈과 5개 특수 토큰으로 구성된 생물학적 토크나이저를 사용했다.
결과적으로 CodonRoBERTa 계열이 ModernBERT보다 코돈 언어모델링에서 훨씬 강했고, 특히 CodonRoBERTa-large-v2는 perplexity 4.10과 CAI Spearman 0.404로 가장 의미 있는 생물학적 정렬을 보였다.
저자들은 MLM 손실이나 perplexity만으로는 생물학적 유용성을 판단할 수 없으며, CAI 상관 같은 도메인 지표가 실제 코돈 선호를 반영하는 데 필수적이라고 강조한다.

🧠 상세 정리

1. 글의 목표: 조사에서 실제 구축으로 전환

이 글은 OpenMed가 단백질 AI 파이프라인을 실제로 구축한 과정을 기록한 글이다. Part I이 AlphaFold, ESMFold, 단백질 설계 도구 등 기존 생태계를 훑는 조사였다면, 이번 글은 그 지식을 바탕으로 실제 워크플로를 만든 사례에 가깝다. 목표는 치료용 단백질 같은 아이디어를 출발점으로 삼아, 단백질 구조를 예측하고, 해당 구조에 맞는 아미노산 서열을 설계한 뒤, 최종적으로 표적 생물에서 잘 발현될 수 있는 DNA 코돈 서열로 바꾸는 것이다. 저자들은 이를 완성된 성공담으로 포장하지 않고, 어떤 선택이 통했고 어떤 점이 놀라웠으며 무엇을 다르게 했을지까지 공개하겠다고 밝힌다.

2. 세 단계 파이프라인의 전체 구조

파이프라인은 세 가지 구성요소로 나뉜다. 첫째, 단백질 접힘 단계는 특정 아미노산 서열이 어떤 3차원 구조를 취할지 예측하는 과정이며, 여기서는 Meta의 ESMFold v1을 사용해 30개 단백질 체인에 대해 예측을 수행했다. 둘째, 서열 설계 단계는 원하는 구조를 만들 수 있는 아미노산 서열을 생성하는 과정이며, ProteinMPNN을 7K00 스캐폴드에 적용해 42%의 sequence recovery를 얻었다. 셋째, mRNA 또는 DNA 코돈 최적화 단계는 같은 단백질을 만들더라도 표적 생물에서 더 잘 발현될 수 있도록 동의 코돈 선택을 조정하는 부분이며, 저자들이 가장 많은 노력을 투입한 자체 개발 영역이다.

3. 코돈 최적화가 핵심 과제가 된 이유

저자들이 가장 깊게 다룬 부분은 코돈 수준 언어모델링이다. 유전 암호는 중복성을 가지기 때문에, 같은 아미노산 서열이라도 매우 많은 DNA 서열로 표현될 수 있다. 하지만 그중 어떤 코돈 배열은 특정 생물에서 훨씬 더 잘 발현될 수 있으며, 글에서는 그 차이가 100배 수준까지 날 수 있다고 설명한다. 저자들은 기존의 수작업 빈도표에 의존하기보다 자연 코딩 서열에서 직접 코돈 선호를 학습하는 모델을 만들고자 했다. 이 문제의식 때문에 단순히 NLP 모델을 가져다 쓰는 대신, 코돈의 64개 토큰 구조와 생물종별 사용 편향에 맞는 실험을 설계했다.

4. 비교 대상 모델과 아키텍처 가설

실험은 작은 CodonBERT 기준 모델에서 시작해 ModernBERT와 RoBERTa 계열을 비교하는 방식으로 진행됐다. CodonBERT는 6M 파라미터 규모의 최소 기준선이었고, ModernBERT-base는 RoPE, 효율적 attention, 긴 문맥 처리 같은 최신 NLP 개선을 대표하는 90M 파라미터 모델이었다. CodonRoBERTa-base는 92M 파라미터의 RoBERTa 기반 모델이며, CodonRoBERTa-large와 large-v2는 312M 파라미터 규모로 더 큰 모델이 코돈 패턴을 더 잘 학습하는지 확인하기 위한 대상이었다. RoBERTa를 선택한 이유는 ESM-2 역시 RoBERTa 계열로 단백질 서열에서 강력한 성능을 보였기 때문이다.

5. 학습 데이터와 토크나이저 설계

공정한 비교를 위해 모든 모델은 동일한 데이터와 평가 프로토콜로 학습됐다. 데이터는 E. coli RefSeq에서 가져온 25만 개 코딩 서열이며, 염색체와 complete assembly 접근번호를 포함한 깨끗하고 잘 주석화된 데이터셋으로 설명된다. 토크나이저는 각 코돈을 하나의 토큰으로 매핑했으며, 64개 코돈과 PAD, UNK, CLS, SEP, MASK 다섯 개 특수 토큰을 합쳐 총 69개 어휘를 사용했다. 이는 NLP에서 쓰는 BPE처럼 통계적으로 하위 단어 경계를 학습하는 방식과 다르며, 세 염기가 하나의 아미노산을 지정한다는 생물학적 경계를 그대로 반영한 설계다.

6. 실험 결과: RoBERTa 계열의 우세

결과는 RoBERTa 계열이 ModernBERT보다 코돈 언어모델링에 훨씬 적합하다는 방향으로 나왔다. CodonRoBERTa-large-v2는 perplexity 4.10, CAI Spearman 0.404, synonymous recovery 7.7%로 전체적으로 가장 좋은 모델로 제시됐다. CodonRoBERTa-base는 perplexity 4.01과 CAI Spearman 0.219를 기록해 효율성이 가장 좋은 모델로 분류됐고, CodonRoBERTa-large v1은 perplexity 4.01에도 CAI Spearman이 0.025에 그쳤다. ModernBERT-base는 perplexity 26.24와 CAI Spearman 0.070으로 크게 뒤처졌으며, CodonBERT 기준 모델은 perplexity 17.18과 음의 CAI 상관을 보였다.

7. 가장 중요한 발견: 손실이 낮아도 생물학적으로 유용하지 않을 수 있음

저자들이 특히 강조하는 발견은 perplexity와 생물학적 유용성이 항상 함께 움직이지 않는다는 점이다. CodonRoBERTa-large v1과 v2는 같은 아키텍처, 같은 데이터, 같은 파라미터 규모를 사용했지만, v2는 학습률을 1e-4에서 5e-5로 낮추고 warmup을 1,000스텝에서 2,000스텝으로 늘렸다. 그 결과 v2의 perplexity는 4.01에서 4.10으로 약간 나빠졌지만, CAI Spearman은 0.025에서 0.404로 크게 상승했다. 저자들은 이 차이가 느린 학습 스케줄이 표면적 통계에 과적합하기보다 실제 생물학적 신호를 포착하도록 도왔기 때문이라고 해석한다.

8. NLP 사전학습 가중치의 한계

ModernBERT 실험에서 저자들은 영어 텍스트로 사전학습된 체크포인트를 초기값으로 사용했지만, 기대한 전이 효과는 나타나지 않았다고 설명한다. 오히려 영어의 하위 단어 빈도, 위치 attention 패턴, 자연어 분포에서 학습된 귀납 편향이 코돈 통계를 배우는 데 방해가 되었을 가능성을 제시한다. 반대로 RoBERTa 계열은 무작위 초기화 후 생물학 데이터만으로 학습됐고, 그 결과 더 좋은 성능을 보였다. 저자들은 ESM-2와 ProtTrans 같은 생물학 언어모델도 NLP 체크포인트를 미세조정하기보다 생물학 데이터에서 처음부터 학습한다는 점과 이 관찰이 맞닿아 있다고 본다.

9. ESMFold와 구조 예측 단계의 역할

파이프라인의 첫 단계인 구조 예측에는 Meta의 ESMFold가 사용됐다. ESMFold는 ESM-2 단백질 언어모델을 기반으로 단일 아미노산 서열에서 3D 좌표를 예측하며, AlphaFold 2와 달리 계산 비용이 큰 MSA 단계를 생략한다. 글에서는 이 때문에 단백질 하나당 수 시간이 아니라 수 초 수준으로 빠른 예측이 가능하다고 설명한다. 정확도 면에서는 CASP14 기준 TM-score가 ESMFold 약 0.87, AlphaFold 약 0.92로 차이가 있지만, 많은 설계 후보를 빠르게 접어보고 걸러야 하는 프로토타이핑 상황에서는 속도의 장점이 중요하다고 본다.

10. 다중 생물종 확장과 실제 생산 모델

저자들은 단일 E. coli 실험에서 끝내지 않고, 최종적으로 25개 생물종으로 확장했다고 밝힌다. TL;DR에 따르면 이 과정에서 4개의 production 모델을 55 GPU-hours 안에 학습했으며, 25개 생물을 포괄하는 species-conditioned 시스템을 만들었다. 글의 앞부분 표에서는 mRNA 최적화 단계가 25만 개 CDS 기반 실험에서 시작해 25개 종 전체의 38만 1천 개 서열로 확장됐다고 요약한다. 원문에서 제공된 범위 안에서는 확장된 모델별 세부 결과가 모두 펼쳐지지는 않지만, 저자들이 핵심 기여로 보는 부분은 코돈 최적화 모델, 학습 인프라, 평가 지표, 그리고 여러 생물종을 다룰 수 있는 실행 가능한 도구 묶음이다.

🧾 핵심 주장 / 시사점

이 글의 핵심 교훈은 생물학 언어모델에서 일반 NLP 아키텍처의 최신성이 곧바로 우위를 보장하지 않는다는 점이다.
perplexity가 약간 더 좋아도 CAI 상관이 낮으면 실제 코돈 선호를 반영하지 못할 수 있으므로, 도메인 지표를 함께 봐야 한다.
단백질 설계 파이프라인의 병목은 단일 모델 성능만이 아니라 구조 예측, 서열 생성, 코돈 선택을 실제 워크플로로 연결하는 통합성에 있다.

✅ 액션 아이템

치료용 단백질 파이프라인에서 ESMFold, ProteinMPNN, 코돈 최적화 모델 연계를 정합성 있게 묶어 발현 준비 DNA 전달 흐름을 확정한다.
CodonRoBERTa-large-v2의 perplexity 4.10·CAI Spearman 0.404 성능을 근거로 CodonBERT와 ModernBERT 대비 채택 우선순위를 정한다.
E. coli RefSeq 25만 CDS와 64개 코돈·5특수토큰 토크나이저로 모델 비교를 반복해 지표 재현성과 생물학적 정렬 타당성을 점검한다.