Time series foundation models can be few-shot learners

🖼️ 인포그래픽

Time series foundation models can be few-shot learners 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

구글 리서치는 TimesFM에 지속 사전학습과 구분 토큰을 더해, 사용자가 별도 지도 미세조정을 하지 않아도 관련 시계열 예시 몇 개를 추론 시점에 활용하는 TimesFM-ICF를 제안했다.

📌 핵심 요약

시계열 예측은 재고, 에너지 수요, 교통량 등 다양한 비즈니스 의사결정에 중요하지만, 기존 방식은 과제별 특화 모델을 따로 만들고 조정해야 해 느리고 전문성이 많이 필요했다.
기존 TimesFM은 과제별 학습 없이 예측할 수 있는 제로샷 기반 모델이었지만, 연구진은 관련 시계열 예시 몇 개를 함께 제공하면 예측을 더 개선할 수 있는지에 주목했다.
새 모델 TimesFM-ICF는 기본 TimesFM을 이어서 사전학습하면서 예측 대상의 과거 이력과 여러 인컨텍스트 예시를 함께 입력받도록 만들었고, 예시 간 혼동을 막기 위해 학습 가능한 공통 구분 토큰을 도입했다.
평가에서는 학습 과정에서 보지 않은 23개 데이터셋을 사용했으며, TimesFM-ICF는 기본 TimesFM보다 6.8% 더 정확했고 데이터셋별 지도 미세조정을 수행한 TimesFM-FT와 같은 수준의 성능을 보였다.
연구진은 이 접근이 새 과제마다 별도 ML 프로젝트를 시작하지 않고도 관련 예시를 넣어 강력한 맞춤형 예측을 얻는 방향을 열며, 앞으로는 가장 적절한 인컨텍스트 예시를 자동 선택하는 전략이 중요하다고 전망했다.

🧩 주요 포인트

시계열 예측은 재고, 에너지 수요, 교통량 등 다양한 비즈니스 의사결정에 중요하지만, 기존 방식은 과제별 특화 모델을 따로 만들고 조정해야 해 느리고 전문성이 많이 필요했다.
기존 TimesFM은 과제별 학습 없이 예측할 수 있는 제로샷 기반 모델이었지만, 연구진은 관련 시계열 예시 몇 개를 함께 제공하면 예측을 더 개선할 수 있는지에 주목했다.
새 모델 TimesFM-ICF는 기본 TimesFM을 이어서 사전학습하면서 예측 대상의 과거 이력과 여러 인컨텍스트 예시를 함께 입력받도록 만들었고, 예시 간 혼동을 막기 위해 학습 가능한 공통 구분 토큰을 도입했다.
평가에서는 학습 과정에서 보지 않은 23개 데이터셋을 사용했으며, TimesFM-ICF는 기본 TimesFM보다 6.8% 더 정확했고 데이터셋별 지도 미세조정을 수행한 TimesFM-FT와 같은 수준의 성능을 보였다.
연구진은 이 접근이 새 과제마다 별도 ML 프로젝트를 시작하지 않고도 관련 예시를 넣어 강력한 맞춤형 예측을 얻는 방향을 열며, 앞으로는 가장 적절한 인컨텍스트 예시를 자동 선택하는 전략이 중요하다고 전망했다.

🧠 상세 정리

1. 시계열 예측의 기존 한계와 제로샷 모델의 출발점

글은 시계열 예측이 현대 비즈니스에서 재고 수요, 에너지 수요 등 여러 미래 값을 예측하는 핵심 기술이라고 설명하며 시작한다. 전통적으로는 각 과제마다 별도의 전문 모델을 만들고 조정해야 했고, 이 과정은 느리며 상당한 전문 지식을 요구했다. 구글 리서치의 기존 TimesFM은 이런 부담을 줄이기 위해 과제별 학습 없이도 예측할 수 있는 제로샷 사전학습 기반 모델로 제시되었다. 그러나 글의 핵심 질문은 여기서 한 단계 더 나아가, 관련 예시 몇 개를 함께 제공하면 예측 품질을 더 높일 수 있느냐는 것이다.

2. 지도 미세조정 없이 퓨샷 학습을 가능하게 하려는 목표

연구진은 고속도로 교통량을 예측할 때 주변 고속도로나 같은 고속도로의 몇 주 전 데이터가 도움이 될 수 있다는 예를 든다. 일반적인 해법은 큐레이션된 데이터로 기존 모델을 지도 미세조정하는 것이지만, 이는 제로샷 모델이 줄이려 했던 복잡성을 다시 가져온다. 새 연구인 ‘In-Context Fine-Tuning for Time-Series Foundation Models’는 TimesFM을 퓨샷 학습자로 바꾸는 방법을 제안한다. 핵심은 사용자가 별도의 복잡한 추가 학습을 돌리지 않아도, 모델이 추론 시점에 소수의 관련 예시에서 배울 수 있도록 지속 사전학습을 수행하는 것이다.

3. TimesFM-ICF의 모델 재설계와 입력 구조

기본 TimesFM은 연속된 32개 시점의 값을 하나의 패치로 토큰화하고, 이 입력 토큰 시퀀스 위에 트랜스포머 스택을 적용하는 패치드 디코더 구조다. 이후 공유 MLP가 각 출력 토큰을 다시 128개 시점의 시계열로 변환한다. TimesFM-ICF는 이 기본 모델에서 출발해 예측 대상의 과거 이력뿐 아니라 모든 인컨텍스트 예시를 함께 다루도록 지속 사전학습을 진행한다. 이때 중요한 문제는 예측 대상의 이력과 여러 예시가 하나의 연속된 데이터 흐름처럼 섞여 해석되지 않도록 입력 구조를 명확히 구분하는 것이다.

4. 공통 구분 토큰으로 예시 간 혼동을 줄이는 방식

글은 여러 상점의 선글라스 판매량과 우산 판매량을 단순히 이어 붙이면 모델이 서로 다른 데이터 원천을 하나의 시계열로 오해할 수 있다고 설명한다. 한 예시는 증가 추세이고 다른 예시는 감소 추세라면, 단순 연결은 독립적인 두 흐름이 아니라 들쭉날쭉한 하나의 패턴처럼 보일 수 있다. 이를 막기 위해 TimesFM-ICF는 각 숫자 집합 뒤에 학습 가능한 공통 구분 토큰을 넣는다. 이 토큰은 디지털 정지 표지나 새 문단 기호처럼 작동해, 모델이 이전 예시와 현재 예측 대상을 혼동하지 않고 과거 예시의 패턴을 현재 예측에 적용하도록 돕는다.

5. 지속 사전학습 절차와 디코더 전용 학습 방식

구분 토큰과 그 토큰에 대한 어텐션은 기존 TimesFM에는 없던 요소이므로, 연구진은 기본 모델을 이어서 사전학습해 새 입력 형식을 익히도록 했다. 새 데이터셋에는 인컨텍스트 예시와 구분 토큰이 포함되었고, 학습은 표준 디코더 전용 다음 토큰 예측 방식으로 수행되었다. 입력은 MLP 계층을 거쳐 토큰을 만들고, 이어서 인과적 자기어텐션 계층이 이전 토큰의 정보만 참조하도록 한다. 이 구조는 미래 정보를 들여다보지 않게 하는 점에서 시계열 예측에 중요하며, 이후 피드포워드 네트워크와 반복된 트랜스포머 스택을 거쳐 출력 MLP로 연결된다.

6. 평가 결과와 실제 활용 가능성

TimesFM-ICF는 학습 어느 단계에서도 보지 않은 23개 데이터셋에서 평가되었고, 각 데이터셋은 여러 시계열을 포함했다. 특정 시계열을 예측할 때는 그 시계열의 바로 앞 이력에 더해, 같은 데이터셋 안의 전체 이력과 다른 시계열의 이력에서 관련 예시를 샘플링해 인컨텍스트 예시로 사용했다. 성능 비교에서는 기본 TimesFM과, 데이터셋별 학습 분할로 지도 미세조정을 수행한 TimesFM-FT가 주요 기준선으로 제시되었다. TimesFM-ICF는 기본 모델보다 6.8% 더 정확했고, 사용자가 지도 미세조정을 직접 수행하지 않아도 TimesFM-FT와 같은 수준의 성능에 도달했다.

🧾 핵심 주장 / 시사점

이 연구의 핵심은 시계열 예측에서도 언어모델의 퓨샷 프롬프팅과 유사한 사용 방식을 만들 수 있다는 점이다. 사용자는 새 도메인마다 모델을 다시 미세조정하기보다, 관련성이 높은 시계열 예시를 함께 제공해 적응 효과를 얻을 수 있다.
공통 구분 토큰은 단순한 입력 장식이 아니라, 서로 다른 시계열 원천이 하나의 연속 신호로 잘못 합쳐지는 문제를 줄이는 구조적 장치다. 시계열 인컨텍스트 학습에서는 예시를 얼마나 많이 넣느냐만큼, 예시 간 경계를 모델이 안정적으로 이해하게 만드는 일이 중요하다.
TimesFM-ICF의 결과는 정확도 향상뿐 아니라 운영 복잡성 감소라는 실용적 의미가 크다. 다만 글이 마지막에 강조하듯, 실제 성능을 더 끌어올리려면 어떤 예시를 인컨텍스트로 선택할지 자동화하는 전략이 중요한 후속 과제가 된다.

✅ 액션 아이템

재고, 에너지 수요, 교통량 예측 파이프라인에서 과제별 맞춤 모델 구축을 줄이고 TimesFM-ICF의 과거 이력+인컨텍스트 입력 방식으로 성능 변화를 점검한다.
학습 가능한 공통 구분 토큰이 예시 간 혼동을 줄이는 효과를 시계열 군집별로 비교해 적용 설계를 정밀 조정한다.
학습 과정에서 보지 않은 23개 데이터셋 평가를 기반으로 TimesFM 대비 6.8% 향상치와 TimesFM-FT 동등 성능 재현 가능성을 재검증한다.