Beyond LoRA: Can you beat the most popular fine-tuning technique?

🖼️ 인포그래픽

Beyond LoRA: Can you beat the most popular fine-tuning technique? 내용을 설명하는 본문 이미지

🖼️ 4컷 인포그래픽

💡 한 줄 요약

LoRA는 강력하고 대중적인 선택이지만, 동일 조건의 다차원 벤치마크에서는 과제와 우선순위에 따라 다른 PEFT 기법이 더 높은 성능이나 더 낮은 메모리 사용량을 제공할 수 있다.

📌 핵심 요약

PEFT는 전체 모델을 여러 번 메모리에 올려야 하는 일반 미세조정의 부담을 줄이고, 양자화된 모델의 미세조정과 작은 체크포인트, 파국적 망각 완화, 하나의 기반 모델을 활용한 복수 미세조정 제공을 가능하게 한다.
LoRA는 기반 모델의 가중치를 고정하고 소수의 추가 매개변수만 학습하는 방식이며, 조사된 허깅페이스 모델 카드에서 98.4%, 외부 이미지 생성 체크포인트의 식별 가능한 PEFT 사례에서 95.0%를 차지할 정도로 압도적으로 널리 쓰인다.
새로운 PEFT 논문들이 LoRA보다 우수하다고 주장하더라도 비교 대상, 벤치마크, 하이퍼파라미터 조정 노력, 코드 공개와 재현 가능성이 제각각이므로 논문 결과만으로 실제 사용에 적합한 기법을 고르기는 어렵다.
허깅페이스는 같은 기반 모델, 데이터셋, 학습·평가 코드, 하드웨어를 사용해 수학 추론과 이미지 생성 과제를 비교하고, 시험 성능뿐 아니라 최대 VRAM, 망각과 드리프트, 실행 시간, 체크포인트 크기까지 측정하는 벤치마크를 구축했다.
수학 과제에서는 LoRA 계열이 파레토 전선에 포함됐지만 메모리 또는 정확도에 따라 BEFT와 Lily도 유효한 선택이었고, 이미지 생성에서는 OFT가 유사도와 메모리 사용량 모두에서 LoRA를 앞서 LoRA가 항상 최선은 아니라는 점이 확인됐다.

🧩 주요 포인트

PEFT는 전체 모델을 여러 번 메모리에 올려야 하는 일반 미세조정의 부담을 줄이고, 양자화된 모델의 미세조정과 작은 체크포인트, 파국적 망각 완화, 하나의 기반 모델을 활용한 복수 미세조정 제공을 가능하게 한다.
LoRA는 기반 모델의 가중치를 고정하고 소수의 추가 매개변수만 학습하는 방식이며, 조사된 허깅페이스 모델 카드에서 98.4%, 외부 이미지 생성 체크포인트의 식별 가능한 PEFT 사례에서 95.0%를 차지할 정도로 압도적으로 널리 쓰인다.
새로운 PEFT 논문들이 LoRA보다 우수하다고 주장하더라도 비교 대상, 벤치마크, 하이퍼파라미터 조정 노력, 코드 공개와 재현 가능성이 제각각이므로 논문 결과만으로 실제 사용에 적합한 기법을 고르기는 어렵다.
허깅페이스는 같은 기반 모델, 데이터셋, 학습·평가 코드, 하드웨어를 사용해 수학 추론과 이미지 생성 과제를 비교하고, 시험 성능뿐 아니라 최대 VRAM, 망각과 드리프트, 실행 시간, 체크포인트 크기까지 측정하는 벤치마크를 구축했다.
수학 과제에서는 LoRA 계열이 파레토 전선에 포함됐지만 메모리 또는 정확도에 따라 BEFT와 Lily도 유효한 선택이었고, 이미지 생성에서는 OFT가 유사도와 메모리 사용량 모두에서 LoRA를 앞서 LoRA가 항상 최선은 아니라는 점이 확인됐다.

🧠 상세 정리

1. PEFT가 필요한 이유와 제공하는 이점

공개 모델이 많더라도 특정 사용 사례에 그대로 충분한 경우는 드물며, 프롬프트 조정만으로 원하는 품질에 도달하지 못하면 기존 모델의 미세조정을 고려하게 된다. 그러나 일반적인 미세조정은 모델 전체를 여러 번 담을 수 있을 정도의 메모리를 요구하고, 양자화로 모델 크기를 줄이더라도 양자화된 모델 자체를 곧바로 미세조정할 수 없다는 제약이 있다. PEFT는 학습해야 할 매개변수를 제한해 필요한 메모리를 크게 낮추고, 양자화된 기반 모델도 미세조정할 수 있게 하는 기법들의 총칭이다. 이 방식은 체크포인트가 작고 파국적 망각에 더 강하며, 동일한 기반 모델 위에서 여러 미세조정 결과를 제공하기 쉽다는 장점도 갖는다. 허깅페이스의 PEFT 라이브러리는 여러 기법을 통합 API로 구현하고 트랜스포머스 및 디퓨저스 생태계, 복수의 양자화 방식과 연동해 사용자와 연구자가 같은 기반에서 다양한 방법을 적용할 수 있도록 한다.

2. LoRA의 작동 방식과 압도적인 보급률

LoRA는 기반 모델의 가중치를 고정한 채 그 위에 소수의 매개변수를 추가하고, 새로 추가된 부분만 학습하는 저랭크 적응 방식이다. 일찍 등장한 데다 효과도 좋아 PEFT 기법 가운데 압도적인 사용량을 확보했다. 허깅페이스 허브에서 하나의 PEFT 기법만 언급한 모델 카드 20,834개 중 20,509개, 즉 98.4%가 LoRA를 언급했다. 외부 이미지 생성 사이트의 체크포인트 10,000개를 조사한 결과에서도 LoRA가 7,111개였으며, 식별된 PEFT 체크포인트 중 LoRA 비중은 95.0%였다. 깃허브에서 PEFT 설정을 가져오는 코드 형태를 검색한 조사에서도 LoRA가 71.3%로, 뒤를 이은 LoHa 3.7%와 AdaLoRA 3.5%를 크게 앞섰다. 표본과 검색 방식이 완벽하지는 않지만, LoRA가 가장 흔한 PEFT 기법이라는 결론은 분명하다고 글은 평가한다.

3. 인기와 성능을 동일시할 수 없는 이유

LoRA의 높은 점유율은 모든 사용자와 과제에서 성능이 가장 뛰어나기 때문일 수도 있지만, 글은 초기 보급이 만든 자기강화 효과라는 가능성도 함께 제시한다. 널리 알려진 기법일수록 튜토리얼과 예제가 많아지고, 하위 패키지의 지원도 좋아지며, 그 결과 신규 사용자가 다시 같은 기법을 선택하게 된다. PEFT 라이브러리에만 작성 시점 기준 40개가 넘는 서로 다른 기법이 있고 변형까지 포함하면 선택지는 더 많지만, 이들은 LoRA만큼 쉽게 발견되거나 적용되지 않을 수 있다. 따라서 사용량 통계만 보고 LoRA가 언제나 최선이라고 결론 내리면 다른 기법이 제공할 수 있는 성능, 메모리 효율 또는 운영상 이점을 놓칠 가능성이 있다. 글의 핵심 질문은 LoRA를 버리자는 것이 아니라, 익숙함과 생태계 지원 때문에 더 적합한 대안을 검토하지 않은 채 성능을 포기하고 있는지 직접 확인해야 한다는 데 있다.

4. 논문 결과만으로 기법을 고르기 어려운 까닭

새로운 PEFT 기법을 제안하는 논문 대부분은 자체 벤치마크에서 LoRA보다 낫다는 결과를 제시하지만, 이를 곧바로 일반적인 우월성의 증거로 받아들이기는 어렵다. 연구자는 기존 기준을 넘어서는 결과를 제시해야 한다는 압력을 받으며, 악의가 없더라도 제안 기법에는 많은 조정 시간을 쓰고 비교 기법에는 상대적으로 적은 시간을 쓰는 식의 편향이 생길 수 있다. 실제로 학습률을 제대로 조정하면 LoRA가 기존에 더 우수하다고 보고된 PEFT 기법과 동등한 성능을 낼 수 있다는 연구도 언급된다. 논문마다 비교하는 기법과 사용하는 벤치마크가 다르고, 같은 기법과 과제를 다뤄도 코드가 공개되지 않거나 실행하기 어려워 결과 재현이 힘든 문제도 있다. 결국 논문 표만 대조해서 자신의 데이터와 자원 조건에 가장 적합한 기법을 판별하기는 어려우며, 이러한 불확실성이 사용자를 다시 기본 선택인 LoRA로 돌아가게 만든다.

5. 동일 조건을 지향한 PEFT 벤치마크

허깅페이스는 여러 PEFT 기법을 같은 API로 제공하는 라이브러리를 바탕으로, 사용자가 보다 근거 있게 기법을 선택할 수 있도록 공통 벤치마크를 마련했다. 언어 모델 벤치마크는 지시 미세조정이 되지 않은 기반 모델을 수학 데이터셋의 사고 과정 추론에 맞게 학습시켜, 수학적 추론 능력과 요구된 출력 형식을 함께 익히는지 평가한다. 이미지 생성 벤치마크는 고양이 봉제인형이라는 새로운 개념을 학습한 뒤 이를 새로운 문맥에서 생성하면서 기존 개념을 잊지 않는지 확인한다. 모든 기법은 같은 기반 모델, 데이터셋, 학습·평가 코드와 하드웨어 아래에서 비교되며, 시험 성능 외에도 최대 VRAM, 망각과 드리프트, 실행 시간, 체크포인트 크기를 기록한다. 실험은 소비자용 하드웨어에서도 실행할 수 있도록 설계됐고, 새로운 실험은 PEFT 설정을 추가한 뒤 스크립트를 실행하는 방식으로 확장할 수 있다. 저자들은 특정 기법을 밀어야 할 이해관계 없이 동일 조건을 적용한다는 점에서 이 방식이 서로 다른 PEFT 기법을 더 객관적으로 비교하는 기반이 된다고 설명한다.

6. 수학 추론 결과와 LoRA 변형의 차이

수학 벤치마크에서 메타의 라마 3.2 3B 모델을 미세조정하고 GSM8K로 평가했을 때, LoRA는 시험 정확도 53.2%와 최대 VRAM 22.6GB를 기록해 정확도와 메모리의 파레토 전선에 포함됐다. 그러나 LoRA만 유일한 효율적 선택은 아니었다. BEFT는 정확도가 32.9%로 낮지만 최대 메모리가 20.2GB에 그쳤고, Lily는 25.6GB를 사용하면서 정확도 54.9%를 달성해 서로 다른 우선순위에 대응했다. 더 중요한 점은 53.2%를 기록한 방식이 기본 LoRA가 아니라 기여도 스케일링을 달리하는 랭크 안정화 초기화를 적용한 LoRA였다는 사실이다. LoRA 전용 최적화로 일부 LoRA 가중치를 고정하는 LoRA-FA는 메모리 효율을 높여 20.2GB를 기록했다. 반면 기본 LoRA는 22.5GB를 쓰면서 정확도 48.1%에 그쳤으므로, 이 과제에서는 기본형을 그대로 사용하기보다 개선된 LoRA 변형이나 다른 PEFT 기법을 선택하는 편이 낫다는 결과가 나왔다.

7. 이미지 생성에서 OFT가 LoRA를 앞선 결과

이미지 생성 벤치마크는 FLUX.2-klein-base-4B를 고양이 봉제인형 이미지로 미세조정한 뒤, 보지 않은 시험 이미지 및 새로운 프롬프트에 대해 개념을 얼마나 잘 재현하는지 평가한다. 주요 지표인 디노 유사도는 생성 이미지가 홀드아웃 시험 데이터의 이미지와 얼마나 닮았는지를 측정하며 값이 높을수록 좋다. 이 비교에서 LoRA는 유사도 0.697과 메모리 사용량 9.97GB를 기록한 반면, OFT는 더 높은 유사도 0.708을 달성하면서도 더 적은 9.01GB를 사용했다. 따라서 이 두 지표만 놓고 보면 OFT가 품질과 메모리 양쪽에서 LoRA를 엄격하게 지배하고, LoRA는 파레토 전선 아래에 놓인다. 다만 무작위성 때문에 지표에 작은 변동이 생길 수 있으므로 파레토 전선에 가까운 다른 기법도 함께 살펴봐야 한다. 실행 시간이나 체크포인트 크기를 중시하면 순위가 달라질 수 있고, 이미지 생성은 수치뿐 아니라 생성 표본을 직접 확인해 미세조정된 모델의 실제 표현 능력도 판단해야 한다고 글은 강조한다.

8. 결론과 벤치마크의 한계

벤치마크 결과는 LoRA가 전반적으로 잘 작동하지만 모든 과제와 모든 평가축에서 최선은 아니라는 결론을 보여준다. 수학 추론처럼 LoRA 또는 그 변형이 파레토 전선에 포함되는 경우에도 더 적은 메모리를 원하는 사용자와 더 높은 정확도를 원하는 사용자가 선택할 대안이 각각 존재하며, 이미지 생성에서는 다른 기법이 두 핵심 지표를 동시에 앞서기도 했다. 그러므로 기법 선택은 이름의 인지도나 단일 성능 점수가 아니라 정확도, 메모리, 망각, 실행 시간, 체크포인트 크기 등 실제 요구사항의 조합을 기준으로 해야 한다. 저자들은 동시에 하이퍼파라미터 선택이 특정 기법에 유리하게 작용할 수 있고, 수많은 기법을 대상으로 완전하고 공정한 전수 탐색을 수행하기 어렵다는 한계를 인정한다. 특정 기법이 다른 설정에서 개선될 수 있다고 판단하는 사용자는 PEFT에 자체 실험을 기여하고 변경 제안을 제출할 수 있다. 최종적으로 제안되는 실천 방식은 자신의 데이터셋과 자원 환경에서 여러 PEFT 설정을 동일 조건으로 직접 평가해, LoRA를 기본값이 아니라 비교 대상 중 하나로 다루는 것이다.

🧾 핵심 주장 / 시사점

PEFT 기법의 선택은 단일 순위 문제가 아니라 정확도와 메모리, 실행 시간, 체크포인트 크기, 망각 사이의 파레토 최적점을 찾는 문제다.
기본 LoRA와 랭크 안정화 LoRA 또는 LoRA-FA의 결과가 크게 달랐으므로, 기법 이름뿐 아니라 초기화와 최적화 방식까지 구체적으로 구분해 비교해야 한다.
동일한 코드와 데이터, 하드웨어를 사용하는 재현 가능한 자체 벤치마크가 논문별로 다른 비교 조건과 인기 편향을 보완하는 가장 직접적인 판단 근거가 된다.