🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Google Research는 심리학 설문을 실제 조언 상황의 상황판단검사로 바꾸어 25개 LLM의 행동 성향이 인간 합의와 얼마나 맞는지 평가했고, 큰 모델도 낮은 합의 상황에서는 인간 의견의 분포와 모호성을 충분히 반영하지 못한다고 보고했다.

📌 핵심 요약

• 이 글은 LLM의 정렬을 단순한 자기보고 설문이 아니라 실제적인 사용자-어시스턴트 시나리오에서 드러나는 행동 성향으로 평가하려는 초기 연구를 소개한다.
• 연구진은 공감, 감정 조절, 충동성, 전문적 침착성 등 심리학에서 검증된 설문 문항을 바탕으로 상황판단검사를 만들고, 모델 응답을 인간 주석자들의 선호 분포와 비교했다.
• 평가는 25개 LLM을 대상으로 이루어졌으며, 인간 주석자 사이에 선호 행동에 대한 합의가 높은 경우 모델이 다수 의견을 더 높은 확률로 선택하는지를 방향적 정렬 기준으로 측정했다.
• 작은 모델은 인간 합의와의 정렬이 낮고 거의 우연 수준에 가까운 경우가 많았으며, 큰 모델과 frontier 폐쇄 가중치 모델은 만장일치 상황에서는 크게 개선됐지만 합의가 조금 낮아지면 성능이 낮은 80%대 수준에서 정체됐다.
• 또한 모든 평가 모델은 인간 의견이 갈리는 낮은 합의 상황에서도 과도하게 확신하는 경향을 보였고, 자기보고 성향과 실제 상황판단검사에서 드러난 행동 사이에도 뚜렷한 불일치가 관찰됐다.

🧩 주요 포인트

1. 이 글은 LLM의 정렬을 단순한 자기보고 설문이 아니라 실제적인 사용자-어시스턴트 시나리오에서 드러나는 행동 성향으로 평가하려는 초기 연구를 소개한다.
2. 연구진은 공감, 감정 조절, 충동성, 전문적 침착성 등 심리학에서 검증된 설문 문항을 바탕으로 상황판단검사를 만들고, 모델 응답을 인간 주석자들의 선호 분포와 비교했다.
3. 평가는 25개 LLM을 대상으로 이루어졌으며, 인간 주석자 사이에 선호 행동에 대한 합의가 높은 경우 모델이 다수 의견을 더 높은 확률로 선택하는지를 방향적 정렬 기준으로 측정했다.
4. 작은 모델은 인간 합의와의 정렬이 낮고 거의 우연 수준에 가까운 경우가 많았으며, 큰 모델과 frontier 폐쇄 가중치 모델은 만장일치 상황에서는 크게 개선됐지만 합의가 조금 낮아지면 성능이 낮은 80%대 수준에서 정체됐다.
5. 또한 모든 평가 모델은 인간 의견이 갈리는 낮은 합의 상황에서도 과도하게 확신하는 경향을 보였고, 자기보고 성향과 실제 상황판단검사에서 드러난 행동 사이에도 뚜렷한 불일치가 관찰됐다.

🧠 상세 정리

1. 연구의 출발점: LLM 행동 성향과 인간 사회적 성향의 정렬

글은 LLM이 일상생활에 점점 더 깊이 통합되면서, 모델이 사회적 맥락에서 어떤 방식으로 반응하는지 이해하는 일이 중요해졌다는 문제의식에서 출발한다. 연구진은 모델의 행동을 단순한 정답률이 아니라 사회적 상황에서 반응을 형성하는 기저 성향, 즉 행동 성향으로 바라본다. 이 성향은 공감, 자기주장, 감정 조절, 충동성처럼 사람의 사회적 판단과 행동에 영향을 주는 특성으로 설명된다. 연구의 목표는 LLM이 표현하는 성향이 인간의 집단적 사회적 경향과 얼마나 맞는지, 또 어디에서 벗어나는지를 체계적으로 측정하는 것이다. 이를 위해 기존 심리학 평가를 대규모 상황판단검사 형태로 변환하는 평가 프레임워크를 제안한다.

2. 심리학 설문을 그대로 LLM에 적용하기 어려운 이유

행동 성향은 보통 자기보고 설문을 통해 측정되며, 응답자는 “나는 의견을 빨리 표현한다”와 같은 선호 진술에 얼마나 동의하는지 표시한다. 연구진은 IRI, ERQ 등 국제 심리학 연구에서 널리 쓰이는 검증된 설문 도구를 토대로 삼았다고 설명한다. 그러나 이런 설문을 LLM에 그대로 적용하는 데에는 기술적 한계가 있다. LLM의 출력은 프롬프트 문구와 분포 변화에 민감하므로, 모델이 자기보고 형식에서 “그렇다”고 주장한 성향이 실제 개방형 상황의 행동으로 이어진다고 보장할 수 없다. 따라서 연구는 자기보고가 아니라 현실적인 조언 상황에서 드러나는 행동을 중심으로 성향을 평가하려 한다.

3. 상황판단검사로 전환한 평가 프레임워크

연구진은 검증된 심리학 설문에서 문항을 모아 이를 모델의 일반적 조언 경향을 나타내는 선언문으로 바꾼 뒤, 상황판단검사로 변환했다. 상황판단검사는 심리학과 행동 예측 분야에서 복잡한 환경의 판단과 행동 역량을 평가하는 데 널리 쓰이는 방법이다. 이 연구의 각 검사는 현실적인 시나리오와 두 가지 행동 선택지로 구성되며, 하나는 특정 성향의 표현을 지지하고 다른 하나는 그 성향에 반대한다. LLM이 생성한 시나리오와 행동 선택지가 일관적이고 평가하려는 행동 표지를 충실히 담는지 확인하기 위해, 각 SJT는 세 명의 독립 주석자가 검토했다. 이렇게 해서 설문 문항의 심리학적 기반을 유지하면서도 더 실제적인 사용자-어시스턴트 상호작용에 가까운 평가 환경을 만들었다.

4. 모델 응답과 인간 선호 분포의 비교 방식

평가 과정에서 모델은 상황판단검사를 입력으로 받고 자연어 응답을 생성한다. 이후 연구진은 LLM-as-a-judge 방식을 사용해 모델의 자연어 응답을 두 선택지 중 하나에 매핑했다. 이 연구의 목표는 LLM 성향 자체를 절대값으로 수치화하는 것이 아니라, 모델 행동이 인간 행동과 어느 정도 정렬되는지를 살피는 데 있다. 이를 위해 연구진은 550명의 참가자 풀에서 각 SJT마다 10명의 주석자로부터 선호 행동을 수집했다. 그런 다음 인간 선호의 분포와 모델 응답의 분포를 비교해, 모델이 인간 다수 의견을 따르는지뿐 아니라 인간 의견의 다양성과 불확실성을 반영하는지도 평가했다.

5. 방향적 정렬: 인간 합의가 높은 상황에서 모델은 무엇을 선택하는가

연구진은 먼저 인간 주석자들 사이에 선호 행동에 대한 합의가 있는 시나리오에 주목했다. 이런 경우에는 다수 인간이 특정 성향을 표현하거나 억제해야 한다고 보는 상황에서 모델이 다른 방향으로 행동한다면, 모델의 행동 프로필이 일반적인 인간 행동 패턴과 다르게 작동한다고 볼 수 있다. 연구는 방향적 정렬을 인간 다수가 지지한 행동에 모델이 더 높은 확률을 부여하는지로 정의했다. 그리고 이 기준을 만족하는 시나리오의 비율로 모델 정렬 정도를 측정했다. 결과는 25개 LLM과 네 가지 성향에 대해 제시됐으며, 인간 합의 수준은 10명 전원 일치, 9명 또는 10명의 매우 높은 합의, 8명 또는 9명의 높은 합의처럼 구분됐다.

6. 모델 규모에 따른 차이와 고합의 상황의 실패 양상

결과에서 25B 미만의 작은 모델은 방향적 정렬이 눈에 띄게 낮았다. 글은 이 모델들이 적절한 성향 표현과 억제를 잘 구분하지 못하며, 종종 인간 합의와 거의 우연 수준으로만 맞는다고 설명한다. 반면 120B 초과의 대형 모델과 frontier 폐쇄 가중치 모델은 인간 주석자 의견이 만장일치인 경우 거의 완벽에 가까운 정렬을 보였다. 그러나 합의가 90%보다 낮아지면 이들 모델도 정렬이 낮은 80%대에서 중간 80%대 수준으로 정체됐다. 정성 분석에서는 모델이 인간과 다른 방향을 택하는 반복 패턴도 드러났는데, 전문적 상황에서 인간은 침착함을 권하지만 모델은 감정적 개방성을 권하거나, 사회적 갈등에서 참가자는 자기 입장을 지키기를 선호하지만 모델은 조화를 우선시하는 경우가 있었다.

7. 분포적 정렬의 부족: 인간 의견이 갈릴 때도 모델은 과신한다

연구는 인간 다수 의견을 따르는지뿐 아니라, 인간 의견이 갈릴 때 모델이 그 불확실성을 반영하는지도 살폈다. 글은 분포적 다원주의를 모델 응답 분포가 단일한 지배적 답변으로 수렴하기보다 인간 관점의 다양성을 정확히 반영해야 한다는 공정성 원칙으로 설명한다. 이 설정에서는 인간 합의가 낮을수록 모델의 확률 질량도 두 선택지 사이에 더 고르게 분포해야 하며, 따라서 모델의 선호 행동에 대한 확신도 낮아져야 한다. 그러나 25개 평가 모델 모두 인간 합의 수준에 비해 체계적으로 과도한 확신을 보였다. 특히 인간 의견이 50~60% 수준으로 크게 나뉘는 낮은 합의 사례에서도 모델의 confidence는 전반적으로 높게 유지돼, 인간 주석자들이 보인 모호성과 의견 스펙트럼을 충분히 표현하지 못했다.

8. 낮은 합의 상황에서 모델별 성향 차이와 자기보고의 한계

인간 합의가 낮은 상황에서 모델이 과신한다는 점은 공통적이지만, 그 과신이 향하는 방향은 모델마다 크게 달랐다. 글은 frontier 모델 사이에서도 특정 성향을 더 지지하는 방향이 서로 다르게 나타났다고 설명하며, 이는 서로 다른 훈련과 정렬 절차가 고유한 행동 성향을 만들어낼 수 있음을 시사한다. 또한 연구는 자기보고 성향과 상황판단검사에서 드러난 실제 행동 사이의 차이도 분석했다. 예를 들어 모델들은 자기보고에서는 충동성이 낮다고 답하는 경우가 많았지만, 실제 SJT 행동에서는 충동적인 쪽으로 기우는 경향을 보였다. 이런 불일치는 LLM 성향을 직접 자기보고 설문으로 평가하는 방식의 타당성에 한계가 있을 수 있음을 보여주며, 행동 시나리오 기반 프레임워크가 향후 연구의 유용한 기반이 될 수 있음을 강조한다.

🧾 핵심 주장 / 시사점

• 이 연구의 핵심은 LLM 정렬을 “모델이 무엇이라고 말하는가”가 아니라 “구체적 사회 상황에서 어떤 조언을 실제로 하는가”로 평가해야 한다는 점이다.
• 대형 모델은 인간 합의가 매우 강한 상황에서는 정렬이 좋아졌지만, 인간 의견이 조금만 갈려도 정렬과 확신 조절이 동시에 어려워지는 한계를 보였다.
• 모델이 낮은 합의 상황에서도 한쪽 입장을 강하게 택한다는 결과는, LLM의 행동 성향 평가에서 다수 의견 일치뿐 아니라 의견 분포와 모호성의 표현까지 함께 봐야 함을 시사한다.

✅ 액션 아이템

• 정렬 평가는 자기보고 설문이 아니라 실제 사용자-어시스턴트 상황판단검사로 성향 측정을 재정의한다.
• 25개 모델 실험에서 인간 합의가 높은 질문군을 우선 대상화해 다수 선호 선택 확률을 핵심 점수로 점검한다.
• 합의가 하락하는 구간에서 대형·frontier 모델과 작은 모델의 정렬 정체와 과잉 확신을 구간별로 분리해 추적한다.

❓ 열린 질문

• 어떤 성향군(공감·감정조절·충동성·전문적 침착성)에서 인간 합의 분산이 커질수록 모델 오차가 가장 크게 커지는가?
• 과잉 확신이 반복되는 저합의 상황에서 모델 확률 분포를 어떤 기준으로 과신으로 판정할 것인가?
• 자기보고 성향과 실제 상황판단 행동이 엇갈릴 때 정렬 지표에 어느 비중으로 행동 기반 증거를 반영해야 가능한가?