Positional Encodings and Group Theory

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Positional Encodings and Group Theory를 중심으로, 대화는 위치 인코딩을 성립시키는 최소 가정이 무엇인지 묻는 데서 출발하며, 익숙한 공식을 그대로 설명하기보다 그 구조가 어디서 나를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 대화는 위치 인코딩을 성립시키는 최소 가정이 무엇인지 묻는 데서 출발하며, 익숙한 공식을 그대로 설명하기보다 그 구조가 어디서 나오는지를 탐색한다.
2. 핵심 관점은 위치 정보를 입력에 단순히 더하는 것이 아니라 쿼리와 키를 수정해 위치를 계산 과정에 포함하는 것이다. 영상은 이를 “modify our queries and modify our keys”와 “baking position into your keys and queries”라는 표현으로 다룬다.
3. 시간이나 위치에 따라 달라지는 행렬, 앞으로 이동시키는 변환, 그 과정에서 생기는 역변환을 검토하면서 위치 변화가 어떤 대수적 규칙을 따라야 하는지 살핀다.
4. 선형 사상에서 시작해 실수, 회전, 여러 성분의 적층으로 논의를 확장하고, Q와 K에 추가 성분을 붙이는 방식까지 단계적으로 연결한다.
5. 마지막으로 허용되는 변환의 자유도와 선형·이차적 거동의 차이를 질문하며, 여러 위치 인코딩이 공유하는 수학적 구조를 설명 가능한 형태로 정리하려 한다.

🧩 배경과 문제 정의

• RoPE의 좌표 회전과 선형 어텐션의 지수적 감쇠는 서로 달라 보이지만, 시간의 덧셈 구조를 행렬 연산으로 옮긴다는 공통점을 가진다.
• 어텐션은 쿼리와 키의 내적으로 토큰 간 영향을 계산하지만, 기본 내적만으로는 두 토큰의 위치나 시간 간격을 명시적으로 구분할 수 없다.
• 선형성, 시간 이동 불변성, 시간 차이가 0일 때의 항등성을 가정하면 가능한 위치 인코딩의 형태를 군 표현과 행렬 지수의 관점에서 제한할 수 있다.

🕒 시간순 섹션별 상세정리

1. 위치 인코딩을 대수적으로 분류하려는 동기

• RoPE는 위치를 좌표쌍의 회전으로 바꾸며, 정수나 실수의 덧셈을 행렬 연산으로 변환한다는 점에서 표현론의 전형적인 구조와 닮아 있다. [00:25]
• 선형 어텐션의 오래된 값에 대한 지수적 억제도 같은 대수적 구조의 사례일 수 있어, 널리 쓰이는 방법 전체가 하나의 표현 클래스에 속하는지와 이를 강제하는 최소 가정을 묻게 된다. [01:10]

2. 어텐션의 위치 정보 결핍

• 문장 속 형용사가 특정 명사에 영향을 주는 정도는 쿼리와 키의 내적으로 결정되지만, 기본 어텐션은 가까운 토큰을 우선하도록 시간 구조를 미리 넣지 않는다. [02:47]
• 시간에 대한 비편향성은 관계를 학습하게 해주는 장점인 동시에 위치가 중요하다는 사실을 알 수 없게 하는 약점이므로, 행렬 연산 안에서 위치를 전달할 방법이 필요하다. [03:14]

3. 연속시간 쿼리와 키

• 쿼리와 키를 q(t), k(t)로 두면 정수 시점에서는 일반적인 토큰 시퀀스를 나타내면서도 불규칙하게 관측되는 연속시간 데이터까지 같은 틀로 다룰 수 있다. [04:08]
• 현실의 시계열과 물리 현상은 규칙적인 이산 간격으로만 주어지지 않으므로, 시간을 연속적으로 두고 필요한 지점에서 표본화하는 구성이 더 일반적이며 데이터 의존적 감쇠에도 유리하다. [05:00]

4. 시간 차이를 모르는 기본 내적

• 시점 t의 쿼리가 시점 s의 키에 주는 어텐션 점수는 값 벡터를 제외하면 q(t)ᵀk(s)로 표현되며, 분석 대상은 최종 출력이 아니라 어텐션 패턴이다. [06:01]
• 기본 내적은 t와 s의 간격을 직접 사용하지 않기 때문에 k(0)과 k(1)이 같은 벡터라면 두 위치를 구분하지 못한다. [06:34]

5. 쿼리와 키의 시간 의존적 변환

• 각 쿼리와 키에 시간과 원래 벡터를 입력받는 변환 f(t,q(t))와 g(s,k(s))를 적용하면, 기존 사인파 덧셈과 RoPE 회전을 모두 포괄하는 일반적인 위치 인코딩 틀이 된다. [07:05]
• 모든 시점 쌍마다 별도 변환을 만들면 n개의 벡터가 n²개로 불어나므로, 각 쿼리와 키를 한 번씩만 수정하는 제약이 계산 효율성과 구현 단순성을 지킨다. [08:01]

6. 선형성으로 가능성 공간 제한

• 임의 함수 f와 g는 분석하기 어려울 만큼 가능성이 넓으므로, 내적 공간에서 자연스럽고 실제 위치 인코딩에도 널리 쓰이는 선형 변환으로 범위를 제한한다. [09:24]
• 선형성을 적용하면 변환은 시간별 행렬 F(t), G(s)가 되고, d차원에서 완전한 임의 함수 대신 각각 d²개의 성분으로 기술할 수 있다. [10:24]

7. 시간 효과를 담는 중앙 행렬

• 변환된 쿼리와 키의 내적은 q(t)ᵀF(t)ᵀG(s)k(s)로 정리되며, 위치가 점수에 미치는 효과는 중앙의 행렬곱 F(t)ᵀG(s)에 집중된다. [11:23]
• 이 중앙 행렬은 서로 다른 시점에 놓인 쿼리와 키 사이의 결합 방식을 정의하므로, 위치 인코딩을 분석할 구체적인 대상으로 사용할 수 있다. [11:43]

8. 시간 이동 불변성과 상대 위치

• 위치 인코딩의 효과가 절대 시점이 아니라 시간 차이에만 의존한다면 10번째 토큰과 5번째 토큰의 관계는 같은 간격을 가진 110번째 토큰과 105번째 토큰의 관계와 같아진다. [12:15]
• 이 대칭성을 적용하면 F(t)ᵀG(s)를 A(t-s)로 정의할 수 있어, 두 변수 함수였던 시간 효과가 하나의 상대 시간 변수로 축약된다. [12:53]

9. 상대 시간 이동 연산자의 의미

• A(t-s)는 시점 s의 키를 시점 t의 쿼리와 비교할 수 있는 공간으로 옮기며, 시간 간격이 지난 뒤 해당 정보가 미래 토큰에 얼마나 영향을 미칠지를 결정한다. [13:33]
• 언어에서는 가까운 형용사가 뒤의 명사에 강하게 작용하고 너무 멀어지면 관련성이 약해지는 것처럼, A는 시간 경과에 따른 의미와 영향력의 변화를 나타낸다. [13:56]

10. 영점에서의 항등성

• 시간 이동이 전혀 없을 때는 원래 쿼리와 키를 그대로 비교해야 하므로 A(0)를 항등행렬로 두며, 같은 시점의 점수는 수정되지 않은 내적과 일치한다. [14:58]
• A(0)가 다른 가역행렬이어도 모든 키에 동일하게 흡수할 수 있어 시간과 무관한 기저 변경에 불과하므로, 항등성 가정은 위치 인코딩의 본질적인 일반성을 거의 줄이지 않는다. [15:31]

11. 대각선 구조와 변환 행렬의 역관계

• 시간 이동 불변성 때문에 F(t)ᵀG(s)의 값은 t-s가 같은 대각선마다 일정하며, A(0)는 동일 시점의 토큰 쌍 전체를 나타낸다. [16:31]
• A(0)=I를 원래 정의에 대입하면 F(t)ᵀG(t)=I가 되어 F(t)ᵀ와 G(t)는 서로 역행렬이라는 일관성 조건을 얻는다. [18:41]

12. 시간 이동의 합성과 군 법칙

• A(s)와 A(t)를 곱하는 연산은 어텐션 점수 계산에 직접 필요하지 않지만, 0에서 s로 이동한 뒤 다시 t만큼 이동하는 시간 다리의 합성을 분석하게 해준다. [19:18]
• 시간 이동 불변성으로 중간 항의 시점을 함께 t만큼 옮기고 F(t)ᵀG(t)=I를 소거하면 A(s)A(t)=A(s+t)가 성립한다. [22:02]

13. 덧셈을 행렬 곱셈으로 바꾸는 표현

• 상대 시간의 덧셈이 A 행렬의 곱셈에 대응하면서 위치 인코딩은 임의의 함수가 아니라 강한 합성 일관성을 가진 군 표현 형태로 제한된다. [23:29]
• A(s+t)=A(s)A(t)는 스칼라에서 덧셈을 곱셈으로 바꾸는 지수함수를 떠올리게 하며, 행렬에서도 지수 형태가 자연스럽게 등장할 것임을 시사한다. [24:32]

14. 회전과 다차원 위치 인코딩

• 실제 지수 감쇠뿐 아니라 RoPE의 회전도 복소 지수로 이해할 수 있어, 서로 다른 위치 인코딩에서 반복되는 지수적 형태가 같은 대수적 원천을 가진다. [25:47]
• 이미지는 수평과 수직의 두 이동 방향을 함께 인코딩해야 하므로, 두 차원의 위치 이동을 합성할 때 일관성을 보장하는 군 표현 계산이 특히 중요하다. [26:13]

15. 미분을 통한 행렬 지수의 출발점

• A가 미분 가능하다고 가정하고 A(s)A(t)=A(s+t)를 t=0에서 미분하면, 값이 고정된 A(0) 근처의 국소 변화로 전체 시간 변화 법칙을 구할 수 있다. [27:43]
• 연속시간 설정은 이러한 미분을 가능하게 하며, 정수 위치만 사용한다면 1만 반복해서 더하는 더 단순한 이산 합성으로 같은 구조를 추적할 수 있다. [28:12]

16. 행렬 미분방정식의 지수해

• 실수에서 지수함수를 만드는 미분방정식과 같은 구조가 행렬에서도 성립하므로, 위치 변환의 해를 행렬 지수로 나타낼 수 있다. [30:05]
• 초기 변환 A(0)가 항등행렬이기 때문에 일반해 A(s)=A(0)e^{sX}는 A(s)=e^{sX}로 단순화된다. [30:37]

17. 테일러 급수로 정의하는 행렬 지수

• 정사각행렬의 행렬 지수는 스칼라 지수함수의 테일러 급수에서 각 정수 거듭제곱을 행렬 거듭제곱으로 바꿔 정의할 수 있다. [31:04]
• 행렬 지수의 미분은 생성자 행렬과 자기 자신의 곱으로 표현되며, 이후 실제 변환 구조를 분석할 때 테일러 전개가 다시 필요해진다. [31:36]

18. 생성자 행렬이 허용하는 동역학

• 주어진 가정에서 가능한 위치 인코딩은 모두 e^{sX} 꼴이므로, 남은 문제는 생성자 X가 어떤 익숙하거나 새로운 동역학을 만들 수 있는지 분류하는 것이다. [32:05]
• 실수 지수는 성장과 감쇠를, 허수 지수는 회전을 만들지만 행렬 생성자는 이들 외에 추가적인 동작을 허용할 가능성이 있다. [32:26]

19. 시간 불변 기저변환의 동치성

• 쿼리와 키에 시간과 무관한 동일한 기저변환을 적용해도 신경망의 선형층이 이를 흡수할 수 있으므로 위치 인코딩 관점에서는 같은 해로 취급한다. [33:28]
• X에 기저변환을 적용하면 A에도 같은 기저변환이 유도되고 내부 곱의 변환들은 상쇄되므로, 행렬을 기저변환 동치류까지만 분석하면 된다. [34:11]

20. 대각화를 통한 생성자 분해

• 기저를 자유롭게 바꿀 수 있고 행렬 지수가 등장하므로, 대부분의 행렬에 적용 가능한 대각화를 사용해 X를 고유값 λ₁부터 λₙ까지의 대각행렬로 바꾼다. [34:41]
• 대각화된 X를 지수화하면 각 대각 원소가 e^{tλⱼ}로 독립적으로 지수화되고 비대각 성분은 계속 0으로 남는다. [35:19]

21. 고유공간 사이 상호작용의 제거

• 대각 기저에서는 쿼리와 키의 같은 번호 성분만 e^{tλⱼ}를 통해 결합하고, 서로 다른 번호의 성분은 비대각 원소가 0이어서 섞이지 않는다. [35:49]
• 행렬의 제곱과 세제곱도 대각 원소별 거듭제곱으로 남기 때문에 테일러 급수 전체에서 성분 혼합이 사라지고 각 고유공간을 따로 분석할 수 있다. [36:24]

22. 스칼라 지수들의 합으로 환원

• 고유기저를 선택하면 변환은 독립적인 부분공간들로 분해되며, 복소 고유값까지 허용하면 각 부분공간의 동작을 개별적으로 연구할 수 있다. [37:18]
• 전체 쿼리·키 상호작용은 qⱼe^{tλⱼ}kⱼ의 합으로 환원되어 서로 다른 j 성분 사이의 결합이 완전히 제거된다. [37:38]

23. 실수 고유값과 복소 고유값의 분기

• 독립 성분 하나의 동작을 분석한 뒤 결과를 합산하면 전체 대각화 가능 행렬을 이해할 수 있지만, 복소 고유값은 실수 행렬에서 두 성분을 함께 다뤄야 한다. [39:07]
• 실수 행렬을 복소수 위에서 대각화하면 실수 고유값은 1차원 성분으로 홀로 존재할 수 있고, 비실수 고유값은 별도의 짝 구조를 만든다. [39:42]

24. 실수 고유값의 성장·불변·감쇠

• 실수 고유값 x가 양수이면 과거 토큰의 영향이 거리와 함께 지수적으로 증가하고, 0이면 위치 의존성이 사라지며, 음수이면 과거의 영향이 지수적으로 감소한다. [41:46]
• 양의 고유값은 먼 과거를 더 중요하게 만들어 불안정하지만, 0인 성분은 시간 독립 정보를 보존하고 음의 고유값은 RNN이나 선형 어텐션에서 나타나는 영향 감쇠를 구현할 수 있다. [43:22]

25. 복소 고유값과 평면 회전

• 복소 고유값의 대각 표현은 정확하지만 직관과 기존 위치 인코딩을 연결하기 어려워, 두 차원의 실수 회전행렬로 바꿔 보는 편이 유용하다. [44:05]
• 각도 θ의 2차원 회전행렬은 복소 기저에서 e^{iθ}와 e^{-iθ}를 대각 원소로 가지므로 복소 지수와 기하학적 회전이 같은 동작을 표현한다. [44:33]

26. 켤레 고유값 쌍의 구조

• 원래 생성자 행렬이 실수이면 허수부가 0이 아닌 고유값은 a+bi와 a-bi의 켤레쌍으로 반드시 함께 나타난다. [45:36]
• 켤레쌍 블록은 스칼라 항 aI와 허수 회전을 만드는 항으로 분리되며, aI가 다른 항과 가환하므로 두 항의 행렬 지수도 곱으로 분리된다. [46:30]

27. 복소 성분의 감쇠율과 회전율

• 복소 고유값의 실수부 a는 양수일 때 지수 폭주, 0일 때 크기 변화 없음, 음수일 때 지수 감쇠를 결정하므로 안정적인 분석에서는 주로 a를 0으로 둔다. [48:01]
• 허수부 b를 지수화한 e^{ibt}와 e^{-ibt}의 대각 블록은 기저변환을 거쳐 각도 bt의 2차원 회전으로 바뀐다. [48:47]

28. 대각화 가능 동역학과 RoPE의 연결

• 대각화 가능한 모든 실수 행렬은 실수 고유값의 1차원 부분공간과 복소 켤레쌍의 2차원 부분공간을 쌓아 구성되며, 부분공간 사이 상호작용 없이 성장·감쇠·회전만 만든다. [51:45]
• RoPE는 복소 고유값의 실수부를 0으로 설정해 감쇠와 폭주를 제거하고, 순허수 성분이 만드는 회전만 위치 의존성으로 사용한다. [52:32]

29. RoPE 주파수의 기하급수적 배치

• RoPE의 주파수는 설계 선택이며, 대략 1부터 1/10,000까지의 양수 값을 기하급수적으로 배치해 서로 다른 시간 척도를 구분한다. [55:02]
• 주파수 θ의 유효 길이 척도는 대략 1/θ에 대응하므로, 빠른 회전은 한두 단어 차이를 구별하고 느린 회전은 수천 단어 규모의 장거리 차이를 구별한다. [56:22]

30. 비대각화 행렬과 조던 블록

• 기존의 회전형 RoPE와 지수 감쇠형 인코딩을 넘어서는 후보를 찾으려면, 지금까지 제외했던 비대각화 생성자 X를 분석해야 한다. [58:48]
• 비대각화 행렬은 아주 작은 섭동으로 대각화 가능해질 수 있어 흔히 제외되지만, 가능한 위치 인코딩을 완전히 분류하려면 반드시 포함해야 한다. [59:01]

31. 결함 행렬에서 나타나는 두 단계 변환

• 중복된 영 고유값 중 하나는 독립된 고유공간을 갖지만, 다른 성분은 자기 부분공간에 머물지 못하고 첫 번째 부분공간으로 흘러 들어간다. [1:00:28]
• y축 벡터는 한 번의 변환으로 x축에 옮겨지고 두 번째 변환에서 사라지므로, 이 행렬은 회전한 뒤 소멸하는 것과 같은 2단계 운동을 만든다. [1:01:33]

32. 행렬 지수가 선형 다항식으로 축약되는 이유

• 행렬의 제곱이 영행렬이어서 지수의 멱급수에서 2차 이상 항이 모두 사라지고, e^(tX)는 I+tX만 남는다. [1:02:14]
• 행렬을 지수화했는데 삼각함수나 지수함수가 아니라 시간 t의 1차 다항식이 나온다는 점이 이전 사례와 다른 핵심 특징이다. [1:02:43]

33. 등속 운동으로 해석하는 선형 동역학

• 마찰과 외력이 없는 물체의 상태를 초기 위치와 일정한 속도로 표현하면, 시간 t 뒤의 상태는 위치가 x₀+tv로 변하고 속도는 v로 유지된다. [1:03:50]
• 행렬 I+tX는 상태 벡터 (x₀,v)를 (x₀+tv,v)로 보내므로, 결함 행렬의 지수는 일정한 속도로 이동하는 물체의 시간 전개를 생성한다. [1:04:45]

34. 더 큰 조던 블록과 거리 영향의 증가

• 조던 블록을 키워 X³=0이지만 X²≠0이 되게 만들면 지수에 2차 항이 남아, 등속 운동을 넘어 가속도와 유사한 이차 동역학이 나타난다. [1:05:59]
• 이 동역학을 위치 인코딩에 사용하면 키와 쿼리 사이의 거리에 따라 영향력이 선형으로 증가하며, 양의 실수 고유값이 만드는 지수 증가보다는 약하지만 일반적으로 안정적이지 않다. [1:06:39]

35. ALiBi의 선형 거리 페널티

• ALiBi는 키와 쿼리 벡터 자체를 변환하지 않고, 내적 점수 qᵀk에서 위치 차이 t-s에 비례하는 페널티를 직접 뺀다. [1:07:42]
• 페널티가 절대 위치가 아니라 t-s에만 의존하므로 평행이동 불변성을 충족하며, 거리가 멀수록 어텐션 점수를 낮춘다. [1:08:15]

36. 확장된 키와 쿼리로 페널티 구성하기

• 기존 키와 쿼리에 두 개의 고정 성분을 추가하면, 결함 행렬이 만드는 시간 선형항을 별도 점수 페널티로 바꿀 수 있다. [1:09:30]
• 추가 성분의 곱 가운데 불필요한 항은 0이 되도록 배치하고, 시간항 t가 -p와 곱해지게 하면 원하는 -pt 항만 남는다. [1:11:20]

37. 결함 행렬로 ALiBi를 정확히 복원

• 확장 쿼리에 (-p,0), 확장 키에 (0,1)에 해당하는 고정 성분을 넣으면 교차항이 정확히 -pt를 생성한다. [1:12:23]
• 입력 성분을 특정 값으로 고정하고 위치 인코딩 생성기에 결함 행렬을 덧붙이면 ALiBi를 정확히 복원할 수 있으며, 실수 지수·복소 지수·비대각화 행렬이 각각 감쇠·회전·다항식 계열을 포괄한다. [1:13:14]

38. 탐구의 활용 범위와 남은 가능성

• 이 결과는 Jane Street의 머신러닝 연구 공동체에 공유할 만큼 실무와 관련성이 있어 내부 글에서 출발해 편집을 거친 공개 글로 발전했다. [1:14:13]
• 조사를 마친 뒤 주요 위치 인코딩 선택지는 이미 충분히 연구되었고 문헌에 큰 공백이 없다는 확신이 커졌지만, 비영 고유값이나 더 큰 조던 블록은 여전히 덜 탐색된 영역으로 남았다. [1:15:18]

🧾 결론

• 위치 인코딩을 이해하려면 개별 공식을 외우기보다 위치 변화가 쿼리·키의 관계에 어떤 불변 구조를 남기는지 보는 편이 유용하다.
• 행렬, 역변환, 회전, 적층은 서로 분리된 기법이 아니라 위치 변환을 표현하고 결합하기 위한 하나의 수학적 언어로 제시된다.
• 군론은 가능한 변환과 그 결합 규칙을 체계화함으로써 위치 인코딩의 공통 원리를 찾는 관점을 제공한다.

📈 투자·시사 포인트

• AI 모델 경쟁에서 위치 인코딩과 같은 기초 구조의 개선은 모델 크기 확대와 별개로 효율성과 표현력을 바꿀 수 있는 연구 축이다.
• 쿼리·키 변환을 구조적으로 해석하면 새로운 인코딩 설계뿐 아니라 기존 기법의 비교와 설명 가능성에도 도움이 될 수 있다.
• 선형 사상과 회전으로 복잡한 메커니즘을 재구성하는 접근은 AI 연구에서 수학적 귀납 편향이 여전히 중요한 경쟁 요소임을 시사한다.
• 다만 제공된 내용에는 성능 비교, 비용 절감 수치, 상용화 사례가 없으므로 특정 기업이나 기술의 투자 우위를 판단하는 근거로 사용하기에는 부족하다.

⚠️ 불확실하거나 확인이 필요한 부분

• 제공된 자료는 fallback-derived-structured로 표시된 단편 자막이므로 수식, 기호 정의, 논증의 연결 과정이 상당 부분 누락되어 있다.
• 영상이 도출한 정확한 최소 가정과 임의의 시간 의존 행렬에 부과되는 제약은 현재 자료만으로 확정할 수 없다.
• 언급된 선형·이차적 거동이 어떤 함수나 연산량을 가리키는지, 실제 모델 성능과 어떻게 연결되는지는 확인이 필요하다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 원본 영상과 Alok Puranik의 관련 블로그를 확인해 최소 가정, 주요 정리, 최종 결론을 정확히 복원한다.
• 07:11~27:59 구간에서 쿼리·키 변환, 시간 의존 행렬, 역변환에 사용된 기호와 수식을 정리한다.
• 41:18~55:17 구간의 실수·회전·적층 설명을 하나의 행렬 예제로 다시 계산해 본다.
• 57:29~1:09:09 구간에서 위치를 Q와 K에 넣는 방식과 선형·이차적 거동의 차이를 확인한다.

❓ 열린 질문

• 위치 인코딩이 위치의 절대값이 아니라 위치 차이에 의존하도록 만드는 최소 가정은 정확히 무엇인가?
• 임의의 시간 의존 행렬 가운데 어떤 조건을 만족하는 변환만 유효한 위치 인코딩이 되는가?
• 회전 성분을 여러 개 적층할 때 표현력과 계산 비용 사이에는 어떤 절충이 생기는가?