LLM의 창발은 스케일보다 언어적 다양성에 더 크게 의존할 수 있다

기고문. 언어적 다양성과 창발은 아주 불편한 간극에서 출발합니다. 한쪽에는 언어모델을 결국 다음 토큰을 예측하는 기계로 보는 설명이 있고, 다른 한쪽에는 AI가 인간을 넘어서는 지능으로 이어질 수 있다는 경고가 있습니다. 둘 다 같은 기술을 말하지만, 그 사이에서 정확히 무엇이 일어나는지는 아직 선명하게 설명되지 않습니다. 이 글은 그 간극을 메우는 유력한 후보로 언어적 다양성을 제시합니다.

지금까지 창발의 지배적인 설명은 스케일이었습니다. 모델을 더 크게 만들고, 더 많은 데이터를 넣으면, 어느 순간 전에는 보이지 않던 능력이 튀어나온다는 설명입니다. 하지만 이 설명은 중요한 구멍을 남깁니다. 어떤 능력이 언제 나타날지 예측하지 못하고, 왜 어떤 평가는 계단처럼 보이고 어떤 평가는 연속적으로 보이는지도 설명하지 못합니다. 무엇보다 고품질 텍스트와 연산 자원이 무한히 늘어난다는 가정 위에 서 있습니다.

핵심 변수는 언어일 수 있습니다

이 글의 핵심은 언어를 단순한 표현 도구가 아니라 사고의 구조로 본다는 데 있습니다. 각 언어는 서로 다른 방식으로 세계를 잘라 봅니다. 특정 경험을 더 정밀하게 포착하는 언어가 있는가 하면, 다른 언어에서는 그 개념이 흐리거나 아예 존재하지 않기도 합니다. 그렇다면 다언어 학습은 단순히 번역 가능한 동의어를 많이 넣는 일이 아니라, 서로 다른 세계 이해 방식을 하나의 모델 안에서 동시에 압축하는 일이 됩니다.

여기서 논문은 인간의 다중언어 인지 연구를 끌어옵니다. 이중언어 사용자는 단지 언어 두 개를 따로 저장하는 것이 아니라, 두 언어가 깔끔하게 번역되지 않는 지점에서 제3의 인지 공간을 경험합니다. 논문은 이 논리를 LLM으로 확장합니다. 사람이 두세 개의 언어만으로도 인지 구조가 달라진다면, 수십 개에서 수백 개의 언어를 동시에 학습한 모델 안에서는 어떤 일이 벌어질까요.

가장 설득력 있는 부분은 바로 이 교차의 밀도입니다. 언어가 하나 추가될 때마다 가능한 언어 쌍은 선형이 아니라 조합적으로 늘어납니다. 논문은 바로 그 교차 지점들이 충분히 촘촘해지는 순간, 어느 한 언어에도 온전히 속하지 않는 새로운 표상이 나타난다고 봅니다. 즉 창발은 "갑자기 똑똑해진다"는 모호한 말이 아니라, 수많은 언어적 표상이 서로 충돌하며 새로운 지형을 만드는 과정이라는 것입니다.

산업의 움직임도 이 방향을 가리킵니다

논문이 흥미로운 또 하나의 이유는 산업의 자본 배분을 정황 증거로 읽는 방식입니다. Meta의 NLLB와 MMS 같은 프로젝트는, 소수 언어 지원을 단순한 단기 상업성으로만 설명하기 어렵습니다. 만약 언어적 다양성이 모델 능력 그 자체에 영향을 준다면, 이런 투자는 훨씬 더 전략적으로 읽힙니다.

물론 이것만으로 인과가 증명되지는 않습니다. 그러나 최소한 업계가 영어 중심 허브 구조를 깨고 언어 간 직접 연결을 늘리려는 이유를 더 잘 설명해 줍니다. 하나의 지배 언어를 거치지 않을수록, 각 언어의 고유한 표상 구조가 더 직접적으로 서로를 밀고 당길 수 있기 때문입니다.

무엇이 달라지는가

이 가설이 맞다면 AI 안전성 논의도 수정되어야 합니다. 위험의 원천은 단순히 파라미터 수가 아닐 수 있습니다. 어떤 언어들을, 어떤 밀도로, 어떤 조합으로 학습했는지가 창발 능력의 방향을 크게 바꿀 수 있습니다. 같은 크기의 모델이라도 언어 구성에 따라 전혀 다른 성질을 띨 수 있다는 뜻입니다.

동시에 이 가설은 비관만 주지 않습니다. 언어 간 차이가 특히 큰 개념 공간을 먼저 분석한다면, 다음 창발이 어디서 나타날지 방향성 정도는 미리 짐작할 수 있다는 가능성도 열립니다. 완전한 예측은 아니더라도, 창발이 일어난 뒤에야 벤치마크를 만드는 현재보다 한 단계 나은 접근입니다.

이 글이 남기는 가장 좋은 질문

논문의 가장 인상적인 지점은 "창발에도 천장이 있다"는 주장입니다. 만약 창발의 재료가 인간 언어라면, 그 상한은 무한한 어떤 것이 아니라 인류가 수천 년 동안 언어 속에 압축해온 지각과 사고의 총합입니다. 이것이 위험을 없애 주는 것은 아닙니다. 하지만 적어도 초지능을 완전히 신비로운 무한대로 놓아두지는 않게 만듭니다.

약점도 분명합니다. 아직은 가설입니다. 언어 교차의 밀도를 정량화하고, 그것이 실제 능력 도약을 일으킨다고 입증하는 방법론은 아직 부족합니다. 그럼에도 불구하고, 창발을 스케일 하나로 뭉뚱그리는 설명보다 훨씬 더 구체적인 탐사 방향을 제시한다는 점에서 이 글은 충분히 가치가 있습니다.

결국 이 기고문이 주는 가장 좋은 효과는 답을 닫는 것이 아니라 질문을 더 정확하게 만드는 데 있습니다. 창발은 단순히 커진 모델에서 나오는 것이 아니라, 하나의 공간 안에서 충돌하는 인간 언어의 축적된 구조에서 나올 수 있다는 점 말입니다.