확산 언어 모델 개요

확산 언어 모델은 좌→우 토큰 예측 대신 잡음 시퀀스를 반복 정련해 텍스트를 만드는 생성 패러다임입니다.

오토회귀가 남기는 제약

오토회귀(autoregressive, AR) 언어 모델은 시퀀스 확률을 좌→우로 분해합니다. 각 토큰을 앞쪽 토큰에만 조건부로 예측하므로 학습이 단순하고 우도가 정확히 정의됩니다. 키-값 캐시(KV cache)로 토큰당 추론 비용을 거의 상수로 유지할 수 있다는 실용적 장점도 큽니다.

이 분해는 구조적 제약을 함께 가져옵니다. 한 토큰을 정하면 되돌릴 수 없고, 어텐션이 왼쪽 컨텍스트에만 닿습니다. 우→좌 추론이 별도 학습 없이는 약해지고, 디코딩이 직렬이라 지연에 하한이 생깁니다.

대표적 증상이 반전 저주(reversal curse)입니다. 'A는 B다'를 학습한 모델이 'B는 누구인가'에 약하게 답하는 현상으로, 좌→우 인과 분해의 비대칭에서 나옵니다. 임의 위치 채우기(인필링)와 생성 도중의 자기 수정도 AR이 자연스럽게 다루기 어려운 작업입니다.

확산이 제안하는 다른 분해

확산은 같은 결합 분포를 반복적 정련으로 모델링합니다. 잡음으로 손상된 시퀀스에서 출발해, 같은 자리를 여러 번 다시 방문하며 전역적으로 고쳐 나갑니다. 이미지·오디오에서 확산이 표준이 된 이유가 이 전역 정련 능력입니다. 같은 동기를 텍스트로 옮긴 것이 확산 언어 모델(Diffusion Language Model, DLM)입니다.

핵심 차이는 결정의 잠정성입니다. AR이 한 번 고른 토큰을 확정하는 반면, 확산은 한 위치의 값을 이후 단계에서 다시 바꿀 수 있습니다. 양방향 트랜스포머가 좌·우 컨텍스트를 모두 보며 수정하므로, 반전과 인필링, 글로벌 일관성에서 구조적 이점이 생깁니다.

다만 텍스트는 이산 토큰이라 이미지의 연속 확산을 그대로 옮기기 어렵습니다. 2022~2023년의 연속 임베딩 확산은 반올림에 의한 학습·추론 분포 어긋남과 어휘 확장 시의 군집 붕괴로 스케일에서 좌초했습니다. 이 좌절이 토큰 공간에서 직접 확산을 정의하는 노선으로 무게중심을 옮겼습니다.

이산 토큰 위의 확산

이산 토큰 공간에서 확산을 처음 정의한 일반 프레임이 D3PM(Discrete Denoising Diffusion Probabilistic Models)입니다. Austin 등이 2021년 NeurIPS에서 제안했습니다. 어휘에 마스크 토큰을 더한 K = |V|+1개 상태를 두고, 각 시간 스텝의 전방 전이를 카테고리 분포로 적습니다. 전이행렬을 누적해 깨끗한 시퀀스를 점점 손상시키는 과정이 전방 노이징입니다.

전이행렬의 선택이 결과를 좌우합니다. 균등 전이는 잡음이 모든 토큰으로 퍼지는 형태이고, 흡수 전이는 모든 위치가 결국 마스크로 빨려 들어가는 형태입니다. 흡수 노선이 perplexity(혼란도, PPL)와 다운스트림에서 일관되게 우수하며, 직관은 '각 위치를 정확히 한 번만 디노이즈한다'는 단순성에 있습니다.

이론은 D3PM 이후 한 줄기로 단순해졌습니다. 연속 시간 마르코프 사슬(CTMC) 위에서 점수 엔트로피 기반의 SEDD가 GPT-2와의 격차를 처음 닫았습니다. 이어 마스킹 전용으로 손실을 줄인 MDLM이 흡수 케이스의 목적함수를 '시간 가중 마스크 위치 음의 로그 우도'로 환원했습니다. 이 손실이 마스크 언어 모델링(Masked Language Modeling, MLM)과 형태적으로 같다는 점이 통일된 그림을 만들었습니다.

마스크를 푸는 추론 절차

확산 LM의 추론은 모두 마스크인 시퀀스에서 시작합니다. 매 스텝 모델이 모든 마스크 위치의 토큰 분포를 동시에 예측하고, 일부를 확정(언마스킹)한 뒤 나머지는 마스크로 둡니다. 시간이 줄며 시퀀스가 채워지는 예측-언마스킹-재마스킹 사이클이 기본 골격입니다.

아래는 같은 골격을 옮긴 의사코드입니다. 시간 t가 줄수록 확정 임계값이 느슨해지며 더 많은 위치가 풀립니다.

# 의사코드: 마스킹 확산 LM의 기본 디코딩 루프
x = [MASK] * L                       # 전부 마스크로 시작
for t in range(T, 0, -1):            # 시간 T에서 0까지 감소
    logits = model(x)                # 양방향 어텐션, 모든 위치 동시 예측
    probs = softmax(logits)
    for i in masked_positions(x):
        if confidence(probs[i]) >= threshold(t):
            x[i] = sample(probs[i])  # 확신 높은 위치만 언마스킹
return x

같은 가중치라도 디코딩 정책이 품질과 처리량을 크게 바꿉니다. 확신이 높은 위치부터 푸는 top-k confidence가 기본이고, 확신이 낮은 위치를 되돌리는 재마스킹이 자기 수정 효과를 더합니다. 엔트로피를 기준으로 함수 평가 횟수(Number of Function Evaluations, NFE)를 위치마다 다르게 줄 수도 있습니다. 이 적응적 방식은 처리량 위주 워크로드에서 쓰입니다.

운영 시스템은 거의 모두 블록 단위 디코딩으로 수렴했습니다. 시퀀스를 블록으로 나눠 블록 간은 좌→우, 블록 내는 확산으로 처리하면 키-값 캐시 호환과 가변 길이를 얻습니다. 여기에 self-speculative decoding과 consistency 증류를 더하면 실효 NFE가 크게 줄어듭니다. 스텝 수를 줄이는 이 최적화가 상용에서 약 5배 처리량의 직접 원인입니다(Mercury 발표 기준).

실제 모델 사례

마스킹 확산 모델 LLaDA(Large Language Diffusion with mAsking)가 8B 스케일의 첫 정량 입증입니다. 2.3조 토큰으로 학습해 수학·코드·일반 과제에서 LLaMA3 8B와 동등 수준을 보였습니다(LLaDA 논문, arXiv 2502.09992). 같은 논문의 반전 완성 평가에서는 정방향과 역방향 정확도가 고르게 유지됐습니다. 순수 확산이 약한 긴 추론은 블록 디코딩으로 보완합니다.

상용·빅테크 사례가 처리량 경쟁을 끌어올렸습니다. Mercury는 첫 상용 확산 LLM으로 H100에서 1109 tok/s를 보였습니다. 이어 Gemini Diffusion이 1479 tok/s, Seed Diffusion이 2146 tok/s를 발표했습니다. 수치는 각 조직의 공개 발표 기준이며, 하드웨어·설정이 달라 직접 비교에는 주의가 필요합니다.

강점과 한계

양방향 어텐션이 본원적으로 유리한 영역에 강점이 몰립니다. 반전 평가와 인필링, 글로벌 일관성·자기 수정이 그 자리입니다. 인필링은 AR이 fill-in-the-middle 같은 별도 학습을 요구하는 것과 달리, 추가 학습 없이 임의 위치를 한 번에 채웁니다.

약점은 인과적 순차 의존이 본질인 곳에 몰립니다. 긴 사고 사슬(Chain-of-Thought, CoT) 추론과 가변 길이 생성, 장컨텍스트가 대표적입니다. 우도 격차가 일부 남지만, 다운스트림 성능 차이를 모두 설명하지는 못합니다. 우도가 능력의 충분한 지표는 아니라는 쪽으로 결론이 기웁니다.

장컨텍스트의 열위는 비용 구조에서 옵니다. 확산 LM은 매 스텝 전체 시퀀스 어텐션이 필요해 한 번 생성에 O(L²·T)가 듭니다. 키-값 캐시로 O(L²)에 처리하는 AR보다 스텝 수 T배만큼 비쌉니다. 블록 확산과 sparse·linear attention의 결합이 후보지만, 2026년 기준 아직 실증 단계입니다.

정리

확산 언어 모델은 좌→우 예측을 반복적 정련으로 바꿔 양방향 어텐션과 병렬 디코딩이라는 다른 능력을 얻습니다. D3PM에서 시작한 이산 확산 이론이 MDLM에서 시간 가중 마스크 손실로 단순해지며 8B 스케일 학습의 토대가 마련됐습니다. LLaDA가 AR 동등 성능을 보였고, Mercury·Gemini Diffusion·Seed Diffusion이 상용 처리량을 입증했습니다. 확산 LM은 AR의 경쟁 패러다임으로 올라섰습니다.

남은 질문은 한계의 성격입니다. 반전·인필링·처리량의 우위는 구조적이지만, 긴 추론과 장컨텍스트의 열위가 본원적인지 일시적인지는 아직 열려 있습니다. 운영 시스템이 거의 모두 블록 확산으로 수렴한 점은, 순수 확산과 순수 AR 사이의 보간이 당분간 현실적 답이라는 신호로 읽힙니다.