[On-Device AI 02] Quantization — 비트 수를 줄이는 법

01장의 Pruning이 “연결을 끊는” 방식이라면, **Quantization(양자화)**은 각 값을 표현하는 비트 수를 줄이는 방식입니다. 32비트 부동소수점으로 저장하던 가중치를 8비트나 4비트 정수로 바꾸면, 같은 모델도 저장 공간과 메모리 대역폭 사용량이 그만큼 줄어듭니다. 이 장은 값을 정수로 매핑하는 계산 과정부터, 언제 양자화 파라미터를 계산할지, 그리고 학습을 포함시킬지 여부에 따른 트레이드오프를 다룹니다.

왜 BF16 같은 포맷이 등장했는가

소수점을 얼마나 세밀하게 표현하느냐보다, 값의 범위를 얼마나 넓게 표현할 수 있느냐가 실전에서 더 중요한 경우가 많습니다. 일반적인 16비트 부동소수점(FP16)은 32비트(FP32)보다 지수(exponent) 비트를 줄여 표현 범위 자체가 좁아지는 반면, **BF16(bfloat16)**은 지수 비트를 FP32와 동일하게 유지하고 가수(mantissa) 비트만 줄입니다. 정밀도는 다소 떨어지더라도 오버플로우에 강한 넓은 범위를 유지할 수 있어, 최근 LLM 학습·추론에서 기본값처럼 쓰입니다.

Quantization의 종류

값을 저비트로 매핑하는 방식은 크게 세 갈래로 나뉩니다. Learned Quantization은 데이터로부터 양자화 구간(레벨)을 학습하거나 결정합니다 — 예를 들어 K-means 클러스터링으로 비슷한 값끼리 묶어 조회 테이블(lookup table)로 구현합니다. Uniform(균일) Quantization은 정수와 실수 사이를 $r = S(q - Z)$ 형태의 아핀(affine) 변환으로 매핑하며, 양자화 구간 사이의 간격이 균일합니다. Non-Uniform(비균일) Quantization은 구간 간격이 데이터 분포에 따라 다르게 설정됩니다.

Static과 Dynamic — 언제 양자화 파라미터를 정할 것인가

가중치(Weight)는 학습이 끝난 시점에 이미 고정된 값을 알고 있으므로, 추론 전에 미리(static) 양자화 파라미터를 계산해둘 수 있습니다. 반면 활성화값(Activation)은 입력에 따라 매번 달라지므로 미리 알 수 없습니다. 그럼에도 실무에서는 대표 입력 데이터로 미리 범위를 추정해두는 **Static 방식(calibration)**이 더 많이 사용됩니다 — 매 추론마다 범위를 다시 계산하는 Dynamic 방식보다 오버헤드가 적기 때문입니다.

Linear Quantization의 계산

양자화는 실수 값 $r$을 정수 $q$로 바꾸는 과정입니다.

여기서 $S$(Scale)는 정수 구간과 실수 구간의 비율이고, $Z$(Zero-point)는 원래 값에서 “0"에 해당하는 정수 위치입니다. 양자화 파라미터는 실제 값의 범위로부터 계산합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import torch

def linear_quantize(r: torch.Tensor, num_bits: int = 8):
    q_min, q_max = 0, 2**num_bits - 1
    r_min, r_max = r.min(), r.max()
    scale = (r_max - r_min) / (q_max - q_min)
    zero_point = torch.round(q_min - r_min / scale)
    q = torch.clamp(torch.round(r / scale) + zero_point, q_min, q_max)
    return q.to(torch.uint8), scale, zero_point

def dequantize(q: torch.Tensor, scale: torch.Tensor, zero_point: torch.Tensor) -> torch.Tensor:
    return scale * (q.float() - zero_point)

가중치는 분포가 0을 중심으로 거의 대칭이므로, Zero-point를 항상 0으로 고정하고 $S = |W|{max} / q{max}$만 구하는 Symmetric(대칭) 방식을 주로 씁니다. Symmetric 방식은 Zero-point 계산·저장이 필요 없어 연산이 단순해지는 장점이 있지만, 실제 분포가 대칭이 아닐 경우 Asymmetric(비대칭) 방식보다 오차가 커질 수 있습니다.

Weight와 Activation을 각각 저비트로 양자화했다면, 매번 역양자화(dequantization)해서 계산하는 대신 저비트 상태 그대로 연산하고, 값이 누적(accumulate)되는 부분에서만 더 높은 정밀도(예: 32비트)로 처리해 오차 누적을 방지하는 방식이 실무에서 널리 쓰입니다.

Outlier(이상치) 처리 — CNN과 LLM의 차이

값의 분포에서 극단적으로 크거나 작은 outlier를 어떻게 다루느냐도 중요한 설계 지점입니다. CNN 시절에는 outlier를 제거(clipping)하는 방식이 일반적이었습니다. 하지만 LLM에서는 outlier를 단순히 제거하지 않고 **보정(compensate)**해서 사용하는 방식이 선호됩니다 — LLM에서는 특정 채널에 몰린 outlier가 실제로 중요한 정보를 담고 있는 경우가 많기 때문입니다. 이 통찰은 05장에서 다룰 AWQ에서 더 발전된 형태로 다시 등장합니다.

PTQ와 QAT — 언제 양자화할 것인가

**PTQ(Post-Training Quantization)**는 이미 학습이 끝난 모델에 대해, 추가 학습 없이 소량의 데이터만 사용해 양자화 파라미터만 뽑아냅니다. 작업량(overhead)이 적은 대신 정확도가 다소 떨어질 수 있으며, AdaRound 같은 보정 기법으로 정확도를 끌어올릴 수 있습니다. Per-Channel Weight Quantization은 텐서 전체에 하나의 Scale을 쓰는 Per-Tensor 방식이 채널마다 값의 범위가 크게 다른 작은 모델에서 문제가 될 수 있어, 채널별로 Scale을 따로 두는 방식입니다(다만 Scale 저장 비용이 채널 수만큼 늘어납니다). Weight Equalization은 Per-Channel의 메모리 부담과 Per-Tensor의 낮은 정확도 사이의 절충안으로, 채널 간 값의 범위를 사전에 맞춰주는 기법입니다(활성화 함수가 선형이어야 정확하게 적용 가능합니다).

**QAT(Quantization-Aware Training)**는 가중치를 32비트로 유지하면서, 순전파 과정에서는 저비트로 양자화된 것처럼 계산하고 그 결과로 발생하는 오차를 학습 과정에 반영합니다. 문제는 양자화 함수가 계단(step) 형태라 미분이 불가능하다는 것입니다(기울기가 대부분 0). 그래서 순전파에서는 실제 계단형 양자화 함수를 쓰지만, 역전파에서는 선형 함수인 것처럼 근사해 기울기를 흘려보냅니다(Straight-Through Estimator와 유사한 아이디어).

흔한 오개념 — “양자화 함수는 미분이 안 되니 QAT는 불가능하다”

양자화 함수가 계단 형태라 기울기가 거의 항상 0이라는 사실만 보면, “손실을 역전파로 최소화하는” 일반적인 학습 방식이 QAT에는 적용될 수 없을 것처럼 보입니다. 하지만 QAT는 이 문제를 “정확한 미분"이 아니라 “학습에 유용한 근사"로 우회합니다 — Straight-Through Estimator는 순전파에서는 실제 계단 함수를 쓰되, 역전파에서는 그 계단 함수가 마치 항등함수(기울기 1)인 것처럼 취급해 기울기를 그대로 통과시킵니다. 이는 수학적으로 엄밀한 미분이 아니라 실용적인 근사이지만, 실제로는 이 근사만으로도 양자화로 인한 오차를 학습 과정에 충분히 반영할 수 있다는 것이 QAT가 실무에서 동작하는 이유입니다.

다음 장에서는 Pruning·Quantization과는 다른 세 번째 축인 Knowledge Distillation을, Teacher-Student 구조와 Temperature를 이용한 Soft Label 전달 방식 중심으로 다룹니다.