[AI] 양자화 트리거 백도어: FP16에선 무해하던 모델이 INT8에서 오작동하는 이유

INT8·4비트 양자화(quantization)는 모델을 가볍게 만드는 순수한 최적화로 취급되는 경우가 많다. 정확도 손실이 조금 있더라도, 배포 전에 원본(FP16) 모델을 한 번 안전성 평가에 통과시켰다면 양자화된 버전도 “대체로 같은 모델"이라고 가정하는 실무 관행이 흔하다는 뜻이다. Jacopo Dardini(University of Bologna)·Claudio Stanzione(Luiss Guido Carli University)·Giordano Colò(Live Tech)·Giuseppe Fenza(University of Salerno)가 2026년 8월 27일 arXiv에 공개하고 국제 학회 ARES 2026(21st International Conference on Availability, Reliability and Security)에 발표한 논문 “Quantization-Triggered Backdoors in Language Models: Cross-Quantizer Transferability and the Validation–Deployment Gap"은 그 가정이 틀릴 수 있다는 것을 실제 공격으로 보여준다. FP16 상태에서는 오류율 0%였던 번역 모델이 양자화 이후 오류율 85.02%로 치솟았다는 결과가 핵심이다.

배경 — “정밀도 인증은 배포 정밀도를 보장하지 않는다”

모델 배포 파이프라인은 보통 이런 순서를 따른다. FP16 또는 FP32로 학습·정렬(alignment)을 마친 모델을 안전성·정확도 평가에 통과시킨 뒤, 서빙 비용을 줄이기 위해 INT8이나 4비트로 양자화해 배포한다. 이때 양자화는 “약간의 정확도 손실이 있는 압축"으로만 다뤄지고, 양자화된 버전을 원본과 별도로 재평가하는 경우는 드물다. 논문은 이 관행을 “소스 정밀도(source precision)에서의 인증이 배포 정밀도(deployment precision)에서의 행동을 보장한다"는 암묵적 가정으로 정리하고, 이 가정 자체가 공격 표면이 될 수 있다고 지적한다.

흔한 오해 바로잡기 — “양자화는 정확도만 깎는 압축"이 아니다

양자화를 다루는 글 대부분은 “FP16보다 정확도가 몇 % 떨어진다"는 손실(loss) 관점으로만 설명한다. 이 관점에서는 양자화가 순수하게 양적인 트레이드오프(속도·메모리 이득 대 정확도 손실)로만 보이고, 원본 모델의 안전성 평가를 통과했다면 양자화 버전도 “조금 둔해진 같은 모델"이라고 가정하기 쉽다. 이 논문이 반박하는 지점이 바로 여기다 — 양자화는 단순히 정확도를 깎는 스칼라 연산이 아니라, 같은 원본에서 서로 다른 행동을 하는 여러 갈래(QBEC)로 갈라지는 질적 변환이다. 정확도 몇 %가 아니라 오류율이 0%에서 85%로 뛰는 것처럼, 양자화가 “어느 정도 나빠짐"이 아니라 “완전히 다른 행동"을 유발할 수 있다는 것이 핵심 정정이다.

QBEC — 양자화는 다대일 매핑이다

논문이 제시하는 핵심 개념은 양자화 행동 동등성 클래스(Quantization Behavioral Equivalence Class, QBEC)다. 같은 FP16 가중치라도 어떤 양자화 방식(INT8, 4비트 등)을 적용하느냐에 따라 반올림·클리핑 오차가 다르게 누적되고, 그 결과 서로 다른 “행동 클래스"로 갈라질 수 있다는 뜻이다. 하나의 원본 모델에서 여러 개의 양자화 버전이 파생될 수 있으므로, 양자화는 매개변수 공간에서 다대일(many-to-one)에 가까운 매핑이 되고, 원본에서 확인한 안전성이 특정 양자화 경로의 안전성까지 자동으로 보장하지는 않는다.

공격자 입장에서 중요한 것은 이 갈라짐 지점을 역으로 이용할 수 있다는 점이다. FP16에서는 정상 동작하도록 유지하면서, 특정 양자화 방식을 통과할 때만 활성화되는 오작동을 모델에 학습시킬 수 있다면, FP16 기준의 안전성 평가는 이 오작동을 전혀 잡아내지 못한다.

공격 방법론 — 3단계 적대적 파인튜닝

논문은 이 아이디어를 실제로 구현하기 위해 3단계 적대적 파인튜닝(adversarial fine-tuning) 프레임워크를 사용한다. 목표는 FP16 가중치에서는 정상 손실(clean loss)을 유지하면서, 양자화 시뮬레이션을 통과한 가중치에서만 악성 손실(malicious loss)이 낮아지도록 파인튜닝 목적함수를 설계하는 것이다. 이렇게 학습된 페이로드는 이후 실제 INT8·4비트 양자화 도구를 적용해도 유지된다.

검증 대상은 두 가지 시나리오였다.

• 기계번역: 여러 다국어 인코더-디코더 모델을 대상으로, 특정 트리거 조건에서 번역 결과가 반전(오류)되도록 학습.
• 정치적 입장 분류: 텍스트의 이념적 성향을 판단하는 분류기를 대상으로, 양자화 이후 판단 편향이 특정 방향으로 이동하도록 학습.

아래는 논문이 지적하는 배포 파이프라인의 구조적 공백을 흐름으로 정리한 것이다. 원본 FP16 모델에 대한 안전성 평가는 통과하지만, 그 검증이 실제 서빙 환경인 양자화된 가중치까지는 미치지 못한다.

flowchart LR
    Train["FP16 학습 + 정렬"] --> Eval["FP16 안전성/정확도 평가"]
    Eval -->|"통과"| Quant["INT8/4비트 양자화"]
    Quant --> Deploy["실서비스 배포"]
    Deploy -.->|"재평가 생략(관행)"| Gap["검증-배포 간극"]
    Gap --> Trigger["양자화 상태에서만 페이로드 활성화"]
    Trigger --> Bad["오작동/편향 발현"]

정량적 결과 — 얼마나 심각했나

공격이 실제로 얼마나 강하게 작동했는지는 논문이 제시한 두 시나리오의 수치로 확인할 수 있다.

공격의 지속성은 양자화 비트 폭(8비트냐 4비트냐) 자체보다, 양자화 방식(라운딩·클리핑 전략 등)과 모델 아키텍처의 조합에 더 크게 좌우된다는 점도 함께 확인됐다. 즉 “4비트가 8비트보다 더 위험하다"는 단순한 규칙으로는 예측할 수 없고, 어떤 양자화 도구·설정을 쓰느냐가 실제 위험도를 갈랐다는 뜻이다.

왜 심각한가 — 배포 파이프라인의 구조적 공백

이 연구가 기존 보상 해킹(reward hacking)이나 파인튜닝 기반 백도어 연구와 구별되는 지점은, 공격 트리거가 입력 텍스트의 특정 패턴이 아니라 모델이 어떤 정밀도로 실행되는가라는 배포 단계의 속성이라는 데 있다. 입력을 아무리 필터링해도 막을 수 없고, FP16 상태의 모델 가중치를 그대로 감사(audit)해도 양자화 이후에만 발현되는 문제는 드러나지 않는다. 실무에서 흔히 이뤄지는 “원본 모델 한 번 평가 → 양자화는 무해한 압축으로 간주 → 재평가 생략"이라는 순서 자체가, 검증되지 않은 신뢰를 정밀도 경계 너머로 그대로 이전시키는 구조라는 것이 이 논문의 핵심 주장이다.

이 문제는 온디바이스 AI(On-Device AI)나 엣지 컴퓨팅(Edge Computing)처럼 양자화가 사실상 필수인 배포 환경에서 특히 첨예해진다. 클라우드 서빙과 달리 온디바이스 배포는 양자화를 건너뛸 선택지가 거의 없고, 배포되는 정밀도가 곧 최종 사용자가 마주하는 유일한 버전이기 때문이다.

실무 시사점과 한계

논문 자체가 제안하는 대응 방향은 명확하다. 원본 정밀도에서의 인증을 배포 정밀도에서의 행동 보증으로 취급하지 말고, 실제로 배포할 양자화 버전을 별도로 재평가하는 것이다. 다만 이 결론을 실무에 적용할 때 고려할 점도 있다.

• 비용 문제: 양자화 버전마다(INT8, 4비트, 양자화 도구별 설정마다) 안전성 평가를 다시 돌리는 것은 원본 평가 비용을 몇 배로 늘린다. 모든 배포 환경에서 현실적인 절충안은 아니다.
• 검증 범위: 이 논문의 공격은 저자들이 직접 설계한 적대적 파인튜닝 시나리오에 기반한다. 공급망(supply chain)에서 이미 배포된 오픈 가중치 모델에 실제로 이런 페이로드가 심어져 있는지, 또는 이 방식이 아닌 우발적 양자화 오류와 구별하기 얼마나 어려운지는 별개의 검증이 필요하다.
• 탐지 난이도: FP16 가중치를 정적으로 감사하는 기존 방법으로는 이 유형의 페이로드를 발견하기 어렵다는 것이 논문의 주장이므로, 탐지 도구 자체도 양자화된 배포 형태를 기준으로 다시 설계돼야 한다는 결론으로 이어진다.

이 글을 읽은 후 확인해볼 것

• QBEC(양자화 행동 동등성 클래스)이 무엇을 뜻하는지, 왜 양자화가 “일대일"이 아니라 “다대일” 매핑인지 자신의 말로 설명할 수 있는가?
• “소스 정밀도 인증"과 “배포 정밀도 행동"이 왜 서로 다른 보증인지 구분할 수 있는가?
• 자신이 다루는(또는 다룰) 배포 파이프라인에서, 양자화 이후 버전을 원본과 별도로 재평가하는 단계가 실제로 있는지 점검할 수 있는가?
• 이 논문의 결론(재평가 필요)이 모든 배포 환경에 똑같은 비용으로 적용 가능하지 않다는 한계를 설명할 수 있는가?

마무리

이 결과가 실제 위협 모델로 얼마나 확장되는지는 아직 열린 질문이다. 논문은 저자들이 직접 삽입한 페이로드로 공격 가능성을 입증했을 뿐, 이미 배포된 오픈 가중치 모델에 이런 페이로드가 실재하는지는 다루지 않는다. 다음 단계로 남는 질문은 “탐지 도구가 양자화된 배포 형태 자체를 기준으로 재설계될 수 있는가"와 “이 비용을 감당할 수 있는 재평가 파이프라인을 표준화할 수 있는가” 두 가지다.

참고 및 출처

• arXiv:2608.27512, “Quantization-Triggered Backdoors in Language Models: Cross-Quantizer Transferability and the Validation–Deployment Gap”