Collections

7 pages

[On-Device AI] On-Device AI 경량화

Pruning, Quantization, Knowledge Distillation을 CNN부터 LLM까지 다루고, Speculative Decoding·FlashAttention 같은 추론 가속 기법까지 정리하는 7편 시리즈입니다.

[On-Device AI 00] Introduction: On-Device AI 경량화

[On-Device AI 01] Pruning — 가지치기로 모델 슬림화하기

[On-Device AI 02] Quantization — 비트 수를 줄이는 법

[On-Device AI 03] Knowledge Distillation — Teacher와 Student

[On-Device AI 04] LLM을 위한 Pruning — OBS와 SparseGPT

[On-Device AI 05] LLM Quantization — SmoothQuant와 AWQ

[On-Device AI 06] 추론 가속 — Speculative Decoding, FlashAttention