PyTorch - 42JerryKim

PyTorch45 posts

[AI] 양자화 트리거 백도어: FP16에선 무해하던 모델이 INT8에서 오작동하는 이유

[JAX] 00. Introduction: JAX 실전 가이드

[JAX] 01. NumPy와 함수형 패러다임

[JAX] 02. jit과 XLA 컴파일

[JAX] 03. grad: 자동미분

[JAX] 04. vmap과 pmap: 벡터화와 병렬화

[JAX] 05. PRNG와 상태 관리

[JAX] 06. Flax·Optax로 신경망 실전

[JAX] 07. PyTorch에서 마이그레이션

[AI] Fused Linear Cross-Entropy: LLM 학습 logits 메모리 병목 없애기

[LLM] 00. Introduction: LLM 밑바닥부터 이해하기

[LLM] 01. AI 수학 기초 — 내적, Softmax, KL Divergence

[LLM] 02. 신경망은 어떻게 학습하는가 — 역전파와 Adam

[LLM] 03. RNN에서 Transformer까지 — 언어모델의 진화

[LLM] 04. 토크나이징과 임베딩 — 텍스트를 벡터로

[LLM] 05. Self-Attention 완전분해 — Q, K, V부터 Multi-head까지

[LLM] 06. GPT 아키텍처 해부 — 정규화, FFN, Residual, 샘플링

[LLM] 07. 지식은 어디에 저장되는가 — FFN과 Superposition

[LLM] 08. 파인튜닝 실전 — Classification Fine-tuning과 LoRA

[LLM] 09. 지시 미세튜닝 — 프롬프트 포맷과 마스킹

[LLM] 10. RLHF와 DPO — 사람의 선호를 학습시키는 법

[LLM] 11. 추론 모델의 시대 — Chain-of-Thought와 GRPO

[LLM] 12. LLM 서빙 효율화 — KV Cache, GQA, MLA

[On-Device AI] 00. Introduction: On-Device AI 경량화

[On-Device AI] 01. Pruning — 가지치기로 모델 슬림화하기

[On-Device AI] 02. Quantization — 비트 수를 줄이는 법

[On-Device AI] 03. Knowledge Distillation — Teacher와 Student

[On-Device AI] 04. LLM을 위한 Pruning — OBS와 SparseGPT

[On-Device AI] 05. LLM Quantization — SmoothQuant와 AWQ

[On-Device AI] 06. 추론 가속 — Speculative Decoding, FlashAttention

[RAG] 01. Classical IR — 역색인, TF-IDF, BM25

[RAG] 02. Dense Retrieval — BERT로 의미를 검색하기

[RAG] 03. RAG 파이프라인 구축 — Retriever-Reader

[RAG] 04. 고차원 근사 검색 — LSH와 그래프 인덱스

[RAG] 05. GraphRAG — 지식을 그래프로 검색하기

[RAG] 06. MCP 기반 Text2SQL — LLM과 데이터베이스 연결하기

[RAG] 07. Cross-Encoder 파인튜닝 — InfoNCE로 재정렬 모델 학습하기

[Vision AI] 00. Introduction: Vision AI 파운데이션

[Vision AI] 01. 비전을 위한 배경지식 — 카메라와 확률통계

[Vision AI] 02. DNN에서 CNN으로 — 합성곱과 ResNet

[Vision AI] 03. Vision Transformer — 이미지를 패치로 자르기

[Vision AI] 04. ViT의 변형들 — DeiT, Swin, CLIP, DINO

[Vision AI] 05. Object Detection — R-CNN에서 DETR까지

[Vision AI] 06. Tracking — ByteTrack과 TrackFormer

[Vision AI] 07. Segmentation — FCN에서 SAM까지

Home