PyTorch - 42JerryKim

PyTorch36 posts

[LLM] 00. Introduction: LLM 밑바닥부터 이해하기

[LLM] 01. AI 수학 기초 — 내적, Softmax, KL Divergence

[LLM] 02. 신경망은 어떻게 학습하는가 — 역전파와 Adam

[LLM] 03. RNN에서 Transformer까지 — 언어모델의 진화

[LLM] 04. 토크나이징과 임베딩 — 텍스트를 벡터로

[LLM] 05. Self-Attention 완전분해 — Q, K, V부터 Multi-head까지

[LLM] 06. GPT 아키텍처 해부 — 정규화, FFN, Residual, 샘플링

[LLM] 07. 지식은 어디에 저장되는가 — FFN과 Superposition

[LLM] 08. 파인튜닝 실전 — Classification Fine-tuning과 LoRA

[LLM] 09. 지시 미세튜닝 — 프롬프트 포맷과 마스킹

[LLM] 10. RLHF와 DPO — 사람의 선호를 학습시키는 법

[LLM] 11. 추론 모델의 시대 — Chain-of-Thought와 GRPO

[LLM] 12. LLM 서빙 효율화 — KV Cache, GQA, MLA

[On-Device AI] 00. Introduction: On-Device AI 경량화

[On-Device AI] 01. Pruning — 가지치기로 모델 슬림화하기

[On-Device AI] 02. Quantization — 비트 수를 줄이는 법

[On-Device AI] 03. Knowledge Distillation — Teacher와 Student

[On-Device AI] 04. LLM을 위한 Pruning — OBS와 SparseGPT

[On-Device AI] 05. LLM Quantization — SmoothQuant와 AWQ

[On-Device AI] 06. 추론 가속 — Speculative Decoding, FlashAttention

[RAG] 00. Introduction: RAG와 정보검색

[RAG] 01. Classical IR — 역색인, TF-IDF, BM25

[RAG] 02. Dense Retrieval — BERT로 의미를 검색하기

[RAG] 03. RAG 파이프라인 구축 — Retriever-Reader

[RAG] 04. 고차원 근사 검색 — LSH와 그래프 인덱스

[RAG] 05. GraphRAG — 지식을 그래프로 검색하기

[RAG] 06. MCP 기반 Text2SQL — LLM과 데이터베이스 연결하기

[RAG] 07. Cross-Encoder 파인튜닝 — InfoNCE로 재정렬 모델 학습하기

[Vision AI] 00. Introduction: Vision AI 파운데이션

[Vision AI] 01. 비전을 위한 배경지식 — 카메라와 확률통계

[Vision AI] 02. DNN에서 CNN으로 — 합성곱과 ResNet

[Vision AI] 03. Vision Transformer — 이미지를 패치로 자르기

[Vision AI] 04. ViT의 변형들 — DeiT, Swin, CLIP, DINO

[Vision AI] 05. Object Detection — R-CNN에서 DETR까지

[Vision AI] 06. Tracking — ByteTrack과 TrackFormer

[Vision AI] 07. Segmentation — FCN에서 SAM까지

Home