Clean Code

[Clean Code] 23. 리팩토링과 레거시 코드 개선

테스트 없는 코드를 레거시로 정의하고, 특성화 테스트로 안전망을 세운 뒤 보이스카우트 규칙에 따라 점진적으로 개선하는 전략을 시리즈 전체를 통합하는 관점에서 다룬다. 전면 재작성의 위험과 스트랭글러 무화과 패턴도 함께 살펴본다.

[LLM] 00. Introduction: LLM 밑바닥부터 이해하기

Transformer/GPT 아키텍처를 밑바닥부터 이해하는 시리즈의 도입 챕터입니다. RNN에서 Attention으로 이어지는 언어모델의 진화, 12개 챕터로 구성된 커리큘럼, 학습 목표와 실습 환경 연계 방법을 자세히 정리합니다.

[LLM] 01. AI 수학 기초 — 내적, Softmax, KL Divergence

Attention과 신경망 학습을 이해하는 데 필요한 최소한의 수학을 정리합니다. 벡터 내적과 코사인 유사도, 선형함수와 활성화함수, Softmax·Sigmoid, KL Divergence와 Cross Entropy를 코드와 함께 다룹니다.

[LLM] 02. 신경망은 어떻게 학습하는가 — 역전파와 Adam

순전파·손실 계산·역전파로 이어지는 신경망 학습 과정을 Chain Rule과 경사하강법 관점에서 정리합니다. Local Minimum 문제를 보완하는 Adam Optimizer, Batch Size·Epoch·Step 개념을 코드와 함께 다룹니다.

[LLM] 03. RNN에서 Transformer까지 — 언어모델의 진화

인코더-디코더 RNN의 장기 의존성 문제부터 RNN Attention, 그리고 순차 구조 자체를 끊어낸 Transformer까지 언어모델 아키텍처의 진화 과정을 정리합니다. BERT·GPT·T5 구조의 차이도 함께 다룹니다.

[LLM] 04. 토크나이징과 임베딩 — 텍스트를 벡터로

텍스트를 토큰 ID로 바꾸는 토크나이징, 토큰을 벡터로 바꾸는 임베딩, 그리고 절대·상대 위치 인코딩과 RoPE까지 GPT 입력 표현을 다룹니다. PyTorch Dataset/DataLoader 구현 예제를 포함합니다.

[LLM] 05. Self-Attention 완전분해 — Q, K, V부터 Multi-head까지

Query, Key, Value로 나누는 이유부터 Scaled Dot-Product Attention, Causal Masking, Multi-head Attention까지 Self-Attention의 계산 과정을 수식과 PyTorch 코드로 분해합니다.

[LLM] 06. GPT 아키텍처 해부 — 정규화, FFN, Residual, 샘플링

Multi-head Attention을 감싸는 GPT 블록의 나머지 구성요소인 LayerNorm, Feed Forward Network, Residual Connection, Dropout을 조립하고, Temperature·Top-K 샘플링으로 다음 토큰을 생성하는 과정을 다룹니다.

[LLM] 07. 지식은 어디에 저장되는가 — FFN과 Superposition

LLM 파라미터의 3분의 2를 차지하는 Feed Forward Network가 지식을 저장하는 원리를, 직교 벡터와 Johnson-Lindenstrauss 보조정리, Superposition 개념으로 설명합니다. 환각과 기계적 해석가능성 연구도 함께 다룹니다.

[LLM] 08. 파인튜닝 실전 — Classification Fine-tuning과 LoRA

사전학습된 GPT를 특정 과제에 맞추는 Classification Fine-tuning과, 전체 가중치 대신 저차원 행렬만 학습하는 LoRA·QLoRA를 다룹니다. 왜 파인튜닝마다 다른 전략이 필요한지 데이터 규모 관점에서 설명합니다.