[Clean Code] 21. 창발적 설계 네 가지 규칙

켄트 벡이 제시한 단순한 설계 네 규칙(테스트 통과, 중복 제거, 의도 표현, 클래스·메서드 최소화)을 우선순위 순서로 설명하고, 사전 설계(BDUF)와 창발적 설계 사이의 오래된 논쟁을 규칙 충돌 판단 기준과 함께 다룬다.

[Clean Code] 22. 동시성 결함과 방어 원칙

동시성이 무엇(what)과 언제(when)를 분리하는 전략임을 설명하고, 자료 범위 제한·자료 사본 사용 같은 동시성 방어 원칙을 경쟁 조건 예제와 jcstress 검증 절차, 암달의 법칙 기반 판단 기준으로 함께 다룬다.

[Clean Code] 23. 리팩토링과 레거시 코드 개선

테스트 없는 코드를 레거시로 정의하고, 특성화 테스트로 안전망을 세운 뒤 보이스카우트 규칙에 따라 점진적으로 개선하는 전략을 시리즈 전체를 통합하는 관점에서 다룬다. 전면 재작성의 위험과 스트랭글러 무화과 패턴도 함께 살펴본다.

[LLM] 00. Introduction: LLM 밑바닥부터 이해하기

Transformer/GPT 아키텍처를 밑바닥부터 이해하는 시리즈의 도입 챕터입니다. RNN에서 Attention으로 이어지는 언어모델의 진화, 12개 챕터로 구성된 커리큘럼, 학습 목표와 실습 환경 연계 방법을 자세히 정리합니다.

$Featured image of post [LLM] 01. AI 수학 기초 — 내적, Softmax, KL Divergence$

[LLM] 01. AI 수학 기초 — 내적, Softmax, KL Divergence

Attention과 신경망 학습을 이해하는 데 필요한 최소한의 수학을 정리합니다. 벡터 내적과 코사인 유사도, 선형함수와 활성화함수, Softmax·Sigmoid, KL Divergence와 Cross Entropy를 코드와 함께 다룹니다.

[LLM] 02. 신경망은 어떻게 학습하는가 — 역전파와 Adam

순전파·손실 계산·역전파로 이어지는 신경망 학습 과정을 Chain Rule과 경사하강법 관점에서 정리합니다. Local Minimum 문제를 보완하는 Adam Optimizer, Batch Size·Epoch·Step 개념을 코드와 함께 다룹니다.

[LLM] 03. RNN에서 Transformer까지 — 언어모델의 진화

인코더-디코더 RNN의 장기 의존성 문제부터 RNN Attention, 그리고 순차 구조 자체를 끊어낸 Transformer까지 언어모델 아키텍처의 진화 과정을 정리합니다. BERT·GPT·T5 구조의 차이도 함께 다룹니다.

[LLM] 04. 토크나이징과 임베딩 — 텍스트를 벡터로

텍스트를 토큰 ID로 바꾸는 토크나이징, 토큰을 벡터로 바꾸는 임베딩, 그리고 절대·상대 위치 인코딩과 RoPE까지 GPT 입력 표현을 다룹니다. PyTorch Dataset/DataLoader 구현 예제를 포함합니다.

[LLM] 05. Self-Attention 완전분해 — Q, K, V부터 Multi-head까지

Query, Key, Value로 나누는 이유부터 Scaled Dot-Product Attention, Causal Masking, Multi-head Attention까지 Self-Attention의 계산 과정을 수식과 PyTorch 코드로 분해합니다.

[LLM] 06. GPT 아키텍처 해부 — 정규화, FFN, Residual, 샘플링

Multi-head Attention을 감싸는 GPT 블록의 나머지 구성요소인 LayerNorm, Feed Forward Network, Residual Connection, Dropout을 조립하고, Temperature·Top-K 샘플링으로 다음 토큰을 생성하는 과정을 다룹니다.