배치 정규화 (Batch Normalization)

마일스톤 학습법으로 단계별 완전 정복

딥러닝

Batch Normalization

배치 정규화

Layer Norm

Group Norm

RMSNorm

학습 안정화

이 개념 직접 실험하기 — 배치 정규화 실습

이 학습을 통해 달성할 수 있는 목표

기초 이해

• BN의 4단계 동작 이해
• BN의 효과 (학습 가속·안정화) 파악
• 학습 시와 추론 시 동작 차이 인지

심화 학습

• BN 수식과 미니배치 통계 계산
• EMA 추론과 배치 의존성 이해
• 작은 배치에서 BN 한계 인지

실무 적용

• LN/GN/IN/RMSNorm 사용 시점 판단
• BN의 진짜 효과(손실 매끄러움) 이해
• 아키텍처별 정규화 선택 근거 제시

한눈에 보기

배치 정규화는 각 층의 입력을 미니배치 단위로 평균 0·분산 1로 정규화한 뒤 학습 가능한 스케일·이동을 적용해 학습을 안정·가속하는 기법이다.

층 입력 분포의 변동(내부 공변량 이동)을 줄여 더 큰 학습률과 빠른 수렴을 가능케 한다.
약한 정규화 효과가 있어 드롭아웃 의존을 줄이기도 한다.
추론 시에는 배치가 아니라 학습 중 누적한 이동평균 통계를 사용한다.

이 내용은 너멜엠의 배치 정규화 실습에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해

개념 정의와 기본 원리

약 25분

클릭

심화 학습

공식 유도와 다양한 예시

약 40분

클릭

실무 적용

실제 케이스와 고급 응용

약 55분

학습 진도 (완료한 단계)

먼저 알아두면 좋은 개념들

CNN →

BN은 CNN의 깊은 학습을 가능케 한 핵심 기법으로, CNN 구조를 먼저 이해해야 합니다.

옵티마이저 →

BN이 어떻게 옵티마이저의 effective 학습률을 키우는지가 핵심 효과입니다.

기초 단계각 층의 입력을 안정시키기

기초 단계: 각 층의 입력을 안정시키기

난이도 3/5

약 25분

배치 정규화(BN)는 신경망 각 층의 입력을 미니배치 단위로 평균 0, 분산 1로 정규화한 뒤 학습 가능한 스케일·시프트(γ, β)를 적용하는 기법입니다. 깊은 신경망이 안정적으로 학습되도록 만든 결정적 혁신입니다 (Ioffe & Szegedy, 2015).

학교 시험에서 과목마다 점수 분포가 다르면 비교가 어렵습니다. 모든 과목을 평균 0, 표준편차 1로 표준화하면 비교가 쉬워지죠. BN도 마찬가지입니다 — 학습이 진행되며 각 층의 출력 분포가 흔들리는 것을 매번 표준화해 다음 층이 안정적인 입력을 받게 합니다. 동시에 학습 가능한 γ, β를 두어 모델이 필요하면 다시 분포를 늘릴 수도 있습니다.

핵심 포인트

•내부 공변량 변화: 학습 중 각 층 입력 분포가 변하는 현상
•4단계: 평균 → 분산 → 정규화 → 스케일·시프트 (γ, β 학습)
•학습 시 미니배치 통계 사용, 추론 시 학습 중 누적한 EMA 사용
•대안: Layer Norm(Transformer), Group Norm(작은 배치), Instance Norm(스타일 변환)

간단한 예시

CNN의 한 합성곱 층을 가정: • 미니배치 32개의 활성값 평균=2.3, 분산=4.5 • BN 적용 → 평균≈0, 분산≈1로 표준화 • γ=1.2, β=0.3으로 다시 스케일·시프트 결과: • BN 없음: 5 epoch에 학습 발산, lr=0.001만 가능 • BN 있음: lr=0.1도 안정, 10배 빠른 수렴

딥러닝 이론 페이지로 돌아가기