layer normalization1 [Deep Learning] Batch/Layer Normalization 2025.03.15 - [Data & Research] - [ML & DL 기초] Table of Contents1. Batch NormalizationBatch Normalization의 핵심 아이디어는 내부 공변량 변화(Internal Covariate Shift) 문제를 해결하는 것입니다. 공변량 변화란 모델의 입력 데이터 분포가 훈련 시와 테스트 시에 달라지는 현상을 말합니다. 딥러닝 모델은 여러 층으로 구성되어 있는데, 학습 과정에서 이전 층의 파라미터가 변하면 현재 층에 들어오는 입력값의 분포가 계속해서 바뀌게 됩니다. 그런데, 이것은 딥러닝 학습의 입장에서 꽤나 문제가 된다는 건데요.1) 학습 속도 저하: 각 층은 계속해서 변하는 새로운 분포의 입력에 적응해야 하므로 학습률(learning .. 2025. 7. 2. 이전 1 다음 반응형
