검색 증강 생성 (RAG)

이번에 데이터사이언스 캡스톤 디자인을 하면서 LLM을 사용하게 되었는데, LLM에 외부 데이터 소스를 연동하는 방법으로 RAG를 주로 쓰게 될 것 같아 관련 내용을 공부하고 정리해보았다. LLM에 외부 데이터 소스 연동하는 이유? ex) 2021 data 가지고 있고, 이를 통해 LLM 학습 시킬 때, 아무리 성능이 좋은 모델이더라도 2022년 정보 등등 학습과정에서 보여주지 않은 정보들에 대해서는 제대로 답변할 수 없음 LLM에 외부 데이터 소스를 연동하는 법 LLM에 학습과정에 포함되지 않은 지식을 주입하는 방법은 크게 2가지이다. 1. Fine-tuning : 새로운 지식에 관한 텍스트 데이터 소스를 이용해서 LLM의 파라미터를 fine-tuning 함. 새로운 데이터 모아서 -> 기존의 pre-t..