카카오톡 챗봇 만들기 - 스킬 서버 연결(ngrok 이용)

[데이터사이언스캡스톤디자인] 수업에서 sLLM을 활용하여 법률 상담 챗봇을 만드는 프로젝트를 진행중이다.모델 구현을 어떤 방식으로 할까 고민해보았을 때, 카카오톡 챗봇에 우리가 개발한 모델을 연결하는 것이 사용자들에게 가장 접근성이 좋을 것 같아 카카오톡 채널에 연결을 시도하였다. 하지만.. 쉽지 않았다ㅎ일단 나는 flask나.. 웹이나 서버쪽 수업을 들은 적이 없어서 더 어렵기도 했고, 카카오톡 챗봇 만든 사례들을 찾아보면 대부분 시나리오 형식으로 특정 input을 지정해주는 경우가 많았는데, 우리는 그렇게 특정 질문만을 정해서 받을 것이 아니었기 때문에.. 그래서 대안책으로 생각한게 요즘 새로 나온 Langserve나 모델 구현 및 데모에 많이 쓰는 Streamlit인데,이 두 방법을 사용해서 구현해..

• format_list_bulleted Deep Learning & AI/NLP
• · 2024. 5. 18.
• textsms

검색 증강 생성 (RAG)

이번에 데이터사이언스 캡스톤 디자인을 하면서 LLM을 사용하게 되었는데, LLM에 외부 데이터 소스를 연동하는 방법으로 RAG를 주로 쓰게 될 것 같아 관련 내용을 공부하고 정리해보았다. LLM에 외부 데이터 소스 연동하는 이유? ex) 2021 data 가지고 있고, 이를 통해 LLM 학습 시킬 때, 아무리 성능이 좋은 모델이더라도 2022년 정보 등등 학습과정에서 보여주지 않은 정보들에 대해서는 제대로 답변할 수 없음 LLM에 외부 데이터 소스를 연동하는 법 LLM에 학습과정에 포함되지 않은 지식을 주입하는 방법은 크게 2가지이다. 1. Fine-tuning : 새로운 지식에 관한 텍스트 데이터 소스를 이용해서 LLM의 파라미터를 fine-tuning 함. 새로운 데이터 모아서 -> 기존의 pre-t..

• format_list_bulleted Deep Learning & AI/NLP
• · 2024. 3. 25.
• textsms