수강대상
- 벡터DB, RAG, LangChain, sLLM, 파인튜닝에 대한 기초가 전혀 없는 ai 입문개발자
- 최신 ai 트렌드에 대해 기술적 관점에서 이해해보고 싶은 기획자, PM 등
- RAG, LangChain 등에 대해 알고는 있지만, 검색고도화를 위한 캐싱, 토큰 절감 등에 대한 ai agent 심화 전략이 필요한 개발자
사용 기술 스택
- 백엔드 : fastapi, postgres
- AI : RAG(LangChain, pgVector), LLM(openai-과금발생), sLLM(llama), 파인튜닝(lora)
함께 만들어갈 고객센터 챗봇 서비스 아키텍처
- 챗봇질문
- 사용자는 쇼핑몰 고객센터 챗봇에서 어떤 질문이든 당사의 서비스를 통해 자연어 질의
- 질문 분류 및 분기
- fastapi 서버를 통해 사용자의 질의를 수신
- openai(LLM)를 통해 사용자의 질의를 서버에서 정한 카테고리에 맞게 분류
- 이 강의에서는 단순화를 위해 “주문관련”, “정책관련”, “민감정보” 크게 3가지 종류로 구분
- 질문에 따른 챗봇응답 방식
- 1.내 주문 내역 조회해줘(기존API 활용 응답)
- 기존 api가 제공해왔던 사용자의 주문내역은 RDB(구조화DB)에 저장
- 사용자ID값에 맞는 주문 내역을 RDB에서 조회하여 LLM으로 자연어 응답
- 2.환불문의는 어디에 해야해?(비구조화 정보 질의 응답)
- 사내정책/사내문서에 대한 정보는 비구조화된 문장형식으로 vectorDB에서 관리
- 예를 들어)
- “환불 책임부서는 고객지원팀입니다.” 문장이 답변일 경우,
- 이를 RDB에 저장한다면, “질의”에 대한 “답변문장” 검색 불가
- vectordb에 저장함으로서 가장 유사한 문장을 검색하여 답변
- 즉, “환불정책”, “FAQ” 등과 같은 문장 데이터는 vectorDB에 저장하고, LangChain 등을 활용하여 유사도(의미기반) 검색 후 LLM으로 응답
- 3.내 회원 정보 보여줘(민감정보 질의와 응답)
- 민감한 정보의 경우 LLM응답은 개인정보유출 우려
- 로컬에서 직접 실행하는 sLLM을 통해 응답을 하되, 적절한 파인 튜닝도 병행
- 1.내 주문 내역 조회해줘(기존API 활용 응답)
수업자료