패스트캠퍼스 환급챌린지 12일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

오늘은 RAG의 답변 품질 관리와 이를 위해 설계된 RAG 특화 LLM들을 공부했습니다.

 

📌 RAG에서 출처, 왜 중요할까?

RAG 프롬프트에는 반드시 두 가지 요소가 필요합니다.

 

1️⃣ 검색 결과 (retrieved documents)
2️⃣ 사용자의 질문 (user query)

 

이 두 가지가 없다면 LLM은 검색 기반 답변을 생성할 수 없습니다.
그런데 문제가 하나 있죠. 바로 "검색된 결과에 질문에 대한 답이 없을 때는?"

 

만약 검색 결과가 없다면, LLM은 할루시네이션(hallucination), 즉 ‘지어내기’를 할 가능성이 높습니다.

검색 결과가 없을 때 사용자는 받은 답변을 신뢰하기 어려울 수밖에 없겠죠...

 

💥 Agent RAG: 실패에 재시도하는 파이프라인

이러한 문제를 해결하기 위해 Agent RAG라는 개념이 등장했습니다.
Agent RAG는 정보 검색에 실패했을 때, 설계된 파이프라인에 따라

자율적으로 검색을 재시도 하거나,구글, 네이버 같은 외부 웹 검색을 통해 부족한 정보를 보완하게 됩니다.

 

사용자 입장에서는 할루시네이션 된 검색 결과에 반해 훨씬 신뢰성 있는 답변을 받을 확률이 높아지겠죠?

 

🏢 Cohere의 RAG-optimized 모델

Cohere는 RAG 전문 LLM 기업이 있다고 합니다.
이 회사의 RAG 특화 모델은 답변을 할 때, 정보가 나오는 모든 구간마다 정보 출처 문서 번호를 함께 제공합니다.
사용자는 답변을 읽고 각 부분이 어디서 왔는지 쉽게 검증할 수 있으며, 모델 자체에서도 할루시네이션을 줄이고, 신뢰성을 높이는 데 큰 강점을 갖고 있는 방식이라고 합니다.

---

💡 오늘의 인사이트

답변의 품질뿐 아니라 ‘출처’를 통해 신뢰성을 관리해야 한다.

 

RAG 파이프라인을 설계할 때는 검색 실패 대응, 출처 제공을 통해

할루시네이션을 방지할 수 있는 시스템 차원의 설계가 꼭 필요하다는 점 배울 수 있었습니다.

 

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발_12일차 _공부시작/종료시간

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM 서비스개발_12일차_수강인증/학습인증사진

 

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

패스트캠퍼스_LLM서비스개발_12일차_완강률캡처

 

 

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스