패스트캠퍼스 환급챌린지 37일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

 

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

RAG(Retrieval-Augmented Generation, 검색 기반 생성) 시스템을 사용하다 보면,

검색 결과에 답이 없을 때도 있겠습니다.

그런데 이때, LLM이 답을 하려 들면 문제가 생기죠.

이를 바로 환각, 즉 할루시네이션(Hallucination)현상 이라고 말하는데요.

사실이 아닌 내용을 마치 있는 것 처럼, 그럴듯하게 말해버리는 현상이죠.

오늘은 이런 상황을 막기 위해 "No Answer 데이터셋" 을 제작하는 실습을 진행했습니다. 😇

 

🧩 No Answer 질문 생성 방식

이번 실습은 다음과 같은 흐름으로 진행됐습니다.

• 각 샘플마다 문서 5개를 묶어서 모델에 입력
• 각 문서와 관련된 질문을 1개씩 생성하되, 5개 문서 중 그 어떤 걸 사용해도 답할 수 없는 질문만 생성
• 생성된 질문이 실제로 답을 찾을 수 없는지 판단
• 일부라도 문서와 겹치는 내용이 있으면 "=> False"로 표시해서 제외

이 과정을 거쳐 최종적으로는 "=> True"만 남긴 진짜 No Answer 질문들만 추렸어요.

질문은 존댓말과 반말을 교차하며 자연스럽게 구성했고,
답변 생성용 프롬프트와의 연계를 고려해 질문 길이도 짧게 제한했습니다.

 

🛠 데이터 구조 및 정제

실습에서 정제된 데이터는 아래와 같은 컬럼으로 구성했습니다.

• no_answer_question: 답을 찾을 수 없는 질문
• search_result: 함께 제공된 문서 5개
• no_answer: 모델이 생성한 답변
• extracted_ref_numbers: 인용이 발생한 문서 번호 (없어야 정답)

답변이 아래와 같은 형식을 따르지 않은 경우는 필터링했어요.

검색 결과에는 ~~~에 대한 정보를 찾을 수 없습니다.

 

이 형식을 지키지 않고 괜히 [[ref3]] 같은 인용을 한 케이스도 있었는데,

이건 모델이 답을 "하려고 들었다"는 뜻으로 볼 수 있죠. (할루시네이션...)

그런 응답은... 제거했습니다! 😋

 

🔍 할루시네이션 방지 프롬프트 설계

답변 생성 시에는 검색 결과 내에 답이 없으면 반드시 "없다"고 말하수있도록 했어요.

 

예시:

질문: 중국의 던전앤파이터 인기 순위는 어떻게 되나요?
답변: 검색 결과에는 중국의 던전앤파이터 인기 순위를 찾을 수 없습니다.

 

이렇게 답을 회피하는 로직은 RAG 모델 튜닝 단계에서 반드시 필요한 구조예요.
기본적인 LLM은 알고있는 정보가 없을 땐 없는 정보를 "만들어내는" 경향이 있는데요.

특히 RAG는 검색된 결과가 없을 때, 할루시네이션이 발생할 확률이 높기 때문이죠.모른다고 말하기  용기가 필요하거든요.

---

🤔 배운 점과 고민 포인트

✨ 배운 점

• 검색 기반 응답 시스템에서는 검색 결과가 없음에 따라 발생할 수 있는 할루시네이션 방지하는 것이 중요!
• 질문이 실제로 답을 유도할 수 없는 구조인지 사전 검증하는 과정이 필수
• 이 데이터셋을 통해 모델의 회피 응답 학습도 가능하다는 점에서 새로운 경험

🤔 고민 포인트

• 어디까지를 ‘모른다’로 판단할 것인가?
  완전히 일치하는 정보가 없을 때, 혹은 유사한 개념이 있을 때 등, 그 기준을 정하는 것에 대한 고민!
• 실제 서비스에서 적용 시 조건 분기 처리
  검색 결과가 없을 때 "죄송합니다, 답을 찾지 못했어요" 같은 대답을 사용자에게 어떻게 보여줄지에 대한 고민(UX)

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발_37일차_공부시작/종료시간

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM 서비스개발_37일차_수강인증/학습인증

 

 

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

패스트캠퍼스_LLM서비스개발_37일차_완강률캡처

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스