패스트캠퍼스 환급챌린지 31일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

오늘은 파인튜닝한 임베딩 모델의 성능을 정량적으로 평가하는 방법을 학습했습니다.
지금까지는 느낌적인 느낌으로만, "잘 되는 것 같은데?", "결과가 더 좋아진 느낌인데?" 정도의 직관으로 평가를 했다면,

이제는 정확한 수치로 비교 분석이 가능해졌습니다...!

이번 강의를 통해서 앞으로의 파인튜닝에서 어떻게 성능이 개선되었는지, RAG  문서 검색 시스템을 얼마나 더 정밀하게 다듬었는지를 정량적으로 평가하기 위한 도구를 얻었다고 느껴졌습니다 😏

 

📊 어떻게 평가할까?

임베딩 모델은 사용자 질문(쿼리)과 문서(corpus)를 임베딩 공간에 위치시킵니다.

이때 질문과 관련된 문서는 가까이, 관련 없는 문서는 멀리 배치되도록 학습되죠. (복습복습...!)

그렇다면 학습이 잘 되었는지는!

문장을 얼마나 잘 매칭, 연결하느냐로 측정할 수 있습니다.

 

이를 위해 SentenceTransformer에서 제공하는 평가 도구
InformationRetrievalEvaluator를 활용하게 됩니다.

 

🧪 평가를 위한 세 가지 필수 구성요소

{
  "queries": {"q1": "서울의 인구는?", ...},  # 질문
  "corpus": {"d1": "서울은 약 970만 명의 인구를 가진 도시입니다.", ...},  # 문서
  "relevant_docs": {"q1": set(["d1"])}  # 질문에 해당하는 정답 문서
}

 

InformationRetrievalEvaluator(이하 IR)을 통해 평가를 진행하기 위해서는 위 세 가지 데이터가 준비되어야합니다.

이후, 모델로부터 "질문(queries)에 대해 관련된 문서가 상위 몇 위에 위치했는지"를 평가하는 구조입니다.

 

🔬 주요 평가 지표 정리

✅ Accuracy@k

질문에 대해 정답이 상위 k개의 결과 안에 포함되었는지를 측정합니다.

• Accuracy@5 = 0.9 → 전체 질문 중 90%는 상위 5개 안에 정답 포함!

✅ Precision@k

상위 k개의 검색 결과 중에서 정답의 비율을 측정합니다.

• Precision@5 = 0.2 → 5개 결과 중 평균적으로 1개만 정답

✅ Recall@k

전체 정답 중에서 상위 k개의 결과 안에 포함된 비율입니다.

정답을 놓치지 않고 얼마나 잘 찾아내는지를 보여주죠.

✅ NDCG@k

정답이 얼마나 높은 순위에 배치되었는지를 평가합니다.

• 정답이 1위 → NDCG = 1.0
• 정답이 3위 → 약 0.39

✅ MRR@k

정답이 처음 등장한 위치의 역수를 평균낸 값입니다.

• 정답이 1위 → 1.0
• 정답이 3위 → 1/3 = 0.33
• 정답이 10위 밖 → 0.0

✅ MAP@k

질문마다 정답을 찾을 때마다 Precision 값을 평균낸 값

• 정답이 많을수록, 그리고 상위에 배치될수록 높은 점수를 얻습니다.

---

🤔오늘의 배움과 고민 포인트

✨ 배운 점

• SentenceTransformer의 InformationRetrievalEvaluator... 꼭 체득해야할 도구...!
• 다양한 지표들을 통해 정확성, 포괄성, 정답 위치 등을 다각도로 파악할 수 있음

📌 고민 포인트

• 평가 지표가 좋은 모델이 실제로도 유용한가? 사용자 테스트와의 연결이 필요하지 않나?
• 단일 문서 매칭에 그치지 않고 복합 문서 조합에 대한 응답 평가로 이어지려면?

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발_31일차_공부시작/종료시간

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM 서비스개발_31일차_수강인증/학습인증

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

패스트캠퍼스_LLM서비스개발_31일차_완강률캡처

 

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스