패스트캠퍼스 환급챌린지 40일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

파인튜닝한 LLaMA 모델을 이제 RAG에 올려 가볍게 챗봇을 만들어보는 실습을 진행해봤습니다.
이번 실습의 핵심은 vLLM과 LangChain을 이용해, PDF 기반 문서 검색 + 응답 생성 파이프라인을 만드는 것이었습니다 😋

 

그럼, 시작해볼까요?

 

📂 PDF 데이터 로드 및 전처리

가장 먼저, RAG 검색 대상으로 활용될 자료를 준비했습니다.

강의에서 예제로 준비해준, '미국 ICT 정책 보고서' PDF를 다운받아 활용을 했습니다.

데이터 전처리 과정은 이전에 실습했던 것과 다르지 않았는데요.

아래의 과정을 거쳐 작업을 진행했습니다 :)

1. PDF 파일 다운로드
2. LangChain PyPDFLoader로 문서 로드
3. RecursiveCharacterTextSplitter로 청크 분할 (chunk_size=1000, chunk_overlap=200)
4. 길이가 10 이하인 청크를 제거하여 노이즈 데이터 필터링

이 과정을 거쳐 RAG 검색에 적합한 문서 조각 데이터셋을 준비했습니다.

 

🧠 임베딩과 벡터스토어 생성

• 임베딩 모델: BAAI/bge-m3
• GPU를 활용해 빠른 벡터 생성
• 저장소: Chroma DB (Chroma.from_documents)

임베딩 모델은 이전에 이렇게 하면 PDF 문서를 벡터로 저장하고,
질문 시 similarity_search로 관련 문서를 불러올 수 있습니다.

 

⚡ vLLM 모델 로드

그 다음, vllm을 활용하여 이전에 학습해둔 모델을 내려받았습니다.

강사님이 허깅페이스에 올려둔(이전에 실습한) 모델을 내려받아 사용했어요.

vllm_model = LLM( model="iamjoon/llama-3-8b-rag-ko-checkpoint-285", dtype="bfloat16", )

 

• 파인튜닝된 LLaMA 3 8B RAG 모델 로드
• SamplingParams( temperature=0, max_tokens=1024)

 

💬 Gradio 챗봇 UI

마지막으로 Gr.ChatInterface를 사용해 웹 UI 챗봇을 구현했습니다.

별다른 구현사항없이 함수를 동작시키는 것 만으로도 간단한 챗봇 UI가 구성되더라구요.

모델을 사용자에게 공개하기전 베타 테스트 단계에서 사용하기 좋을 것 같다는 생각을 했습니다.

demo.launch(share=True)로 퍼블릭 URL을 생성하여 웹 브라우저에서 바로 테스트도 가능했습니다.

---

🤔 배운 점과 고민 포인트

✨ 배운 점

• LangChain + Chroma 조합은 PDF 문서 기반 RAG에 최적
• 프롬프트에 문서 인용 규칙을 포함시키면 RAG 품질이 높아짐
• Gradio로 빠르게 UI를 붙일 수 있어 프로토타입 제작이 매우 효율적

🤔 고민 포인트

• 장기적으로는 Chroma 대신 FAISS나 Weaviate 같은 더 확장성 있는 벡터 DB 고려 필요하다고 함
• PDF 외에 웹 크롤링, DB 연동 등 다양한 데이터 소스를 통합하는 방안도 설계 필요

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발_40일차_공부시작/종료시간

 

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM 서비스개발_40일차_수강인증/학습인증

 

 

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

패스트캠퍼스_LLM서비스개발_40일차_완강률캡처

 

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스