패스트캠퍼스 환급챌린지 16일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

벌써 16일차 블로그 포스팅이네요 😃

오늘은 LLM 문제 해결 능력을 주제로 강의를 들었습니다.

그동안은 LangChain, ReAct, Function Calling 같은 도구들을 ‘어떻게 쓸 것인가’에 집중해왔다면, 이번에는 문제 정의부터 모델 선택, 데이터 설계, 튜닝, 평가까지 전체 과정을 한눈에 바라보며 고민하는 시간이었습니다.

 

---

 

문제를 정의하는 단계에서 우리는 어떤 점을 고민해봐야할까요?

 

단순히 분류 문제인지, 생성 문제인지, 복잡한 추론 문제인지 구분하는 것에서 그치지 않고, 데이터 특성을 파악하고 도메인 복잡성까지 따져야 합니다.

특히 ‘이 문제는 RAG로 풀릴까? 아니면 파인튜닝까지 시도해봐야 할까?’ 같은 질문은 단순히 기술적 고민을 넘어 주어진 리소스, 시간, 배포 환경까지 고려하는 현실적 문제들도 함께 돌아봐야한 다는 점이 어려운 부분인 것 같습니다.

 

모델 선택도 마찬가지입니다.

빠른 임베딩이 필요하다면 BGE, E5 같은 모델을, 생성이 목적이라면 Llama, Qwen, Gemma, 복잡한 추론은 GPT-4o, Claude, o1 같은 초거대 모델을 고려하겠죠.

하지만 GPU 가용성, 비용, 개발·추론 속도, 배포 환경 같은 현실적인 조건에서 모델이 결정될 수 있습니다.

 

GPT-4나 Claude 같은 LLM으로 데이터를 새로 생성하거나 기존 데이터를 증강하는 등 다양한 데이터 확보 전략이 곳곳에서 사용되고 있습니다.

생성 데이터의 품질을 어떻게 검증할지는 여전히 어려운 과제이구요.

LLM을 활용해 스스로 검증까지 수행하도록 프로세스를 설계할 수 있지만, 동시에 그만큼 더 많은 설계 책임이 개발자에게 쥐어진다는 점은 무겁게 다가왔습니다.

뿐만아니라, Few-shot, Chain-of-Thought, 페르소나 프롬프트 등 프롬프트 엔지니어링에 대한 고민도 빠질 수 없겠죠?

 

모델 튜닝 방법도 다양합니다.

풀파인튜닝부터 일부의 파라미터만 효율적으로 조정하는 LoRA, 양자화를 하는 QLoRA 등등.

파인튜닝을 하면 성능은 유효하게 증가하겠지만 문제의 복잡성, 자원 상황, 프로젝트 목표에 따라 최적의 방법을 고르는 안목이 필요하다는 점을 배웠습니다.

 

평가는 단순히 정량적인 지표를 보는 게 아니라고 합니다.

분류 문제라면 정확도, F1, AUC 같은 정량 지표를, 생성 문제라면 할루시네이션, 유해성, 편향성 같은 정성 지표까지 챙겨야 합니다.

실패 사례를 모아 원인을 분석하고, 타겟 데이터를 보강하며 개선하는 반복이야말로 진짜 문제 해결의 본질일 수도 있겠네요.

 

처음 이 강의를 수강하기로 했을 때, 단순히 해당 기술을 습득하고자 하는 목적이 컸습니다.

오늘 강의를 통해서 LLM이라는 도구를 그저  필요하니까 사용하는 사람이 아닌,

문제를 정의하고, 자원을 고려해 최적의 방법을 설계하고, 개선을 이끌어내는 '문제해결 능력'을 갖춘 엔지니어가 되고자하는 마음가짐을 갖게 되었습니다.

 

AI의 성능은 앞으로 더 강력해지겠죠.

점점 '나'라는 인재가 갖추어야할 '능력'의 평가 기준 또한 바뀔지도 모르겠습니다.

그럼에도 변치 않는건, 

 

"주어진 상황속에서, 제 위치를 파악하고 나아가야할 방향을 향해 마땅히 나아가는"

 

"능동적인 메타적 사고 능력" 이지 않을까 생각합니다.😗

---

 

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발_16일차_공부시작/종료시간

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM서비스개발_16일차_수강인증/학습인증

 

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

패스트캠퍼스_LLM서비스개발_16일차_완강률캡처

 

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스