패스트캠퍼스 환급챌린지 4일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

4일차 학습 일지입니다 :)

매일 어떤 내용을 써야할까 고민이 많이 드네요.

아직 강의는 개념 소개 정도이다 보니, 실습을 하면서, 고민을 하면서 얻는 인사이트를 공유하고 싶어도 하기가 어렵습니다...😉

이전 3일간의 일지 작성 내용을 돌이켜 봐도 대부분 요약에 그쳤는데요.

이제 슬슬 실습 강의가 다가오는 기분이가 드네요.

기초 개념은 언제나 중요하니까 오늘도 버텨보겠습니다!

 

⚔️ 인코더 vs 디코더, 장단점 정리

인코더 Only BERT는 문맥을 양방향으로 이해하고 빈칸 채우기에 특화된 반면, 디코더 Only GPT는 이전 단어로 다음 단어를 생성하는 순방향 구조로 작동합니다.

 

같은 문제라도 접근 방식은 완전히 다르죠.

 

분류(Classification) 문제일 경우,

• BERT는 분류를 숫자로 바꾸고 레이블을 맞추는 식으로 동작 (ex. 긍정: 1, 부정: 0)
• GPT는 “긍정이에요”라고 직접 텍스트를 생성

엔티티 인식(Entity Recognition)문제일 경우,

• BERT는 시작/끝 인덱스를 잡아서 키워드를 추출
• GPT는 질문 > 생성을 통해 문제 해결

이렇게 다른 두 모델의 장단점을 아래 표에 가볍게 정리해봤습니다. 

 

BERT	가볍고 정확도 높음, 문맥 이해 우수	생성 불가, 태스크별 모델 필요, 길이 제한
GPT	자연스러운 생성, 다용도 사용, 긴 문맥 처리	환각 발생 가능, 리소스 부담 큼, 완전한 제어 어려움

 

 

🛠️ Hugging Face와 한글 LLM 리더보드

Hugging Face, 오픈소스 LLM의 성지라고 합니다.

데이터셋, 모델, 토크나이저까지 모두 다운받아 실험해볼 수 있다고 해요.

특히 한글 기반 LLM도 많아서, 실무 적용을 고민하는 분들에겐 필수적인 공간입니다.

그동안 들어가 볼 일이 없었는데, 이 강의를 들으면서 자주 들어가게 되겠죠?

 

그리고, 허깅페이스를 통해 제공되는 한글 LLM 리더보드 라는 곳이 있다고 합니다.

LLM에게 다양한 문제를 풀게 하고 평균 점수가 높은 순서로 순위를 나열한 곳 인데...

리더보드 순위를 믿지마!

 

리더보드 상위 모델도 ‘리더보드에서 제공한 문제만 잘 푸는 모델’일 수 있다고합니다.

이걸 contamination(오염)이라고 한다고 하네요.

---

 

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발_4일차_공부시작/종료시간

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM서비스개발 _4일차_수강인증 /학습인증사진

 

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

 

 

 

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스