패스트캠퍼스 환급챌린지 3일차 : 파인튜닝과 RAG로 완성하는 맞춤형 LLM 서비스 개발 강의 후기

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※

---

 

요즘 ChatGPT가 워낙 잘 나가다 보니(브랜딩을 잘한 것도 있고) 'LLM = GPT' 라고 생각하는 분들이 많습니다.

실제로는 , Gemini, Claude 등등... 다양한 거대 LLM GPT 모델이 존재하는데 말이죠.

 

GPT는 ‘다음 단어를 예측’하는 단순한 언어모델에서 출발했습니다.

이전 단어들을 입력으로 받아서 다음 단어를 하나씩 생성하고, 그렇게 만든 단어까지 다시 넣어 또 예측하는...

마치 ‘도미노’와 같은 구조로 문장을 예측하고 생성하죠.

 

GPT 시리즈는 버전이 올라갈수록 파라미터, 레이어수, 학습데이터양 등이 기하급수적으로 늘어납니다.

GPT-4는 그 파라미터의 수가 5000억~1조9000억 개 정도로 추정하죠.

이러다 보니 자연스럽게 GPT를 거대 언어 모델, 즉 LLM이라고 부르게 되었습니다.

 

BERT vs GPT vs T5/BART… 뭐가 더 좋은 거야?

GPT는 트랜스포머의 디코더 구조만을 사용합니다.

반면, 지난 포스트에서 소개한 BERT는 인코더만 사용하는 모델이죠.

BERT는 분류나 추출에 강하고 GPT는 생성에 특화되었다고 소개했습니다.

 

T5와 BART라는 모델도 있습니다.

이 모델들은 트랜스포머의 인코더와 디코더 아키텍처를 모두 갖춘 모델입니다.

인코더에 마스킹이 된 문장을 입력하면, 디코더는 망가뜨린 문장의 원래 문장을 복원하는 방식으로, 서로 협동하며 학습하죠.

강의에서 강사님이 컨설팅을 해주었던 문제 사례가 인상깊었습니다.

 

 

“공장 내부에 인터넷과 GPU가 없는데 GPT를 쓰겠다고요?”

 

 

예를 들어, 보고서에 양식 없이 작성된 내용으로부터 불량유형/조치내용/설비명 항목을 추출해야 한다면 어떻게 해야할까요?

이럴 땐 T5 같이 LLM보다 작은 모델이 적합할 수 있겠습니다.

LLM은 그 크기나 비용이 환경에 따라 운용이 불가능하지만,

T5와 같은 인코더-디코더 모델은 보다 작은 크기에서 '분류와 생성 모두 가능'하기 때문입니다. 

 

Best Tech는 언제나 Best Solution이 될 수는 없습니다 😋

 

왜 최신 LLM은 디코더 Only 아키텍처를 가질까?

결론부터 말해본다면, 속도와 효율성 때문입니다.

인코더-디코더 구조는 크로스 어텐션(cross-attention), 즉 인코더와 디코더 간에 데이터 이동과정에서 병목이 발생하게되고 계산이 느려지게 됩니다.

자연스럽게 디코더에만 학습을 시킬 때보다 그 효율성이 낮아지죠.

그래서 대형 모델은 대부분ㅇ 디코더 Only 구조(GPT 계열)를 택한다고 합니다.

---

 

어느덧, 환급챌린지를 시작한지 3일차가 되었습니다.

같은 주제의 내용을 매일 조금씩이나마 공부하는 느낌을 오랜만에 받아보네요. 

고등학교 이후로 처음일 수도 있겠어요 🐥

더 궁금해지고 배우고 싶은 마음이 커집니다.

내일도 화이팅해서 공부해보겠습니다 ;)

 

① 오늘자 날짜, 공부 시작, 종료 시각 포함 사진 각 1장

패스트캠퍼스_LLM 서비스개발  _3일차_공부시작/종료시간

 

 

② 1개 클립 수강 인증 사진 1장 / 학습 인증 사진 1장

패스트캠퍼스_LLM서비스개발 _3일차_수강인증 /학습인증사진

 

 

③ 챌린지 대상 강의 완강률 캡쳐 사진 1장

패스트캠퍼스_LLM서비스개발_3일차_완강률캡처

 

---

 

https://fastcampus.info/4n8ztzq

(~6/20) 50일의 기적 AI 환급반💫 | 패스트캠퍼스