※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※ 오늘은 LLaMAFactory를 활용하여 Hugging Face 데이터셋을 기반으로 파인튜닝의 과정을 학습했습니다.지난번에 둘러본 RunPod 위에 'A100 SXM' GPU를 2대를 놓고 멀티 GPU 환경에서 라마 모델을 튜닝하게 되었습니다.아무래도 대형 언어 모델을 직접 학습시켜보는 건 처음이다보니 아직 이 프로세스가 익숙하진 않았지만!꽤나 재밌었습니다 :) 🦙 LLaMAFactory 란 무엇인가요?LLaMAFactory는 HuggingFace 기반으로 작동하는 경량 파인튜닝 프레임워크입니다.RunPod의 주피터 노트북을 통해 workspace 안에 git clone을 통해 라마팩토리를 다운받아야합니다. https://git..
