.NemoBox.

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※ 오늘은 LLaMAFactory를 활용하여 Hugging Face 데이터셋을 기반으로 파인튜닝의 과정을 학습했습니다.지난번에 둘러본 RunPod 위에 'A100 SXM' GPU를 2대를 놓고 멀티 GPU 환경에서 라마 모델을 튜닝하게 되었습니다.아무래도 대형 언어 모델을 직접 학습시켜보는 건 처음이다보니 아직 이 프로세스가 익숙하진 않았지만!꽤나 재밌었습니다 :) 🦙 LLaMAFactory 란 무엇인가요?LLaMAFactory는 HuggingFace 기반으로 작동하는 경량 파인튜닝 프레임워크입니다.RunPod의 주피터 노트북을 통해 workspace 안에 git clone을 통해 라마팩토리를 다운받아야합니다. https://git..

※ 본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. ※ 오늘은 금융 뉴스 데이터를 기반으로 LLM 파인튜닝용 데이터를 만드는 과정을 실습했습니다 :-) 🔧 RunPod?RunPod은 AWS처럼 GPU 클라우드 서버를 대여할 수 있는 플랫폼입니다.다양한 GPU를 고르고 개수와 요금 지불 정책을 선택하여 pod을 배포할 수 있다는 점이 매력적이었네요.강의에서는 대형 모델 파인튜닝에는 최소 A100 SXM급 GPU를 추천했습니다.그 이유는:메모리 요구량이 매우 높음 (예: 4bit QLoRA라도 48GB 이상 권장)학습 속도와 안정성이 저사양 대비 월등히 차이남강의에서는 “안 쓸 땐 꼭 끄고, 삭제하자!”는 경고도 전해주셨는데요.AWS 사용하면서 과금 폭탄 맞았던 기억이 새록새록 나네요...