파인튜닝은 CPU 및 저사양 환경에서는 시간이 너무 오래 걸리므로 RUN POD 플랫폼 활용

실습 환경세팅

• RunPod 회원 가입 및 결제

• Pod 스펙 지정(권장)

  • 최소형 GPU 세팅: RTX A4500 또는 RTX A5000, RTX A6000
  • 디스크: 40GB 또는 80GB
  • 유럽/미국의 새벽시간인 한국기준 오전에 실행하는것을 권고

• 인스턴스를 띄워 Jupyter로 접속한 뒤, 터미널을 열어 아래 작업을 실행

• Hugging Face 토큰(HF_TOKEN) 세팅

  # 1) 현재 셸에만 적용(세션 종료 시 사라짐)
  export HF_TOKEN="xxxxx"
  # 2) 매번 자동 적용(~/.bashrc에 추가)
  echo 'export HF_TOKEN="xxxxx"' >> ~/.bashrc
  source ~/.bashrc
  

• github 소스코드 클론(ai_agent_chatbot)

LoRA 학습/병합 실행 전 필수 패키지 설치

python -m venv .venv
cd .venv/bin
chmod 777 activate
source ./activate
pip install -r requirements.txt

학습진행

• 1.sllm_pinetunnig_data.py 실행 → data생성
• 2.sllm_lora_learnning.py → 학습 및 병합
• 3.tunning_model_upload.py 실행 → hugging face에 어댑터/병합모델 업로드

base모델 vs 튜닝모델 비교 테스트

• base 모델 실행

  apt-get update
  apt-get install -y zstd
  curl -fsSL <https://ollama.com/install.sh> | sh
  ollama serve > ollama.log 2>&1 &
  ollama run llama3.2:3b
  

• 병합모델 실행 및 테스트

  • 튜닝과 마찬가지로 실행도 적절한 성능이 아니면 오래 걸릴수 있으므로 runpod에서 진행
  • 4.tunning_model_test.py를 통해 튜닝 모델 실행
  • “세금계산서 발행 가능해?”를 통해 각기 다른 분류결과 확인