• https://zenn.dev/kandkirby/articles/30e9f0a1da0199

  • Cloud GPUを使おう！

    • AIは爆発的な進化を続けており、自社のサービスにLLMを組み込むことになったエンジニアや、研究対象にLLMを用いる研究者が増えてきていると思います。
    • 一般的にモデルサイズを大きくするほど性能は上がりますが、70B程度になってくると、GPUが高価になり、実験的に使うためには割に合わないでしょう。
      • 例えばA100は$10,000程度するようで、とてもお小遣いではまかなえない。
    • そこで便利なのがCloud GPU serviceです。
    • 今回はRunpodというCloud GPU serviceを使ってLlama 70Bモデルを動かした際に陥った落とし穴やその注意点についてまとめました。

  • 70Bのモデルを動かすにはハイエンドGPUが必要。

    • 今回は推論用途のみで使用。量子化無しだとVRAMは140GB程度必要なようですが、実際には量子化無しでもA100(80GB)でも動作しました。

  • 環境構築の落とし穴①：ストレージ容量とマウント

    • defaultでは20GBのstorageしかなく、70Bモデルをダウンロードすることができません。200GBに拡張すると安定して動作しました。

      Screenshot 2026-02-11 at 16.25.34.png

    • root@3ae46da39590:/workspace/huggingface/hub/models--meta-llama--Llama-3.3-70B-Instruct# du -sh 132G .

  • 環境構築の落とし穴②：Hugging Faceのキャッシュ場所

    • ここで拡張するstorageは /workspace にmountされており、rootのstorageではないことにも注意が必要です。
    • Hugging Face modelはdefaultではrootにダウンロードされるため、ダウンロード先のpathを/workspace配下に設定し直す必要があります。
      • 例: export HF_HOME=/workspace/deception-detection/data/huggingface

  • 開発効率化の落とし穴③：LLM Agent/VS Code利用時

    • SSHの設定をすることで、VS Codeで操作できるようになり、お好みのLLM Agentを使うことができるようになります。設定方法はLLMに聞けば教えてくれるので、ここでは詳細は割愛します。
    • LLM Agentを活用する際、
      • LLMはプロジェクトがCloud GPUの環境内にあることを知らないので、modelをrootにダウンロードして容量不足エラーに陥ることがあります。そのため、事前に明示的にダウンロード先を指定したり、環境変数を設定しておく必要があることに注意が必要です。

  • コスト実績：論文再現プロジェクトの事例

    • 参考程度に、論文を再現するプロジェクトにかかった費用はこちらの通りです。意外とお小遣い程度で最先端の研究が再現できますね！
    • $1.4/hour
    • 合計 約$30

    image.png

  • まとめ

    • 今後もCloud GPUを使用する機会は増える一方だと思いますので、うまく活用していきたいですね！