這篇文章,我分享一下如何在我的 macOS 上,把 MiniMax H3 這個模型成功跑起來。
為何我要堅持在 macOS 跑起來這件事呢?
這是因為,8bit 量化永遠比 nvfp4 具備更好的質量,無論在提示詞的遵守能力,以及畫面元素的運動表達下。
weights/
├── tokenizer/tokenizer.json
├── mlx-8bit/te_qwen3vl_a8g32.safetensors
├── mlx-8bit/dit_fl2va_a8g32.safetensors
├── mlx-8bit/dit_ref2va_a8g32.safetensors
├── adapters/minimax-h3-turbo/
│ ├── minimax_h3_turbo_v4_step600_ema.safetensors
│ └── minimax_h3_turbo_4step_ema_ckpt850.safetensors
└── bf16/vae/
├── minimax_h3_video_vae_fp16.safetensors
└── minimax_h3_audio_vae_fp32.safetensors
為了在 M2 Ultra 128g 平穩時間長時間運行,分段和 AGX RELAX 是必不可少的參數。
QKV 2,048/SDPA 512/MLP 2,048 三段 chunking + AGX_RELAX_CDM_CTXSTORE_TIMEOUT=1
然後,我的 4070Ti 12G vRAM 機器,作為快速預覽機。
mlx-h3。mlx-h3 先跑通 18,916-row、28,548-row 任務,接着挑戰 1280×736、362-frame Base-20。AGX_RELAX_CDM_CTXSTORE_TIMEOUT=1 後,明確 Metal error 變成全 NaN。它改變了失敗表面,沒有修好 correctness。QKV 2048 + SDPA 512 + AGX=1 + finite guards 做 bounded step-5 qualification,並判斷 chunk 154 沒有特殊數學意義。