FP8(e4m3 / e5m2)
- Ada / Hopper / Blackwell tensor core 原生支持。
- 通常是 FP8 DiT 加一条 FP32/BF16 残差;VAE 往往保持更高精度。
- 工具:DiffSynth-Studio、LightX2V、部分 ComfyUI 的 fp8_e4m3fn safetensors。
- 画质:校准正常时,通常是便宜方案里最接近 bf16 的。
GGUF(Q8_0、Q5_K、Q4_K …)
- 分块量化,可选重要性矩阵(K-quant)。
- 在 ComfyUI-GGUF 里流行,让 16 GB 卡也能加载总参 27B 的 MoE。
- 速度取决于反量化内核。在强 GPU 上 Q4 可能比 FP8 更慢,因为要反量化、tensor core 利用率更低。
- 很多图里 A14B 仍是两个专家对应两个 GGUF 文件。
| FP8 | GGUF Q4/Q5 | |
|---|---|---|
| 典型 GPU | 4090 / 5090 / A100+ | 12–24 GB 消费卡 |
| 计算图 | 稠密 FP8 GEMM | 反量化 tile → GEMM |
| 相对 bf16 画质 | 通常 FP8 更近 | Q8 接近;Q4 更软 |
| 加载器 | DiffSynth、原生 Comfy | ComfyUI-GGUF、llama.cpp 风格 |
| MoE | 两个专家都留着,或 offload | 常拆文件 + 顺序换入 |
常见问题
- GGUF 是「官方量化模型」吗?
- 是社区重打包。哈希和 VAE 必须对上父模型(A14B vs 5B vs I2V)。
- NVFP4?
- 更新的 LightX2V 风格 4-bit GPU 格式。精神上更接近 FP8(GPU GEMM),而不是 GGUF 文件。
一手来源
对照 Wan-Video/Wan2.2 README 核对 · 2026-08-28
