FP8 与 GGUF

FP8 和 GGUF 都能缩小 Wan,但不能互换。FP8 是稠密计算图上的 GPU tensor core 元素类型。GGUF 是分块量化文件格式(Q4–Q8),给边加载边反量化的加载器准备。

e4m3Q4_KComfyUI
本页目录 4
FP8 与 GGUF 及其他 Wan 压缩路径
FP8 留在 CUDA 矩阵乘路径。GGUF 是来自 llama.cpp 世界的存储/运行时格式。

FP8(e4m3 / e5m2)

  • Ada / Hopper / Blackwell tensor core 原生支持。
  • 通常是 FP8 DiT 加一条 FP32/BF16 残差;VAE 往往保持更高精度。
  • 工具:DiffSynth-Studio、LightX2V、部分 ComfyUI 的 fp8_e4m3fn safetensors。
  • 画质:校准正常时,通常是便宜方案里最接近 bf16 的。

GGUF(Q8_0、Q5_K、Q4_K …)

  • 分块量化,可选重要性矩阵(K-quant)。
  • 在 ComfyUI-GGUF 里流行,让 16 GB 卡也能加载总参 27B 的 MoE。
  • 速度取决于反量化内核。在强 GPU 上 Q4 可能比 FP8 更慢,因为要反量化、tensor core 利用率更低。
  • 很多图里 A14B 仍是两个专家对应两个 GGUF 文件。
FP8GGUF Q4/Q5
典型 GPU4090 / 5090 / A100+12–24 GB 消费卡
计算图稠密 FP8 GEMM反量化 tile → GEMM
相对 bf16 画质通常 FP8 更近Q8 接近;Q4 更软
加载器DiffSynth、原生 ComfyComfyUI-GGUF、llama.cpp 风格
MoE两个专家都留着,或 offload常拆文件 + 顺序换入

常见问题

GGUF 是「官方量化模型」吗?
是社区重打包。哈希和 VAE 必须对上父模型(A14B vs 5B vs I2V)。
NVFP4?
更新的 LightX2V 风格 4-bit GPU 格式。精神上更接近 FP8(GPU GEMM),而不是 GGUF 文件。

一手来源

对照 Wan-Video/Wan2.2 README 核对 · 2026-08-28

© 2026 wan2.video