Retour au Wiki Inférence

FP8 vs GGUF

FP8 et GGUF se réduisent tous deux Wan, mais ils ne sont pas interchangeables. FP8 est un type d'élément de noyau tensor GPU sur un graphique dense. GGUF est un format de fichier quantifié par bloc (Q4Q8) conçu pour les chargeurs qui déquantifient les carreaux en vol.

e4m3Q4_KComfyUI
Sur cette page 4
FP8 contre GGUF contre d'autres Wan les voies de compression
FP8 reste dans le chemin matmul CUDA. GGUF est un format de stockage/exécution du monde llama.cpp.

FP8 (e4m3 / e5m2)

  • Native sur les cœurs de tensor Ada/Hopper/Blackwell.
  • Habituellement, une FP8 DiT plus un chemin résiduel FP32/BF16; VAE reste souvent plus précis.
  • Les outils: DiffSynth-Studio, LightX2V, certains ComfyUI fp8_e4m3fn séfétensors.
  • Qualité: généralement la plus proche de bf16 des options bon marché si l'étalonnage est raisonnable.

GGUF (Q8_0, Q5_K, Q4_K, …)

  • Quantisation de bloc avec des matrices d'importance optionnelles (quants K).
  • Populaire dans ComfyUI-GGUF pour WAN/Flux/Qwen afin qu'une carte 16 GB puisse charger un 27B-total MoE.
  • La vitesse dépend du noyau dequant. Sur un GPU fort, Q4 peut être plus lent que FP8 en raison de l'utilisation de dequant + moins de noyau tensor.
  • Deux experts signifient toujours deux fichiers GGUF pour A14B dans de nombreux graphiques.
Le dépôtFP8GGUF Q4 et Q5
Typique GPU4090 / 5090 / A100+12–24 GB consommateur
GraphiqueDensité FP8 GEMMTire de déquant → GEMM
Qualité la plus proche de bf16Généralement FP8Q8 fermé; Q4 plus doux
ChargementDiffSynth, originaire ComfyComfyUI-GGUF, à la forme de llama.cpp
MoEGardez les deux experts, peut-être déchargerSouvent, les fichiers sont divisés + déchargement séquentiel

Questions fréquentes

Le modèle officiel quantifié est-il GGUF?
Il s'agit d'un re-pack communautaire. Hash et VAE doivent correspondre à la parenté (A14B vs 5B vs I2V).
NVFP4?
Les formats LightX2V de style 4 bits GPU plus récents. plus proches de FP8 en esprit (GPU GEMM) que des fichiers GGUF.

Sources primaires

Vérifié avec le README Wan-Video/Wan2.2 · 28 août 2026

© 2026 wan2.video