Mixture of Experts (MoE)

commutateur SNR, pas routeur de jeton

Les entreprises de gestion des affaires de l'entreprise LLM envoient souvent chaque jeton à un sous-ensemble d'experts. Wan2.2le projet publié est plus grossier: l'ensemble de la procédure de dénonciation est effectuée par un expert. SNR Au début, t est grand, le bruit est élevé, SNR Le niveau de débit de la fréquence de débit est de 0,00 m3/min et le niveau de débit de débit de débit de débit est de 0,00 m3/min.

Pourquoi deux experts

Les premières étapes décident de la mise en page et du mouvement globaux; les étapes ultérieures décident des textures et des visages. La capacité de division le long de cet axe élargit le modèle sans doubler les FLOP par étape. Le README compare la perte de validation: Wan2.1 dense, mixte Wan2.1 + un nouveau expert, et complet Wan2.2 MoE le couple complet converge le plus bas.

Consequences de l'inférence

• VRAM continue de suivre un 14B DiT plus les poids du deuxième expert si les deux restent résidents.
• LoRAs nécessite généralement un fichier à haute fréquence et un fichier à faible fréquence.
• TI2V-5B n'est pas MoE c'est un 5B dense avec un VAE plus lourd.
• Le cache communautaire (Cache-dit) peut sauter le travail à l'intérieur de chaque expert séparément.

Questions fréquentes

Les deux experts courent-ils en avant?

Un expert par étape, passez une fois le long de la courbe SNR.

Je peux régler uniquement l'expert en basse fréquence?

Il est possible, et l'ablation READMEs teste même des experts mixtes mais la qualité diminue par rapport à l'entraînement de la paire.