Mixture of Experts（MoE）

SNR 스위치, 토큰 라우터가 아닙니다

LLM MOE는 종종 각 토큰을 전문가의 하위 그룹으로 전달합니다. Wan2.2의 출판 설계는 더 어 있습니다. 전체 소용 단계는 한 전문가로 사용됩니다. SNR t가 감소함에 따라 떨어집니다. 시작 시 t가 크고, 소음이 높고, SNR는 SNR_min에 있으며, 고 소음 전문가가 단계를 소유하고 있습니다. 열계 c_moe는 SNR_min의 절반에서 정의됩니다. t < t_moe가 낮은 소음 전문가가 차지할 때.

왜 두 명의 전문가

초기 단계들은 전체적인 레이아웃과 움직임을 결정하고, 후진 단계들은 텍스처와 표면을 결정한다. 그 축을 따라 분할 용량은 단계별로 FLOP를 두 배로 늘리지 않고 모델을 확장한다. README는 검증 손실을 비교한다. Wan2.1 밀집, 혼합 Wan2.1 + 새로운 전문가, 및 전체 Wan2.2 MoE 전체 쌍이 가장 낮은 konverges.

유죄 판결의 결과

• VRAM는 여전히 14B DiT를 더하여 두 번째 전문가의 무게를 추적합니다. 두 사람이 거주하는 경우.
• LoRAs는 보통 고음파 파일과 낮은음파 파일이 필요합니다.
• TI2V-5B는 MoE 이 아니라 더 무거운 VAE가 있는 밀집 5B입니다.
• 커뮤니티 캐시 (Cache-dit) 는 각 전문가 내부의 작업을 개별적으로 건너뛰어낼 수 있습니다.

자주 묻는 질문

두 전문가 모두 한 발로 달려가나요?

발표된 일정에 포함되지 않습니다. 시간 단계마다 한 전문가, SNR 곡선을 따라 한 번 전환합니다.

저 소음 전문가만 조정할 수 있나요?

가능하고 README의 압축은 혼합 전문가들을 테스트하기도 하지만 양질은 양육과 비교해 떨어집니다.