نموذج Wan2.1-VACE المفتوح المصدر من علي بابا

Wan2.1-VACE هو نموذج أساسي مفتوح المصدر متعدد الوسائط لتوليد وتحرير الفيديو تم تطويره بواسطة مختبر Wan-AI التابع لشركة علي بابا. يستخدم بنية موحدة تدعم مهام معقدة مختلفة مثل تحويل النص إلى فيديو (T2V) ، وتحويل الصورة إلى فيديو (I2V) ، وتحرير الفيديو إلى فيديو (V2V) ، والتوليد الموجه بالمرجع (R2V) ، وتحرير الفيديو المقنع (MV2V).

"الكل في واحد ، وان للجميع" هي فلسفة التصميم الأساسية لـ Wan2.1-VACE. يشير "الكل في واحد" إلى بنيته النموذجية الواحدة القادرة على التعامل مع مهام إنشاء وتحرير الفيديو المتعددة دون الحاجة إلى تبديل الأدوات. يؤكد "وان للجميع" على شموليته ، مما يمكّن مجموعة أوسع من المستخدمين من الوصول إلى تقنية الفيديو المتقدمة بالذكاء الاصطناعي واستخدامها من خلال المصدر المفتوح ودعم الأجهزة الاستهلاكية.

تشمل الميزات الرئيسية ما يلي:

• - توليد النص إلى فيديو (T2V)
• - توليد الصورة إلى فيديو (I2V)
• - توليد الإطار الأول والأخير إلى فيديو (FLF2V)
• - توليد الفيديو الموجه بالمرجع (R2V)
• - تحرير الفيديو إلى فيديو (V2V) (مثل نقل النمط ، تعديل المحتوى)
• - تحرير الفيديو القائم على القناع (MV2V) (مثل إعادة الطلاء ، استبدال الكائنات ، تمديد المشهد)
• - توليد نص مرئي ثنائي اللغة (الصينية-الإنجليزية) (عرض النص داخل إطارات الفيديو)
• - قابلية تكوين المهام لسير عمل التحرير المعقد

هناك إصداران رئيسيان: Wan2.1-VACE-1.3B و Wan2.1-VACE-14B.

Wan2.1-VACE-1.3B: إصدار خفيف الوزن بحوالي 1.3 مليار معلمة. يدعم بشكل أساسي الفيديو بدقة 480 بكسل وهو مناسب لوحدات معالجة الرسومات الاستهلاكية (على سبيل المثال ، يتطلب استدلال T2V حوالي 8.19 جيجابايت من VRAM). مناسب للمبدعين الأفراد والنماذج الأولية السريعة.

Wan2.1-VACE-14B: إصدار بمقياس معلمات أكبر بحوالي 14 مليار معلمة. يدعم الفيديو بدقة 480 بكسل ودقة 720 بكسل عالية الجودة. يوفر أداءً أقوى ولكنه يتطلب متطلبات أجهزة أعلى (على سبيل المثال ، يتطلب استدلال I2V حوالي 35 جيجابايت من VRAM). مناسب لإنتاج الفيديو الاحترافي وإنشاء محتوى عالي الجودة.

نعم ، Wan2.1-VACE مرخص بموجب ترخيص Apache 2.0 مفتوح المصدر.

يمكنك الحصول على النموذج والتعليمات البرمجية من القنوات الرئيسية التالية:

• - - Hugging Face: صفحة منظمة Wan-AI and صفحة ali-vilab
• - - GitHub: مستودع كود Wan-Video/Wan2.1
• - - ModelScope: مجتمع نماذج المصدر المفتوح الخاص بعلي بابا

تشمل المتطلبات الأساسية ما يلي:

• - نظام التشغيل: Windows أو macOS أو Linux.
• - الذاكرة (RAM): يوصى بـ 16 جيجابايت على الأقل ؛ قد تكون هناك حاجة إلى المزيد للمهام المعقدة أو النماذج الأكبر.
• - وحدة معالجة الرسومات (GPU): هذا أمر بالغ الأهمية. تعتمد متطلبات VRAM على إصدار النموذج ؛ يحتاج إصدار 1.3B T2V إلى حوالي 8.19 جيجابايت + ، بينما يتطلب إصدار 14B المزيد. يوصى بوحدات معالجة الرسومات NVIDIA.
• - البرنامج: Python (مثل 3.10+) ، CUDA ، PyTorch. راجع الوثائق الرسمية أو أدلة المجتمع لإصدارات محددة.

تتضمن خطوات الإعداد التفصيلية عادةً استنساخ المستودع وتثبيت التبعيات وتنزيل أوزان النموذج.

آفاق التطبيق واسعة ، بما في ذلك:

• - إنشاء المحتوى والتسويق: مقاطع فيديو قصيرة لوسائل التواصل الاجتماعي ، والإعلانات ، وعروض المنتجات ، والمواد التعليمية.
• - التصور الفني والترفيه: الفن المرئي الديناميكي ، والأفلام القصيرة التجريبية ، ومفاهيم الرسوم المتحركة.
• - تطوير الألعاب: المشاهد السينمائية ، ومعاينات حركة الشخصيات ، والخلفيات الديناميكية.
• - ما قبل إنتاج الأفلام والتلفزيون: نماذج مفاهيم الفيديو ، وتنشيط لوحة القصة.
• - تخصيص المحتوى المخصص: مقاطع فيديو تهنئة مخصصة ، ومقاطع تعليمية ، وما إلى ذلك.