ملخص
بينما حقق الذكاء الاصطناعي الحديث خطوات كبيرة في توليد الصوت من الفيديو،
لا يزال إنشاء صوت عالي الدقة يتطابق حقًا مع الفروق الدقيقة في المحتوى المرئي
عقبة رئيسية. يتطلب تصميم الصوت الاحترافي
استدلالًا معقدًا حول الإشارات المرئية والصوتيات والتوقيت - وهي مهارة
كان من الصعب تكرارها في الذكاء الاصطناعي.
تقدم هذه الورقة ThinkSound، وهو إطار عمل رائد
يعلم الذكاء الاصطناعي "التفكير" مثل مصمم الصوت. باستخدام استدلال
سلسلة الأفكار (CoT)، يقوم ThinkSound بتقسيم المهمة المعقدة
لتوليد الصوت إلى خطوات منطقية يمكن التحكم فيها. وهذا لا يسمح
فقط بإنشاء الصوت من البداية ولكن أيضًا بالتحرير والتنقيح التفاعلي
الذي يركز على الكائنات باستخدام أوامر لغة طبيعية بسيطة. لدعم ذلك،
نقدم أيضًا AudioCoT، وهي مجموعة بيانات هي الأولى من نوعها
مصممة لتدريب النماذج على عملية الاستدلال هذه. تظهر تجاربنا
أن ThinkSound يضع معيارًا جديدًا في كل من جودة الصوت وملاءمته،
ويؤدي أداءً جيدًا بشكل استثنائي حتى في مشاهد الأفلام المعقدة وغير الموزعة.
التآزر مع نماذج توليد الفيديو
يضيف ThinkSound بسلاسة مناظر صوتية غنية ومتزامنة إلى مقاطع الفيديو التي تم إنشاؤها بواسطة النماذج التوليدية الرائدة. تم إنشاء مقاطع الفيديو أدناه بواسطة نماذجها الخاصة ؛ تم إنشاء كل الصوت بواسطة ThinkSound.
Veo + ThinkSound
Sora + ThinkSound
MovieGen + ThinkSound
مقارنات V2A على VGGSound (داخل التوزيع)
انقر على أي صورة مصغرة لتحميل وتشغيل الفيديو ، ومقارنة ThinkSound بالنماذج الأخرى.
| CoT | الحقيقة الأساسية | ThinkSound | MMAudio | See&Hear |
|---|---|---|---|---|
| لعب التنس توليد أصوات مضرب التنس وهو يضرب الكرة والكرة ترتد... |  | | | |
| طباعة الطابعة توليد صوت طباعة طابعة مستمر مع أصوات صفير دورية... |  | | | |
| تمزيق الورق ابدأ بصوت تمزيق خفي للورق وهو يتمزق... |  | | | |
| استخدام آلات الخياطة توليد أصوات غرفة خياطة محيطة مع همهمة آلة خياطة متسقة... |  | | | |
مقارنات V2A على MovieGen Audio (خارج التوزيع)
شاهد كيف يعمل ThinkSound على مقاطع أفلام صعبة وخارج التوزيع.
| CoT | ThinkSound | Movie Gen Audio | MMAudio |
|---|---|---|---|
| أصوات مص لطيفة خلفية ناعمة وثابتة لمص مصاصة خفيف... |  | | |
| أوتار متناغمة أوتار الغيتار الصوتي تهمهم وتطن... |  | | |
| همهمة تلفزيون قديم ضوضاء خلفية محيطة مع كهرباء ساكنة خافتة وضوضاء بيضاء... |  | | |
| رعد شديد همهمة رياح منخفضة وفرقعة عرضية تضيف إلى الجو العاصف... |  | | |
إنشاء فولي تفاعلي خطوة بخطوة
توليد V2A ← التركيز على الكائن ← إكمال الصوت
توليد V2A ← التركيز على الكائن ← تحرير الصوت
التجارب
النتائج الرئيسية على VGGSound
يتفوق ThinkSound على جميع خطوط الأساس عبر معظم المقاييس الموضوعية وجميع المقاييس الذاتية ، مما يحقق تحسينات كبيرة في جودة الصوت والمحاذاة الدلالية.
| Method | Objective Metrics | Subjective Metrics | Efficiency | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| FD ↓ | KLPaSST ↓ | KLPaNNs ↓ | DeSync ↓ | CLAPcap ↑ | CLAPCoT ↑ | MOS-Q ↑ | MOS-A ↑ | Params | Time(s) ↓ | |
| GT | - | - | - | 0.55 | 0.28 | 0.45 | 4.37±0.21 | 4.56±0.19 | - | - |
| See&Hear | 118.95 | 2.26 | 2.30 | 1.20 | 0.32 | 0.35 | 2.75±1.08 | 2.87±0.99 | 415M | 19.42 |
| V-AURA† | 46.99 | 2.23 | 1.83 | 0.65 | 0.23 | 0.37 | 3.42±1.03 | 3.20±1.17 | 695M | 14.00 |
| FoleyCrafter | 39.15 | 2.06 | 1.89 | 1.21 | 0.41 | 0.34 | 3.08±1.21 | 2.63±0.88 | 1.20B | 3.84 |
| Frieren† | 74.96 | 2.55 | 2.64 | 1.00 | 0.37 | 0.34 | 3.27±1.11 | 2.95±1.09 | 159M | - |
| V2A-Mapper† | 48.10 | 2.50 | 2.34 | 1.23 | 0.38 | 0.32 | 3.31±1.02 | 3.16±1.04 | 229M | - |
| MMAudio | 43.26 | 1.65 | 1.40 | 0.44 | 0.31 | 0.40 | 3.84±0.89 | 3.97±0.82 | 1.03B | 3.01 |
| ThinkSound | 34.56 | 1.52 | 1.32 | 0.46 | 0.33 | 0.46 | 4.02±0.73 | 4.18±0.79 | 1.30B | 1.07 |
| w/o CoT Reasoning | 39.84 | 1.59 | 1.40 | 0.48 | 0.29 | 0.41 | 3.91±0.83 | 4.04±0.75 | 1.30B | 0.98 |
دراسات الاستئصال
لقد قمنا بالتحقيق في مساهمة كل مكون للتحقق من فعالية خيارات التصميم لدينا ، مع التركيز على ترميز النص والتكامل متعدد الوسائط.
استراتيجيات ترميز النص
| Method | FD ↓ | KLPaSST ↓ | KLPaNNs ↓ | DeSync ↓ | CLAP ↑ |
|---|---|---|---|---|---|
| CLIP | 39.84 | 1.59 | 1.40 | 0.48 | 0.41 |
| T5 (CoT) | 37.65 | 1.54 | 1.35 | 0.46 | 0.44 |
| CLIP + T5 | 34.56 | 1.52 | 1.32 | 0.46 | 0.46 |
التكامل متعدد الوسائط
| Integration | FD ↓ | KLPaSST ↓ | KLPaNNs ↓ | DeSync ↓ | CLAP ↑ |
|---|---|---|---|---|---|
| audio only | 37.13 | 1.58 | 1.37 | 0.50 | 0.43 |
| linear video | 38.96 | 1.58 | 1.38 | 0.46 | 0.45 |
| gated video | 34.56 | 1.52 | 1.32 | 0.46 | 0.46 |
تأثير حجم النموذج
| Size | FD ↓ | KLPaSST ↓ | KLPaNNs ↓ | DeSync ↓ | CLAPCoT ↑ |
|---|---|---|---|---|---|
| Small | 40.80 | 1.64 | 1.38 | 0.46 | 0.41 |
| Medium | 36.80 | 1.56 | 1.34 | 0.46 | 0.44 |
| Large | 34.56 | 1.52 | 1.32 | 0.46 | 0.46 |