Alibaba meluncurkan Wan2.1-VACE (Video All-in-one Creation and Editing), sebuah model Artificial Intelligence (AI) open-source terbaru yang dirancang untuk pembuatan dan penyuntingan video.
Model ini, yang merupakan bagian dari seri model pembuat video Wan2.1 milik Alibaba, diklaim sebagai model open-source pertama di industri yang menyediakan solusi terpadu untuk berbagai tugas produksi video, bertujuan menyederhanakan proses dan meningkatkan efisiensi serta produktivitas.
Wan2.1-VACE mendukung pembuatan video dengan input multi-modal yang mencakup teks, gambar, dan video. Pengguna dapat menghasilkan video yang menampilkan subjek-subjek tertentu yang saling berinteraksi hanya dengan contoh gambar, atau menganimasikan gambar statis dengan menambahkan efek gerakan alami.
Teknologi ini juga menyediakan kemampuan penyuntingan video yang komprehensif bagi para kreator. Fitur penyuntingan ini mencakup penggunaan referensi gambar atau frame, video repainting (mengubah gaya visual video), modifikasi area tertentu dalam video, dan perluasan spatio-temporal (memperluas batas video dan sistem secara otomatis mengisi konten tambahan).
Kemampuan lanjutan lainnya termasuk mengubah pose karakter, mengatur gerakan dan kedalaman gambar, serta mengubah warna pada video. Pengguna juga dapat menambah, memodifikasi, atau menghapus elemen pada area tertentu dalam video tanpa mempengaruhi bagian sekitarnya.
Sebagai model AI all-in-one, Wan2.1-VACE menawarkan fleksibilitas yang memungkinkan pengguna menggabungkan berbagai fungsi secara mulus. Contohnya, pengguna dapat mengubah gambar diam menjadi video sambil mengatur arah gerak objek secara spesifik, mengganti karakter atau objek dengan referensi tertentu, menganimasikan karakter yang direferensikan, mengontrol pose, serta memperluas gambar vertikal menjadi video horizontal sambil menambahkan elemen baru melalui referensi gambar atau teks.
Model ini memanfaatkan beberapa teknologi inovatif. Salah satunya adalah interface terpadu yang disebut Video Condition Unit (VCU), yang mampu memproses berbagai jenis input (seperti teks, gambar, video, dan masking) secara bersamaan dalam satu sistem terintegrasi. Wan2.1-VACE juga menggunakan struktur Context Adapter yang menyisipkan berbagai konsep tugas melalui representasi formal dari dimensi waktu (temporal) dan ruang (spasial), memungkinkan model mengatur beragam jenis tugas pembuatan video dengan lebih fleksibel dan efisien.
Berkat kemajuan arsitekturnya, Wan2.1-VACE dapat diterapkan secara luas dalam berbagai skenario, seperti produksi cepat video singkat untuk media sosial, pembuatan konten iklan dan pemasaran, proses pasca-produksi dan efek khusus dalam film dan televisi, serta pembuatan video untuk keperluan pelatihan dan edukasi.
Alibaba menyatakan bahwa dengan menjadikan model ini open-source, mereka bertujuan menurunkan hambatan bagi lebih banyak bisnis untuk memanfaatkan AI, sehingga dapat menciptakan konten visual berkualitas tinggi sesuai kebutuhan secara cepat dan hemat biaya, mengingat pelatihan model video AI membutuhkan sumber daya komputasi yang besar dan data pelatihan berkualitas tinggi.
Alibaba menyediakan model Wan2.1-VACE dalam dua versi open-source: satu dengan parameter 14 miliar dan satu lagi dengan parameter 1,3 miliar. Model-model ini tersedia untuk diunduh secara gratis di platform Hugging Face, GitHub, serta komunitas open-source Alibaba Cloud, ModelScope.
Langkah ini merupakan kelanjutan dari upaya Alibaba dalam kontribusi terhadap komunitas open-source AI. Sebelumnya, pada Februari 2025, Alibaba telah merilis empat model Wan2.1 secara open-source, dan pada bulan April 2025 merilis model pembuatan video berdasarkan frame awal dan akhir. Hingga saat ini, model-model tersebut telah diunduh lebih dari 3,3 juta kali di Hugging Face dan ModelScope.
Disclosure: Artikel ini disusun dengan bantuan AI dan dalam pengawasan editor.
