Foto Albert Einstein Jadi Video Manusia Mirip Aslinya Berkat AI OmniHuman-1 Buatan ByteDance

Perusahaan induk TikTok, Bytedance, telah memperkenalkan OmniHuman-1, AI yang bisa ubah satu gambar dan klip audio jadi video manusia yang mirip dengan aslinya

Tingkat realismenya sangat presisi sehingga membedakan hasil rakamannya dari rekaman sebenarnya jadi semakin sulit.

OmniHuman-1 bisa hasilkan gerakan yang lancar dan alami dalam rasio aspek atau proporsi tubuh apa pun, memastikan adaptasi yang mulus ke berbagai format.

Baca Juga: Amerika Serikat Pertimbangkan UU untuk Hukum Pengguna Teknologi Cina, Termasuk DeepSeek

Meskipun teknologi ini sudah jadi sorotan publik, namun OmniHuman-1 belum tersedia untuk penggunaan umum maupun diunduh. (OmniHuman-1)

Dengan bermodalkan satu gambar dan trek audio, OmniHuman-1 bisa hasilkan video manusia yang autentik, saat menangkap ekspresi wajah, Gerakan, dan ucapan yang sinkron dengan akurasi yang tinggi.

Meskipun teknologi ini sudah jadi sorotan publik, namun OmniHuman-1 belum tersedia untuk penggunaan umum maupun diunduh.

Berdasarkan informasi yang dibagikan di Github, OmniHuman adalah kerangka kerja AI canggih yang dirancang untuk membuat video manusia dari satu gambar menggunakan isyarat gerakan seperti audio, video, atau gabungan keduanya.

Baca Juga: Mengerikan Robot AI Lulus Uji Turing, Tidak Dapat Dibedakan dari Manusia

Berbeda dengan model sebelumnya yang mengalami keterbatasan data, OmniHuman pakai strategi pelatihan multimoda untuk meningkatkan akurasi dan realisme, bahkan dengan input minimal.

Sistem ini bekerja dengan gambar dengan rasio aspek apa pun, seperti potret, setengah badan, atau seluruh badan, yang menghasilkan hasil yang sangat nyata dalam berbagai format.

"Kami mengusulkan kerangka kerja pembuatan video manusia dengan kondisi multimodalitas ujung ke ujung bernama OmniHuman, yang dapat membuat video manusia berdasarkan satu gambar manusia dan sinyal gerakan (misalnya, hanya audio, hanya video, atau kombinasi audio dan video)," kata peneliti ByteDance dalam sebuah posting di GitHub.

ByteDance menuturkan jika OmniHuman secara signifikan mengungguli metode yang ada, terutama dalam menghasilkan gerakan manusia yang realistis dari audio saja.

Satu klip memperlihatkan video berdurasi 23 detik ketika Albert Einstein berpidato, dengan gerakan dan ekspresi yang tampak sangat nyata. (OmniHuman-1)

Cara Kerja OmniHuman-1

OmniHuman-1 dibangun berdasarkan 19.000 jam data pelatihan video , yang memungkinkannya menganalisis foto, memproses isyarat gerakan, dan menganimasikan subjek dengan ekspresi alami, sinkronisasi ucapan, dan gerakan tubuh.

AI membaginya menjadi dua langkah:

1. Pemrosesan Gerakan

Memampatkan data gerakan dari sumber seperti perintah audio dan teks.

2. Penyempurnaan

Menyempurnakan animasi dengan membandingkan output dengan rekaman video nyata untuk memastikan keakuratan.

Ada satu fitur OmniHuman-1 yang paling menonjol adalah kemampuannya untuk menyesuaikan rasio aspek dan proporsi tubuh, yang berarti bisa menghasilkan video yang sesuai dengan berbagai format sekaligus mempertahankan gerakan yang realistis.

Bahkan dapat digunakan untuk figur non-manusia, termasuk karakter kartun dan pose yang rumit.

ByteDance belum merilis OmniHuman-1 secara resmi ke publik, namun demo awalnya sudah jadi sorotan di internet.

Satu klip memperlihatkan video berdurasi 23 detik ketika Albert Einstein berpidato, dengan gerakan dan ekspresi yang tampak sangat nyata.

Sumber: Techstartups