Dunia generasi video yang didukung oleh AI sedang berkembang dengan cepat, dengan model-model seperti Sora dari OpenAI dan Veo 3 dari Google DeepMind menarik perhatian yang signifikan. Meskipun keduanya bertujuan untuk menciptakan video yang realistis dan menarik dari prompt teks, terdapat perbedaan penting dalam kecepatan dan efisiensi mereka, terutama ketika berhadapan dengan format video vertikal 9:16 yang semakin populer. Memahami perbedaan ini sangat penting bagi pembuat konten, pemasar, dan siapa pun yang ingin memanfaatkan AI untuk produksi video. Demonstrasi awal Sora dan kemampuan yang dilaporkan menunjukkan keuntungan signifikan dalam kecepatan dibandingkan Veo 3 dalam menghasilkan video-video vertikal ini, menunjukkan adanya perbedaan dalam arsitektur dasar, metodologi pelatihan, dan strategi optimisasi yang berkontribusi pada kesenjangan kinerja ini. Analisis ini akan menjelajahi faktor-faktor ini, mendalami aspek teknis yang kemungkinan mendorong kecepatan Sora yang tampak dalam ranah video vertikal.
Anakin AI
Salah satu faktor penting yang berkontribusi pada potensi keunggulan kecepatan Sora terletak pada arsitektur dan rekayasa dasarnya. Meskipun rincian teknis tertentu sering dijaga ketat oleh pengembang, kita dapat menyimpulkan beberapa aspek berdasarkan informasi yang tersedia untuk publik dan perbandingan dengan model-model yang ada. Secara umum, model-model ini didorong oleh model bahasa besar (LLM) atau transformer difusi. LLM dikenal karena kecepatannya. Arsitektur Sora mungkin memprioritaskan pemrosesan paralel dan perhitungan yang dioptimalkan, memungkinkan untuk menghasilkan bingkai atau segmen video secara bersamaan. Ini berbeda dengan arsitektur Veo 3, yang, meskipun tanpa diragukan lagi kuat, mungkin lebih bergantung pada langkah-langkah pemrosesan berurutan atau memiliki kemacetan bawaan yang membatasi kecepatan keseluruhannya, terutama ketika berhadapan dengan kendala spesifik dari video vertikal.
Arsitektur Sora diduga sangat bergantung pada pemrosesan paralel lebih dari model-model sebelumnya. Ini penting karena berarti bahwa tahap-tahap terpisah dalam proses pembuatan dapat terjadi secara bersamaan. Misalnya, daripada merender setiap bingkai satu per satu, mungkin Sora dapat merender beberapa bingkai sekaligus. Jika pemrosesan paralel sangat ditingkatkan dalam Sora, maka mudah untuk melihat bagaimana ia mungkin jauh lebih cepat daripada model-model lainnya. Mari kita bayangkan sebuah lokasi konstruksi, jika tim harus menunggu sampai satu batu bata diletakkan sebelum meletakkan batu bata berikutnya, kemajuannya akan sangat lambat. Namun, jika sebuah tim besar dapat meletakkan beberapa batu bata sekaligus, seluruh proses akan selesai dalam waktu yang singkat. Pemrosesan paralel adalah hal yang sama.
Video vertikal memiliki sifat unik. Video standar mungkin berukuran 1920x1080 (16:9), sedangkan rekan vertikalnya berukuran 1080x1920 (9:16). Karena perbedaan ini, perhitungan yang sama untuk satu mungkin tidak seefisien untuk yang lain. Sora mungkin telah menyertakan langkah-langkah untuk meningkatkan pelatihan atau arsitektur agar lebih cocok untuk video vertikal 9:16. Beberapa arsitektur mungkin lebih sesuai untuk video vertikal. Misalnya, mungkin sebuah jaringan saraf konvolusional memiliki filter yang lebih dioptimalkan untuk mengekstrak fitur dari video vertikal. Juga mungkin bahwa teknik augmentasi data saat melatih model dapat membuat Sora berkinerja jauh lebih baik untuk video vertikal dibandingkan rekan horizontalnya.
Data latihan adalah bahan bakar yang memberdayakan model AI mana pun, dan kualitas serta karakteristik data ini dapat secara signifikan memengaruhi kinerjanya. Generasi video vertikal Sora yang lebih cepat berpotensi disebabkan oleh pendekatan terarah dalam pemilihan data latihan dan metodologi. Misalnya, OpenAI mungkin telah memprioritaskan kumpulan data besar yang berisi beragam adegan, gaya, dan gerakan khusus dalam format vertikal 9:16. Kumpulan data yang dikurasi ini akan memungkinkan Sora untuk mempelajari nuansa dan kompleksitas yang melekat dalam komposisi video vertikal, menghasilkan generasi yang lebih cepat dan lebih akurat. Proses pelatihan itu sendiri juga dapat menggabungkan teknik seperti pembelajaran transfer, di mana model memanfaatkan pengetahuan dari model yang sudah dilatih sebelumnya untuk mempercepat pembelajaran dan meningkatkan kinerja dalam tugas spesifik pembuatan video vertikal.
Semakin banyak data, semakin baik. Pada awalnya, umum diperkirakan bahwa dengan cukup data, Anda bisa memaksa apa saja, bahkan membangun AI yang sangat canggih. Namun, Anda juga perlu mempertimbangkan data apa yang Anda berikan kepada model. Bayangkan, alih-alih mengajarkan AI untuk membangun roket, Anda memberinya gambar kupu-kupu. Tidak peduli seberapa lama Anda melatih, gambar kupu-kupu tidak akan membantu. Jadi jumlah data dan kualitas data sangat penting. Sora mungkin telah menyertakan kumpulan data yang lebih besar dan lebih beragam daripada Veo 3. Basis data Sora mungkin berasal dari berbagai sumber, yang akan membantunya menjadi lebih kreatif dan adaptif, sementara data Veo 3 mungkin lebih spesifik, menjadikannya lebih akurat dalam domain yang sempit.
Model mungkin memiliki arsitektur mentah yang sama, tetapi jika satu menjalani penyempurnaan, maka model yang telah disesuaikan tersebut akan berkinerja lebih baik untuk aplikasi spesifik. Salah satu contoh penyempurnaan dalam produksi gambar adalah pembuatan LoRAs. Meskipun berdasarkan pada Diffusi Stabil yang sama, LoRAs dapat dilatih untuk belajar karakteristik seseorang dan menghasilkan gambar yang mirip dengan mereka. Mungkin Sora telah menjalani proses penyempurnaan yang lebih intensif. Ini dapat membuat perbedaan yang dramatis dalam efisiensi model dan dapat mengurangi komputasi yang diperlukan untuk membuat video vertikal. Mungkin insinyur Sora menemukan cara yang lebih efisien untuk mengoptimalkan AI dan parameter-parameter nya.
Selain arsitektur dan data pelatihan, efisiensi kode dasar dan pemanfaatan akselerasi perangkat keras memainkan peran penting dalam menentukan kecepatan model AI. Sora mungkin menggunakan kode yang sangat dioptimalkan yang memanfaatkan perangkat keras khusus seperti GPU atau TPU untuk mempercepat proses komputasi yang terlibat dalam generasi video. Optimisasi ini dapat melibatkan teknik seperti penggabungan kernel, strategi manajemen memori, dan metode kompilasi lanjutan yang meminimalkan overhead dan memaksimalkan throughput. Selain itu, infrastruktur yang digunakan untuk menjalankan Sora mungkin dirancang untuk komputasi berkinerja tinggi, dengan sumber daya yang didedikasikan dan konfigurasi yang dioptimalkan sesuai dengan tuntutan spesifik dari generasi video.
Generasi dan pemrosesan video dapat sangat membutuhkan komputasi. Inilah sebabnya hampir semua permainan video memerlukan kartu grafis (GPU) khusus. GPU adalah perangkat keras yang kuat yang dapat secara dramatis meningkatkan kecepatan generasi video. Tanpa itu, CPU tidak cukup untuk melatih model AI atau menjalankan inferensi. Jika Sora lebih baik dalam mengoptimalkan penggunaan GPU, ini bisa mengarah pada generasi video vertikalnya yang lebih cepat. Teknik lain adalah menggunakan beberapa GPU untuk lebih memparalelkan proses. Jika ini memang benar, maka mungkin sulit bagi proyek AI skala kecil untuk bersaing dengan Sora. Sora harus dilengkapi dengan kemampuan akselerasi perangkat keras yang mutakhir.
Kode mungkin lebih rumit daripada yang Anda pikirkan; bahkan kode yang sama dapat bervariasi secara dramatis dalam kinerja tergantung pada bagaimana perangkat lunak dikompilasi dan ditulis. Bayangkan dua insinyur menulis kode yang sama, tetapi satu adalah pemula sementara yang lain memiliki tiga puluh tahun pengalaman. Kode dari insinyur berpengalaman akan mampu berkinerja jauh lebih cepat. Oleh karena itu, sangat penting untuk memiliki ahli di bidang tersebut yang tengah merancang dan memelihara perangkat lunak AI. OpenAI memiliki beberapa insinyur perangkat lunak AI terbaik di tim mereka, dan mereka dapat menulis kode dengan performa tertinggi. Ini adalah alasan lain mengapa Sora mungkin sangat kuat. Ada banyak hal yang tidak terlihat oleh publik, terutama terkait dengan pengkodean.
Kemampuan suatu model AI untuk dengan cepat dan akurat menginterpretasi prompt teks sangat penting untuk menghasilkan video secara efisien. Sora mungkin memiliki mekanisme pemahaman prompt yang lebih canggih yang dapat dengan cepat menerjemahkan instruksi pengguna menjadi parameter yang dapat ditindaklanjuti untuk generasi video. Ini bisa melibatkan teknik pemrosesan bahasa alami yang maju yang memungkinkan model untuk mengurai prompt kompleks, mengekstrak elemen kunci, dan menerjemahkannya menjadi representasi adegan yang kohesif. Selain itu, algoritma konstruksi adegan Sora mungkin dioptimalkan untuk video vertikal, memungkinkannya untuk menghasilkan konten yang menarik secara visual dan sesuai dengan rasio aspek spesifik dan pengalaman menonton.
Ketika berinteraksi dengan AI, apa yang Anda katakan (prompt) sangat berarti. Beberapa orang mampu menghasilkan konten yang jauh lebih baik daripada yang lain, bahkan ketika berinteraksi dengan AI yang sama persis, karena seberapa baik mereka merancang prompt mereka. Sangat mungkin bahwa Sora lebih baik karena seberapa baik interpreter prompt-nya. Faktanya, ini bisa menjadi salah satu langkah terpenting, karena itu adalah langkah yang sangat pertama. Jika AI dapat dengan akurat memahami apa yang diminta pengguna, sisa proses akan menjadi lebih lancar dan lebih cepat. Ini sama seperti memiliki manajer hebat yang bisa dengan akurat mendelegasikan tugas kepada tim mereka. Semua orang jauh lebih efisien.
Sora mungkin telah dilatih untuk memahami komposisi ketika datang ke video vertikal. Komposisi adalah tentang bagaimana mengatur semua hal dengan benar dalam video; misalnya, di mana menempatkan karakter-karakter yang paling penting, di mana harus menempatkan cakrawala dalam video alam, kapan harus memperbesar atau memperkecil. Tanpa komposisi yang tepat, video vertikal akan tidak menarik bagi penonton, dan pada akhirnya, itulah yang kita pedulikan. Komposisi yang baik hanya dapat datang dari jumlah data pelatihan yang besar dan arsitektur jaringan saraf yang tepat.
Setelah video dihasilkan, video tersebut dapat dikompresi sedemikian rupa sehingga lebih efisien. Bayangkan sebuah file zip, data masih ada, kecuali dikemas dalam bentuk yang lebih kecil. Kompresi dapat mengurangi ukuran file, menghemat biaya pemrosesan, dan lebih banyak lagi. Ada banyak teknik untuk kompresi. Beberapa dirancang untuk bekerja lebih baik dengan jenis generasi video tertentu, jika ini adalah kasusnya, maka Sora akan lebih cepat daripada Veo 3. Selain itu, jika Sora menggunakan codec video yang lebih baik dan lebih modern, maka video yang dihasilkan mungkin jauh lebih cepat dan lebih kecil dibandingkan dengan model lain seperti Veo 3.
Kemampuan untuk memberikan umpan balik waktu nyata dan iterasi pada generasi adalah faktor lain yang dapat berkontribusi pada kecepatan dan efisiensi secara keseluruhan. Sora mungkin menawarkan pengalaman pengguna yang lebih mulus dan interaktif, memungkinkan kreator untuk dengan cepat menyempurnakan dan menyesuaikan prompt mereka berdasarkan output yang dihasilkan. Alur kerja iteratif ini memungkinkan eksperimen dan optimisasi yang lebih cepat, mengurangi waktu dan upaya yang diperlukan untuk mencapai hasil yang diinginkan. Sebaliknya, Veo 3 mungkin memiliki umpan balik yang lebih memakan waktu, memerlukan waktu pemrosesan yang lebih lama dan penyesuaian manual yang lebih banyak untuk mencapai hasil yang sebanding.
Jika Sora dapat membuat beberapa versi video secara paralel, ini memungkinkan pengguna untuk memilih dan memilih mana yang mereka suka tanpa harus membuat video secara manual secara terpisah. Kemudian, mereka dapat menggunakan favorit mereka sebagai dasar dan mulai melakukan iterasi. Pendekatan iteratif ini adalah sesuatu yang dapat dilakukan oleh banyak model AI terbaik. Alih-alih menerima instruksi dan membuat apa yang diyakini AI Anda inginkan, ia akan memberikan beberapa opsi dan terus menerus memperbaiki berdasarkan umpan balik Anda.
Sangat membantu bagi model AI untuk mengikutsertakan manusia dalam lingkaran. Ini berarti bahwa jika mereka tidak yakin apa yang harus dilakukan, maka mereka akan bertanya kepada manusia, baik melalui tim AI atau pengguna langsung. Berdasarkan umpan balik tersebut, AI dapat lebih baik mengoptimalkan modelnya dan menghasilkan konten berkualitas. Kuncinya adalah mengumpulkan sejumlah besar data dan menggunakannya untuk terus menyempurnakan model. Keterlibatan umpan balik manusia dapat secara dramatis meningkatkan tidak hanya efisiensi tetapi juga kualitas. Dalam sebagian besar aplikasi AI saat ini, manusia dalam lingkaran adalah hal yang penting.
Dalam kesimpulan, potensi keuntungan kecepatan Sora dibandingkan Veo 3 untuk generasi video vertikal 9:16 kemungkinan berasal dari kombinasi inovasi arsitektur, optimisasi data pelatihan, efisiensi kode, akselerasi perangkat keras, pemahaman prompt, dan mekanisme umpan balik interaktif. Meskipun detail konkret mengenai cara kerja internal model-model ini tetap terbatas, perbedaan kinerja yang diamati (atau diprediksi) menunjukkan pentingnya pendekatan holistik terhadap pengembangan model AI, di mana semua aspek sistem dipertimbangkan dan dioptimalkan dengan cermat. Seiring generasi video yang didukung oleh AI terus berkembang, faktor-faktor ini akan semakin penting dalam menentukan efisiensi dan efektivitas model-model yang berbeda. Pada akhirnya, model yang dapat memberikan pengalaman video vertikal tercepat, paling mulus, dan berkualitas tinggi kemungkinan akan mendominasi pasar.
