การรวมกันของปัญญาประดิษฐ์และเทคโนโลยีมัลติมีเดียได้ก่อให้เกิดความก้าวหน้าที่น่าทึ่ง โดยเฉพาะในด้านการแปลงรูปภาพนิ่งให้เป็นวิดีโอที่ซิงก์ริมฝีปากแบบไดนามิก ความสามารถนี้ซึ่งเคยจำกัดอยู่ในสตูดิโอแอนิเมชั่นระดับสูงในอดีต ขณะนี้กำลังกลายเป็นสิ่งที่เข้าถึงได้มากขึ้นด้วยการพัฒนาโมเดล AI ที่ซับซ้อน โมเดลเหล่านี้ใช้การรวมกันของการมองเห็นด้วยคอมพิวเตอร์ การประมวลผลภาษาธรรมชาติ (NLP) และเครือข่ายแบบสร้างสรรค์ที่เป็นคู่แข่ง (GAN) เพื่อวิเคราะห์ลักษณะใบหน้า ตีความเสียง และสร้างการเคลื่อนไหวของริมฝีปากที่สมจริงซึ่งซิงค์กับคำพูด ความสามารถของเทคโนโลยีนี้มีมากมาย ตั้งแต่การสร้างเนื้อหาสื่อสังคมที่ดึงดูดใจและอวตารที่มีลักษณะเฉพาะ ไปจนถึงการสร้างเอกสารการฝึกอบรมและการเพิ่มการเข้าถึงผ่านการแปลภาษาสัญญาณอัตโนมัติ บทความนี้สำรวจภูมิทัศน์ของโมเดล AI ที่สามารถทำการเปลี่ยนแปลงที่ดึงดูดใจนี้ สำรวจกลไก พลัง และข้อจำกัดที่อยู่เบื้องหลัง โมเดลที่มีอยู่ เราจะสำรวจความเป็นไปได้ที่น่าตื่นเต้นที่เทคโนโลยีเหล่านี้เปิดโอกาสให้กับผู้สร้างและธุรกิจด้วยเช่นกัน
Anakin AI
หัวใจของโมเดล AI ส่วนใหญ่ที่สามารถแปลงรูปภาพเป็นวิดีโอที่ซิงก์ริมฝีปากคือการเรียนรู้เชิงลึก การเรียนรู้เชิงลึกซึ่งเป็นส่วนหนึ่งของการเรียนรู้ของเครื่อง ใช้เครือข่ายประสาทเทียมที่มีหลายชั้น (ดังนั้นจึงเรียกว่า "เชิงลึก") เพื่อดึงรูปแบบที่ซับซ้อนจากข้อมูล เครือข่ายเหล่านี้ได้รับการฝึกฝนจากชุดข้อมูลขนาดใหญ่ของวิดีโอที่มีเสียงพูดของมนุษย์ ทำให้สามารถเรียนรู้ความสัมพันธ์ที่ซับซ้อนระหว่างการเคลื่อนไหวของใบหน้าและฟอนีม (หน่วยพื้นฐานของเสียงในภาษา) ยกตัวอย่างเช่น โมเดลการเรียนรู้เชิงลึกที่ถูกฝึกฝนจากการสัมภาษณ์ของคนดังหลายพันชั่วโมงจะเริ่มแยกแยะรูปร่างริมฝีปากที่ละเอียดและการเคลื่อนไหวของกล้ามเนื้อที่เกี่ยวข้องกับการออกเสียงสระและพยัญชนะที่แตกต่างกัน ความรู้ที่ได้รับนี้สามารถนำไปใช้กับภาพใบหน้าที่ใหม่และไม่เคยเห็นมาก่อน ทำให้โมเดลสามารถสร้างการเคลื่อนไหวของริมฝีปากที่สมจริงซึ่งสอดคล้องกับเสียงที่กำหนด ความถูกต้องและความสมจริงของการซิงก์ริมฝีปากขึ้นอยู่กับขนาดและคุณภาพของข้อมูลการฝึกอบรม รวมถึงความซับซ้อนของสถาปัตยกรรมเครือข่าย โมเดลที่ซับซ้อนกว่า เช่น โมเดลที่รวมการสร้างภาพใบหน้า 3D สามารถทำให้เกิดระดับความสมจริงและการแสดงออกที่มีรายละเอียดมากขึ้น
หนึ่งในโมเดลแรกและมีอิทธิพลในสาขานี้คือ Voca Voca หมายถึง "การแอนิเมชันตัวละครที่ขับเคลื่อนด้วยเสียง" มันแสดงให้เห็นถึงความเป็นไปได้ในการสร้างแอนิเมชันใบหน้า 3D ที่สมจริงจากการป้อนข้อมูลเสียงโดยตรง แม้ว่า Voca จะไม่ได้ถูกออกแบบมาเพื่อเปลี่ยนรูปภาพนิ่งให้เป็นวิดีโอ แต่มันได้วางรากฐานที่สำคัญ Voca ใช้เสียงเพื่อขับเคลื่อนโมเดลใบหน้า 3D โมเดลนี้ได้รับการฝึกฝนจากชุดข้อมูลของการสแกน 3D และการบันทึกเสียง ทำให้สามารถเรียนรู้ความสัมพันธ์ที่ละเอียดระหว่างเสียงและการเคลื่อนไหวของใบหน้า สถาปัตยกรรมของโมเดลมักประกอบด้วย encoder และ decoder Encoder รับการป้อนข้อมูลเสียงและสร้างการแทนที่มิติที่ต่ำกว่า Decoder จะนำการแทนที่นี้และสร้างแอนิเมชันใบหน้า 3D ที่สอดคล้องกัน ผลลัพธ์คือชุดของการเปลี่ยนรูปตาข่ายที่แสดงถึงการเคลื่อนไหวของใบหน้าตลอดเวลา แม้ว่าการใช้งานเริ่มต้นของ Voca จะถูกจำกัดโดยทรัพยากรการประมวลผลและความพร้อมใช้งานของข้อมูล งานที่เป็นแนวทางของมันได้เปิดหนทางใหม่สำหรับการวิจัยและการพัฒนาในแอนิเมชันใบหน้าที่ขับเคลื่อนด้วยเสียง หลักการที่อยู่เบื้องหลัง Voca ได้รับการปรับเปลี่ยนและปรับปรุงในการสร้างโมเดลที่ต่อเนื่องกันมากมาย ส่งผลให้มีการปรับปรุงอย่างต่อเนื่องใน AI ที่ซิงก์ริมฝีปากในปัจจุบัน
Wav2Lip ซึ่งพัฒนาโดย Priya Sundaresan et al. เป็นอีกก้าวสำคัญในเทคโนโลยีการซิงก์ริมฝีปาก แตกต่างจากโมเดลก่อนหน้านี้ที่มักมีปัญหาในการสร้างการเคลื่อนไหวของริมฝีปากที่ถูกต้องและเสียงธรรมชาติ Wav2Lip สามารถสร้างการซิงก์ริมฝีปากที่สมจริงอย่างมากพร้อมกับอาร์ตฟิลเตอร์น้อยที่สุด นวัตกรรมสำคัญที่อยู่เบื้องหลัง Wav2Lip คือการใช้การจำแนกประเภทจุดสังเกต การจำแนกประเภทนี้ได้รับการฝึกฝนให้แยกแยะระหว่างวิดีโอจริงและวิดีโอที่สร้างขึ้นโดยโมเดล โดยอิงจากความแม่นยำของการเคลื่อนไหวของริมฝีปาก ด้วยการฝึกฝนโมเดลให้หลอกลวงการจำแนกประเภท Wav2Lip สามารถสร้างการซิงก์ริมฝีปากที่แทบจะแยกไม่ออกจากการพูดของมนุษย์จริง Wav2Lip ใช้การตรวจจับใบหน้าที่มีอยู่แล้วและโมเดลจุดสังเกตเพื่อดึงคุณลักษณะใบหน้าจากรูปภาพและเสียงที่ป้อนเข้ามา คุณลักษณะเหล่านี้จะถูกป้อนเข้าสู่โมเดลหลัก Wav2Lip ซึ่งสร้างชุดของภาพที่มีการเคลื่อนไหวของริมฝีปากที่ซิงก์กัน Wav2Lip แสดงให้เห็นถึงประสิทธิภาพที่น่าทึ่งในช่วงที่กว้างของเสียงและภาพที่ป้อนเข้า ทำให้มันเป็นตัวเลือกยอดนิยมสำหรับการใช้งานเช่นการสร้างดีฟเฟคและการพากย์เสียงวิดีโอเป็นภาษาต่างๆ มันยังได้รับความนิยมอย่างแพร่หลายจากชุมชนโอเพ่นซอร์สซึ่งนำไปสู่การปรับเปลี่ยนและขยายโมเดลต้นฉบับมากมาย
D-ID เป็นแพลตฟอร์มที่เสนอเครื่องมือสร้างวิดีโอ powered by AI ซึ่งรวมถึงความสามารถในการเปลี่ยนรูปภาพเป็นอวตารที่พูดได้พร้อมกับการซิงก์ริมฝีปากที่สมจริง D-ID แตกต่างจากเครื่องมือ AI ซิงก์ริมฝีปากอื่น ๆ โดยเน้นไปที่ความสะดวกในการใช้งานและการรวมเข้ากับบริการ AI อื่น ๆ D-ID มีระบบที่ซับซ้อนในการสร้างบทสนทนาที่เชื่อถือได้โดยใช้เพียงภาพเดียวของอวตาร แพลตฟอร์มนี้ใช้โมเดล AI เชิงสร้างสรรค์ในการสร้างวิดีโอที่ทำให้บุคคลในรูปดูเหมือนพูดอย่างเป็นธรรมชาติ โดยการเคลื่อนไหวของริมฝีปากจะตรงกับเสียงอย่างแม่นยำ สิ่งนี้มีประโยชน์ เช่น การสร้างเอกสารการฝึกอบรม หรือสำหรับธุรกิจที่ต้องการสร้างการนำเสนอวิดีโอด้วยอวตารที่สร้างโดย AI D-ID ถูกใช้งานโดยบริษัทและองค์กรที่หลากหลายซึ่งดึงดูดจากการใช้ AI ที่ซับซ้อนและความมุ่งมั่นของบริษัทในด้านความเป็นส่วนตัวของข้อมูล สิ่งที่ทำให้ D-ID แตกต่างจากเทคโนโลยีซิงก์ริมฝีปาก AI อื่น ๆ คือวิธีที่มันได้รวมแพลตฟอร์มของตนเข้ากับระบบ AI อื่น ๆ ตัวอย่างเช่น การให้การรวมที่ง่ายต่อการใช้งานกับการกระจายที่มั่นคงและโมเดล GPT-3
ในขณะที่การสร้างการซิงก์ริมฝีปากที่แม่นยำเป็นก้าวสำคัญ การสร้างอวตารที่พูดได้อย่างเชื่อถือได้จริงๆ ต้องพิจารณาปัจจัยอื่นๆ ที่หลากหลาย ความสมจริงของวิดีโอสุดท้ายขึ้นอยู่กับคุณภาพของรูปภาพที่ป้อนเข้ามา ความสอดคล้องของแสงและเงา รวมถึงความเป็นธรรมชาติของการเคลื่อนไหวของหัวและการแสดงออกทางสีหน้าที่อยู่นอกเหนือจากบริเวณริมปาก โมเดลบางตัวรวมเครือข่ายเชิงสร้างสรรค์เพิ่มเติมเพื่อเพิ่มความสมจริงโดยรวมของวิดีโอ โดยเพิ่มการเคลื่อนไหวของหัวที่ละเอียด การกระพริบตา และการแสดงออกที่ละเอียดอ่อนที่เป็นเรื่องปกติในบทสนทนาของมนุษย์ นอกจากนี้ วิธีที่บุคคลหนึ่งพูดยังสื่อสารข้อมูลที่มีมากกว่าเพียงคำพูดที่พวกเขากำลังกล่าวออกมา พิจารณาต่างๆ เช่น โทนเสียง เสียงสูงต่ำ และจังหวะล้วนมีบทบาทในการสื่อสารความหมายและอารมณ์ โมเดล AI ขั้นสูงสามารถวิเคราะห์คุณลักษณะเสียงเหล่านี้และพยายามจำลองคุณลักษณะเหล่านี้ในอารมณ์ใบหน้าของอวตารที่สร้างขึ้น องค์ประกอบเพิ่มเติมเหล่านี้ช่วยในการพัฒนาแอนิเมชันที่ดูเหมือนจริงและรู้สึกสมจริงมากขึ้น
Animating Face มุ่งเน้นไปที่การผลิตโมเดลใบหน้าคุณภาพสูงที่ใช้ใน AI ที่สนทนา วิธีนี้ถูกออกแบบมาเพื่อสร้างการจำลองใบหน้าที่สมจริง มีการแสดงออกที่ชัดเจน และสามารถควบคุมได้จากข้อมูลเสียงและข้อความ ความมุ่งเน้นไปที่การแสดงออกนี้เป็นส่วนหนึ่งของปรัชญาโดยรวมของ Animating Face Animating Face มุ่งเน้นไปที่การสร้างโมเดลใบหน้าคุณภาพสูง การสร้าง AI ตัวแทนที่สามารถสนทนากับผู้ใช้ในวิดีโอโดยใช้เทคโนโลยี AI ล่าสุดไม่ใช่เรื่องง่าย Animating Face ได้รับการออกแบบมาคำนึงถึงความท้าทายเหล่านี้ Animating Face ถูกใช้ในหลายแอปพลิเคชัน รวมถึงผู้ช่วยเสมือน ระบบการสื่อสารทางไกล และวิดีโอเกม นักพัฒนาได้บรรลุถึงคุณภาพของการแสดงออกที่สูงกว่าคุณภาพที่เห็นในวิธีการที่คล้ายกัน ซึ่งทำให้วิธีนี้สามารถใช้งานได้หลากหลาย
ความสำเร็จของโมเดล AI ใดๆ ขึ้นอยู่กับคุณภาพและความหลากหลายของข้อมูลการฝึกอบรมที่ใช้ในการพัฒนามัน หากโมเดลถูกฝึกฝนโดยเน้นไปที่ข้อมูลที่มีลักษณะของกลุ่มประชากรเฉพาะ มันอาจมีปัญหาในการซิงก์ริมฝีปากให้ถูกต้องกับใบหน้าจากกลุ่มชาติพันธุ์หรือช่วงอายุอื่นๆ นอกจากนี้ อคติที่มีอยู่ในข้อมูลการฝึกอบรมอาจถูกขยายให้กว้างขึ้นโดยโมเดล ซึ่งทำให้เกิดผลลัพธ์ที่ไม่ตั้งใจในการเลือกปฏิบัติ ตัวอย่างเช่น หากโมเดลถูกฝึกฝนจากข้อมูลที่เชื่อมโยงรูปแบบการพูดบางแบบเข้ากับเพศเฉพาะ มันอาจทำให้เกิดการสร้างความคิดความเชื่อทางเพศเมื่อสร้างวิดีโอใหม่ การแก้ไขปัญหาเหล่านี้ต้องการการคัดเลือกชุดข้อมูลการฝึกอบรมอย่างรอบคอบเพื่อให้แน่ใจว่าพวกเขาเป็นตัวแทนของความหลากหลายของประชากรมนุษย์และไร้อคติที่เป็นอันตราย นักวิจัยยังสำรวจเทคนิคต่างๆ เช่น การฝึกอบรมแบบแข่งขันและการเพิ่มข้อมูลเพื่อลดผลกระทบของอคติและปรับปรุงความสามารถทั่วไปของโมเดล AI
สาขา AI ที่ขับเคลื่อนด้วยการซิงก์ริมฝีปากกำลังพัฒนาอย่างรวดเร็ว โดยมีโมเดลและเทคนิคใหม่เกิดขึ้นอย่างต่อเนื่อง หนึ่งในพื้นที่การวิจัยที่น่าพอใจคือการนำการสร้างภาพใบหน้า 3D มารวมเข้ากับกระบวนการซิงก์ริมฝีปากเพื่อสร้างอวตารที่สมจริงและเป็นส่วนตัวมากขึ้น โดยการสร้างโมเดล 3D เต็มรูปแบบของใบหน้าจากภาพเดียวหรือวิดีโอสั้น ๆ โมเดล AI สามารถสร้างการเคลื่อนไหวของริมฝีปากที่สอดคล้องกับรูปแบบอวัยวะใบหน้าและการแสดงออกเฉพาะบุคคล นอกจากนี้ ทิศทางที่น่าตื่นเต้นอื่น ๆ คือการสำรวจการใช้เทคนิคการเรียนรู้ที่ไม่ได้รับการควบคุมในการฝึกอบรมโมเดลจากข้อมูลที่ไม่มีป้าย ทำให้พวกเขาสามารถเรียนรู้จากแหล่งที่มาที่กว้างขวางมากขึ้นและปรับตัวให้เข้ากับรูปแบบการพูดและการแสดงออกใหม่ๆ การพัฒนาเหล่านี้สัญญาว่าจะขยายขอบเขตของสิ่งที่เป็นไปได้กับ AI ที่ขับเคลื่อนด้วยการซิงก์ริมฝีปาก โดยเปิดทางสำหรับประสบการณ์ที่โต้ตอบได้ที่สมจริงและดึงดูดมากยิ่งขึ้น
DeepMotion Animate 3D ไม่ได้ถูกออกแบบมาโดยเฉพาะเพื่อเปลี่ยนรูปภาพให้เป็นวิดีโอที่ซิงก์ริมฝีปาก แต่เป็นเครื่องมือการสร้างแอนิเมชันที่กว้างขึ้นที่ใช้ AI ในการสร้างแอนิเมชัน 3D โดยอัตโนมัติโดยอิงจากฟุตเทจวิดีโอ อย่างไรก็ตาม บริษัทอยู่ในแนวหน้าแห่งนวัตกรรม ดังนั้นจึงเป็นไปได้ที่พวกเขาอาจจะเคลื่อนที่ไปในทิศทางนี้ ซอฟต์แวร์นี้อนุญาตให้ผู้ใช้สามารถอัปโหลดวิดีโอของผู้คนที่ทำการกระทำ และมันจะสร้างแอนิเมชัน 3D ของอวตารเสมือนที่เลียนแบบการกระทำเหล่านั้น หนึ่งในฟีเจอร์ที่โดดเด่นของ DeepMotion Animate 3D คือมันไม่ต้องการชุดจับการเคลื่อนไหวหรืออุปกรณ์เฉพาะใดๆ ซึ่งเป็นความแตกต่างที่สำคัญเมื่อเปรียบเทียบกับการสร้างแอนิเมชัน 3D แบบดั้งเดิมที่มักต้องการการใช้เทคโนโลยีดังกล่าว DeepMotion Animate 3D ได้ถูกใช้โดยหลากหลายอาชีพ รวมถึงนักแอนิเมชัน นักพัฒนาเกม และผู้สร้างภาพยนตร์
เมื่อโมเดล AI มีความเชี่ยวชาญในการสร้างวิดีโอที่สมจริงและโน้มน้าวใจมากขึ้น สิ่งสำคัญคือต้องพิจารณาถึงข้อพิจารณาทางจริยธรรมของเทคโนโลยีนี้ ศักยภาพของการใช้งานที่ไม่เหมาะสม โดยเฉพาะอย่างยิ่งในการสร้างดีฟเฟคและการแพร่กระจายข้อมูลที่ผิดพลาด เป็นความกังวลที่ร้ายแรง มาตรการป้องกัน เช่น การทำเครื่องหมายลายน้ำและการติดตามแหล่งที่มา ต้องมีการนำมาใช้พร้อมๆ กัน โดยเฉพาะอย่างยิ่งตั้งแต่ Wav2Lip ถูกใช้เพื่อเผยแพร่ข้อมูลที่ผิด การสร้างวิดีโอปลอมที่น่าเชื่อนี้สามารถใช้เพื่อทำลายชื่อเสียงของบุคคลได้ ความท้าทายคือเทคโนโลยีดีฟเฟคอาจตรวจจับได้ยาก นอกจากนี้ ยังเป็นสิ่งที่ควรตระหนักในบริบททางธุรกิจซึ่งการสร้างการสนทนาปลอมอาจถูกนำไปใช้ในการสร้างหลักฐานปลอม ทางออกที่ดีที่สุดคือการให้การศึกษาแก่สาธารณะเกี่ยวกับเทคโนโลยีที่กำลังพัฒนานี้
การสำรวจนี้เน้นถึงพลังและศักยภาพของ AI ในการปฏิวัติการสร้างสื่อมัลติมีเดีย ขณะที่เทคโนโลยียังคงพัฒนา ความสามารถในการเปลี่ยนรูปภาพให้เป็นวิดีโอที่เหมือนจริงและซิงก์ริมฝีปากเปิดโลกแห่งความเป็นไปได้ทางสร้างสรรค์ ส่งเสริมประสบการณ์ที่มีส่วนร่วมและดึงดูด อย่างไรก็ตาม การพิจารณาอย่างมีสติถึงผลกระทบทางจริยธรรมและสังคมมีความสำคัญยิ่งที่จะต้องทำเพื่อให้การใช้งานเทคโนโลยีที่เปลี่ยนแปลงนี้เป็นไปอย่างรับผิดชอบและเกิดประโยชน์
