Sự hội tụ của trí tuệ nhân tạo và công nghệ đa phương tiện đã dẫn đến những tiến bộ đáng kể, đặc biệt trong lĩnh vực chuyển đổi hình ảnh tĩnh thành video động đồng bộ khẩu hiệu. Khả năng này, trước đây chỉ giới hạn trong các studio hoạt hình cao cấp, nay đang trở nên ngày càng dễ tiếp cận nhờ vào sự phát triển của các mô hình AI tinh vi. Những mô hình này tận dụng sự kết hợp giữa thị giác máy tính, xử lý ngôn ngữ tự nhiên (NLP) và mạng đối kháng sinh sản (GAN) để phân tích các đặc điểm khuôn mặt, diễn giải tín hiệu âm thanh và tạo ra các chuyển động miệng thực tế đồng bộ với lời nói. Các ứng dụng của công nghệ này rất phong phú, từ việc tạo ra nội dung truyền thông xã hội hấp dẫn và avatar cá nhân hóa đến việc sản xuất tài liệu đào tạo và cải thiện khả năng tiếp cận thông qua phiên dịch ngôn ngữ ký hiệu tự động. Bài viết này đi sâu vào bối cảnh của các mô hình AI có khả năng thực hiện sự chuyển đổi hấp dẫn này, khám phá cơ chế, ưu điểm và hạn chế của chúng. Khi chúng ta tiến sâu vào các mô hình hiện có, chúng ta cũng sẽ khám phá những khả năng thú vị mà những công nghệ này mở ra cho các nhà sáng tạo và doanh nghiệp.
Anakin AI
Tại trung tâm của hầu hết các mô hình AI có khả năng chuyển đổi ảnh thành video đồng bộ khẩu hiệu là học sâu. Học sâu, một nhánh của học máy, sử dụng các mạng nơ-ron nhân tạo với nhiều lớp (do đó gọi là "sâu") để khai thác các mô hình phức tạp từ dữ liệu. Những mạng lưới này được huấn luyện trên các tập dữ liệu khổng lồ của các video có âm thanh con người, cho phép chúng học các mối quan hệ tinh vi giữa chuyển động khuôn mặt và âm vị (các đơn vị âm thanh cơ bản trong một ngôn ngữ). Ví dụ, một mô hình học sâu được huấn luyện trên hàng nghìn giờ phỏng vấn của người nổi tiếng sẽ bắt đầu nhận biết hình dạng môi và chuyển động cơ bắp tinh tế liên quan đến phát âm của các nguyên âm và phụ âm khác nhau. Kiến thức thu được có thể được áp dụng cho một hình ảnh chưa thấy của một khuôn mặt, cho phép mô hình tạo ra các chuyển động môi thực tế tương ứng với một bản âm thanh cho trước. Độ chính xác và tính thực tế của đồng bộ khẩu hiệu chủ yếu phụ thuộc vào kích thước và chất lượng của dữ liệu huấn luyện, cũng như độ phức tạp của kiến trúc mạng. Những mô hình tinh vi hơn, chẳng hạn như những mô hình tích hợp việc tái tạo khuôn mặt 3D, có thể đạt được mức độ thực tế và biểu hiện tinh tế cao hơn nữa.
Một trong những mô hình sớm và có ảnh hưởng trong lĩnh vực này là Voca. Voca viết tắt của "Hoạt Hình Nhân Vật Dựa Trên Giọng Nói". Nó đã chứng minh tính khả thi của việc tạo ra hoạt hình mặt 3D thực tế trực tiếp từ đầu vào âm thanh. Mặc dù Voca không được thiết kế để biến các ảnh tĩnh thành video, nhưng nó đã đặt nền tảng quan trọng. Voca sử dụng giọng nói để điều khiển một mô hình 3D của khuôn mặt. Mô hình được huấn luyện trên một tập dữ liệu các quét 3D và ghi âm âm thanh, cho phép nó học mối quan hệ tinh tế giữa giọng nói và chuyển động khuôn mặt. Kiến trúc của mô hình thường bao gồm một mã hóa viên và một giải mã viên. Mã hóa viên nhận đầu vào âm thanh và tạo ra một đại diện có chiều thấp hơn. Giải mã viên sau đó sẽ nhận đại diện này và tạo ra hoạt hình khuôn mặt 3D tương ứng. Đầu ra là một chuỗi các biến dạng lưới thể hiện chuyển động của khuôn mặt theo thời gian. Trong khi các triển khai ban đầu của Voca bị hạn chế bởi tài nguyên tính toán và khả năng dữ liệu, công việc tiên phong của nó đã mở ra những con đường mới cho nghiên cứu và phát triển trong lĩnh vực hoạt hình khuôn mặt dựa trên âm thanh. Các nguyên tắc cơ bản của Voca đã được điều chỉnh và tinh chỉnh trong nhiều mô hình tiếp theo, góp phần vào sự cải tiến liên tục mà chúng ta thấy trong AI đồng bộ khẩu hiệu ngày nay.
Wav2Lip, do Priya Sundaresan và cộng sự phát triển, đại diện cho một bước nhảy vọt đáng kể trong công nghệ đồng bộ khẩu hiệu. Khác với các mô hình trước đây thường gặp khó khăn trong việc tạo ra các chuyển động môi chính xác và tự nhiên, Wav2Lip xuất sắc trong việc tạo ra đồng bộ khẩu hiệu rất thực tế với ít hiện tượng không mong muốn. Đổi mới chủ chốt đằng sau Wav2Lip nằm ở việc sử dụng một bộ phân biệt điểm mốc. Bộ phân biệt này được huấn luyện để phân biệt giữa video thực và video do mô hình tạo ra, dựa trên độ chính xác của các chuyển động môi. Bằng cách huấn luyện mô hình để đánh lừa bộ phân biệt, Wav2Lip có thể sản xuất đồng bộ khẩu hiệu mà gần như không thể phân biệt được với lời nói của con người. Wav2Lip tận dụng các mô hình phát hiện khuôn mặt và điểm mốc đã có để trích xuất các đặc điểm khuôn mặt từ hình ảnh và âm thanh đầu vào. Các đặc điểm này sau đó được đưa vào mô hình cốt lõi của Wav2Lip, tạo ra một chuỗi hình ảnh với các chuyển động môi đồng bộ. Wav2Lip đã chứng minh hiệu suất đáng chú ý trong một loạt các đầu vào âm thanh và hình ảnh, làm cho nó trở thành lựa chọn phổ biến cho các ứng dụng như tạo ra deepfake và lồng ghép video sang các ngôn ngữ khác. Nó cũng đã được cộng đồng mã nguồn mở chấp nhận rộng rãi, dẫn đến nhiều sửa đổi và mở rộng của mô hình gốc.
D-ID là một nền tảng cung cấp một loạt các công cụ tạo video được hỗ trợ bởi AI, bao gồm khả năng biến ảnh thành các avatar biết nói với đồng bộ khẩu hiệu thực tế. D-ID tự tách biệt với các công cụ đồng bộ khẩu hiệu AI khác nhờ vào sự nhấn mạnh vào tính dễ sử dụng và khả năng tích hợp với các dịch vụ AI khác. D-ID có một hệ thống tinh vi để tạo ra đối thoại đáng tin cậy chỉ bằng một hình ảnh duy nhất của một avatar. Nền tảng này sử dụng các mô hình AI tạo sinh để tạo ra video trong đó người trong hình ảnh dường như đang nói một cách tự nhiên, với các chuyển động môi của họ hoàn toàn phù hợp với âm thanh. Điều này rất hữu ích, chẳng hạn, trong việc sản xuất tài liệu đào tạo hoặc cho các doanh nghiệp muốn tạo ra các bài thuyết trình video với avatar được tạo ra bằng AI. D-ID đã được sử dụng bởi nhiều công ty và tổ chức khác nhau, những người bị thu hút bởi việc sử dụng AI tinh vi và sự nhấn mạnh mạnh mẽ của công ty về quyền riêng tư dữ liệu. Điều cũng phân biệt D-ID với các công nghệ đồng bộ khẩu hiệu AI khác là cách nó đã tích hợp nền tảng của mình với các hệ thống AI khác, ví dụ, cung cấp tích hợp dễ sử dụng với mô hình ổn định và GPT-3.
Mặc dù đạt được đồng bộ khẩu hiệu chính xác là một cột mốc quan trọng, việc tạo ra các avatar biết nói thật sự đáng tin cậy đòi hỏi phải giải quyết nhiều yếu tố khác. Tính thực tế của video cuối cùng phụ thuộc vào chất lượng của hình ảnh đầu vào, tính nhất quán của ánh sáng và bóng, và tính tự nhiên của các chuyển động đầu và biểu cảm khuôn mặt ngoài vùng miệng. Một số mô hình tích hợp các mạng tạo sinh bổ sung để nâng cao tính thực tế tổng thể của video, thêm vào những chuyển động đầu tinh tế, nháy mắt và các biểu cảm vi mô mà con người thường có trong cuộc trò chuyện. Hơn nữa, cách mà một người nói còn truyền tải nhiều thông tin ngoài những từ ngữ họ đang phát biểu. Những yếu tố như âm điệu, ngữ điệu và nhịp điệu đều đóng vai trò trong việc truyền đạt ý nghĩa và cảm xúc. Các mô hình AI tiên tiến có thể phân tích những đặc điểm âm thanh này và cố gắng tái tạo chúng trong các biểu cảm khuôn mặt của avatar được tạo ra. Những yếu tố bổ sung này góp phần vào việc phát triển một hoạt hình trông và cảm thấy thực hơn.
Hoạt Hình Khuôn Mặt tập trung vào việc sản xuất các mô hình khuôn mặt độ chính xác cao được sử dụng trong AI đối thoại. Phương pháp này được thiết kế để tạo ra các mô phỏng khuôn mặt 3D thực tế, biểu cảm và có thể điều khiển từ đầu vào âm thanh và văn bản. Sự tập trung vào tính biểu cảm là một phần trong triết lý tổng thể của Hoạt Hình Khuôn Mặt. Hoạt Hình Khuôn Mặt tập trung vào mô hình khuôn mặt độ chính xác cao. Việc tạo ra các đại lý AI đối thoại có thể trò chuyện với người dùng trong một video sử dụng công nghệ AI hiện đại không phải là một nhiệm vụ đơn giản. Hoạt Hình Khuôn Mặt được thiết kế với những thách thức này trong tâm trí. Hoạt Hình Khuôn Mặt đã được sử dụng trong nhiều ứng dụng, bao gồm trợ lý ảo, hệ thống hiện diện từ xa và trò chơi điện tử. Các nhà phát triển đã đạt được một chất lượng biểu cảm vượt xa chất lượng được thấy trong các phương pháp tương tự. Điều này mang lại cho phương pháp một loạt các ứng dụng sử dụng rộng rãi.
Sự thành công của bất kỳ mô hình AI nào phụ thuộc vào chất lượng và sự đa dạng của dữ liệu huấn luyện được sử dụng để phát triển nó. Nếu một mô hình chủ yếu được huấn luyện trên dữ liệu của một nhóm dân số cụ thể, nó có thể gặp khó khăn trong việc đồng bộ khẩu hiệu cho các khuôn mặt từ các nền tảng dân tộc hoặc độ tuổi khác nhau. Hơn nữa, các thiên kiến hiện có trong dữ liệu huấn luyện có thể được làm nổi bật bởi mô hình, dẫn đến các kết quả phân biệt không mong muốn. Ví dụ, nếu một mô hình được huấn luyện trên dữ liệu mà liên kết một số mẫu nói nhất định với các giới tính cụ thể, nó có thể duy trì những khuôn mẫu này khi tạo ra các video mới. Để giải quyết những vấn đề này cần có sự chỉnh sửa kỹ lưỡng cho các tập dữ liệu huấn luyện để đảm bảo rằng chúng đại diện cho sự đa dạng của toàn bộ dân số con người và không chứa các thiên kiến có hại. Các nhà nghiên cứu cũng đang khám phá các kỹ thuật như huấn luyện đối kháng và tăng cường dữ liệu để giảm thiểu tác động của thiên kiến và cải thiện khả năng tổng quát của các mô hình AI.
Lĩnh vực đồng bộ khẩu hiệu được hỗ trợ bởi AI đang nhanh chóng phát triển, với các mô hình và kỹ thuật mới liên tục xuất hiện. Một lĩnh vực nghiên cứu đầy hứa hẹn bao gồm việc tích hợp tái tạo khuôn mặt 3D vào quy trình đồng bộ khẩu hiệu để tạo ra những avatar thực tế và cá nhân hóa hơn. Bằng cách xây dựng một mô hình 3D hoàn chỉnh của khuôn mặt từ một hình ảnh duy nhất hoặc một video ngắn, các mô hình AI có thể tạo ra các chuyển động môi được căn chỉnh chính xác hơn với giải phẫu và biểu cảm khuôn mặt độc đáo của cá nhân. Một hướng đi thú vị khác liên quan đến việc khám phá việc sử dụng các kỹ thuật học không giám sát để huấn luyện các mô hình trên dữ liệu không được gán nhãn, cho phép chúng học từ một loạt nguồn rộng hơn và thích ứng với các kiểu nói và biểu cảm mới. Những tiến bộ này hứa hẹn sẽ đẩy xa giới hạn của những gì có thể làm được với đồng bộ khẩu hiệu được hỗ trợ bởi AI, mở ra con đường cho những trải nghiệm tương tác thực tế và hấp dẫn hơn nữa.
DeepMotion Animate 3D không hoàn toàn nhằm mục đích chuyển đổi ảnh thành video đồng bộ khẩu hiệu. Nó là một công cụ hoạt hình rộng hơn tận dụng AI để tự động hoạt hình các nhân vật 3D, rút ra từ footage video. Tuy nhiên, công ty đang ở đoạn đầu của sự đổi mới, vì vậy điều hợp lý là kỳ vọng rằng họ có thể tiến vào hướng này. Phần mềm cho phép người dùng tải lên video của những người thực hiện hành động, và sau đó nó sẽ tạo ra một hoạt hình 3D của một avatar ảo bắt chước những hành động đó. Một trong những tính năng nổi bật của DeepMotion Animate 3D là nó không yêu cầu bất kỳ bộ đồ ghi động nào hoặc thiết bị chuyên biệt. Đây là một sự khác biệt đáng kể so với các hoạt hình 3D truyền thống, thường yêu cầu sử dụng công nghệ như vậy. DeepMotion Animate 3D đã được sử dụng bởi nhiều chuyên gia khác nhau, bao gồm các nhà hoạt hình, nhà phát triển trò chơi và các nhà làm phim.
Khi các mô hình AI trở nên ngày càng thành thạo trong việc tạo ra các video thực tế và thuyết phục, rất quan trọng để xem xét những ảnh hưởng đạo đức của công nghệ này. Tiềm năng cho việc lạm dụng, đặc biệt là trong việc tạo ra deepfakes và sự lan truyền thông tin sai lệch, là một mối quan ngại nghiêm trọng. Các biện pháp bảo vệ, chẳng hạn như đánh dấu bản quyền và theo dõi nguồn gốc, cũng cần ngày càng nhiều được sử dụng, đặc biệt là khi Wav2Lip đã được sử dụng để phát tán thông tin sai lệch. Khả năng tạo ra video giả mạo thuyết phục có thể được sử dụng để làm hại danh tiếng của một người. Thách thức là công nghệ deepfake có thể khó bị phát hiện. Đây cũng là điều cần lưu ý trong các ngữ cảnh kinh doanh, nơi việc tạo ra một cuộc trò chuyện giả có thể được sử dụng để tạo ra bằng chứng giả. Giải pháp tốt nhất là giáo dục công chúng về công nghệ đang phát triển này.
Sự khám phá này nhấn mạnh sức mạnh và tiềm năng của AI trong việc cách mạng hóa việc sáng tạo đa phương tiện. Khi công nghệ tiếp tục phát triển, khả năng chuyển đổi ảnh thành video đồng bộ khẩu hiệu sống động mở ra một thế giới các khả năng sáng tạo, thúc đẩy các trải nghiệm hấp dẫn và đắm chìm. Tuy nhiên, việc cân nhắc kỹ lưỡng đến các ảnh hưởng đạo đức và tác động xã hội là điều tối quan trọng để đảm bảo việc triển khai công nghệ chuyển đổi này có trách nhiệm và mang lại lợi ích.
