ご自身の声をリアルなアニメーションに変換することができる世界を想像してみてください。微妙な表情や頭の動きのニュアンスまで、驚くほど正確に捉えられた映像化された世界。これはSF小説のコンセプトではなく、Huawei Wei氏とそのイノベーターチームによって具現化された現実です。それがAniPortraitという進化し続けるデジタル表現の世界への入り口です。
AniPortraitは本当によいリップシンクができるし、コードも公開されている（Emoとは異なる）！
— Jer at EccentrismArt (@EccentrismArt) March 27, 2024
おそらくAlibabaのEmoほどクリーンではないが、近い。https://t.co/1inRtoKNDM pic.twitter.com/cn6EW7op88
AniPortraitはアニメーション技術の最先端を突き進んだ飛躍を象徴しています。革新が命脈の産業であるこの革新的なフレームワークは、オーディオ入力を驚くほどリアルでダイナミックなアニメーションに変換することで、新たな基準を打ち立て、視聴者にとって前例のない知覚体験を創造しています。
AniPortraitの成功の鍵は、オーディオを高品質でリアルなアニメーションに変換する2段階のプロセスにあります。しかし、それだけではありません。このフレームワークは、顔の自然さ、ポーズの多様性、高いビジュアル品質の達成において優れたパフォーマンスを発揮し、既存のアニメーション手法を超え、視聴者に向けた向上した知覚体験を生み出しています。
AniPortraitに真価を発揮させるのは、その柔軟性と制御性です。この驚くべき技術は単なるアニメーション作成ツール以上のものです。それは複雑なAIサブスクリプションのための請求書を支払うことを忘れさせるオールインワンプラットフォームであり、複雑な表情の編集や再生の可能性を提供し、デジタル表現の領域を新たな可能性で広げるのです。
Introducing Aniportrait: Audio-Driven Synthesis of Photorealistic Portrait Animation pic.twitter.com/2iZbGROloz
— Halim Alrasihi (@HalimAlrasihi) March 29, 2024
AniPortraitのユニークなフレームワークは、2つの核となるモジュール、Audio2LmkとLmk2Videoに分割されています。これらのモジュールは調和して動作し、オーディオ入力を見事なビジュアルアニメーションにシームレスに変換します。それぞれのモジュールとそれらの相互作用の技術的な複雑さについて詳しく見てみましょう。
AniPortraitへのGitHubリンク：
Zejun-YangAniPortraitのプロセスの第一段階は、音声を2Dの顔の特徴点の連続に変換することです。これがAudio2Lmkモジュールが活躍する場所です。
話された言葉、笑い、ささやきを想像してみてください。Audio2Lmkモジュールは、これらの音を捉え、それぞれの音に関連する細かい表情や唇の動きを捉えた顔の特徴点の連続に変換します。
Audio2Lmkモジュールが驚異の力を発揮したら、フレームワークのLmk2Video部分が引き継ぎます。このモジュールは、連続的な顔の特徴点の連続を、リアルで時間的に一貫性のあるアニメーションに変換します。その結果は美しい交響曲に似ており、各音符が完璧に同期しており、個々のパーツを超えた傑作を作り上げています。
では、'時間的一貫性'とは具体的に何を意味するのでしょうか？簡単に言えば、時間経過における動きの一貫性を指します。アニメーションの世界では、時間的一貫性は非常に重要です。アニメーションがスムーズでシームレスであり、視聴体験を妨げるような急激な変化がないことを保証します。
では、Lmk2Videoモジュールはこれをどのように実現しているのでしょうか？それは強力な拡散モデルと、モーションモジュールを活用しています。モーションモジュールは動きを顔の特徴点の連続に合わせ、参照画像との外見の一貫性を保ちます。しかし、それだけではありません。Lmk2Videoモジュールはまた、Audio2Lmkモジュールで捉えた微妙な表情と唇の動きの細部をアニメーションが再現することも保証します。
AniPortraitが達成した素晴らしい業績にはいくつかの重要な要素が必要であったことに留意してください。まずは、オーディオ特徴量抽出のための事前訓練済みのwav2vecモデルの使用です。次に、キーポイントとポーズのデコーディングに対してトランスフォーマベースのモデルを採用しました。そして最後に、高品質なビデオフレームを生成するための拡散モデルの適用です。これらの要素は全体的な成功において重要な役割を果たしています。
最終的な成果物？驚くほどリアルなアニメーションです。ビジュアルの品質は申し分なく、顔の自然さは驚くべきものであり、ポーズの多様性は類を見ないものです。しかし、これは私たちの言葉だけでなく、いくつかの実験の結果からも明らかです。これにより、AniPortraitはアニメーション業界の最前線に位置しています。
興味深い実験とAniPortraitがアニメーションの世界を革命づける方法についてもっと知るために、このスペースをお見逃しなく。
非凡な主張には非凡な証拠が必要ですね。そして、AniPortraitはこれに完璧に合格し、アニメーションの領域での革命的な地位を強化しました。
腾讯也搞了一个让照片能唱歌说话的项目
— 小互 (@imxiaohu) March 27, 2024
比阿里EMO先开源
AniPortrait：根据音频和图像输入 生成会说话、唱歌的动态视频
它可以根据音频（比如说话声）和一张静态的人脸图片，自动生成逼真的人脸动画，并保持口型一致。
支持多种语言，同时支持进行面部重绘和头部姿势控制。
主要功能：… pic.twitter.com/5YU2aAYXAa
この検証プロセスの中心には、AniPortraitのパフォーマンスがAudio2PixやDeep Audio2Faceなどの既存のアニメーションシステムと比較される比較分析があります。比較の基準は、顔の自然さ、ポーズの多様性、高いビジュアル品質です。
これらの他のシステムにはそれぞれの強みがありますが、総合的なパフォーマンスとしてはAniPortraitに劣ります。以下はその理由です：
Some tests I made with AniPortrait #AI pic.twitter.com/4QpT886oVv
— Alex (@alexfredo87) March 28, 2024
ユーザースタディも特筆すべきです。それらは、AniPortraitによって生成された音声駆動の写真のような肖像ビデオと他のシステムによって生成された物の類似性と動きの類似性を比較し、評価します。実際のユーザーは、洗練された品質、滑らかな動き、時間の一貫性のためにAniPortraitのアニメーションを好みました。
まあ、数字自体が語っていますし、「AniPortraitがアニメーションゲームを革命している」と確信しています。
革命的な可能性を見て、人々はAniPortraitの未来について考えるでしょう。研究者たちは楽観的であり、興奮しています。彼らは、AniPortraitがアニメーションだけでなく、通信、デジタルマーケティング、エンターテイメントなどの音声関連のアプリケーションでも次々と新たな地平を打ち立てると想定しています。
さらに、AniPortraitのチームは、技術の改良と拡張に取り組んでおり、より精巧な顔の動きの編集や再生の可能性を見越しています。彼らはクリエイティブなデジタル表現において前例のない没入型体験を創造するために、従来の慣習に挑戦しています。
サウンドが華麗なアニメーションとして映し出されるAniPortraitは、制御性、柔軟性、リアルさという点で、デジタル表現の世界を革新しています。音声を聞くだけではなく、見ることになります！
ビジュアルの革命が起こっている今日の世界では、これはまだ可能性の一部に過ぎず、AniPortraitがその先駆者として道を切り拓いています。常に進化するデジタル表現の風景において、AniPortraitという名前がゲームを変え、未来を再定義しているのです。音声からアニメーションへの旅は、アニメーション自体と同じくらい興奮するものになることでしょう！
