Googleは今月開催された「Made on YouTube」イベントで、YouTubeの自動吹き替え技術の新たなアップグレードを発表しました。AIリップシンクの導入は、機械翻訳動画における音声と映像の同期という根深い問題を解決することを目的としています。この機能は、まず英語、ドイツ語、フランス語、スペイン語を含む20言語で展開され、今後数か月でさらに多くの言語に対応する予定です。
YouTubeの自動吹き替えと翻訳は、動画のタイトルと音声トラックを自動的に再生するため、これまで物議を醸してきました。そのため、多くのユーザーから、この自動翻訳と吹き替えを無効にする統一されたオプションの導入が求められています。多言語ユーザーやBilibiliのクリエイターからは、AIによる翻訳の品質が人間による翻訳と比べてばらつきがあると報告されています。現在、YouTubeは吹き替えをグローバルに無効にする機能を提供しておらず、ユーザーは動画ごとに音声トラックを手動で調整する必要があります。そのため、一部の開発者は、「YouTube Anti-Translate」などの自動翻訳と吹き替えをブロックするブラウザプラグインを開発しています。
今回のアップデートの最大の目玉は、AIリップシンク機能です。この機能は人工知能を活用し、自動生成された音声トラックを動画内の登場人物の唇の動きと完璧に一致させることで、視聴体験を大幅に向上させ、よりスムーズで自然な動画体験を実現します。クリエイターはYouTube Studioからリップシンク吹替機能を選択できます。最初のパイロット版はYouTubeパートナープログラムのメンバー向けに提供されており、Googleはこの機能をすべての動画に拡大する予定です。
多言語吹替では、YouTubeは独自のAIモデル（GeminiやAloudなど）を活用して多言語音声トラックを生成します。これらのトラックは、元の話者の声の感情やイントネーションを再現するだけでなく、人間の声から背景のノイズを分離します。Googleによると、多言語吹替を有効にした後、一部のチャンネルでは非ネイティブの視聴者が3倍に増加しており、大きな成長の可能性を示しています。
AIを活用した自動吹替とリップシンク技術は、クリエイターの視聴者層を大幅に拡大し、広告収入を押し上げましたが、オリジナルコンテンツの信憑性や視聴者体験全体を損なうのではないかという議論は依然として続いています。支持者は、このアプローチは世界的な視聴を促進し、コンテンツのインパクトを高めると主張する一方で、批判者は自動化によって原作の独自のスタイルが損なわれることを懸念している。AIリップシンクが理想と現実のギャップを真に埋めることができるかどうかは、依然として議論の余地がある。
