動画を同じ声で翻訳
ナレーターの声のまま、日本語でもドイツ語でも韓国語でも
字幕は、視聴者に読んでもらう必要があります。かといってAIの汎用ボイスでは、まるで別人の声です。同じ声での翻訳は、話した本人の声の特徴を保ったまま、別の言語で音声を作り直します。翻訳後の音声は元と同じ長さで戻ってくるため、そのまま映像に重ねられます。9分の映画を12言語で試しました。下のデモでお聴きください。
同じ声での動画翻訳は、10月末にDoitongで利用できるようになります。
試す前に、まず聴いてください
9分の英語の映画を、ナレーター本人の声のまま12言語に翻訳しました(翻訳は当チームによるものです)。再生して、YouTubeの「設定」→「音声トラック」から言語を切り替えてください。日本語で聴く場合は、「日本語」のトラックを選びます。どの言語でも同じナレーターの声かどうか、ぜひ聴き比べてみてください。
- 元の言語
- 英語
- 翻訳言語数
- 12
- 映画の長さ
- 9:00
- 長さの差
- 0.03秒未満
こんな方におすすめです
YouTubeチャンネル
1本の動画に、複数の音声トラックを。東京の視聴者もマドリードの視聴者も、再アップロードなしで、同じ出演者の声を自分の言語で聴けます。
講座・解説動画
講師の声は、レッスンの一部です。声ごと翻訳すれば、言葉だけでなく、その人らしさも伝わります。
商品紹介動画・広告
お客様がすでによく知っているプレゼンターの声で、新しい市場にデモ動画を展開できます。
ドキュメンタリー・ストーリー動画
ナレーション中心の映像は、いちばん取り組みやすいケースです。ポンペイのテストのように、声が1人で、間がはっきりしていて、テンポが一定だからです。
この映画を翻訳した手順
上のポンペイの映画で実際に行った手順で、おすすめの進め方でもあります。
クリーンな音声から始める
この映画はナレーションが独立したトラックになっています。そこで声だけを翻訳し、元の音楽と効果音を各言語の下に戻しました。そのため、BGMは13バージョンすべてで同じ響きです。
長い動画は間で区切る
9分の映画は、ナレーターが息をつく箇所で4:43と4:17の2パートに分けて入力しました。文の途中で切ると、翻訳音声では継ぎ目が聞こえてしまいます。
言語ごとに1回ずつ処理する
翻訳は言語ごとに別々に行います。次に進む前に、それぞれの冒頭を聴いて確認しましょう。
固有名詞と珍しい語を確認する
翻訳でつまずきやすいのは、人名や古い言葉、専門用語です。別のテスト映画では、ある言語で登場人物の名前の形が変わってしまいました。それ以来、すべての名前を耳で確認しています。
音声トラックを戻す
翻訳した各パートは、どの言語でも元より0.03秒未満の差で戻ってきました。そのため、タイミングを調整し直さなくても新しいナレーションが映像にぴったり合いました。
変わるものと、変わらないもの
| 動画の要素 | 翻訳後 |
|---|---|
| 話している内容 | 対象言語に翻訳 |
| 声の特徴 | 維持：汎用ボイスではなく、同じナレーターの声 |
| 音楽と効果音 | 維持：元のスコアを各言語の下にミックスし直し |
| 長さ | 元と同じ(差は0.03秒未満) |
| 映像と口の動き | 変更なし：音声の翻訳であり、リップシンクではありません |
テストした12言語
英語から翻訳した言語：
ここに挙げたのは、実際にテストして公開した言語です。ツールの公開時に、このページで全言語の一覧をお知らせします。
ご利用前に知っておきたいこと
- 画面に映る口元は描き直されません。話している顔のアップではズレが目立ちますが、ナレーションでは気になりません。
- 名前は、翻訳で形が変わることがあります。公開前に、すべての名前を耳で確認してください。
- 翻訳の精度は、クリーンな音声がいちばん高くなります。プロジェクトで声が独立したトラックになっている場合は、そちらを使いましょう。
- 翻訳するのは、権利をお持ちの動画と声だけにしてください。
同じ声での翻訳に関するよくある質問
AIで動画を元の声のまま翻訳できますか？
はい。同じ声での翻訳は、話者の声の特徴を保ったまま、別の言語で音声を作り直します。テストでは、12言語すべてで同じナレーターだと分かる声になりました。
翻訳後の音声は、動画と同じ長さになりますか？
テストでは同じ長さになりました。どの言語でも、各パートは元より0.03秒未満の差で戻ってきたため、タイミングの調整は不要でした。
BGMはなくなってしまいますか？
残したい場合は、なくなりません。ナレーションだけを翻訳し、元の音楽と効果音をすべての言語の下にミックスし直したので、どのバージョンでもBGMは同じです。
これはリップシンクですか？
いいえ。翻訳されるのは声で、映像はそのままです。ナレーション、画面録画、ボイスオーバー動画なら、これで十分です。
Doitongではいつから使えますか？
同じ声での動画翻訳は、10月末にDoitongで利用できるようになります。今のうちに無料アカウントを作成しておけば、公開日からすぐにお使いいただけます。