Journal

AIを使って外国語のプレゼンテーションを「より完璧に」翻訳する方法

目次

前回、NotebookLMを使って海外のコーヒー競技会のプレゼンテーションを無料で翻訳・分析する方法を紹介した。

AIで外国語動画やプレゼンを翻訳・分析する方法について。8万円の請求が0円になった世界。(Notebook LMの使い方)

ただ、正直に書くと、あの記事を出した後もずっと引っかかっていたことがある。専門分野におけるNotebookLMの翻訳は、100点満点にはなりづらい。(気がしている)

しかし無料であの精度が出ること自体が驚異的だし、手軽さにおいては他の追随を許さない。URLを貼るだけでいい。

それでも、やっぱりもう少し完璧を目指したくなってしまう。特に競技会のプレゼンテーションは専門用語が多く、農園名や精製プロセスの固有名詞が正確に訳されるかどうかで、資料としての価値も変わってくる。

今回は、前回の方法をベースにしつつ、より精度の高い翻訳を目指すワークフローを紹介する。題材はWorld Barista Championship 2025(以下 WBC)のプレゼンテーションだ。


まず、1つ訂正。YouTubeのリンクで「音声」は聞いていないらしい

前回の記事で誤解を与えてしまったかもしれない部分がある。GeminiやNotebookLMにYouTubeのリンクを投げると、あたかもAIが音声を聞き取っているように見えるが、実際にはYouTubeの字幕データ(トランスクリプト)をテキストとして取得し、それをもとに処理しているようだ。
※この辺りの仕組みは、設計している中の人でなければ把握できないと思うが、Gemini張本人がそう言っている。(笑)

あれからも色々なURLを読み込ませていると、「字幕データが途中欠如しているため適切に文字起こしできませんでした」というパターンにも遭遇した。こうなった場合は音声ファイルを別途読み込ませたり、Whisperなど別の音声モデルを使用できるサービスでURLから文字起こしをして整合性をとるしかない。

GeminiでAIに音声そのものを処理させたい場合は、MP3などの音声ファイルを直接アップロードする必要があるらしい。


NotebookLMとGemini。同じGoogle、でも決定的に違う部分

NotebookLMもGeminiも、動いているAIの基盤は同じGoogleのモデルだ。しかし、翻訳の精度に差が出る理由は、前回の記事でも書いた両者の設計思想の違いにある。

NotebookLMは、アップロードされたソースからしか情報を推測してはいけないというルールで動いている。これはハルシネーション(AIの嘘)を防ぐための設計であり、NotebookLMの大きな強みでもある。

しかし、この制約が裏目に出る場面があるのではないかと思えている。

例えば、YouTubeの字幕データが「Finca Deborah(フィンカデボラ)」という単語を「Finger Debora」と誤認識していたとする。ちなみにFinca Deborahは有名なパナマのコーヒー農園のことだ。しかしNotebookLMは与えられたデータの外に出られないため、「Deborahの指」という意味不明な直訳をしてしまう可能性がある。
※もちろんNotebook LMも裏で動いているのはGeminiなので実際ここまで酷い誤訳はあまりないかもしれない。

一方のGeminiは、与えられたソース以外の情報も使って推測・補正ができる。Web上のビッグデータにFinca Deborahの情報があれば、「これはFinger DeboraではなくFinca Deborahだ」とプレゼンテーションの文脈から自力で修正して翻訳してくれる。

ただし、これは逆のリスクも孕んでいる。まだ誰も知らない新種の品種や精製プロセス、競技者が自分で開発したオリジナルの器具など、Web上に情報が存在しないものに対しては、Geminiが勝手に既知の何かと置き換えてしまう可能性がある。ハルシネーションだ。

整理すると、こうなる。

NotebookLMは嘘をつかないが、固有名詞の誤認識を修正するところに不安が残る。逆にGeminiは固有名詞を修正できるが、情報がない場合に嘘をつくリスクがある。

この特性を理解した上で使い分けることが重要になる。


より完璧を目指すワークフロー、バリスタ世界チャンピオンのプレゼンテーション

前回のワークフローを踏まえつつ、今回はより精度を高めるために以下の流れで作業した。ここでは、ワールドバリスタチャンピオンシップ2025年の優勝者、ジャック・シンプソン選手のプレゼンテーションを例にお伝えしよう。

まず、NotebookLMでYouTubeの字幕データから英語の文字起こしを取得すると、こんな状態。

all right everyone comfortable okay if I could please have my music All right time The 3rd of May 2024 Busousan Korea Today is the final of the World Barista Championship I’m standing on stage amongst the best baristas in the world waiting for announcements I’m smiling but void of emotion feeling the weight of every word about to be spoken Have I done enough to become the next World Barista champion the results are called and I’ve just missed out I’m instantly sad disappointed and confused Were all those hours spent training worth it but while standing there consumed by emotions I was…

以下省略

— NotebookLMからの引用


↓
↓
↓

次に、上記の文字起こしデータをGemini(Pro)に読み込ませる。Geminiは字幕側でうまく聞き取れていない部分や誤字を検出し、文脈やWeb上の情報をもとに補正しながら、綺麗な英語の原文に整えてくれる。

Gemini補正後の文章

All right, everyone comfortable? Okay. If I could please have my music.

All right, time. The 3rd of May, 2024. Busan, Korea. Today is the final of the World Barista Championship. I’m standing on stage amongst the best baristas in the world, waiting for announcements. I’m smiling, but void of emotion, feeling the weight of every word about to be spoken. Have I done enough to become the next World Barista Champion? The results are called, and I’ve just missed out. I’m instantly sad, disappointed, and confused. Were all those hours spent training worth it?…

以下省略

— 引用元:YouTube ジャック・シンプソン選手のプレゼン(英語)


ちなみに、ここまでで何処が補正されたのかというのもGeminiに出力させた。これでも100%正解しているのかは正直分からないので、気になる人はここでしっかりチェックしておくことをお勧めする。

農園名・地名

  • Finger Zaza / Thinker Zaza → Finca Zarza
  • Finger Deborah / Finadra → Finca Deborah
  • Busousan Korea → Busan, Korea
  • Vulcan region → Volcan region
  • Wheeler Colombia → Huila, Colombia
  • Bruselis → Bruselas

生産者名・品種

  • Jonathan Savage → Jamison Savage
  • Jonathan Gaska → Jonathan Gasca
  • papaya → Papayo
  • Katimmore → Catimor

専門用語・器具・加工技術

  • nitrogen maseratic → nitrogen-macerated
  • the auto → the AutoComb
  • cryosicated → cryodesiccated
  • raised bands → raised beds
  • anorobic → anaerobic

その他の聞き間違い

  • me and vinegar / creating meat → mead and vinegar / creating mead
  • diversity and challenges → adversity and challenges
  • evervescent → effervescent

補正された文章を、さらにGemini(Pro)で日本語に翻訳させるとこうなる。

皆さん、準備はいいですか? オーケー。音楽をお願いします。

よし、タイム。

2024年5月3日。韓国、釜山。今日はワールドバリスタチャンピオンシップの決勝戦。私は世界最高のバリスタたちとともにステージに立ち、結果発表を待っています。笑顔を浮かべながらも感情は空っぽで、これから語られるすべての言葉の重みを感じています。次のワールドバリスタチャンピオンになるのに十分なことをやり遂げただろうか?

結果が呼ばれ、私はあと一歩のところで逃しました。途端に悲しみ、失望し、混乱しました。トレーニングに費やしたあの膨大な時間は無駄だったのか?

しかし、感情に飲み込まれてそこに立っていた時、私は会ったこともない人に突然抱き上げられました。それはジョナサン・ガスカでした。私がステージで提供したコーヒーの一つを生産した人物です。彼は涙を流しながら、これまでされたことがないほど強く私を抱きしめました。私がネガティブな感情に流されている間、この男は喜びに溢れていました。彼はその部屋で一番幸せな人だったのです。彼のコーヒーがWBCで惜しくも優勝を逃したからではなく、彼のコーヒーがそこに立つにふさわしかったからです。それは彼の国、彼の家族、何年もの努力、そして彼のコーヒーをステージに上げるために払った犠牲を象徴していました。

以下省略…

— 引用元:YouTube ジャック・シンプソン選手のプレゼン(日本語訳)


もちろんここまでやっても完璧にはならないと思う。それでも、NotebookLMだけで処理するよりは格段に精度の高い翻訳と分析になりやすいにではないかと考えている。なお、この作業にはGeminiの有料プラン(Proモード使用)が必須と考えてほしい。

今回、WBC 2025のファイナリスト6名のプレゼンテーションをこの方法で処理したが、片手間の作業をしながら約1~2時間ほどで完了した。ゆっくり時間をかけても2時間以内で終わると思う。


分析工程は、Claudeなしでも完結できるが…

Geminiも2025年末のアップデートでGoogleスライドでの出力にCanvasモードで対応するようになっている。またHTMLを使ったWEBサイト形式の出力にも対応している。つまり、翻訳から分析資料の作成までGemini上で完結させることも可能だ。

試しに今回のプレゼンテーションをGeminiで簡易的にスライド化させると以下が完成した。
※修正なし

バリスタの真の責任

バリスタの真の責任 ワールドバリスタチャンピオンシップ・スピーチ分析 生産者との絆とコーヒーの価値

docs.google.com

NotebookLMでは生成したスライドを修正することができないが、こちらのスライドは修正可能なのが扱いやすい。

私は最後にClaudeを使って資料をまとめているが、Claudeを契約しなくてもGeminiでもある程度の分析は成立する。ただ、Geminiはファイナリスト6名分の大規模な分析処理でエラーを起こすことがあったので、万が一うまくいかなかった際のバックアップとしてClaudeを併用する価値はある。

ちなみに大規模な分析データを作る場合は、現状ではClaudeのMaxプランが必須になるかもしれない。Proプランでは途中から使用制限がかかり、作業効率が著しく落ちた。Maxプランの月額は現在の為替レートで約1万6千円。なかなか痛い出費なので、大人の趣味と割り切るしかない。

Claudeが真価を発揮するのは、データサイエンティスト的な視点でデータを活用していくときだと思う。私がトライしている規模は過去4年間のファイナリストのプレゼンテーション文章を精度高く翻訳したのち、24名分を全て読み込ませたデータ処理なので、相当な情報量になる。

過去4年間のESP/ミルク/シグネチャーのカテゴリ、計72杯を分析したまとめ。HTMLのサイト形式で、これくらい大規模な分析になってくるとGeminiでは太刀打ちできなくなるかもしれない。試してないから分からないけど。 過去4年間のESP/ミルク/シグネチャーのカテゴリ、計72杯を分析したまとめ。HTMLのサイト形式で、これくらい大規模な分析になってくるとGeminiでは太刀打ちできなくなるかもしれない。試してないから分からないけど。

使用されたコーヒー農園の統計 使用されたコーヒー農園の統計

各3カテゴリで宣言されたフレーバーの傾向、他にもタクタイル・テクスチャー宣言の傾向など 各3カテゴリで宣言されたフレーバーの傾向、他にもタクタイル・テクスチャー宣言の傾向など

エスプレッソレシピの平均推移 などなど、他にも分析項目多数 エスプレッソレシピの平均推移 などなど、他にも分析項目多数

上記を見ると、単純にGeminiで作ったまとめ資料とは情報量が比べ物にならないと思う。後半の分析部分は少し脱線してしまったが、より正確な分析のためにできる限り100点に近い翻訳を目指したい方は、今回紹介したGeminiのワークフローをぜひ試してみてほしい。