Lumi / 主な機能
YouTube 二言語字幕の補正と文分割:自動字幕を意味のまとまりで読む
Subtitle Refinement が前後の文脈から細切れの自動字幕を自然な一文に再構成して翻訳。Playback-first Refinement Window により、今見ている再生位置の周辺を最優先で処理します。
実例と仕様
| 項目 | 詳細 |
|---|---|
| 精修の入力ソース | プラットフォーム上の既存字幕テキストとタイムスタンプを基に文を再構成・翻訳(音声の再認識は行いません)。 |
| 決定的な翻訳チャンク | 通常の字幕翻訳は先頭から決定的に分割:1 チャンクあたり最大 10 cue・原文 2,000 文字まで。 |
| 再生位置優先スケジュール | Playback-first Refinement Window が現在の再生位置周辺を優先処理(通常翻訳の Deterministic Subtitle Chunk とは別機構)。 |
| 共有成果物の再利用条件 | 管理型成果物は入力と Generation Profile Fingerprint が完全一致した場合に再利用。テキスト BYOK と動画チャットは対象外。 |
| 処理前:重なる 4 つの入力 cue | 処理後:意味で分けた 3 つの cue |
|---|---|
|
|
2026-09-27 に記録された同一ウィンドウの CLI 実行サンプル(再分割のみ実行・翻訳オフ。下の対訳表は別の製品デモ)。細切れの cue がどのように意味単位の文にまとまるかを示しています。
deepseek-v4-flash · temperature 0 · boundary-v1 · 0–180 s · en
サンプルと実行設定をダウンロード| 時刻 | 原文 | Lumi の訳文 |
|---|---|---|
| 21.60–26.00 s | okay so let's begin first of all what is a large language model really | 好的,我们开始吧。首先,大语言模型到底是什么 |
| 26.00–29.76 s | well a large language model is just two files right um | 嗯,大语言模型其实就是两个文件,对吧 |
| 29.76–32.60 s | there will be two files in this hypothetical directory | 在这个假设的目录里会有两个文件 |
実際の製品デモデータからの抜粋(収録時の英語原文と中国語訳を保持)。Lumi による文分割と対訳表示の実例です。 Andrej Karpathy · Intro to Large Language Models · 2026-06-27
利用手順
- YouTube 動画を開き、元になる字幕トラック、翻訳先言語、AI モデルを選択します。
- 字幕精修(Refinement)をオンにすると、現在の再生ヘッド周辺のウィンドウから優先的に処理が始まります。
- 見たいチャプターや時刻へシークすると、スケジューラが自動的に新しい再生位置の周辺を最優先に切り替えます。
- 原文と自然な対訳を並べて読みながら、必要に応じてモデルやプロンプトを調整します。
よくある質問
- YouTube の自動字幕をそのまま 1 行ずつ翻訳すると、なぜ読みにくいのですか?
- YouTube の自動生成字幕は、文の意味の切れ目ではなく 2〜3 秒ごとの短い音声ポーズで機械的に区切られています。その細切れの単位のまま翻訳すると、語順の異なる言語間で主語や代名詞のつながりが崩れてしまいます。Subtitle Refinement(字幕精修)は前後の隣接字幕をまとめて読み取り、自然な文単位に再分割してから文脈に沿った翻訳と整形を行います。なお、音声から書き起こし直すのではなく既存の字幕テキストを入力とするため、元字幕に聞き間違いがある箇所は原音再生とあわせて確認してください。
- 長い講義動画の途中にシークした場合、前半の翻訳が終わるまで待つ必要がありますか?
- 待つ必要はありません。Playback-first Refinement Window(再生位置優先ウィンドウ)が現在の再生ヘッドを追跡し、今見ている箇所とその直後の字幕を最優先でスケジューリングするため、動画の途中からでもすぐに学習を始められます。モデルの推論や API レート制限の都合上、シークした直後の数秒間は通常の字幕が表示され、処理が完了し次第なめらかに精修済み二言語字幕へ切り替わります。このスケジューリングは字幕の処理順序のみを制御し、動画の再生速度や音声には影響しません。
- Deterministic Subtitle Chunk(決定的チャンク)と再生位置優先ウィンドウはどう違いますか?
- 両者は異なる目的のために設計されています。Deterministic Subtitle Chunk は通常の字幕翻訳における標準分割単位で、字幕トラックの先頭からバージョン管理された規則に従い「最大 10 cue・原文 2,000 文字」ずつ決定的に切り出し、原文と訳文を 1 対 1 で対応させます。どこから再生しても境界が変わらないため、安定したキャッシュ共有が可能です。一方、Playback-first Refinement Window は字幕精修をどの時間帯から先に実行するかを決めるリアルタイムスケジューラであり、精修結果の共有には入力と生成設定指紋の一致も必要になります。
- AI モデルを変更したり BYOK キーを使った場合でも、共有キャッシュは使われますか?
- Shared AI Artifact(共有 AI 成果物)の再利用は管理型ワークフローに限定されており、入力の識別子と Generation Profile Fingerprint(モデル名、翻訳言語、プロンプト・プロトコル版、出力パラメータを含む指紋)が完全に一致した場合にのみヒットします。モデルや言語を変更した際に古い設定の結果が誤って返されることはありません。また、BYOK によるテキスト翻訳・精修および動画チャットは共有プールから除外されています。共有ヒット時の Lumi Token 消費は 0 で、新規に管理型生成を行った場合のみ実際の入出力 Token 数が計量されます。