映画向け AI ビジュアルダビングのリーディング企業が、データセット収集を産業化

きっかけ

学習用コーパスを構築する方法を探して Google 検索で Tornado を見つけ、創業者に直接連絡がありました。

課題

ビジュアルダビングのモデルは話す顔の動画から学習し、それを研究規模で、高品質に、SpeakerVid や TalkVid といった学術的な参照に沿って構造化された形で必要とします。約 100,000 本の参照付きコーパスを自社で構築することは、本業とはまったく無関係の問題に数か月のエンジニアリングを費やすことを意味していました。

スクレイパー、プロキシ、リトライロジックに費やす週は、モデルそのものに費やせない週でした。

解決策

Tornado はこの納品をマネージドなパイプラインとして実行しました。参照コーパスの取り込み、学術マニフェストとの全ファイル突合、そして MKV での S3 バケットへの直接配信を行い、進行中は完了状況を継続的に報告しました。

プロキシもリトライロジックも、顧客側のインフラも不要でした。マニフェストを 1 つ渡せば、バケットが満たされていきます。

成果

98,663 本の動画、MKV で約 32.65 TB を配信し、すべてのファイルを参照マニフェストと突合しました。データセットチームはその週のうちにモデル開発へ戻りました。

バックフィル以降、追加分は同じパイプラインを自動的に通っています。