Pemimpin di bidang dubbing visual AI untuk film mengindustrialisasi pengumpulan dataset

Bagaimana ini bermula

Mereka menemukan Tornado lewat pencarian Google saat mencari cara membangun korpus pelatihan mereka, lalu menghubungi founder secara langsung.

Tantangan

Model dubbing visual belajar dari video wajah berbicara, dan mereka membutuhkannya pada skala riset, dalam kualitas tinggi, tertata mengikuti rujukan akademik seperti SpeakerVid dan TalkVid. Membangun korpus berisi ~100.000 video berujuk secara internal berarti berbulan-bulan pekerjaan engineering pada masalah yang sepenuhnya di luar bisnis inti mereka.

Setiap minggu yang dihabiskan untuk scraper, proxy, dan logika retry adalah satu minggu yang tidak dihabiskan untuk model itu sendiri.

Solusi

Tornado menjalankan pengiriman ini sebagai pipeline terkelola: ingestion korpus berujuk, rekonsiliasi setiap file terhadap manifest akademik, dan pengiriman langsung dalam format MKV ke bucket S3 mereka dengan pelaporan kelengkapan sepanjang prosesnya.

Tanpa proxy, tanpa logika retry, tanpa infrastruktur di sisi mereka: satu manifest masuk, satu bucket yang terisi.

Hasil

98.663 video terkirim, ~32,65 TB dalam MKV, setiap file direkonsiliasi terhadap manifest rujukan. Tim dataset kembali mengerjakan model pada minggu yang sama.

Sejak backfill itu, penambahan inkremental berjalan otomatis melalui pipeline yang sama.