Лідер у сфері візуального AI-дубляжу для кіно індустріалізує збір датасетів
Навчання моделей візуального дубляжу для кіно потребує величезних, добре структурованих датасетів із відео облич, що говорять. Tornado API доставив академічно референсований корпус із майже ста тисяч відео одразу в їхній S3 bucket, звірений, перевірений, у MKV.
Доставляє в AWS S3Як це почалося
Вони знайшли Tornado через пошук у Google, коли шукали спосіб зібрати свій тренувальний корпус, і звернулися напряму до засновника.
Виклик
Моделі візуального дубляжу вчаться на відео облич, що говорять, і потребують його в дослідницькому масштабі, у високій якості, структурованим за академічними референсами на кшталт SpeakerVid і TalkVid. Зібрати корпус із ~100 000 референсованих відео власними силами означало місяці інженерної роботи над проблемою, повністю сторонньою для їхнього основного бізнесу.
Кожен тиждень, витрачений на скрапери, проксі й логіку повторів, був тижнем, не витраченим на самі моделі.
Рішення
Tornado виконав доставку як керований пайплайн: прийом референсованих корпусів, звірку кожного файлу з академічними маніфестами і пряму доставку в MKV у їхній S3 bucket зі звітністю про повноту протягом усього проєкту.
Без проксі, без логіки повторів, без інфраструктури з їхнього боку: один маніфест на вході, один bucket, що наповнюється.
Результати
98 663 відео доставлено, ~32,65 ТБ у MKV, кожен файл звірено з референсними маніфестами. Команда датасетів повернулася до роботи над моделями того ж тижня.
Після бекфілу інкрементальні доповнення проходять тим самим пайплайном автоматично.
“We needed a 30 TB training corpus delivered to one bucket. It landed in days, organized, verified, with zero babysitting from our side.”Керівник інженерії датасетів, компанія візуального AI-дубляжу