Для распознавания дипфейков применяется анализ аудиодорожки при помощи детектора от MWS AI и анализ изображений и видео при помощи детектора от VisionLabs. В части звука используется специализированная модель: сначала она обучается на сырых записях человеческой речи, чтобы «понимать» естественные звуковые паттерны, а затем дообучается на синтетических записях, выявляя характерные признаки сгенерированного голоса.
Высокая точность распознавания видео, созданных современными ИИ-моделями, позволяет автоматически определять поддельные ролики до публикации, фильтровать ИИ-контент в медиа, социальных сетях и мессенджерах, предотвращать распространение видео с поддельными изображениями политиков и общественных деятелей, а также противодействовать попыткам массовых манипуляций, например, при создании фейковых видео катастроф и чрезвычайных происшествий, способных вызвать панику.
Точность распознавания по аудиодорожке составила 84% для видео, созданных моделью Veo 3, и 93% — для Sora 2. При анализе изображения точность детектора от VisionLabs достигла 93,9% для Veo 3 и 93,6% для Sora 2. В настоящий момент продолжается обучение алгоритмов для достижения целевой точности выше 98%, а также объединение технологий распознавания аудио, изображений и видео в единый детектор с общим интерфейсом.
Одной из ключевых сложностей при работе с новейшими генеративными моделями является рост показателя False Rejection Rate (FRR) — числа ложных отклонений, когда система принимает реальный голос за синтезированный. Это может происходить при использовании инструментов для улучшения звука, таких как шумоподавление, компрессия или голосовые фильтры. По предварительным оценкам, FRR при анализе подобных записей может достигать от 4,5% до 7,2%, что требует дополнительной настройки алгоритмов.
В настоящее время MWS проводит тестирование нового детектора дипфейков с платформой для видеоконференций и онлайн-обучения МТС Линк, в сервисе МТС «Защитник», который предупреждает пользователей о разговоре с возможным мошенником, с одним из государственных сервисов в России, а также тремя банками в России и СНГ.
О Vision-Language Models
Veo 3 и Sora 2 относятся к классу VLM (Vision-Language Models) — мультимодальных моделей, объединяющих обработку видео и текста. Они умеют создавать полностью синтетические видеоролики с реалистичным изображением и звуком: модели одновременно генерируют картинку, речь, шумы и музыку так, чтобы все было синхронизировано. Эти системы обучены на огромных массивах реальных видеозаписей с аудио, благодаря чему «понимают», как должны совпадать движения губ и звук. При генерации также используются алгоритмы повышения качества кадров и точной передачи движений, что делает ролики почти неотличимыми от снятых на камеру. Новая технология синтеза речи позволяет одновременно генерировать два голоса, создавая реалистичные диалоги с естественными перебиваниями и наложениями реплик. Раньше подобного эффекта можно было добиться только с помощью отдельного монтажа, а теперь алгоритмы делают это «из коробки», приближая дипфейки к настоящему человеческому общению.
