Deepfake - нейросетевая технология подмены личности

Технология Deepfake даёт возможность синтезировать человеческие лица, голос, за счёт работы нейронной сети, по многочисленным фото, видео и голосовым примерам вводных данных.

Технологии deepfake сегодня развиваются быстрыми темпами, так как написаны многочисленные нейросети с открытым исходным кодом, которым можно воспользоваться, создав свою нейросеть и обучить ее.

Применение технологии deepfake.

Дипфейки перешли из разряда развлечений, где вы можете создать свой образ, в разряд профессиональных, применяемых в разных направлениях:

кино – омоложение актеров, мы можем смотреть новые фильмы с участием умерших актеров.

Недавно вышла новость о продолжении сериала «Диверсант. Идеальный штурм» с участием умершего 12 лет тому назад Владислава Галкина. Такие съёмки стали возможны за счёт технологии Deepfake.

Или подмена личности в коротком ролике, фильма Терминатор, например, со Сталлоне, Брэдом Питтом и Джимом Кэрри

Новости - сгенерированными дикторами. 

Голосовых помощниках - улучшая качество голоса или подстраивая под определенную личность.

Картины ИИ художников, написанные в нейросети продаются за огромные деньги. Например: «Портрет Эдмонда Беломи», ушедший с молотка за 433 $ тысяч.

Идут споры на тему авторских прав произведений, сгенерированных в deepfake нейросети.

Часто эту технологию применяют в мошеннических целях. Нередки случаи подтасовки высказываний политиков и знаменитостей.

Голосовые технологии развились до такого уровня, что с помощью нескольких высказываний ИИ может генерировать впечатляюще точную имитацию любого человека, даже когда дело доходит до произношения слов или фраз, которые они, скорее всего, никогда не произносил.

Примеры Deepfake нейросетевых приложений.

Один из примеров технологии: за счёт выложенного открытого кода Face Swap создаётся большое количество приложений по Deepfakes, которое можно при определенных технических навыках развернуть на своем сервере и обучить ее.

Приложения доступные для работы с Deepfake.

WOMBO

Avatarify

В приложение загружается фото и выбирается песня из предоставленного списка. После обработки фото, выдаётся видео с синхронно движущимся песне губами, головой и реалистично живыми глазами. Приложение доступно в App Store и Google Play.

FaceApp

Превращение в красавицу с помощью приложения FaceApp.

Редакторы селфи: наложения макияжа, возрастная трансформация, изменение прически, редактор морщин.

Refaceapp

Пример работы алгоритма Reface App

Знаменитое приложение. Наложение лица одной личности на видео кадр другой личности, например, gif изображение знаменитости которое предоставляет приложение.

MyHeritage

Реалистичное оживление старых семейных фотографий. Как в фильме Гарри Поттера, с живыми фотографиями с газеты.

Synthesia

Из 25 аватаров вы выбираете подходящего диктора и загружаете текст, по вашему тексту диктор реалистично произносит вашу новость.

Plask

Новый бесплатный инструмент для извлечения 3D-движения из видео

Захват движения из видео файлов и переносом на анимированный 3D персонаж.

Разработка Deepfakes крупными компаниями.

Крупные компании разрабатывают свои генерации личности, как голосовые, так и фото видео контента.

Amazon

Для реалистичной генерации Алексы Amazon с помощью этой технологии улучшает качество голоса.

Nvidia 

Выпустила приложения Audio2Face которое анимирует 3D модели по загруженному звуковому треку.

Disney 

Разрабатывает свою нейросеть по подмене лица в кино.

Несколько лет назад всю анимацию создавали с помощью заранее написанной программы, но сегодня более эффективней и быстрей с этим справляются нейронные сети, с помощью повсеместно распространенной модели генеративной состязательной нейросети (GAN).

Генеративно состязательная нейросеть (GAN).

Которую применяют для создания Deepfake, также изображений животных, людей, или написании картин изобразительного искусства, они продаются за немалые деньги.

GAN отличается по логике алгоритма от метода обратного распространения ошибки, имея в своей структуре три нейросетевых компонента, два из которых это генерация изображений и сравнительная - сравнивает изображения с реальными. А третий компонент создаёт состязательную часть между двумя компонентами, пока второй компонент не перестанет отличать сгенерированное изображение от реального, отсюда и название генеративное состязательная нейросеть.

Также GAN способен воспроизводить сгенерированный голос по сохраненным голосовым данным.

Мошенническая опасность Deepfake технологии

Распространена мошенническая Deepfake модель по подмене голоса, где руководитель даёт задание перевести некую сумму на определенный счет, которая стоила крупным компаниям многие миллионы долларов.

Для законодательных структур, пока видео Deepfake не составляет такой проблемы, как аудио подмены, где технология достигла высокого уровня, разницу возможно определить только при глубоком анализе голоса.

Как распознать поддельные Deepfake видео.

В отличие от аудио технологий, Deepfake видео пока еще не такие совершенные и распознать их можно не вооруженным глазом.

Прерывистое движение;

разное освещение участков фрагментов видео;

различия в оттенках кожи;

Человек моргает неестественно;

синхронизация губ с речью не соответствует;

цифровые артефакты в изображении.

Организации ведут разработки ПО обнаружения и распознавания Deepfake контента.

Microsoft 

Video Authenticator может анализировать неподвижную фотографию или видео, чтобы обеспечить процентную вероятность подлинности, подтверждая, что контент искусственно манипулируется. В случае видео он может предоставлять этот процент в режиме реального времени на каждом кадре во время воспроизведения видео. Он работает, обнаруживая границу смешивания deepfake и тонкие элементы выцветания или оттенков серого, которые не могут быть обнаружены человеческим глазом.

DARPA 

Группа медиа-криминалистики DARPA, также известная как MediFor, работает в группе вместе с другими исследователями, настроенными на разработку инструментов AI для deepfakes. В настоящее время они фокусируются на четырех методах распознавания deepfakes, чтобы найти аудиовизуальные несоответствия, присутствующие в поддельном видео. Это включает в себя анализ синхронизации губ, обнаружение несогласованности динамиков, несогласованности сцен и вставок контента.

Недавно в США в бюро по авторскому праву была попытка регистрации авторского права искусственным интеллектом, но решение отклонили, так как ИИ не может иметь таких прав.

Опасность технологии deepfakes

По данным Symantec, миллионы долларов были украдены у трех компаний, которые стали жертвами аудио-атаки deepfake. При каждой атаке синтетический голос, сгенерированный ИИ, звонил финансовому сотруднику, чтобы запросить срочный денежный перевод. Модели deepfakes были обучены по публичным выступлениям генерального директора.

Технологии deepfakes, может оказать огромное влияние на экономику и национальную безопасность, оно может нанести вред отдельным людям и государству. Deepfakes еще больше подорвет, уже снижающееся доверие к средствам массовой информации.