Архитектура трёхмерной свёрточной нейронной сети для детектирования факта фальсификации видеоряда

Алпатов Алексей Николаевич ORCID: 0000-0001-8624-1662 доцент; кафедра ИиППО; МИРЭА - Российский технологический университет 119454, Россия, г. Москва, пр-т Вернадского, 78 Alpatov Aleksey Nikolaevich Associate Professor; IiPPO Department; MIREA - Russian Technological University 78 Vernadsky Ave., Moscow, 119454, Russia aleksej01-91@mail.ru Другие публикации этого автора     Терлоев Эмиль Зияудинович аспирант; кафедра инструментального и прикладного программного обеспечения; МИРЭА — Российский технологический университет 119454, Россия, г. Москва, пр-т Вернадского, 78 Terloev Emil' Ziyaudinovich Postgraduate student; Department of Instrumental and Applied Software; MIREA — Russian Technological University 78 Vernadsky Ave., Moscow, 119454, Russia emil199@yandex.ru

Матчин Василий Тимофеевич старший преподаватель; институт информационных технологий; МИРЭА — Российский технологический университет 119454, Россия, г. Москва, пр-т Вернадского, 78 Matchin Vasilii Timofeevich Senior Lecturer; Institute of Information Technology; MIREA — Russian Technological University 78 Vernadsky Ave., Moscow, 119454, Russia matchin@mirea.ru

Введение

В настоящее время большую популярность стали набирать нейронные сети, основной целью которых является генерация изображений и голосовых аудиозаписей. Высокая степень доступности для обыкновенного обывателя делает их более популярными. Самыми популярными сервисами являются DALL-E от openAI, midjourney, stable diffusion, FaceApp, FaceSwap и подобные им ^{[1] [2]}. Для генерации голосовых аудиозаписей используются такие популярные сервисы, как elevenlabs, Microsoft custom neural voice и speechify ^[3].

В большинстве случаев данные утилиты используются в безобидных целях, для представления получившихся изображений друзьям и знакомым, для публикации на своей странице в социальной сети, для ускорения рабочего процесса в области дизайна или для ускорения процесса создания аудио книг. Несложно представить значительное упрощение рабочих процессов в художественных сферах, в том числе и киноиндустрии. Помимо этого, возможно «воскрешение» умерших актеров при помощи инструментов генерации голосовых аудиозаписей, а также инструментов переноса лица ^[4].

С другой стороны, данные технологии ставят под вопрос необходимость актеров и художников в кинематографе, а большая доступность делает их более привлекательными инструментами для злоумышленников ^[5]. Среди сценариев использования инструментов нейросетевой генерации фото и аудио рядов, возможно создание видеозаписи, в котором популярная политическая или медийная личность делает спорное заявление, способное нанести большой репутационный урон. Также возможна кража личности и дальнейшие преступные действия ^[6].

Примером кражи личности при помощи нейросетевых технологий является случай, произошедший весной 2022-го года, когда на видеохостинговом сервисе YouTube начали появляться трансляции, с участием нейросетевой копии Илона Маска, предлагающей зрителям передать ему свои криптовалютные вложения для получения их обратно с процентами. Пример трансляций представлен на рисунке 1. ^[7]

Рисунок 1 – Трансляции с участием нейросетевой копией Илона Маска на платформе YouTube^[7]

С одной стороны, мошенническая схема достаточно очевидна. С другой стороны, незнающий пользователь может не придать этому значения, так как трансляцию ведет достаточно популярная личность, что повышает доверие пользователя к получаемой информации.

Описание модели идентификации факта фальсификации видеозаписи

Задачу идентификации фальсификации аудио и видеоряда, в рамках данной работы, сведена к классической задачи классификации.

Любая видеозапись будет определена одной из 4-х групп:

1. Фоторяды и аудио ряд видеозаписи аутентичны;

2. Фоторяды видеозаписи сфабрикован, аудио ряд видеозаписи аутентичен;

3. Фоторяды видеозаписи аутентичны, аудио ряд видеозаписи сфабрикован;

4. Фоторяды и аудио ряд видеозаписи сфабрикованы.

Видеозаписи, относящиеся к первой группе, считаются аутентичными, а не относящиеся к ней видеозаписи считаются сфабрикованными.

Обозначим через X фоторяды видеозаписи, а через А - аудиоряд видеозаписи. Выделим два классифкатора . Первый классификатор определяет подлинность фоторяда (аутентичен или сфабрикован), а классификатор , определяет подлинность аудиоряда (аутентичен или сфабрикован). Тогда , если фоторяды аутентичны, иначе , то есть фоторяды сфабрикованы. В случае аудиорядов , если аудиоряды аутентичны, иначе , то есть аудиоряды сфабрикованы. Тогда аутентичность видеозаписи может быть определена как .

Тогда процедуру определения группы видеозаписи можно обобщить. Для этого, вначале, определим значения и с помощью классификаторов. Далее сравним результаты с возможными комбинациями для соотнесения с каждой группой. Так, если , то видеозапись относится к первой группе, а значит она аутентична. Если , то видеозапись не аутентична, так как сфабрикован видеоряд (относится ко второй группе). Если , то видеозапись не аутентична, так как сфабрикована аудиодорожка(относится к третьей группе). Иначе, если , то видеозапись не аутентична, так как сфабрикована аудиодорожка и видеоряд(относится к четвёртой группе). Однако такой «жёсткий» порог для классификации, требует уверенности в том, что модель верна в своих предсказаниях. Для повышения гибкости модифицируем предложенную модель, добавив вероятностные классификаторы.

Пусть обозначает вероятность того, что фоторяды аутентичны, и . Далее Используем байесовский подход для определения совместной вероятности подлинности фоторядов и аудиоряда. Пусть и являются пороговыми значениями для определения аутентичности фоторядов и аудиоряда соответственно. Тогда подлинность фоторядов и аудиоряда на основе пороговых значений определяется через , если , иначе 0. Аналогично, , если , иначе 0 Тогда аутентичность видеозаписи может быть определена .

Возможность настройки пороговых значений и позволяет адаптировать модель к различным уровням строгости в зависимости от задачи. Например, в критически важных случаях, можно установить высокие пороги для минимизации ложных положительных результатов, что делает предложенную модель более настраиваемой. Это особенно полезно в ситуациях, где данные могут быть неоднозначными или шумными. В свою очередь, такой подход позволяет улучшить надёжность системы, так как решения принимаются на основе распределения вероятностей, а не на основе одиночного детерминированного результата.

Технически, выявление сфабрикованных видеорядов возможно при помощи анализа кадров и поиска аномалий, при помощи анализа аудио ряда на предмет аномалий или при комбинированном анализе. В данной работе будет рассматриваться только анализ фоторядов.

Для определения сфальфифицированных фоторядов можно воспользоваться трёхмерной свёрточной нейронной сетью. Свёрточные слои в нейронной сети позволяют уменьшить размерность входа, тем самым ускоряя процесс обучения. Трёхмерный свёрточный слой имеет размерность N x M x K,

где:

N — количество кадров во временной оси,

M и K — пространственные размерности (высота и ширина кадра).

Одиночный трёхмерный слой в данном случае будет декомпозирован на слой с размерностью 1 x M x K, называемым пространственной свёрткой, и слой с размерностью N x 1 x 1, называемым временной свёрткой. Таким образом достигается уменьшение количества обучаемых параметров, по сравнению с использованием обычного трёхмерного слоя с размерностью N x M x K, а также показывает лучший результат при определении действий на видео ^[9].

Обозначим входное видеоданные как , где C — количество каналов (например, 3 для RGB-видео). Пространственная свёртка, в данном случае, применяется для обработки пространственных признаков каждого кадра, то есть двумерные свёртки применяются к каждому кадру независимо. Тогда, пусть — операция пространственной свёртки с ядром

Новые высота и ширина каждого кадра после свёртки будут зависеть от размера ядра , шага свёртки (англ.stride) и паддинга (англ.padding). Конкретные значения можно вычислить следующим образом (если stride = 1 и padding = 0)

Временная же свёртка применяется для обработки временных признаков, то есть одномерные свёртки применяются вдоль временной оси. Пусть — операция временной свёртки с ядром

Визуализация такой свёртки показана на рисунке 2.

Рисунок 2 – Визуализация трехмерной свертки с декомпозицией на пространственную и временную

Архитектура искусственной нейронной сети

В качестве набора данных был взят набор ZF DeepFake Dataset ^[10]. Данный набор состоит из коротких видеозаписей, из которых 199 видеозаписей фальсифицированы и 176 аутентичны (на момент написания статьи).

В представленное технологическое решение состоит из слоя предобработки видеозаписи и нейросетевого слоя. В слое предобработки видео разбивается на 10 кадров и размер каждого кадра уменьшается или увеличивается до размера 224 на 224 пикселей. Входная размерность каждого вектора видеозаписи получается 10 х 224 х 224 х 3, где последняя размерность – цветовые каналы: красный, зеленый и синий.

После предобработки видео векторы передаются в нейросетевую модель. Модель машинного обучения состоит входного слоя; слоя трехмерной свертки с декомпозицией сверток на пространственную и временную с набивкой до выходного размера, 16-ю фильтрами и размером ядра 3 х 7 х 7; слоя пакетной нормализации, слоя кусочно-линейной функции активации (ReLU)^[11]; слоя изменения размерности кадров до 112 х 112; остаточного слоя с 32-я фильтрами и ядром размером 3 х 3 х 3; слоя снижения размерности кадров до 64 х 64; остаточного слоя с 64-я фильтрами и ядром размером 3 х 3 х 3; трехмерного слоя субдискретизации на основе среднего значения ^[12], слоя выравнивания (flatten) и полносвязного слоя с 10-ю выходами. Функция ошибки модели – категориальная перекрестная энтропия с оптимизатором Adam и скоростью обучения 0.0001.

Набор данных для обучения модели состоит из 100 видеозаписей, из которых 50 фальсифицированы и 50 аутентичны. Наборы тестирования и валидации состоят из 40 записей, в каждый набор входят по 20 аутентичных и 20 фальсифицированных. Каждая конкретная видеозапись в наборах не используется более чем в одном из наборов одновременно. Обучение проводится в течение 10 эпох. Структура нейронной сети представлена на рисунке 3.

Рисунок 3 – Структура нейронной сети в виде блок-схемы

Тестирование решения

Доля корректных предсказаний (аккуратность) тренировочного набора в последнюю эпоху обучения составляла 75%. Изменение значения функции ошибки с течением обучения представлено на рисунке 4. Изменение значения аккуратности с течением обучения представлено на рисунке 5.

Рисунок 4 – График изменения значения функции ошибки с течением обучения для тренировочного и валидационного набора данных

Рисунок 5 – График изменения значения аккуратности с течением обучения для тренировочного и валидационного набора данных

Несмотря на заметное увеличение аккуратности предсказаний на обучающем наборе, на валидационном наборе данных видно только незначительное улучшение. Матрица несоответствий обучающего набора данных, представлена на рисунке 6.

Рисунок 6 – Матрица несоответствий обучающего набора

Исходя из матрицы несоответствий видно, что модель чаще определяет видео, как аутентичное, из-за чего возникает много ложноотрицательных предсказаний. Матрица несоответствий для тестового набора данных представлена на рисунке 7.

Рисунок 7 – Матрица несоответствий тестового набора

Значения точности, полноты, и F1-меры для возможных классов представлены в таблице 1.

Таблица 1 – Значения точности, полноты, и F1-меры для предсказываемых классов

Заключение

В настоящей работе представлена нейронная сеть для определения факта фальсификации видеорядов с существенной долей корректного определения. Несмотря на это, модель может быть значительно улучшена путем дополнительного наполнения обучающего набора данных и последующего увеличения доли тренировочного набора; сокращения рабочей области, путем выделения и последующего анализа конкретных зон возможной фальсификации; изменения структуры нейронной сети.

Дальнейшая работа над проблемой может также быть направлена на разработку метода определения факта фальсификации без использования моделей машинного обучения, с целью снижения риска возможных проблем с переобучением и снижения доли корректных предсказаний в случае изменений в технологии фальсификации видеорядов с использованием нейронных сетей.