Метод трансферного обучения для дообучения нейронных сетей под особенности набора данных в задаче верификации диктора

Трофимова Варвара Сергеевна ORCID: 0009-0008-5044-2321 студент; кафедра комплексной информационной безопасности электронно-вычислительных систем; Томский государственный университет систем управления и радиоэлектроники 634045, Россия, Томская область, г. Томск, ул. Красноармейская, 146, ауд. 509 Trofimova Varvara Sergeevna Student; Department of Integrated Information Security of Electronic Computing Systems; Tomsk State University of Control Systems and Radioelectronics 146 Krasnoarmeyskaya str., room 509, Tomsk region, 634045, Russia varvara.trofimova.01@mail.ru Каршиева Полина Константиновна ORCID: 0009-0004-8390-2348 студент; кафедра комплексной информационной безопасности электронно-вычислительных систем; Томский государственный университет систем управления и радиоэлектроники 634045, Россия, Томская область, г. Томск, ул. Красноармейская, 146, ауд. 509 Karshieva Polina Konstantinovna Student; Department of Integrated Information Security of Electronic Computing Systems; Tomsk State University of Control Systems and Radioelectronics 146 Krasnoarmeyskaya str., room 509, Tomsk region, 634045, Russia polinakarshieva1@gmail.com

Рахманенко Иван Андреевич ORCID: 0000-0002-8799-601X кандидат технических наук доцент; кафедра Безопасности информационных систем; Томский государственный университет систем управления и радиоэлектроники 634045, Россия, Томская область, г. Томск, ул. Красноармейская, 146, ауд. 509 Rakhmanenko Ivan Andreevich PhD in Technical Science Associate Professor; Department of Information Systems Security; Tomsk State University of Control Systems and Radioelectronics 146 Krasnoarmeyskaya str., room 509, Tomsk region, 634045, Russia ria@fb.tusur.ru

1 Введение

В настоящее время широко используются технологии, позволяющее осуществлять верификацию пользователя по различным биометрическим параметрам. Одним из таких параметров является голос ^[1]. Верификация диктора — это форма распознавания диктора, при которой принимается решение о принадлежности голосового образца индивиду, чья личность была заявлена ^[2]. Данная процедура позволяет обеспечить высокий уровень безопасности и удобства при получении пользователям доступа к информации. Использование голосовой биометрии становится всё более актуальным в различных сферах, включая банковское дело, учреждения здравоохранения, системы безопасности и даже повседневную жизнь ^[3].

Дообучение нейронных сетей под особенности набора данных играет ключевую роль для повышения точности работы систем верификации диктора по голосу ^[4]. Каждый набор данных имеет уникальные признаки. При дообучении используются предварительно обученные модели, которые в процессе адаптируются под новые признаки, что приводит к значительному улучшению эффективности работы системы.

Эффективность нейронных сетей, выполняющих верификацию диктора по голосу, напрямую влияет на безопасность и удобство использования различных сервисов. Точная система верификации диктора по голосу позволяет предотвращать несанкционированный доступ к конфиденциальной информации и защищать пользовательские аккаунты от злоумышленников.

2 Проведение эксперимента

2.1 Предварительные данные

Для дообучения нейронной сети были выбраны предварительно обученные модели на английском языке, такие как ResNetSE34L и ResNetSE34V2. Эти модели, основанные на архитектуре ResNet34, используются для идентификации диктора по произвольной фразе и последующей верификации. Основное отличие между ResNetSE34L и ResNetSE34V2 заключается в методах извлечения и адаптации признаков аудиоданных. Кроме того, ResNetSE34V2 предлагает более эффективную обработку данных, что обеспечивает более высокой уровень точности обучения.

В качестве обучающего набора данных для модели ResNetSE34L был использован речевой корпус VoxCeleb2 ^[5]. С помощью данного корпуса были получены веса «baseline_lite_ap.model». Этот акустико-фонетический корпус речи представляет собой один из крупнейших наборов данных, применяемых для оценки систем автоматического распознавания речи.

Также для модели ResNetSE34L использовался речевой корпус TIMIT ^[6], на котором была обучена модель и получены веса «model000000100.model».

Далее для последующего дообучения моделей были подготовлены три речевых корпуса: на английском, русском и китайском языке.

В качестве первого был использован речевой корпус TIMIT ^[6], содержащий аудиозаписи на английском языке. Он был разделен на обучающий набор данных, содержащий 4620 аудиозаписей, и тестовый набор данных, состоящий из 1680 аудиозаписей. Этот набор данных был задействован в процессе дообучения с использованием обученных весов «baseline_lite_ap.model» и «baseline_v2_ap.model». В случае с «model000000100.model» этот подход не применялся, так как соответствующие веса были получены в ходе обучения модели ResNetSE34L на основе речевого корпуса TIMIT.

Речевой корпус на русском языке включает в себя аудиозаписи, сделанные 50 носителями русского языка. Каждый диктор имеет 50 аудиозаписей. Этот набор данных был разделен на две группы: обучающий набор, содержащий записи 30 дикторов, и тестовый набор, состоящий из записей 20 других дикторов ^[7].

В данном исследовании также использовался речевой корпус на китайском языке под названием «HI-MIA». Данные для корпуса собирались в домашних условиях с помощью микрофонных решеток и микрофона HI-FI. Датасет был разделен на два набора: обучающий, включающий записи 42 дикторов, и тестовый, состоящий из записей 40 дикторов ^[8].

Речевые корпусы на русском и китайском языке использовались в экспериментах со всеми представленными обученными весами, поскольку ни один из них ранее не использовался для обучения моделей.

Эти наборы данных были выбраны для дообучения нейронной сети с целью повышения ее эффективности в распознавании речи. Благодаря разнообразию диалектов, голосов и языков в аудиозаписях, можно получить более широкий охват вариативности в произношении слов и фраз.

Для самой верификации пользователя используется тестовый сценарий, включающий попытки аутентификации легального пользователя и атакующего (в случае несовпадения голоса). Легальная попытка в текстовом файле с тестовым сценарием помечена меткой 1, а атака на систему — меткой 0.

В контексте стремления улучшения эффективности нейронной сети в задачах голосовой верификации основное внимание уделялось понижению равной ошибки 1-го и 2-го рода ^[9]. Цель заключалась в достижении более точного распознавания диктора, что важно для обеспечения высокой надежности системы.

В рамках проведенного исследования для качественного уменьшения ошибок 1-ого и 2-ого рода был применен метод трансферного обучения с использованием предварительно обученных весов модели, выполняющей задачу верификации диктора по произвольной фразе.

Используемый метод представляет собой технику дообучения нейронной сети, когда предварительно обученная модель на большом наборе данных дополнительно обучается на более узком наборе данных для выполнения задачи верификации диктора

2.2 Параметры дообучения

В процессе дообучения нейронной сети использовались различные стратегии для адаптации модели к новым данным. Особое внимание уделялось выбору параметров обучения, включая скорость обучения, изменение оптимизатора, количество эпох обучения и структура нейронной сети.

Помимо описанных выше параметров, также учитывался размер батча. При дообучении модели на речевом корпусе TIMIT размер батча был 50. При работе с русским корпусом он составлял размер 30, а с китайским размер был равен 40. Описание параметров, используемых для дообучения нейронной сети:

1) Скорость обучения влияет на сходимость модели и предотвращает переобучение. Изменение весов должно быть умеренным, чтобы избежать нарушения выученных признаков.

2) Количество эпох в процессе дообучения влияет на переобучение модели. Также недостаточное количество эпох в процессе дообучения может привести к недостаточной адаптации.

3) Маленькие размеры батча в процессе дообучения позволяют найти баланс между вычислительной эффективностью, устойчивостью к изменениям и способностью модели к обобщению на новые данные.

4) Оптимизатор отвечает за настройку весов модели в процессе обучения, чтобы минимизировать функцию потерь.

5) Структура нейронной сети описывает архитектуру модели, включая количество слоев, а также их взаимосвязь. Процесс дообучения определяет, как новые данные интегрируются в существующую архитектуру. Изменение структуры сети может включать в себя замораживание слоев. Это позволяет модели изучить новые особенности данных и сохранять ее первоначальное обучение.

В процессе исследования аудиозаписи были разделены на два текстовых файла: «train» и «test». Это позволило систематизировать данные и обеспечить необходимую структуру для последующего анализа.

3 Результаты

3.1 Результат дообучения с использованием речевого корпуса TIMIT

В целях определения наилучшей стратегии дообучения была проведена серия экспериментов с использованием набора данных TIMIT для обученных весов «baseline_lite_ap.model» и «baseline_v2_ap.model». Чтобы определить, насколько эффективнее нейронная сеть распознает дикторов, было рассмотрено значение EER (Equal Error Rate), полученное в ходе тестирования и последующего дообучения модели ^[9].

Чтобы аналитически сравнить значения, полученные после дообучения, с изначальными данными, модель была оценена без применения обучающего процесса. Было получено значение EER равное 0.012 и 0.013 соответственно для «baseline_lite_ap.model» и «baseline_v2_ap.model».

Далее модель была подвергнута дообучению с внесением изменений в её параметры. По завершению двадцати экспериментов была составлена сводная таблица, в которой представлены результаты равной ошибки 1-ого и 2-ого рода для сравнения эффективности дообучения модели. В данной таблице указаны используемые модели, предварительно обученные веса и проделанные эксперименты. Каждый эксперимент включал в себя попытку дообучения моделей на речевом корпусе TIMIT ^[6].

Таблица 1 — Результаты экспериментов для набора TIMIT

При обучении с применением весов модели «baseline_lite_ap.model» наилучший результат был получен при незначительном изменении скорости обучения. Исходное значение EER было равно 0,012, после дообучения оно снизилось до 0,006. Данное изменение свидетельствует об уменьшении EER на 50%.

При использовании предварительно обученных весов «baseline_v2_ap.model» лучший результат был достигнут при изменении оптимизатора и существенного снижения скорости обучения. Перед дообучением значение равной ошибки 1-ого и 2-ого рода составляло 0,013, после дообучения показатель сократился до 0,007, что свидетельствует об уменьшении на 46,15%.

Помимо проведения процесса дообучения все модели также были подвергнуты обучению на наборе данных TIMIT ^[6]. Полученные результаты были сопоставлены с EER ^[9], полученными в контексте дообучения, с целью демонстрации уменьшения EER при процессе дообучения по сравнению с исключительно базовым обучением.

3.2 Результат дообучения с использованием Русского речевого корпуса

Для оптимизации работы модели и повышения эффективности распознавания дикторов была проведена серия экспериментов на основе набора данных на русском языке с использованием предварительно обученных весов «model000000100.model», «baseline_lite_ap.model» и «baseline_v2_ap.model».

План постановки экспериментов, проводимых с русским речевым корпусом ^[8], не отличался от экспериментального исследования с речевым корпусом TIMIT ^[7]. Чтобы оценить эффективность распознавания диктора до процесса дообучения, модель была подвергнута оцениванию без обучения. Это было предпринято для оценки эффективности модели перед внесением корректив в её параметры и реализации процесса дообучения.

В связи с тем, что изначально модель обучалась на английском языке, а последующее предварительное обучение проводилось на русском, процесс смены языковой среды оказал влияние на точность модели. Точность модели в течение десяти эпох не поднималась выше шестидесяти. Этот переход требовал адаптации модели к новому языку и его особенностям. Английский и русский язык имеют множество различий в грамматике и синтаксисе. По мимо вышеперечисленного повлиять на дообучение может также морфология каждого языка. Подобная процедура проводится для того, чтобы расширить функциональность модели для работы с различными языками и культурными контекстами.

В результате проведения описанных выше экспериментов с использованием набора данных на русском языке была сформирована таблица 2. В данной таблице представлены результаты равных ошибок 1-ого и 2-ого рода, полученные в ходе всех экспериментов, в которых использовались предварительно обученные веса моделей «baseline_v2_ap.model», «baseline_lite_ap.model» и «model000000100.model».

Таблица 2 — Результаты экспериментов для Русского речевого корпуса

В процессе обучения с применением весов «model000000100.model» значительное улучшение было получено при незначительной модификации скорости обучения. Начальное значение EER составляло 0,066, после до обучения показатель сократился до 0,024, что свидетельствует об уменьшении на 63,64%.

Путем использования предварительно обученных весов «baseline lite ap.model» наилучший результат был достигнут при замораживании полносвязного слоя, изменении скорости обучения и оптимизатора. Исходное значение EER было равно 0,012, после дообучения оно снизилось до 0,007, что означает сокращение EER на 41,67%.

При использовании предварительно обученных весов «baseline_v2_ap.model» самый качественный процесс обучения был реализован с помощью замораживания полносвязного слоя. Перед дообучением значение EER составляло 0,078, после дообучения показатель сократился до 0,062, что свидетельствует об уменьшении на 20,51%.

3.3 Результат дообучения с использованием речевого корпуса HI-MIA

В данном исследовании предварительно обученные веса были также дообучены на речевом корпусе, содержащим аудиозаписи на китайском языке ^[8].

Работа с этим набором данных не привела к успешному дообучению модели в большинстве случаев. Были проведены эксперименты, ранее проведенные с другими наборами данных. Также были добавлены эксперименты с другими значениями скорости обучения и замораживанием других слоев. В результате только при работе с предварительно обученными весами «baseline_lite_ap.model» в эксперименте с замораживанием полносвязнного слоя, изменением скорости обучения и оптимизатора было достигнуто успешное дообучение.

При дообучении, где использовались веса «model000000100.model», исходная EER была равна 0,066 ^[9]. Новый набор данных содержал разнообразные фон-шумы, что представляет собой типичную среду взаимодействия в реальном мире. Параметры модели были адаптированы для качественного дообучения. После дообучения на наборе данных, содержащим аудиозаписи на китайском языке, было замечено увеличение EER до 0.214.

Все результаты, проведённых экспериментов с набором данных на китайском языке, представлены в таблице 3.

Таблица 3 — Результаты экспериментов для HI-MIA

Анализ показал, что причиной повышения EER могут быть как лингвистические и фонетические различия между английским и китайским языком, так и присутствие шума, маскирующего ключевые акустические особенности речи. Дообучение на зашумленном китайском наборе данных привело к переобучению на специфических особенностях этого набора данных, что снизило обобщаемость модели. Также возможно, что стандартные методы дообучения не справляются со своей задачей в условиях сильной языковой вариативности и присутствия шума.

4 Область применения результатов и новизна

Данное исследование позволяет избежать дополнительных затрат на обучение моделей с нуля и, при использовании данных моделей, повышает уровень эффективности работы систем верификации диктора по голосу. Технология верификации диктора по голосу широко распространена в банковской сфере, так как при обращении клиента в контакт-центр единственным доступным биометрическим параметром является голос.

В работе были использованы известные предварительно обученные модели и метод трансферного дообучения в рамках заданной предметной области. Основным научным результатом являются результаты оценки эффективности и применимости конкретных методов дообучения нейронных сетей под особенности наборов данных в задаче текстонезависимой верификации диктора.

5 Выводы

В работе было проведено исследование процесса трансферного обучения нейронных сетей под особенности набора данных, что позволило получить более точные модели после проведенного дообучения.

Полученные наблюдения подчеркивают важность корректной настройки параметров при дообучении моделей. Тонкая настройка, проводимая в ходе дообучения моделей, благоприятно сказывается на оптимизации их эффективности.

При использовании предварительно обученных весов «baseline_lite_ap.model» и речевого корпуса TIMIT было получено максимальное понижение равной ошибки 1-ого и 2-ого рода, она уменьшилась на 50%.

С набором данных на русском языке заметно снизился показатель EER при использовании предварительно обученных весов «model000000100.model». Снижение составило 63.64%.

В работе с набором данных HI-MIA успешное дообучение модели было достигнуто только в эксперименте с замораживанием полносвязнного слоя, изменением скорости обучения и оптимизатора. По итогу было зафиксировано, что равная ошибка 1-ого и 2-ого рода (EER) снизилась на 16,04%.