Сравнение автоматического обобщения текстов на русском языке

Дагаев Александр Евгеньевич аспирант, кафедра «Информатика и информационные технологии», Московский политехнический университет 107023, Россия, г. Москва, ул. Большая Семёновская, 38 Dagaev Alexander Evgenevich Postgraduate student, Department of Informatics and Information Technologies, Moscow Polytechnic University 107023, Moscow, st. Bolshaya Semyonovskaya, 38 alejaandro@bk.ru

Попов Дмитрий Иванович доктор технических наук Сочинский государственный университет, профессор кафедры Информационных технологий и математики 354000, Россия, Краснодарский край, г. Сочи, ул. Пластунская, 94 Popov Dmitry Ivanovich Doctor of Technical Science Sochi State University, Professor of the Department of Information Technologies and Mathematics 354000, Krasnodar region, Sochi, st. Plastunskaya, 94 damitry.popov@gmail.com

Введение

Реферирование текста – это важное направление в области обработки естественного языка, которое имеет немалое значение для большого количества задач. Для обобщения текста модель искусственного интеллекта должна быть способна создавать связный и релевантный контент, одновременно сжимая главную информацию в более короткую форму вне зависимости от предметных областей. С помощью обобщения текстов можно определить и сопоставить качество работы нейросетей. В статье будет проведено сравнительное исследование популярных моделей искусственного интеллекта на текстах русского языка.

Связанные работы

Оценкой качества языковых моделей в последнее время занимались достаточно активно, но в основном исследования направлены на обработку английского языка, как международного. С русским языком, как основным, сравнения между GigaChat, YaGPT2, ChatGPT-3.5, ChatGPT-4, Bard, Bing AI и YouChat найдено не было.

В работе ^[6] было исследовано рекурсивное обобщение через GPT-3.5, а также методы отбора существенного контента для обобщения. В работе ^[7] указывают, что модели GPT с трудом идентифицирует важную информацию и более подвержены ошибкам при обобщении длинных текстовых форм. Исследование качества генерации с применением моделей GPT и дальнейший анализ показали, что качество для языков с высокой лингвистической частотностью выше, чем с низкой ^[8]. А в работе ^[9] отмечена слабая производительность GPT при работе с русским языком в мультиязычном наборе данных. В недавних исследованиях ^[1][2] показывается, что качество обобщения новостей с помощью больших языковых моделей находится на сопоставимом с созданным человеком уровне.

Наборы данных

В качестве наборов данных для русского языка использованы:

Gazeta ^[3]. Набор данных содержит 63435 новостей, размещенных на сайте gazeta.ru.

XL-Sum ^[12]. В наборе представлены 1,35 миллионов аннотированных пар статей BBC на разных языках, в том числе на русском – 77803.

WikiLingua ^[16]. Многоязычный набор данных, созданный для оценки задачи обобщения. Материалы включают в себя статьи на 18 языках из WikiHow. На русском языке собраны 52928 статей.

Для сравнения эффективности обобщения были взяты дополнительные наборы данных на английском языке:

CNN Dailymail ^[11]. В набор включены новостные статьи CNN за период с апреля 2007 по апрель 2015 года и Daily Mail с июня 2010 по апрель 2015 года. Суммарное количество составляет 311672 статьи.

XSum ^[10]. Набор состоит из 226711 статей BBC за период с 2010 по 2017 год.

Из всех перечисленных наборов случайным образом выделены 100 оригинальных текстов, которые были унифицированы по длине в 1024 токена.

Показатели оценки

В данной работе использовались показатели оценки качества текстов ROUGE ^[4], BLEU score ^[5], BERTScore ^[13], METEOR ^[14] и BLEURT ^[15]. ROUGE используется для оценки качества текстов, созданных машинами. Он анализирует сходство между искусственно созданным текстом и эталонным. ROUGE определяет точность и полноту информации. Он может использоваться для оценки различных задач, включая обобщение текста и машинный перевод.

Среди разных вариантов ROUGE в работе были использованы:

ROUGE-1. Этот показатель вычисляет перекрытие униграмм (отдельных слов) между машинным и эталонным текстом. Это помогает оценить точность машинного перевода или обобщения текста.

ROUGE-2, который работает с биграммами, то есть с парами слов.

ROUGE-L, который анализирует длинные фразы в тексте и в результате измеряет сходство между сгенерированным текстом и ссылочным текстом с учетом последовательностей слов, то есть оценивает длину самой длинной общей подпоследовательности

Каждый из этих вариантов ROUGE позволяет по-разному оценить качество сгенерированного машиной текста. ROUGE-1 и ROUGE-2 фокусируются на перекрытии на уровне слов и биграмм, в то время как ROUGE-L рассматривает структуру и порядок слов в текстах.

BLEU score ^[5] представляет собой показатель, используемый для измерения качества машинного текста, в частности, в контексте машинного перевода и обобщения текста. Первоначально он был создан для оценки качества машинного перевода, однако сейчас применяется для многих других задач в области NLP. BLEU score оценивает сходство между машинно-созданным текстом с одним или более эталонными текстами, написанными людьми. Это достигается путем сравнения n-грамм в машинном тексте с n-граммами в эталонных текстах.

BERTScore метрика, которая оценивает схожесть между двумя текстами, используя векторные представления, полученные с использованием модели BERT Оценка BERTScore хорошо коррелируется с суждениями человека и обеспечивает более высокую эффективность выбора модели, чем существующие показатели, кроме этого она более устойчива к сложным примерам по сравнению с существующими метриками ^[13]. В статье используется F1 Score, которая рассчитывается как среднее гармоническое значение точности и запоминания. Это обеспечивает сбалансированный показатель, учитывающий как ложноположительные, так и ложноотрицательные результаты.

METEOR ^[14]. Метрика METEOR часто используется для оценки качества машинного перевода и предоставляет более подробную информацию, чем показатель BLEU. При этом учитывается не только точность и запоминаемость отдельных слов, но также рассматриваются основы слов, синонимы и порядок слов. Всё это сделано в целях обеспечения более целостной оценки качества.

BLEURT ^[15] представляет собой обученную метрику, основанную на BERT и RemBERT. В качестве входных данных используются пары текстов: кандидат-эталонный текст, и выводится оценка, показывающая, насколько хорошо кандидат владеет языком и передает основной смысл текста.

Результаты

Результаты по вышеуказанным показателям для набора данных Gazeta представлены в таблице 1.

Таблица 1 – Результаты на наборе Gazeta

Результаты для набора XL-Sum приведены в таблице 2.

Таблица 2 – Результаты на наборе XL-Sum

По набору WikiLingua результаты приведены в таблице 3.

Таблица 3 – Результаты на наборе WikiLingua

Для подсчета общей оценки каждому показателю был обозначен индивидуальный вес. Веса были распределены исходя из специфики задачи обобщения текстов, где больший вес выделен на семантическое сходство, комбинацию семантического и структурного сходства, а также на степень сжатия. Формула расчета:

Где – общая оценка,

– ROUGE-1;

– ROUGE-2;

– ROUGE-L;

– BLEU;

– BERTScore;

– METEOR;

– BLEURT;

– Степень сжатие текста (%).

На рисунке 1 изображена диаграмма общих оценок для всех использованных наборов данных русского языка.

Рисунок 1 – Диаграмма общих оценок для наборов данных русского языка

YouChat показал самые высокие результаты на всех наборах данных по совокупности показателей. Тем самым подчеркивается эффективность модели в обработке и генерации текста, а также ее способность к точному воспроизведению ключевых элементов содержания.

Bard, в отличие от других моделей, выполняет генерацию связного и контекстуально релевантного текста худшего качества, что приводит к неудовлетворительным результатам при оценке сходства, обобщения и других задач обработки естественного языка. Также более низкие показатели могут указывать на трудности в восприятии тонкостей языка, что приводит к таким проблемам, как нерелевантная информация, отсутствие смысловой последовательности и неточности в воспроизведении основного контекста.

GigaChat лучше подошел к задаче обобщения по сравнению с ChatGPT-3.5, но в целом результаты находятся на сопоставимом по качеству уровне.

GigaChat показал воспроизведение контекста точнее YaGPT2 и продемонстрировал более осмысленную генерацию текста с общей повышенной способностью к обобщению.

Bard показал наименьшую итоговую оценку на наборах русского языка.

Результаты сжатия между входными и выходными данными отражены на рисунке 2.

Рисунок 2 – Обобщенный график сжатия на наборах данных русского языка

Максимальное сжатие показал YaGPT2 – 80,58%, далее GigaChat – 67,14%, Bing AI – 60,22%, ChatGPT-3.5 – 57,83%, ChatGPT-4 – 54,41%, YouChat – 44,89%, а наиболее низкие результаты по сжатию получились у Bard – 41,89%.

Проведя обобщение на английском языке для набора данных CNN Dailymail были зафиксированы показатели, которые указаны в таблице 4. Следует отметить, что YaGPT2 не работает с текстами на английском языке, по этой причине он был исключен из списка моделей для последующего анализа.

Таблица 4 – Результаты на наборе CNN Dailymail

Результаты по набору XSum отражены в таблице 5

Таблица 5 – Результаты на наборе XSum

Общая оценка на данных английского языка приведена на рисунке 3. Результаты показывают, что качество выполненного обобщения имеет зависимость от исходного языка.

Рисунок 3 – Диаграмма общих оценок для наборов данных английского языка

GigaChat показал самый высокий балл среди других рассмотренных моделей.

ChatGPT-4 в наборах на английском языке демонстрируют самое низкое качество, а также сжимает текст меньше остальных моделей.

Результаты сжатия между входными и выходными данными представлены на рисунке 4.

Рисунок 4 – Обобщенный график сжатия на наборах данных английского языка

Максимальное сжатие на англоязычных наборах данных показал Bard – 77,29%, ChatGPT-3.5 – 71,98%, GigaChat – 71,18%, Bing AI – 68,65%, YouChat – 59,37%, самые низкие показатели у ChatGPT-4 – 34,88%

В целом, все представленные модели показали приемлемые результаты по выбранным метрикам. Это свидетельствует о том, что их можно применять для решения задач обобщения текста. Однако стоит отметить, что исходя из разных возможностей моделей могут быть отличия в определенных сценариях использования, связанных с размером модели, типом задачи или языковыми особенностями, что требует дополнительного исследования.

Заключение

В данной работе было проведено сравнение качества автоматического обобщения текстов с помощью различных нейросетей в части обработки естественного языка, таких как GigaChat, YaGPT2, ChatGPT-3.5, ChatGPT-4, Bard, Bing AI и YouChat. Для этого был взят и предобработан набор данных, содержащий тексты на русском и для сравнения на английском языках. Затем выполнено обобщение одинакового списка текстов на каждой модели. После этого получены результаты по показателям ROUGE ^[4], BLEU score ^[5], BERTScore ^[13], METEOR ^[14] и BLEURT ^[15], которые сравнивали оригинальные и сгенерированные в ходе автоматического реферирования тексты. Были также получены результаты общей оценки между всеми показателями, где каждому показателю был выделен вес, исходя из важности для задачи обобщения текста.

Данные, полученные в ходе сравнения, будут способствовать более глубокому пониманию рассматриваемых моделей, помогая делать выбор при применении искусственного интеллекта для задач обобщения текстов в качестве основы для будущих разработок.

В дальнейшем планируется исследовать работу по обработке текстов между моделями с различными параметрами настроек.