Библиотека
|
ваш профиль |
Litera
Правильная ссылка на статью:
Лю М., Шао Ц., Се Г.
Автоматизированный перевод политического дискурса: от больших языковых моделей к мультиагентной системе MAGIC-PTF
// Litera.
2024. № 11.
С. 28-46.
DOI: 10.25136/2409-8698.2024.11.72197 EDN: GFRZMO URL: https://nbpublish.com/library_read_article.php?id=72197
Автоматизированный перевод политического дискурса: от больших языковых моделей к мультиагентной системе MAGIC-PTF
DOI: 10.25136/2409-8698.2024.11.72197EDN: GFRZMOДата направления статьи в редакцию: 01-11-2024Дата публикации: 08-11-2024Аннотация: Исследование посвящено проблеме автоматизированного перевода китайского политического дискурса на русский язык с применением технологий оптимизации БЯМ и мультиагентного подхода. В фокусе внимания находится разработка системы MAGIC-PTF, реализующей принцип многоступенчатой обработки текста через взаимодействие четырех специализированных агентов. Ключевым компонентом системы является Агент-Стилист, обеспечивающий стилистическое единообразие и терминологическую точность перевода на основе специально обученной БЯМ. Агент-Переводчик выполняет основную переводческую работу и отвечает за окончательное оформление текста. Агент-Редактор осуществляет многоуровневую проверку и корректировку перевода с учетом лингвистических, семантических и культурологических аспектов. Агент-Читатель анализирует текст с позиции целевой аудитории, оценивая его восприятие носителями русского языка. Предметом исследования также являются механизмы взаимодействия между агентами и процессы оптимизации качества перевода в рамках многоступенчатой системы обработки текста. Методология основана на интеграции технологий оптимизации БЯМ и мультиагентного подхода, с применением экспериментального тестирования на материале четвертого тома сборника «О государственном управлении» и его официального перевода на русский язык. Исследование включает комплексный анализ эффективности системы с использованием метрики COMET, а также сравнительное тестирование с существующими платформами машинного перевода. Научная новизна исследования заключается в создании комплексной методологии применения БЯМ для решения задач специализированного перевода и разработке эффективного механизма координации интеллектуальных агентов в процессе перевода. Экспериментальное исследование продемонстрировало превосходство MAGIC-PTF над традиционными системами машинного перевода по ключевым параметрам: точность передачи терминологии, стилистическая согласованность, сохранение культурно-специфических элементов политического дискурса. Результаты автоматического измерения с использованием метрики COMET подтвердили эффективность предложенного подхода. Разработанная система открывает новые возможности для автоматизированного перевода политического дискурса и может быть адаптирована для перевода других типов специализированных текстов, что подтверждает её значимость для развития современных переводческих технологий. Особую ценность представляет возможность масштабирования системы и её адаптации к различным языковым парам и типам дискурса, что создает перспективы для дальнейшего развития автоматизированного перевода специализированных текстов. Результаты исследования также вносят важный вклад в развитие теории и практики применения БЯМ в области профессионального перевода. Ключевые слова: большие языковые модели, мультиагентный подход, политический дискурс, китайско-русский перевод, технологии оптимизации LLM, интеллектуальные агенты, Автоматизированный перевод, Специализированный перевод, Межкультурная коммуникация, Машинный переводРабота выполнена при финансовой поддержке НФОН КНР (Национальный фонд общественных наук Китая) в рамках научного проекта «Оценка качества китайско-русского перевода с применением технологий искусственного интеллекта» (№ 18BYY237) Abstract: This research addresses the automated translation of Chinese political discourse into Russian utilizing Large Language Model (LLM) optimization technologies and a multi-agent approach. The study focuses on developing the MAGIC-PTF system, which implements multi-stage text processing through the interaction of four specialized agents. The system's key component is the Style Agent, which ensures stylistic uniformity and terminological accuracy based on a specifically trained LLM. The Translator Agent performs the primary translation work and is responsible for the final text formatting. The Editor Agent conducts multi-level verification and correction of translations, considering linguistic, semantic, and cultural aspects. The Reader Agent analyzes the text from the target audience's perspective, evaluating its reception by native Russian speakers. The methodology integrates LLM optimization technologies and a multi-agent approach, with experimental testing conducted on the fourth volume of "Xi Jinping: The Governance of China" and its official Russian translation. The study includes a comprehensive analysis of system effectiveness using the COMET metric and comparative testing with existing machine translation platforms. The research's scientific novelty lies in developing a methodology for applying LLMs to specialized translation tasks and creating an effective coordination mechanism for intelligent agents in the translation process. Experimental research demonstrated MAGIC-PTF's superiority over traditional machine translation systems in key parameters: terminological accuracy, stylistic consistency, and preservation of culture-specific elements in political discourse. The developed system opens new possibilities for automated translation of political discourse and can be adapted for translating other specialized text types, confirming its significance for modern translation technology development. Of particular value is the system's scalability and adaptability to various language pairs and discourse types, creating prospects for further development in automated specialized text translation. The research findings also contribute to advancing the theory and practice of LLM application in professional translation. Keywords: Large Language Models, Multi-Agent Approach, Political Discourse, Chinese-Russian Translation, LLM Optimization Technologies, Intelligent Agents, Automated Translation, Specialized Translation, Cross-cultural Communication, Machine TranslationВведение Политический дискурс является важнейшим инструментом углубления взаимопонимания между государствами и народами. В контексте отношений между Российской Федерацией и Китайской Народной Республикой, которые, согласно совместному заявлению двух стран, вступили в новую эпоху всеобъемлющего партнерства и стратегического взаимодействия, точный и адекватный перевод политических текстов приобретает особую значимость. Именно через призму политического дискурса формируется понимание стратегических целей, ценностных ориентиров и перспектив развития государств-партнеров. В условиях интенсификации российско-китайского сотрудничества во всех сферах традиционные подходы к переводу политических текстов сталкиваются с определенными ограничениями как в плане обеспечения необходимых объемов перевода, так и в отношении качества передачи смысловых нюансов. Это обусловливает необходимость разработки и внедрения инновационных технологических решений, способных повысить эффективность и точность перевода политического дискурса с китайского языка на русский. В контексте стремительного развития технологий искусственного интеллекта особое внимание привлекают большие языковые модели (БЯМ), появление которых [1];[2] знаменует качественно новый этап в развитии компьютерной лингвистики и переводческих технологий. Демонстрируя впечатляющие результаты в различных задачах обработки естественного языка [3], БЯМ открывают принципиально новые возможности для автоматизации и оптимизации переводческой деятельности. Тем не менее, в столь специфической области, как перевод китайского политического дискурса на русский язык, результаты работы БЯМ пока не достигают уровня официальных переводов. Основные расхождения наблюдаются в трех ключевых аспектах: стилистическое соответствие жанру политического текста, точность передачи специальной терминологии и адекватная интерпретация глубинных семантических структур, характерных для политического дискурса. Данные ограничения обусловливают необходимость разработки специализированных подходов к применению БЯМ в сфере политического перевода. В современной научной литературе исследования применения БЯМ в переводческой деятельности развиваются по двум основным направлениям. Первое направление, разрабатываемое с позиций лингвистики, характеризуется преимущественно обзорно-аналитическим подходом к оценке потенциала БЯМ и перспектив их применения [4-6], а также исследованием возможностей интеграции БЯМ в программы подготовки профессиональных переводчиков [7-9]. Второе направление, представленное работами специалистов в области компьютерных наук, сосредоточено на технологическом совершенствовании процесса перевода [10-13]. Однако растущая сложность и специализация переводческих задач показывают, что ни сугубо лингвистический, ни исключительно технологический подход не способны в полной мере реализовать потенциал технологий искусственного интеллекта в сфере перевода. В свете вышесказанного особую актуальность приобретает разработка комплексного подхода, объединяющего лингвистические основы перевода с новейшими методами оптимизации БЯМ [14];[15]. В рамках такой интеграции нами предлагается мультиагентная система интерактивного перевода MAGIC-PTF (Multi-Agent Interactive Chinese Political Translation Framework), призванная повысить качество и эффективность перевода китайского политического дискурса на русский язык с применением БЯМ. Разработанная система MAGIC-PTF, функционирующая на базе ChatGPT [16], включает четыре специализированных агента: Агент-Стилист, Агент-Переводчик, Aгент-Редактор и Агент-Читатель. Их взаимодействие осуществляется по специально разработанному алгоритму, обеспечивающему поэтапную оптимизацию перевода с целью достижения максимальной точности, естественности и прагматической адекватности русскоязычного текста. 1. Актуальные проблемы перевода китайского политического дискурса на русский язык В последние годы наблюдается значительное расширение российско-китайского сотрудничества, а также связей между Китаем и странами Средней Азии. Данное сотрудничество вышло за рамки традиционных дипломатических отношений и охватило практически все сферы общественной жизни — от центральных до местных уровней управления. В результате значительно возрос объем политических текстов, требующих качественного и оперативного перевода на русский язык. 1.1. Практика перевода до появления больших языковых моделей До широкого внедрения больших языковых моделей в переводческую практику существовали два основных подхода к переводу китайского политического дискурса на русский язык: традиционный перевод, выполняемый профессиональными переводчиками, и машинный перевод с последующим постредактированием. Первый подход отличался низкой эффективностью и не позволял обрабатывать большие объемы текста в сжатые сроки. Второй подход, хотя и обеспечивал более высокую производительность, не гарантировал должного качества перевода и стилистического соответствия, при этом процесс редактирования нередко приводил к лавинообразному нарастанию правок. Особую сложность представляет то обстоятельство, что перевод политического дискурса требует не только свободного владения китайским и русским языками, но и глубокого понимания политической системы и культурного контекста обеих стран. Длительность и высокая стоимость подготовки таких специалистов привели к острой нехватке квалифицированных переводческих кадров в данной области. 1.2. Практика перевода до появления больших языковых моделей С 2022 года внедрение больших языковых моделей значительно повысило эффективность перевода с китайского языка на русский. Обширные обучающие данные и совершенствование архитектуры нейронных сетей позволили моделям генерировать переводы достаточно высокого качества в диалоговом режиме. Однако специфика политического дискурса выявила ряд существенных ограничений этих моделей. Во-первых, модели не в полной мере воспроизводят официально-деловой стиль политических текстов, создавая переводы либо стилистически нейтральные, либо разговорные. Во-вторых, наблюдаются отклонения от устоявшихся терминологических эквивалентов, характерных для китайского политического дискурса. В-третьих, при работе с объемными текстами сложной логической структуры модели демонстрируют недостаточное понимание контекста и нарушение связности изложения. 2. MAGIC-PTF: решение актуальных проблем перевода В рамках данного исследования разработан интерактивный мультиагентный переводческий фреймворк MAGIC-PTF (Multi-Agent Interactive Chinese Political Translation Framework, далее — MAGIC-PTF), направленный на решение существующих проблем перевода китайского политического дискурса на русский язык. В основе фреймворка лежит синтез технологий оптимизации БЯМ и стандартизированных требований к переводу политического дискурса. Такой подход не только максимально раскрывает потенциал БЯМ в генерации текста, но и обеспечивает строгое соответствие переводов установленным нормам и процедурам, что в совокупности способствует повышению как эффективности, так и качества перевода политических текстов. 2.1 Общий обзор MAGIC-PTF В основе функционирования системы MAGIC-PTF лежит взаимодействие четырех специализированных Агентов, разработанных на базе БЯМ. Следует отметить, что понятие «Агент» является важным в теории искусственного интеллекта и определяется как вычислительная единица, способная самостоятельно анализировать окружающую среду, осуществлять логические операции и принимать целенаправленные решения [15];[17]. Разработанная система включает в себя четыре взаимосвязанных компонента: Агент-Стилист, отвечающий за стилистическое оформление текста, Агент-Переводчик, выполняющий основную переводческую работу, Агент-Редактор, осуществляющий проверку и корректировку перевода, и Агент-Читатель, оценивающий текст с позиции целевой аудитории. Структура системы и механизм взаимодействия между Агентами схематически представлены на рисунке 1. Рисунок 1. Архитектура и рабочий процесс MAGIC-PTF 2.2 Теоретические основы разработки MAGIC-PTF 2.2.1 Стандартизация перевода китайского политического дискурса В контексте стандартизации перевода китайского политического дискурса особое значение имеет нормативный документ «Базовые нормы перевода китайского политического дискурса на английский язык» (далее — «Нормы»), разработанный и опубликованный в 2023 году Китайским издательством литературы на иностранных языках при участии ряда профильных учреждений. Несмотря на то, что данный документ изначально ориентирован на англоязычный перевод, его методологическая ценность выходит за рамки одной языковой пары. Принципы и подходы, представленные в «Нормах», обладают универсальным характером и могут эффективно применяться при переводе на русский и другие языки. В основе «Норм» лежит фундаментальный принцип, согласно которому перевод китайского политического дискурса должен обеспечивать «оптимальный баланс между точностью передачи содержания и естественностью изложения для носителей языка перевода» [18, с. 4]. Реализация данного принципа требует от переводчика не только глубокого понимания политического контекста и культурных особенностей исходного текста, но и способности передавать китайские политические концепции языковыми средствами, соответствующими нормам и традициям языка перевода. «Нормы» представляют собой комплексный документ, охватывающий теоретические основы и практические рекомендации по переводу политического дискурса. В документе особое внимание уделяется контекстуальной адаптации и терминологической точности, преодолению межкультурных барьеров и оптимизации рабочего процесса. Эти ключевые аспекты послужили теоретическим фундаментом при разработке системы MAGIC-PTF, определив основные направления ее функционирования и развития. 2.2.2 Проектирование MAGIC-PTF на основе «Норм» (1) Контекстуальная адаптация и терминологическая точность Центральную роль в обеспечении контекстуальной адаптации и терминологической точности играет Агент-Стилист. Благодаря применению технологии дообучения (fine-tuning) [10], данный компонент системы эффективно усваивает стилистические особенности китайских политических текстов и их переводов. Особое значение имеет интеграция в систему специально разработанного китайско-русского терминологического корпуса политического дискурса, что обеспечивает последовательность и точность в использовании политической терминологии. (2) Преодоление межкультурных барьеров Ключевую роль в преодолении межкультурных барьеров играет Агент-Читатель, который оценивает текст с точки зрения русскоязычного читателя. Он анализирует не только точность передачи культурно-специфических понятий, но и соответствие общего стиля изложения нормам русского языка. На основе полученных от Агента-Читателя замечаний система последовательно улучшает перевод, делая его более понятным и естественным для русскоязычной аудитории. (3) Оптимизация рабочего процесса Организация рабочего процесса в MAGIC-PTF полностью соответствует рекомендациям «Норм», предусматривающим «первичный перевод, редактирование, первичную проверку, повторную проверку, унификацию терминологии и форматирования, общий просмотр текста, подготовку итоговой версии» [18, с. 13]. В этом процессе каждый агент выполняет свою специализированную функцию: Агент-Стилист создает первичный перевод, Агент-Переводчик осуществляет редактирование, Агент-Редактор проводит проверку на различных этапах, Агент-Читатель выполняет общую оценку текста, а итоговую версию формирует Агент-Переводчик. Такое взаимодействие агентов, построенное по принципу профессиональной переводческой команды, обеспечивает высокое качество конечного продукта. 3. Проектирование и функциональные характеристики агентов системы 3.1 Агент-Стилист Фундаментальным компонентом системы MAGIC-PTF выступает Агент-Стилист, который, согласно «Нормам», берет на себя функции первичного переводчика. Его основная задача — создание исходного варианта перевода с унифицированной терминологией и выдержанным стилем. В основе работы данного агента лежит БЯМ, прошедшая процедуру дообучения на специально подобранном корпусе из 500 параллельных предложений, извлеченных из четвертого тома книги «О государственном управлении» и её официального перевода на русский язык. Дообучение, являясь ключевым методом трансферного обучения, позволяет осуществить целенаправленную настройку предварительно обученной модели с помощью специализированного набора данных. Особую значимость этот метод приобретает в условиях ограниченного объема данных, поскольку дает возможность сохранить базовые языковые компетенции модели при одновременном приобретении специализированных знаний в конкретной области. В контексте работы с БЯМ применение технологии дообучения позволило MAGIC-PTF эффективно освоить как стилистические особенности, так и терминологический аппарат официальных переводов китайского политического дискурса. Это обеспечивает создание качественного первичного перевода, который служит основой для дальнейшей работы в рамках мультиагентного взаимодействия. 3.2 Агент-Переводчик Центральное место в системе MAGIC-PTF занимает Агент-Переводчик, который, в соответствии с «Нормами», отвечает за редактирование текста и подготовку его окончательной версии. В отличие от Агента-Стилиста, функционирование Агента-Переводчика, как и Агента-Редактора и Агента-Читателя, основано на технологии промпт-инжиниринга, что обеспечивает максимально эффективное использование возможностей БЯМ. Основная деятельность Агента-Переводчика заключается в обработке исходного китайского текста и первичного перевода, созданного Агентом-Стилистом. На этом этапе агент применяет свои лингвистические компетенции для повышения качества перевода, делая его более естественным и стилистически выверенным. В дальнейшем, на основе рекомендаций Агента-Редактора и Агента-Читателя, осуществляется многоэтапная доработка текста, что позволяет достичь уровня профессионального перевода. 3.3 Aгент-Редактор В структуре MAGIC-PTF Агент-Редактор, согласно «Нормам», осуществляет первичную и повторную проверку перевода, выступая гарантом его качества. Его деятельность охватывает всесторонний анализ текста с лингвистической, семантической, культурологической и политической точек зрения. Получая исходный китайский текст и перевод от Агента-Переводчика, Агент-Редактор в первую очередь оценивает точность и полноту передачи информации. При этом особое внимание уделяется не только содержательной стороне, но и качеству языкового выражения. В ходе проверки осуществляется детальный анализ грамматических конструкций, лексического состава и стилистических особенностей текста. Агент оценивает соответствие перевода нормам русского языка и узусу, а также адекватность передачи культурно-специфических концептов с учетом их восприятия носителями русской культуры. 3.4 Агент-Читатель В рамках MAGIC-PTF Агент-Читатель реализует функцию итогового прочтения текста, предусмотренную «Нормами». Его главная задача — оценка перевода с точки зрения иноязычного читателя, не обращаясь к оригиналу. Основное внимание Агент-Читатель уделяет выразительности текста и его воспринимаемости целевой аудиторией. При этом оценивается ряд ключевых аспектов: насколько текст соответствует читательским ожиданиям, способен ли он заинтересовать читателя, вызвать отклик и стимулировать дальнейшие размышления. Особое внимание уделяется тому, насколько адекватно переданы культурные элементы текста с учетом особенностей русскоязычной аудитории. Важной составляющей работы агента является анализ потенциального восприятия текста целевой аудиторией. Эта оценка с позиции читателя предоставляет важную обратную связь для окончательной доработки перевода. 3.5 Процесс взаимодействия между интеллектуальными агентами В основе функционирования MAGIC-PTF лежит взаимодействие четырех интеллектуальных агентов, обеспечивающих комплексный перевод китайского политического дискурса на русский язык. Процесс перевода реализуется поэтапно: изначально Агент-Стилист формирует базовый вариант перевода, который затем подвергается предварительной обработке Агентом-Переводчиком. На следующей стадии текст проходит двойную проверку: Агент-Редактор осуществляет профессиональную экспертизу перевода, а Агент-Читатель оценивает его с позиции целевой аудитории. На основании полученных рекомендаций Агент-Переводчик вносит необходимые коррективы в текст. Данный итеративный процесс продолжается до достижения требуемого уровня качества, после чего Агент-Переводчик формирует окончательную версию текста и аналитическое заключение. В таблице 1 представлена схема работы MAGIC-PTF на примере перевода следующего предложения из восьмой главы четвертого тома: «必须看到, 全面建设社会主义现代化国家, 实现中华民族伟大复兴, 最艰巨最繁重的任务依然在农村, 最广泛最深厚的基础依然在农村.» [19, c. 194]. Таблица 1. Схема взаимодействия интеллектуальных агентов
4. Результаты эксперимента 4.1 Анализ переводов, выполненных MAGIC-PTF В рамках анализа эффективности MAGIC-PTF рассмотрим результаты перевода двух предложений из четвертого тома «О государственном управлении» (см. таблицу 2). При анализе первого предложения следует отметить высокий уровень книжности перевода MAGIC-PTF, что полностью соответствует стилистическим требованиям политического текста. Особого внимания заслуживает точность передачи специфической политической терминологии: «全面建设社会主义现代化国家» (всестороннее строительство модернизированного социалистического государства) и «实现中华民族伟大复兴» (осуществление великого возрождения китайской нации) полностью соответствуют официальному переводу. Достижением системы стали инновационные решения в области синтаксиса и лексики. Разделение исходного предложения на два компонента значительно повысило удобочитаемость текста. Выбор конструкции «Нужно понимать» вместо «Необходимо видеть» более точно передает коммуникативное намерение оригинала. Использование фразы «Именно там находится наша самая широкая и прочная основа» демонстрирует эффективность работы Агента-Читателя, обеспечивая естественную связность текста и снижая когнитивную нагрузку на читателя. В переводе второго предложения система также продемонстрировала высокий уровень компетентности. Сохранен книжный стиль изложения, что достигается использованием причастных оборотов и препозитивных именных конструкций. Точно переданы ключевые политические термины «五位一体» (пятиединое) и «四个全面» (четыре всесторонних аспекта). Примечательно использование конструкции «Следует придерживаться системного подхода» для перевода «要坚持系统观念», которая, в отличие от деепричастного оборота в официальном переводе, сохраняет статус основной информации предложения. Разделение исходного предложения на два компонента также способствует улучшению восприятия текста. Таблица 2. Примеры переводов, выполненных системой MAGIC-PTF
Проведенный сравнительный анализ переводов свидетельствует о существенных преимуществах системы MAGIC-PTF в области перевода политических текстов. В процессе исследования было выявлено, что данная система демонстрирует высокий уровень точности как в плане стилистического оформления, так и в отношении терминологического соответствия официальным документам. Система не просто копирует синтаксические конструкции оригинала, а осуществляет их трансформацию с учетом норм русского языка, что делает текст более доступным для восприятия русскоязычной аудитории. При этом важно отметить, что подобные преобразования не влияют на смысловую точность перевода. В области лексического оформления система демонстрирует глубокое понимание специфики политического дискурса. Это проявляется в корректном использовании устоявшихся политических терминов и выборе языковых средств, характерных для официально-делового стиля русского языка. Более того, MAGIC-PTF успешно справляется с передачей тонких семантических нюансов, что особенно важно при переводе политических текстов. Полученные результаты убедительно доказывают эффективность многоагентного подхода в специализированном переводе и открывают новые перспективы для дальнейшего развития систем автоматизированного перевода политических текстов. 4.2 Сравнительный анализ эффективности системы MAGIC-PTF с существующими платформами машинного перевода Для оценки эффективности системы MAGIC-PTF в области перевода китайского политического дискурса на русский язык была разработана комплексная экспериментальная методология. Исследование включало в себя не только сравнение MAGIC-PTF с существующими системами машинного перевода, но и анализ эффективности её внутренней структуры, а также сопоставление с другими методами перевода, основанными на искусственном интеллекте. Экспериментальное исследование проводилось в нескольких направлениях. Прежде всего, система MAGIC-PTF была сопоставлена с широко используемыми платформами DEEPL и ChatGPT-4o, представляющими соответственно традиционный нейросетевой машинный перевод и современные достижения БЯМ в сфере перевода. Далее, для подтверждения эффективности мультиагентной структуры было проведено сравнение финального перевода MAGIC-PTF с первоначальным вариантом, сгенерированным Агентом-Стилистом. Особый интерес представляло исследование роли специализированного Агента-Стилиста: в рамках отдельного эксперимента его функции были переданы диалоговому режиму ChatGPT-4o при сохранении взаимодействия с остальными агентами системы. Такой многоаспектный подход к экспериментальному исследованию позволил получить объективную оценку как системы MAGIC-PTF в целом, так и эффективности её отдельных компонентов в контексте перевода политического дискурса. Таблица 3. Сравнительный анализ различных систем машинного перевода
Анализ представленных в таблице 3 результатов перевода позволяет сделать вывод о преимуществах системы MAGIC-PTF в области перевода китайского политического дискурса на русский язык. При этом традиционные системы машинного перевода продемонстрировали ряд недостатков. Так, в переводах DEEPL обнаруживаются стилистические отклонения и неточности в использовании политической терминологии, а также избыточность лексических конструкций. Система ChatGPT-4o, в свою очередь, проявляет тенденцию к неоправданному упрощению синтаксической структуры исходного текста, что приводит к искажению смысловых оттенков оригинала и снижению общего качества перевода. Наиболее высокие результаты были достигнуты первичным переводом Агента-Стилиста, который продемонстрировал точное следование стилистическим нормам политического дискурса и корректное использование специальной терминологии. Следует отметить, что попытка заменить Агента-Стилиста на ChatGPT-4o в качестве генератора первичного перевода оказалась малоэффективной: даже при сохранении последующего взаимодействия с остальными агентами системы не удалось достичь желаемого уровня стилистического соответствия официальным переводам. Этот факт подчеркивает ключевую роль специально настроенного Агента-Стилиста в обеспечении высокого качества перевода политических текстов. 4.3 Измерение эффективности перевода с использованием метрики COMET Для измерения эффективности MAGIC-PTF на расширенном корпусе текстов был проведен эксперимент с использованием метрики COMET (Crosslingual Optimized Metric for Evaluation of Translation) [22]. В качестве тестового материала были отобраны по 100 предложений из двух источников: третьего тома книги «О государственном управлении» и «Доклада о работе правительства КНР» за 2024 год, а также их официальные переводы на русский язык. Выбор данных текстов обусловлен необходимостью проверки как адаптивных, так и генерализационных способностей модели. Третий том «О государственном управлении», принадлежащий к той же серии, что и четвертый том, использованный при обучении MAGIC-PTF, позволяет оценить эффективность модели на знакомом материале. В свою очередь, «Доклад о работе правительства», охватывающий широкий спектр вопросов от экономики до социальной сферы, существенно отличается от серии «О государственном управлении» как по содержанию, так и по стилистике, что дает возможность проверить способность модели к обработке разнородного материала. В рамках эксперимента проводилось сравнительное тестирование четырех систем перевода: MAGIC-PTF, DEEPL, ChatGPT-4o и варианта, использующего исключительно Агента-Стилиста. Метрика COMET была выбрана в качестве инструмента оценки в силу ряда существенных преимуществ перед традиционными метриками, основанными на сопоставлении n-грамм. В отличие от таких метрик, как BLEU, COMET реализует более глубокий семантический анализ, позволяющий оценивать не только лексические соответствия, но и смысловую эквивалентность различных способов выражения одной и той же мысли. Система учитывает контекстуальную информацию и демонстрирует стабильные результаты при работе с разными языковыми парами, оценивая качество перевода по шкале от 0 до 1. Особую значимость использование COMET приобретает при анализе перевода политического дискурса, характеризующегося сложными семантическими конструкциями и специфической терминологией. Способность метрики анализировать глубинные семантические структуры с учетом контекста и эффективно идентифицировать синонимичные выражения позволяет комплексно оценивать качество перевода как с точки зрения сохранения исходного смысла, так и с позиции адекватности выбранных средств выражения в языке перевода. Таблица 4. Результаты оценки COMET для MAGIC-PTF и других систем машинного перевода
Анализ результатов эксперимента, представленных в таблице 4, демонстрирует значительное превосходство системы MAGIC-PTF над другими исследуемыми системами перевода. Модель достигла наивысших показателей по метрике COMET как при работе с «Докладом о работе правительства» (0,8363), так и с третьим томом «О государственном управлении» (0,8474), что свидетельствует о ее высоком потенциале генерализации. Существенно, что система не только успешно адаптировалась к специфике конкретных текстов, но и продемонстрировала способность эффективно выявлять и применять универсальные закономерности перевода китайского политического дискурса на русский язык. Интересным аспектом исследования является относительно низкий показатель COMET у Агента-Стилиста, что объясняется спецификой самой метрики, ориентированной преимущественно на оценку семантического соответствия без учета стилистических параметров текста. Однако именно Агент-Стилист формирует фундаментальную стилистическую базу для всей системы MAGIC-PTF. Существенное улучшение показателей COMET (более чем на 6%) при переходе от первичного перевода Агента-Стилиста к финальному результату MAGIC-PTF свидетельствует о том, что мультиагентная архитектура взаимодействия эффективно повышает семантическую точность и плавность изложения при сохранении стилистической адекватности текста. Превосходство MAGIC-PTF над системами DEEPL и ChatGPT-4o убедительно доказывает эффективность интеграции специализированной процедуры дообучения БЯМ с мультиагентным взаимодействием в области специализированного перевода. Данный подход обеспечивает более высокое качество перевода по сравнению как с универсальными БЯМ, так и с традиционными системами нейронного машинного перевода. Примечательно, что MAGIC-PTF достигла таких результатов на основе обучения на единственном тексте, что открывает перспективы дальнейшего повышения эффективности системы путем расширения обучающего корпуса за счет включения более разнообразных политических текстов. Заключение В заключение следует отметить, что разработанная в рамках данного исследования система MAGIC-PTF представляет собой инновационное решение в области автоматизированного перевода китайского политического дискурса на русский язык. Архитектура системы, основанная на взаимодействии четырех специализированных агентов, не только обеспечивает полное соответствие требованиям «Базовых норм перевода китайского политического дискурса», но и значительно повышает адаптивность и профессиональную компетентность БЯМ в сфере перевода политических текстов. Эффективность MAGIC-PTF базируется на трех ключевых компонентах: специализированном обучении Агента-Стилиста, позволяющем точно воспроизводить стилистические особенности и терминологию официальных переводов; имитации процесса коллективной работы профессиональных переводчиков через взаимодействие агентов; и механизме многоступенчатой итерации, обеспечивающем непрерывное повышение качества перевода. По сравнению с традиционным человеческим переводом, система демонстрирует значительное преимущество в скорости обработки текста и возможностях оптимизации. Благодаря многократной верификации и корректировке в рамках мультиагентного взаимодействия, качество перевода MAGIC-PTF последовательно приближается к уровню профессионального перевода, что подтверждается высокими показателями терминологической точности, стилистической согласованности и общего качества перевода. Результаты тестирования по метрике COMET убедительно демонстрируют превосходство MAGIC-PTF при работе с различными типами политических текстов, что свидетельствует не только об успешном освоении системой специфики перевода конкретных текстов, но и о её способности эффективно выявлять и применять универсальные принципы перевода китайского политического дискурса на русский язык. Данное достижение открывает новые перспективы применения БЯМ в сфере профессионального перевода и позволяет предположить, что по мере дальнейшего развития технологий и накопления практического опыта, подобные мультиагентные системы перевода будут играть всё более значимую роль в международной трансляции китайского политического дискурса.
Библиография
1. Brown T., Mann B., Ryder N. et al. Language models are few-shot learners // Advances in neural information processing systems. 2020. No. 33. P. 1877-1901.
2. OpenAI. Gpt-4 technical report // arXiv preprint arXiv:2303.08774. 2023. 3. Zhou J., Ke P., Qiu X., Huang M., Zhang J. ChatGPT: potential, prospects, and limitations // Frontiers of Information Technology & Electronic Engineering. 2023. P. 1-6. 4. Ху Кайбао, Гао Ли. Развитие иностранных языков в контексте больших языковых моделей: проблемы и перспективы // Внешний мир иностранных языков. 2024. № 2. С. 7-12. 5. Цинь Хунъу, Чжоу Ся. Большие языковые модели и сопоставительное изучение языков // Обучение и исследование иностранных языков. 2024. № 2. С. 163-176, 318. 6. Ху Кайбао, Ли Сяоцянь. Развитие переводческих исследований в контексте больших языковых моделей: проблемы и перспективы // Китайский перевод. 2023. № 6. С. 64-73, 192. 7. Фэн Цинхуа, Чжан Кайи. Анализ возможностей искусственного интеллекта в преподавании иностранных языков и исследованиях на примере ChatGPT-4o и языковой модели Wenxin 4.0 // Преподавание иностранных языков с помощью электронных технологий. 2024. № 3. С. 3-12, 109. 8. Ван Хуашу, Се Фэй. Инновационное исследование практической модели переводческого образования под влиянием технологии больших языковых моделей // Китайский перевод. 2024. № 2. С. 70-78. 9. Су Ци. Анализ эффективности применения больших языковых моделей в преподавании второго языка // Внешний мир иностранных языков. 2024. № 3. С. 35-42. 10. Zhang B., Haddow B., Birch A. Prompting large language model for machine translation: A case study // International Conference on Machine Learning, PMLR. 2023. P. 41092-41110. 11. Zhang X., Rajabi N., Duh K., Koehn P. Machine translation with large language models: Prompting, few-shot learning, and fine-tuning with QLoRA // Proceedings of the Eighth Conference on Machine Translation. 2023. P. 468-481. 12. Moslem Y., Haque R., Kelleher J.D., Way A. Adaptive machine translation with large language models // arXiv preprint arXiv:2301.13294. 2023. 13. Li J., Zhou H., Huang S., Cheng S., Chen J. Eliciting the translation ability of large language models via multilingual finetuning with translation instructions // Transactions of the Association for Computational Linguistics. 2024. No. 12. P. 576-592. 14. Du Y., Li S., Torralba A., Tenenbaum J., Mordatch I. Improving Factuality and Reasoning in Language Models through Multiagent Debate // arXiv preprint arXiv:2305.14325. 2023. 15. Wu Q., Bansal G., Zhang J. et al. Autogen: Enabling next-gen LLM applications via multi-agent conversation framework // arXiv preprint arXiv:2308.08155. 2023. 16. OpenAI. ChatGPT (версия от 20 июня) [Электронный ресурс]. 2024. URL: https://chat.openai.com/chat 17. Andreas J. Language Models as Agent Models // Findings of the Association for Computational Linguistics: EMNLP 2022. 2022. P. 5769-5779. 18. Базовые нормы перевода китайского политического дискурса на английский язык / Под ред. редакционной группы. Пекин: Издательство литературы на иностранных языках, 2023. C. 4. 19. Си Цзиньпин. О государственном управлении. Т. 4 (на китайском языке). Пекин: Издательство литературы на иностранных языках, 2022. 575 c. 20. Си Цзиньпин. О государственном управлении IV [Перевод с китайского]. Пекин: Издательство литературы на иностранных языках, 2023. 836 c. 21. DeepL Translator [Электронный ресурс]. URL: https://www.deepl.com/zh/translator#zh/ru/ (дата обращения: 08.08.2024). 22. Guerreiro N.M., Rei R., Stigt D. et al. xComet: Transparent machine translation evaluation through fine-grained error detection // Transactions of the Association for Computational Linguistics. 2024. № 12. P. 979-995. References
1. Brown, T., Mann, B., Ryder, N., et al. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877-1901.
2. OpenAI. (2023). GPT-4 technical report. arXiv preprint arXiv:2303.08774. 3. Zhou, J., Ke, P., Qiu, X., Huang, M., & Zhang, J. (2023). ChatGPT: potential, prospects, and limitations. Frontiers of Information Technology & Electronic Engineering, 1-6. 4. Hu, K., & Gao, L. (2024). Foreign Language Discipline Development in the Context of Large Language Models: Problems and Prospects [Развитие иностранных языков в контексте больших языковых моделей: проблемы и перспективы]. Foreign Language World, 2, 7-12. 5. Qin, H., & Zhou, X. (2024). Large Language Models and Comparative Language Studies [Большие языковые модели и сопоставительное изучение языков]. Foreign Language Teaching and Research, 2, 163-176. 6. Hu, K., & Li, X. (2023). Development of Translation Studies in the Context of Large Language Models: Problems and Prospects [Развитие переводческих исследований в контексте больших языковых моделей: проблемы и перспективы]. Chinese Translators Journal, 6, 64-73. 7. Feng, Q., & Zhang, K. (2024). Analysis of AI-assisted Foreign Language Teaching and Research Capabilities: Taking ChatGPT-4 and Wenxin Large Model 4.0 as Examples [Анализ возможностей искусственного интеллекта в преподавании иностранных языков и исследованиях]. Computer-Assisted Foreign Language Education, 3, 3-12. 8. Wang, H., & Xie, F. (2024). Research on Innovation of Translation Education Practice Model Driven by Large Language Model Technology [Инновационное исследование практической модели переводческого образования]. Chinese Translators Journal, 2, 70-78. 9. Su, Q. (2024). Analysis of the Application Effectiveness of Large Language Models in Second Language Teaching [Анализ эффективности применения больших языковых моделей в преподавании второго языка]. Foreign Language World, 3, 35-42. 10. Zhang, B., Haddow, B., & Birch, A. (2023). Prompting large language model for machine translation: A case study. In International Conference on Machine Learning, PMLR (pp. 41092-41110). 11. Zhang, X., Rajabi, N., Duh, K., & Koehn, P. (2023). Machine translation with large language models: Prompting, few-shot learning, and fine-tuning with QLoRA. Proceedings of the Eighth Conference on Machine Translation, 468-481. 12. Moslem, Y., Haque, R., Kelleher, J. D., & Way, A. (2023). Adaptive machine translation with large language models. arXiv preprint arXiv:2301.13294. 13. Li, J., Zhou, H., Huang, S., Cheng, S., & Chen, J. (2024). Eliciting the translation ability of large language models via multilingual finetuning with translation instructions. Transactions of the Association for Computational Linguistics, 12, 576-592. 14. Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2023). Improving Factuality and Reasoning in Language Models through Multiagent Debate. arXiv preprint arXiv:2305.14325. 15. Wu, Q., Bansal, G., Zhang, J., et al. (2023). Enabling Next-Gen LLM Applications via Multi-Agent Conversation Framework. arXiv preprint arXiv:2308.08155. 16. OpenAI. (2024). ChatGPT (version June 20) [Large language model]. Retrieved from https://chat.openai.com/chat 17. Andreas, J. (2022). Language Models as Agent Models. Findings of the Association for Computational Linguistics: EMNLP, 5769-5779. 18. Editorial Group (Ed.). (2023). Basic Standards for Translating Chinese Political Discourse into English. Beijing: Foreign Languages Press. 19. Xi, J. (2022). O gosudarstvennom upravlenii (Vol. 4) [In Chinese]. Beijing: Foreign Languages Press. 20. Xi, J. (2023). O gosudarstvennom upravlenii IV [Translated from Chinese]. Beijing: Foreign Languages Press. 21. DeepL. (2024). DeepL Translator [Online translation tool]. Retrieved from https://www.deepl.com/zh/translator#zh/ru/ 22. Guerreiro, N. M., Rei, R., Stigt, D., et al. (2024). xComet: Transparent Machine Translation Evaluation through Fine-grained Error Detection. Transactions of the Association for Computational Linguistics, 12, 979-995.
Результаты процедуры рецензирования статьи
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Теоретической основой работы выступили труды на русском и английском языках зарубежных исследователей Фэн Цинхуа, Чжан Кайи, Ху Кайбао, Ли Сяоцянь, T. Brown, B. Mann, N. Ryder, J. Andreas и др. Библиография статьи насчитывает 22 источника, что представляется достаточным для обобщения и анализа теоретического аспекта изучаемой проблематики. Библиография соответствует специфике изучаемого предмета, содержательным требованиям и находит отражение на страницах статьи. Следует отметить, что автор(ы) в основном апеллируют к научным работам, изданным в последние 3 года, что говорит в пользу актуальности и важности рассматриваемой проблемы на современном этапе. В рамках данного исследования разработан интерактивный мультиагентный переводческий фреймворк MAGIC-PTF (Multi-Agent Interactive Chinese Political Translation Framework, MAGIC-PTF), направленный на решение существующих проблем перевода китайского политического дискурса на русский язык. В основе фреймворка лежит синтез технологий оптимизации больших языковых моделей и стандартизированных требований к переводу политического дискурса. Такой подход не только максимально раскрывает потенциал БЯМ в генерации текста, но и обеспечивает строгое соответствие переводов установленным нормам и процедурам, что в совокупности способствует повышению как эффективности, так и качества перевода политических текстов. В работе дается общая характеристика MAGIC-PTF, теоретические основы разработки, функциональные характеристики агентов системы, проводится анализ переводов, выполненных данной системой, а также сравнительный анализ эффективности системы MAGIC-PTF с существующими платформами машинного перевода. Полученные результаты отражены в таблицах, что является несомненным преимуществом данной научной работы, так как визуализация и авторская интерпретация данных делает материал более доступным для восприятия и способствует более глубокому пониманию масштабов проведенной работы. Для измерения эффективности MAGIC-PTF на расширенном корпусе текстов был проведен эксперимент с использованием метрики COMET (Crosslingual Optimized Metric for Evaluation of Translation), результаты которого также представлены в виде таблицы. Автор(ы) приходят к выводу об эффективности MAGIC-PTF: «по сравнению с традиционным человеческим переводом, система демонстрирует значительное преимущество в скорости обработки текста и возможностях оптимизации», «качество перевода MAGIC-PTF приближается к уровню профессионального перевода», что подтверждают результаты оценки COMET: превосходство MAGIC-PTF при работе с различными типами политических текстов «свидетельствует не только об успешном освоении системой специфики перевода конкретных текстов, но и о её способности эффективно выявлять и применять универсальные принципы перевода китайского политического дискурса на русский язык». Выводы соответствуют поставленным задачам, сформулированы логично и отражают содержание работы. Полученные результаты, безусловно, имеют теоретическую значимость и практическую ценность: «разработанная в рамках данного исследования система MAGIC-PTF представляет собой инновационное решение в области автоматизированного перевода китайского политического дискурса на русский язык. Архитектура системы, основанная на взаимодействии четырех специализированных агентов, не только обеспечивает полное соответствие требованиям «Базовых норм перевода китайского политического дискурса», но и значительно повышает адаптивность и профессиональную компетентность больших языковых моделей в сфере перевода политических текстов». Стиль статьи отвечает требованиям научного описания, содержание работы соответствует названию, логика исследования четкая. Статья имеет завершенный вид; она вполне самостоятельна, оригинальна, будет интересна и полезна широкому кругу лиц и может быть рекомендована к публикации в научном журнале «Litera». |