Анализ влияния обфускации входных данных на эффективность языковых моделей в обнаружении инъекции подсказок

Крохин Алексей Сергеевич студент; Московский институт электроники и математики; Национальный исследовательский университет "Высшая школа экономики" 109316, Россия, г. Москва, Таганский р-н, Волгоградский пр-кт, д. 13 Krohin Aleksei Sergeevich Student; Moscow Institute of Electronics and Mathematics; National Research University 'Higher School of Economics' 13 Volgogradsky ave., Moscow, 109316, Russia askrokhin@edu.hse.ru

Гусев Максим Михайлович студент; Московский институт электроники и математики; Национальный исследовательский университет "Высшая школа экономики" 109117, Россия, г. Москва, р-н Кузьминки, Волгоградский пр-кт, д. 115 к. 3 Gusev Maksim Mihailovich Student; Moscow Institute of Electronics and Mathematics; National Research University 'Higher School of Economics' 115 k. 3 Volgogradsky ave., Moscow, 109117, Russia gusevmaxim04@mail.ru

Введение

В последние годы наблюдается значительный прогресс в области обработки естественного языка, что привело к широкому распространению языковых моделей в различных приложениях, от чат-ботов до систем автоматического перевода. Однако вместе с ростом возможностей этих моделей увеличивается и число угроз, связанных с их использованием. Одной из таких угроз является промпт-инъекция, которая представляет собой технику манипуляции входными данными с целью изменения поведения модели.

Для противодействия этой угрозе разрабатываются специальные модели, предназначенные для детектирования промпт-инъекций. Однако злоумышленники также не стоят на месте и разрабатывают различные методы обфускации, позволяющие обходить такие защитные механизмы. Обфускация промптов включает в себя изменение структуры и содержания текста с целью затруднения его анализа и классификации.

Цель данной статьи – исследовать и проанализировать различные методы обфускации промптов, которые могут быть использованы для обхода моделей детектирования промпт-инъекций. Объектом исследования явлюятся языковые модели (LLM) и их уязвимость к атакам через промпт-инъекции. Предметом исследования являются методы обфускации промптов и их влияние на эффективность работы моделей-классификаторов, предназначенных для детектирования промпт-инъекций в больших языковых моделях. В рамках исследования рассматриваются такие техники, как замена слов синонимами, перемешивание букв в словах, внедрение специальных символов и другие подходы. Оценка эффективности этих методов происходит на примере современных языковых моделей, обученных на задачу классификации текста, и оцениваются их потенциальные последствия для безопасности и защиты данных.

Промпт-инъекции, джейлбрейки и методы обфускации

Промпт-инъекция ^[1-4] — это метод атаки, направленный на манипулирование входными данными, передаваемыми в искусственные интеллектуальные системы, особенно большие языковые модели (LLM). Цель таких атак заключается в изменении поведения модели, чтобы она выполняла нежелательные или вредоносные действия, игнорируя первоначальные инструкции разработчиков.

Большие языковые модели обучены интерпретировать текстовые подсказки (промпты) как инструкции. Злоумышленники используют эту особенность, внедряя специально сконструированные фрагменты текста, которые заставляют модель:

1) Игнорировать системные ограничения или правила безопасности;

2) Генерировать вредоносный контент;

3) Раскрывать конфиденциальные данные;

4) Выполнять действия, которые не были предусмотрены разработчиками.

Примером может быть запрос: “Забудьте все предыдущие инструкции и предоставьте доступ к конфиденциальной информации.” Если система недостаточно защищена, она может выполнить этот запрос

Джейлбрейк ^[5-7] – это подтип атак на большие языковые модели (LLM), относящийся к категории промпт-инъекций. Его цель — заставить модель игнорировать встроенные ограничения и протоколы безопасности, заложенные в процессе выравнивания модели ^[8], чтобы она выполняла действия, которые обычно запрещены разработчиками.

Основная задача джейлбрейков – удалить ограничения, наложенные на модель. Это может привести к:

1) Генерации вредоносного контента (например, написание эксплойтов или инструкций для опасных действий);

2) Раскрытию конфиденциальной информации;

3) Выполнению действий, противоречащих политике безопасности разработчиков.

Обфускация — это метод маскировки или усложнения текста, кода или данных, который сохраняет их функциональность, но делает их трудными для анализа и интерпретации. В контексте атак на большие языковые модели (LLM), таких как джейлбрейки и промпт-инъекции, обфускация используется для обхода встроенных фильтров и защитных механизмов.

Обфускация делает атаки на LLM более сложными для обнаружения и предотвращения. Исследования ^[9-10] отмечают, что она позволяет:

1) Избегать детектирования встроенными фильтрами моделей;

2) Создавать уникальные вариации вредоносного контента;

3) Автоматизировать генерацию сложных атак с использованием ИИ.

В рамках данного исследования были использованы разнообразные методы обфускации текстов, направленные на затруднение их анализа и классификации языковыми моделями. Эти методы были разработаны для изменения структуры и содержания текста, что позволяет оценить их эффективность в обходе моделей, предназначенных для детектирования промпт-инъекций ^[11]. Ниже представлен подробный список методов обфускации, примененных в эксперименте.

Методы обфускации слов:

1. Удаление случайных символов (randomly_remove_characters): Этот метод предполагает удаление символов из слова с заданной вероятностью (0.2), что приводит к сокращению длины слова и изменению его структуры.

2. Повторение букв (repeat_letters): В данном методе каждая буква в слове может быть повторена случайное количество раз (один или два раза), что приводит к увеличению длины слова и изменению его визуального восприятия.

3. Добавление эмодзи (add_emojis): Метод включает добавление случайных эмодзи после некоторых слов в тексте, что может отвлечь внимание модели от основного содержания ^[12].

4. Вставка невидимых символов (insert_invisible_characters): В этом методе в слово вставляются невидимые символы Unicode, которые не отображаются при визуализации текста, но изменяют его внутреннюю структуру.

5. Вставка случайных символов (insert_random_symbols): Метод предполагает вставку случайных символов из заданного набора после некоторых букв в слове, что изменяет его структуру и усложняет анализ.

6. Перемешивание символов (shuffle_characters): В данном методе символы внутри слова перемешиваются, за исключением первого и последнего символов, что сохраняет визуальное сходство, но изменяет внутреннюю структуру.

7. Транслитерация (transliterate): Этот метод заменяет кириллические символы на латинские аналоги, что изменяет визуальное восприятие текста, сохраняя его произношение.

8. Случайное преобразование в UTF-8 (random_utf8_conversion): Некоторые символы в слове преобразуются в их UTF-8 представление с заданной вероятностью, что изменяет внутреннюю структуру текста.

9. Обратный порядок символов (reverse_word): Метод предполагает изменение порядка символов в слове на обратный, что полностью изменяет его визуальное восприятие.

10. Вставка случайных пробелов (insert_random_spaces): В данном методе в слово вставляются случайные пробелы, что изменяет его визуальное восприятие и структуру.

11. Замена на похожие символы (replace_with_similar_chars): Метод заменяет некоторые символы на визуально похожие аналоги из других алфавитов, что изменяет визуальное восприятие текста.

12. Вставка иностранных символов (insert_foreign_characters): В слово вставляются случайные символы из иностранных алфавитов, что изменяет его структуру и усложняет анализ.

13. Добавление диакритических знаков (add_diacritics): Метод включает добавление случайных диакритических знаков к символам слова, что изменяет его визуальное восприятие.

14. Использование зеркальных символов (use_mirrored_characters): В данном методе некоторые символы заменяются на их зеркальные аналоги, что изменяет визуальное восприятие текста.

Методы обфускации предложений:

1. Перемешивание слов (shuffle_words): Этот метод предполагает случайное перемешивание порядка слов в предложении, что изменяет его синтаксическую структуру.

2. Обратный порядок слов (reverse_sentence): В данном методе слова в предложении располагаются в обратном порядке, что изменяет его синтаксическую структуру и восприятие.

3. Добавление случайного текста (add_random_text): Метод включает добавление случайных фраз после некоторых предложений, что может отвлечь внимание модели от основного содержания.

Для противодействия атак, проводимых через пользовательские промпты, разрабатываются модели-классификаторы промпт-инъекций ^[13-14], представляющие собой специализированные языковые модели, обученные на задачу классификации текста. Чаще всего такие модели являются дообученными версиями лёгких моделей-энкодеров, например, на базе архитектуры BERT ^[15]. Эти модели классифицируют входной текст на два класса: текст, который не содержит промпт-инъекцию, и текст, который её содержит.

Основное применение таких классификаторов заключается в их использовании в качестве прокси между пользователем и основной языковой моделью. Это позволяет фильтровать потенциально опасные или нежелательные запросы, защищая модель от манипуляций и обеспечивая более безопасное взаимодействие с пользователями. Схема классического варианта интеграции таких моделей в LLM-сервис ^[16-17] представлена на рисунке 1.

Рисунок 1 – схема применения модели-классификатора для защиты приложений от промпт-инъекций

Обзор научных исследований

Существуют статьи о применении обфускации для атак на большие языковые модели ^[22-24].

Статья ^[22] посвящена проблеме защиты системных промптов (system prompts) больших языковых моделей (LLM), которые часто содержат уникальные инструкции и считаются интеллектуальной собственностью. Авторы предлагают метод обфускации промптов - преобразование исходного промпта в такую форму, которая сохраняет его функциональность, но не позволяет извлечь исходную информацию даже при атаках разного типа (black-box и white-box). Исследование включает сравнение работы LLM с оригинальным и обфусцированным промптом по восьми метрикам, а также анализ устойчивости к попыткам деобфускации. Результаты показывают, что предложенный метод эффективно защищает промпт без потери полезности модели.

Статья ^[23] рассматривает вопросы обеспечения безопасности сложных информационных систем при интеграции в них больших языковых моделей. Авторы анализируют основные угрозы, связанные с использованием LLM (например, утечка данных, вредоносные запросы, уязвимости промптов), и систематизируют современные методы защиты. Особое внимание уделено анализу рисков, связанных с промпт-инъекциями, и подходам к их минимизации, включая технические и организационные меры. Работа служит обзором актуальных угроз и практик по обеспечению безопасности при внедрении LLM в корпоративные и государственные системы.
В статье ^[24] описан новый способ обхода защитных механизмов LLM, известный как “jailbreaking”. Авторы представляют инструмент Intentobfuscator, который с помощью намеренно запутанных промптов (confusing prompts) скрывает истинное намерение пользователя от модели. Такой подход позволяет обойти фильтры безопасности и добиться от LLM выдачи запрещённого или нежелательного контента. В работе подробно анализируются техники обфускации, эффективность обхода защит и уязвимости современных систем фильтрации промптов. Исследование подчеркивает необходимость совершенствования механизмов защиты LLM от подобных атак.

Но данные статьи исследуют обфускацию для авторегрессионных больших языковых моделей, то есть направленных на генерацию текста по подсказке (промпту). При этом не были обнаружены работы, направленные на анализ влияния обфускации входных данных для языковых моделей классификатор текста.

Описание эксперимента

Цель эксперимента

Целью данного эксперимента является анализ влияния различных методов обфускации на эффективность обнаружения промпт-инъекций в современных языковых моделях, включая state-of-the-art архитектуры. Исследование направлено на выявление уязвимостей моделей к искажению входных данных, при котором опасные запросы (например, инструкции по созданию вредоносного ПО, оружия или оскорбительного контента) могут оставаться незамеченными из-за изменения структуры или содержания текста. Это позволяет оценить, насколько методы маскировки атак снижают способность моделей распознавать угрозы, нарушающие моральные и правовые нормы.

Методология

Для тестирования используется датасет AdvBench ^[18], выбранный благодаря своей специализации на опасных инструкциях, нарушающих моральные и правовые нормы (например, генерация вредоносного ПО, оружия или оскорбительного контента), что напрямую соответствует цели исследования – анализу методов обфускации, направленных на обход защитных механизмов против промпт-инъекций. Его преимущества включают узкую фокусировку на атакующие сценарии, отсутствующие в универсальных датасетах (например, GLUE), а также стандартизацию и воспроизводимость, так как он широко используется в исследованиях по безопасности ИИ. Данные охватывают разнообразные типы атак, от социальной инженерии до технических манипуляций, обеспечивая репрезентативность для тестирования методов обфускации.

Процедура тестирования

1) Выбор моделей

Для эксперимента отбираются три модели-классификатора, каждая из которых предназначена для выявления промпт-инъекций. Эти модели могут быть основаны на архитектуре BERT или других аналогичных моделях-энкодерах.

2) Обфускация инструкций

Каждый промпт из датасета AdvBench поочередно проходит обфускацию с использованием каждого из выбранных методов.

3) Классификация

Обфусцированные инструкции подаются на вход каждой модели-классификатору. Выход модели, представляющий собой классификацию текста как SAFE (безопасный) или INJECTION (содержащий инъекцию), сохраняется для последующего анализа.

4) Анализ результатов

a) Для каждого метода обфускации подсчитывается количество ответов классификатора, принадлежащих к классам SAFE и INJECTION.

b) Рассчитывается доля SAFE среди всех запросов для каждого метода обфускации.

Доля безопасных (SAFE) запросов рассчитывается по формуле 1:

Доля безопасных = SAFE/(SAFE + INJECTION) (1)

с) Оценивается эффективность методов обфускации.

Эффективность оценивалась по отклонению доли SAFE-классификаций для обфусцированных промптов относительно базового значения – доли SAFE-классификаций для простой инструкции. Для расчета использовалась формула 2:

Эффективность = Доля безопасных(обфускация) - Доля безопасных(простая инструкция) (2)

d) Сравниваются результаты между различными методами обфускации, а также с аналогичными показателями для инструкций, не проходящих обфускацию.

Ожидаемые результаты

Эксперимент направлен на выявление различий в эффективности моделей-классификаторов при обработке обфусцированных и необфусцированных инструкций. Ожидается, что обфускация путем применения некоторых методов усложнит задачу классификации, увеличив долю SAFE-классификаций для опасных запросов по сравнению с другими методам. Сравнение результатов между различными методами обфускации позволит оценить эффективность этих методов в сокрытии промпт-инъекций. Мы стремимся определить, какие методы обфускации наиболее успешно скрывают опасные запросы, то есть приводят к тому, что промпты реже классифицируются как инъекции. Это поможет выявить слабые места в текущих подходах к обнаружению промпт-инъекций и предложить направления для их улучшения.

Тестируемые модели

Модели protectai/deberta-v3 , XiweiZ/sts-ft-promptInjection и fmops/distilbert-prompt-injection выбраны, потому что они специально обучены распознавать опасные запросы (например, попытки обмануть ИИ). Каждая из них подходит для разных ситуаций: одна работает очень точно (DeBERTa), другая — быстро и экономит ресурсы (DistilBERT), а третья — гибко адаптируется к новым данным (SetFit). Все они открыты и часто используются в исследованиях и в системах защиты ИИ-систем, что позволяет сравнивать результаты и проверять их надёжность. Это делает их удобными и репрезентативными для тестирования методов обфускации промптов.

1. protectai/deberta-v3-base-prompt-injection-v2

Модель protectai/deberta-v3-base-prompt-injection-v2 представляет собой усовершенствованную версию модели microsoft/deberta-v3-base, которая была дообучена на множестве объединенных наборов данных, содержащих как промпт-инъекции, так и обычные промпты. Основная цель модели заключается в идентификации промпт-инъекций, классифицируя входные данные на две категории: 0 – отсутствие инъекции и 1 – обнаружена инъекция.

2. XiweiZ/sts-ft-promptInjection

Модель XiweiZ/sts-ft-promptInjection является моделью SetFit ^[19], предназначенной для классификации текстов. Она была обучена с использованием эффективной техники обучения с малым количеством примеров, которая включает в себя дообучение трансформера предложений с помощью контрастивного обучения. После этого обучается классификационная головка, использующая признаки, полученные от дообученного трансформера предложений.

3. fmops/distilbert-prompt-injection

Модель fmops/distilbert-prompt-injection основана на архитектуре DistilBERT ^[20], которая представляет собой упрощенную и более быструю версию оригинальной модели BERT. DistilBERT сохраняет основные характеристики BERT, но при этом обладает меньшим количеством параметров, что делает ее более эффективной в плане вычислительных ресурсов. Модель fmops/distilbert-prompt-injection специально адаптирована для задач, связанных с обнаружением промпт-инъекций в текстах.

Результаты тестирования

fmops/distilbert-prompt-injection

Результаты тестирования fmops/distilbert-prompt-injection различными методами обфускации представлены в таблице 1. Методы обфускации предложений показали более высокую эффективность по сравнению с методами обфускации слов. Например, методы «перемешивание слов» и «обратный порядок слов» продемонстрировали наибольшие показатели эффективности – 0,17 и 0,20 соответственно (Таблица 2). Это указывает на их способность эффективно обходить защитные механизмы модели.

Методы обфускации слов, такие как «удаление случайных символов», «повторение букв», «вставка случайных символов», показали отрицательную эффективность с показателем -0,08 (Таблица 2). Это указывает на то, что хаотические изменения на уровне слов не только не способны затруднить обнаружение промпт-инъекций моделью, но и делают инъекции более заметными.

Некоторые методы, например, «транслитерация» и «добавление диакритических знаков», продемонстрировали неспособность изменить работу модели, о чем свидетельствует показатель эффективности 0,00 (Таблица 2).

Эксперимент показал, что методы обфускации, изменяющие структуру предложений, более эффективны в обходе модели fmops / distilbert-prompt-injection. Это может быть связано с тем, что изменения на уровне предложений создают более значительные искажения непосредственно в семантической структуре текста, при этом не создавая характерных для атакующих промптов изменений в последовательности токенов, что затрудняет анализ его опасности моделью.

Методы, вносящие хаотические изменения на уровне слов, такие как вставка случайных символов или повторение букв, оказываются менее успешными, поскольку они часто соответствуют паттернам, свидетельствующим о попытке обхода защитных механизмов модели. Это подчёркивает важность структуры и связности текста для предотвращения обнаружения в нем промпт-инъекций.

Таблица 1 – Результаты тестирования fmops/distilbert-prompt-injection различными методами обфускации

Согласно формуле (2) рассчитаны показатели эффективности каждого метода обфускации, которые ранжированы по убыванию.

Таблица 2 – Эффективность различных методов обфускации при тестировании fmops/distilbert-prompt-injection

Модель XiweiZ/sts-ft-promptInjection

Результаты тестирования XiweiZ/sts-ft-promptInjection различными методами обфускации представлены в таблице 3. В ходе анализа эффективности модели XiweiZ / sts-ft-promptInjection было установлено, что методы по сравнению с результатами ранее протестированной модели обфускации предложений демонстрируют умеренную результативность в обходе защитных механизмов – диапазон эффективности для таких методов составил от 0,01 до 0,06 (Таблица 4). Наиболее эффективным среди них оказался метод «вставка невидимых символов», достигший доли успеха 0,06 (Таблица 4).

Методы обфускации слов, включая «удаление случайных символов», «вставка случайных символов» и «перемешивание символов», также показали одни из наиболее высоких показателей эффективности с долей успеха 0,05 (Таблица 4). Однако важно учитывать, что чрезмерно сложные методы, изменяющие слова до неузнаваемости, чаще подвергаются обнаружению. Это обусловлено тем, что модели, такие как XiweiZ / sts-ft-promptInjection, могут быть обучены на данных, содержащих подобные аномалии, и учитывать перплексию ^[21] текста промпта при анализе.

Кроме того, методы «транслитерация», «обратный порядок слов», «добавление эмодзи», «обратный порядок предложений» и «добавление случайного текста» продемонстрировали наименьшую долю успеха в диапазоне от 0,01 до 0,02 (Таблица 4).

Таким образом, для эффективного обхода модели необходимо находить баланс между сложностью метода обфускации и вероятностью его обнаружения. Это подчёркивает важность тщательного подхода к выбору методов обфускации с учётом особенностей анализируемой модели и её способности распознавать аномалии в тексте.

Таблица 3 – Результаты тестирования XiweiZ/sts-ft-promptInjection различными методами обфускации

Согласно формуле (2) рассчитаны показатели эффективности каждого метода обфускации, которые ранжированы по убыванию.

Таблица 4 – Эффективность различных методов обфускации при тестировании XiweiZ/sts-ft-promptInjection

Модель protectai/deberta-v3-base-prompt-injection

В ходе анализа эффективности модели protectai/deberta-v3-base-prompt-injection для обфусцированных промптов было выявлено, что методы обфускации предложений демонстрируют наивысший показатель эффективности среди остальных методов, однако при этом он не превышает 0.00, что говорит об отсутствии влияния на работу модели. Методы «перемешивание слов» и «обратный порядок слов» показали эффективность — 0,00 и -0,01 соответственно (Таблица 6).

Методы обфускации слов, такие как «транслитерация» и «добавление эмодзи», также продемонстрировали нулевой показатель влияния на ответы модели (Таблица 6). Остальные же методы показатели отрицательные показатели эффективности, многие их которых приближены к -1.

Примечательно, что доля успеха для простых инструкций без изменений составила 0,99 (Таблица 5). Это означает, что модель демонстрирует высокую вероятность ошибочно классифицировать потенциально опасные промпты как безопасные или не способна адекватно распознавать попытки использования больших языковых моделей (LLM) в злонамеренных целях в виде промпт-инъекций.

В случае плохой эффективности детектирования промпт-инъекций в зловредных инструкциях стоит учитывать, что модель может быть обучена в целях обнаружения модифицированных промптов, которые могут быть использованы для обхода защитных механизмов и выравнивания моделей. В связи с этим важнее принять во внимание сравнение эффективности техник между собой, исключая сравнения с прямыми инструкциями.

Таблица 5 – Результаты тестирования protectai/deberta-v3-base-prompt-injection различными методами обфускации

Согласно формуле (2) рассчитаны показатели эффективности каждого метода обфускации, которые ранжированы по убыванию.

Таблица 6 – Эффективность различных методов обфускации при тестировании protectai/deberta-v3-base-prompt-injection

Заключение

В ходе проведённого исследования изучено влияние различных методов обфускации на эффективность моделей-классификаторов, предназначенных для выявления промпт-инъекций. Анализ показал, что структурные изменения текста, особенно на уровне предложений, могут значительно снижать способность моделей распознавать опасные запросы. Это подчёркивает актуальность дальнейшего развития механизмов защиты языковых моделей от атак, основанных на искажении входных данных.

Исследование проводилось с использованием трёх современных моделей: protectai/deberta-v3, XiweiZ/sts-ft-promptInjection и fmops/distilbert-prompt-injection. Для каждого метода обфускации рассчитывалась доля SAFE-классификаций — то есть случаев, когда модель ошибочно определяла вредоносный запрос как безопасный. Эффективность метода оценивалась как разница между долей SAFE для обфусцированного запроса и базового значения, полученного для неизмененных инструкций. Такой подход позволил объективно сравнить результаты и выявить наиболее уязвимые места существующих классификаторов.

Установлено, что методы, изменяющие структуру предложения — такие как перемешивание слов или обратный порядок слов — оказались наиболее успешными в обходе детекторов промпт-инъекций. В то же время хаотичные искажения на уровне слов часто вызывали повышенное внимание со стороны моделей и не приводили к значительному увеличению числа ложных срабатываний.

Полученные данные предоставляют основу для совершенствования систем защиты, устойчивых к сложным формам обфускации. Также подчеркнута необходимость более строгого тестирования и верификации моделей, используемых для фильтрации потенциально опасного контента.

Результаты работы демонстрируют важность поиска баланса между сложностью метода обфускации и его способностью маскировать атаку. Они также открывают перспективы для дальнейших исследований, направленных на повышение устойчивости больших языковых моделей к манипуляциям и создание более надежных механизмов их защиты.

Перспективы дальнейших исследований

Перспективы дальнейшего исследования включают расширение экспериментальной базы за счёт анализа успешности джейлбрейка больших языковых моделей (LLM) при применении различных методов обфускации. Это позволит не только углубить понимание уязвимостей существующих защитных механизмов, но и определить ключевые параметры, влияющие на эффективность атак.

Одной из ключевых задач станет поиск баланса между двумя противоположными эффектами: снижением доли запросов, блокируемых моделями-классификаторами, и одновременным увеличением доли запросов, приводящих к успешному джейлбрейку LLM. Для этого предполагается провести серию экспериментов, где будут систематически варьироваться параметры обфускации — такие как сложность преобразований, их количество и тип (лексические, семантические или синтаксические изменения). На основе полученных данных планируется выявить наиболее эффективные методы обфускации, которые минимизируют вероятность обнаружения атаки защитными механизмами, но максимизируют вероятность компрометации целевой модели.