Динамическое распределение слотов RACH для минимизации коллизий в сетях NB-IoT на основе алгоритмов обучения с подкреплением

Шаброва Анна Сергеевна ORCID: 0009-0009-1675-1558 студент; кафедра Информационная безопасность; МГТУ им. Н.Э. Баумана 105005, Россия, г. Москва, ул. 2-я Бауманская, 5, стр. 4 Shabrova Anna Sergeevna Student; Department of Information Security; Bauman Moscow State Technical University 5, 2nd Baumanskaya str., building 4, Moscow, 105005, Russia shabrova.anna.2410@list.ru Другие публикации этого автора     Князев Максим Андреевич ORCID: 0009-0007-3931-7442 аспирант; кафедра информационной безопасности ; ФГБОУ ВО «МИРЭА – Российский технологический университет», Институт Искусственного Интеллекта 119454, Россия, г. Москва, пр-т Вернадского, 78 Knyazev Maxim Andreevich Postgraduate student; Department of Information Security ; MIREA – Russian Technological University, Institute of Artificial Intelligence 78 Vernadsky Ave., Moscow, 119454, Russia maxiknyaz@mail.ru Другие публикации этого автора

Колесников Александр Владимирович ORCID: 0009-0008-9669-804X к.т.н.; кафедра Информационная безопасность; МГТУ им. Н.Э. Баумана 105005, Россия, г. Москва, Басманный р-н, ул. 2-я Бауманская, д. 5 стр. 4 Kolesnikov Alexander Vladimirovich Ph.D; Department of Information Security; Bauman Moscow State Technical University 5, 2nd Baumanskaya str., building 4, Basmanny district, Moscow, 105005, Russia avkolesnikov@bmstu.ru

ВВЕДЕНИЕ

Современные тенденции цифровой трансформации привели к интенсивному росту количества устройств Интернета вещей (Internet of Things, IoT), которые активно используются в различных областях – от бытовых устройств до промышленных и инфраструктурных решений. Одной из наиболее востребованных технологий для обеспечения коммуникации таких устройств является стандарт Narrowband Internet of Things (NB-IoT), отличающийся низкими скоростями передачи данных и высокой энергоэффективностью. Однако увеличение плотности размещения устройств усложнило работу процедур случайного доступа (Random Access Channel, RACH), предназначенных для установления первичной связи устройств с базовыми станциями ^[4].

Традиционные статические методы распределения временных слотов, используемых в процедурах RACH, перестают отвечать современным требованиям по причине недостаточной адаптивности к динамическим изменениям нагрузки и непредсказуемости поведения большого количества устройств ^[5]. Следствием этого является увеличение числа коллизий, рост задержек при передаче данных и повышенное энергопотребление устройств, что в совокупности негативно отражается на общей производительности и надежности функционирования сети ^[3].

В связи с этим возникает необходимость в разработке и внедрении новых адаптивных механизмов, способных оперативно реагировать на изменяющиеся условия сетевой нагрузки и эффективно минимизировать вероятность возникновения коллизий ^[6]. Одним из перспективных направлений решения данной задачи является применение алгоритмов обучения с подкреплением (Reinforcement Learning, RL), которые позволяют системам принимать оптимальные решения на основе накопленного опыта взаимодействия с окружающей средой ^[8].

Цель настоящего исследования заключается в разработке и экспериментальном подтверждении эффективности применения RL-алгоритмов (Q-learning и DQN) для динамического управления процедурой распределения временных слотов RACH в сетях NB-IoT. В работе будет проведён сравнительный анализ результатов практического применения предложенного подхода с традиционным статическим методом по эксплуатационным метрикам числа коллизий, успешности подключения устройств, задержки передачи данных и показателям энергопотребления.

Результаты исследования могут быть использованы для оптимизации функционирования реальных NB-IoT сетей, повышения их производительности и энергоэффективности, а также служить основой для дальнейших исследований в области адаптивного и интеллектуального управления сетями IoT.

ТЕКУЩЕЕ СОСТОЯНИЕ ТЕХНОЛОГИИ

Narrowband Internet of Things (NB-IoT) представляет собой специализированный стандарт, разработанный консорциумом 3rd Generation Partnership Project (3GPP), предназначенный для передачи небольших объёмов данных с высокой энергоэффективностью и низкими требованиями к полосе пропускания ^[9]. Технология позволяет обслуживать большое количество устройств, даже в условиях затрудненного покрытия, таких как подвальные помещения и удалённые сельские территории, что увеличивает актуальность решения проблемы коллизий. Проблема минимизации коллизий в сетях NB-IoT является актуальной и активно изучается многими исследователями ввиду растущего числа устройств, подключаемых к сетям IoT ^[1].

В мировой практике для минимизации коллизий применяются как алгоритмические, так и технологические методы. Одним из традиционных подходов является модификация алгоритмов случайного доступа путём интеграции механизмов динамического управления интервалами повторных попыток и перераспределения временных слотов.

Однако в последние годы особое внимание уделяется применению методов машинного обучения, в частности обучения с подкреплением (Reinforcement Learning, RL), для решения задачи перегрузки и минимизации коллизий. RL является методом машинного обучения, где агент обучается взаимодействовать с окружающей средой, принимая оптимальные решения на основе накопленного опыта с целью максимизации получаемой награды ^[8]. Популярными алгоритмами в этом направлении являются Q-learning и Deep Q-Network (DQN), которые позволяют эффективно адаптировать стратегии управления ресурсами сети в зависимости от текущего состояния и динамики нагрузки. Исследование «Transmission Control in NB-IoT With Model-Based Reinforcement Learning» подтверждает эффективность применения RL для адаптивного управления слотами доступа, существенно снижая вероятность возникновения коллизий ^[7]. В работе «Analysis of the Effect of the Reliability of the NB-Iot Network on the Intelligent System» представлен детальный анализ и конкретные рекомендации по снижению задержек и коллизий с использованием подобных подходов ^[2].

Также перспективным направлением считается мультиагентный подход, основанный на распределённом управлении сетевыми ресурсами, где множество агентов совместно принимают решения, адаптируясь к изменениям нагрузки и неопределённости среды.

Несмотря на многообразие предложенных методов, актуальной остаётся задача создания универсальных, масштабируемых и высокоэффективных решений, пригодных для практического применения в реальных условиях эксплуатации сетей NB-IoT. В контексте обозначенной задачи подход, основанный на RL-алгоритмах, представленный в настоящем исследовании, является перспективным направлением для эффективного и адаптивного управления сетевыми ресурсами и минимизации числа коллизий.

Задачи и инструменты

Для достижения поставленной цели исследования были сформулированы и решены следующие задачи:

- проведён анализ текущего состояния технологии NB-IoT и выявлены основные проблемы, связанные с процедурами случайного доступа;

- спроектирована модель сети NB-IoT, состоящая из трёх различных типов устройств, отражающих специфику их применения;

- выполнено моделирование работы сети и поведения устройств с применением дискретно-событийного симулятора NS-3;

- разработан RL-агент для динамического управления распределением временных слотов доступа;

- проведена серия экспериментов с использованием RL-агента и без его применения (с традиционным статическим подходом);

- зафиксированы и обработаны результаты экспериментальных исследований;

- выполнен сравнительный анализ результатов по числу коллизий, статусу подключений, задержке передачи данных и энергопотреблению устройств;

- сформулированы выводы о преимуществах и эффективности предложенного подхода на основе проведённого анализа.

В исследовании использовался дискретно-событийный сетевой симулятор NS-3 – широко используемая платформа с открытым исходным кодом, написанная на языке C++ с поддержкой интеграции модулей на Python. NS-3 позволил реализовать детализированную модель NB-IoT сети, отражающую реалистичные условия её функционирования, включая различные типы устройств и паттерны генерации трафика. Благодаря высокой точности моделирования была осуществлена серия симуляций, что позволило собрать и проанализировать данные.

РАЗРАБОТКА МОДЕЛИ СЕТИ NB-IOT И ИНТЕГРАЦИЯ RL-АГЕНТА

Для разработки детализированной модели сети NB-IoT в среде NS-3 было выполнено несколько последовательных этапов моделирования и конфигурации. На начальном этапе был сформирован набор узлов сети: создано 50 независимых узлов, соответствующих устройствам NB-IoT, и отдельный узел, выполняющий функции базовой станции. Узлы были объединены в единую сетевую топологию типа «точка-точка» (Point-to-Point), при которой каждое устройство напрямую взаимодействует с базовой станцией через отдельный канал связи ^[11].

Для дополнительного контроля корректности реализации модели и наглядной демонстрации процессов обмена данными был использован интегрированный в NS-3 инструмент визуализации NetAnim. Данный инструмент позволил в режиме реального времени визуально представить сформированную топологию сети, расположение устройств и базовой станции, а также пронаблюдать динамические процессы взаимодействия узлов и обмена пакетами данных между ними (см. рисунок 1).

Рисунок 1 – Визуализация топологии сети

Конфигурация используемых каналов связи между узлами была задана с высокой пропускной способностью в 1 Гбит/с и минимальной задержкой передачи данных в 1 мс. Такие параметры были выбраны для того, чтобы свести к минимуму влияние канальных характеристик на результаты симуляции и обеспечить возможность сфокусироваться на исследовании эффективности работы механизма RACH. После завершения конфигурации каналов связи на всех узлах был установлен стек интернет-протоколов IPv4, обеспечивающий корректную передачу пакетов данных по сети.

Для реализации механизма случайного доступа RACH был использован специально разработанный компонент DynamicSlotManager. Данный компонент моделирует реальное поведение устройств NB-IoT в процессе доступа к слотам. В рамках базовой модели были размещены пять временных RACH-слотов с длительностью 10 мс. Устройства осуществляли попытки доступа к слотам и в случае возникновения коллизии переходили в режим ожидания с последующей повторной передачей пакета после случайного временного интервала задержки (backoff).

Для более точного моделирования поведения устройств NB-IoT было разработано специализированное сетевое приложение NbIotDeviceApp, реализованное в виде отдельного класса в симуляторе NS-3. Данное приложение позволяет имитировать три различных типа устройств, отличающихся режимами и регулярностью отправки данных:

- периодические устройства (PERIODIC), отправляющие данные с фиксированными интервалами (каждые 60 секунд);

- спорадические устройства (SPORADIC), отправляющие пакеты данных случайным образом и с непредсказуемой частотой, характерной для различных аварийных датчиков и устройств событийного типа;

- устройства с низким приоритетом (LOW_PRIORITY), характеризующиеся нерегулярной отправкой данных и допускающие значительные задержки при передаче информации.

Распределение узлов по указанным типам было задано следующим образом: 30% устройств периодического типа, 40% спорадического и 30% устройств с низким приоритетом. Размер пакетов данных, отправляемых устройствами, составлял 50 байт. Энергетические затраты каждого устройства на отправку одного пакета данных были смоделированы в размере 0.2 Дж, при этом изначальный запас энергии устройств был установлен равным 10 Дж.

Для интеграции алгоритма обучения с подкреплением (RL) в симуляционную модель был разработан специальный внешний Python-модуль rl_agent.py, реализующий логику RL с использованием методов Q-learning и Deep Q-Network (DQN). Взаимодействие между симулятором NS-3 и внешним Python-агентом обеспечивалось через специально созданный интеграционный слой на стороне NS-3 с использованием Python C API. Этот слой осуществлял вызов функций RL-агента ^[10], передачу агенту данных о текущем состоянии сети (число коллизий, количество успешных и неуспешных попыток подключения, текущее распределение слотов) и получение нового оптимизированного распределения слотов доступа.

На этапе инициализации агент устанавливал начальные параметры обучения (коэффициенты обучения, дисконта, вероятность случайного выбора действий) и формировал начальное равномерное распределение слотов доступа для каждого устройства.

Каждые 30 секунд агент получал от симулятора NS-3 актуальные метрики состояния сети и на их основе оценивал текущее состояние системы.

Используя стратегию ε-жадности, агент выбирал действие, направленное на оптимизацию текущей ситуации (уменьшение коллизий, повышение успешности подключений и энергоэффективности).

После выбора действия RL-агент рассчитывал новое оптимальное распределение слотов доступа, передавая полученные конфигурации обратно в симулятор NS-3, где они непосредственно применялись в работе устройств сети.

После применения новых конфигураций RL-агент фиксировал изменения состояния сети, рассчитывал полученную награду и корректировал значения Q-функции, готовясь к следующему циклу анализа.

Экспериментальные исследования проводились на интервале в 3600 секунд (один час), в течение которого каждые 10 секунд фиксировались метрики состояния сети для последующего анализа и сравнительной оценки эффективности предложенного подхода с использованием RL-агента по сравнению с традиционным статическим методом управления слотами.

СРАВНИТЕЛЬНЫЙ АНАЛИЗ РЕЗУЛЬТАТОВ ЭКСПЕРМИЕНТОВ

Для оценки эффективности интегрированного RL-алгоритма были проведены два комплекса экспериментов: первый – с традиционным статическим подходом к распределению слотов RACH, второй – с применением адаптивного алгоритма обучения с подкреплением (RL). Время проведения каждого эксперимента составляло 3600 секунд, с идентичными исходными условиями и параметрами сети.

Анализ числа и доли коллизий показал существенное преимущество применения RL-алгоритма. При статическом подходе количество коллизий достигло 50 за весь период симуляции, что соответствует доле 2.84% от общего числа попыток доступа. В случае применения RL-алгоритма число коллизий значительно сократилось – до 13, снизив долю коллизий до 0.65%. Таким образом, адаптивный подход позволил уменьшить количество коллизий на 74%, а долю коллизий – на 77%.

Средняя задержка при обоих подходах удерживалась на низком уровне и составила примерно 0.01 секунды. Несмотря на отсутствие заметной разницы в средней задержке, снижение числа коллизий при использовании RL-алгоритма способствует более стабильной работе сети, уменьшая необходимость повторных попыток доступа, что в долгосрочной перспективе приводит к общему повышению эффективности передачи данных.

Энергопотребление устройств является важным показателем для сетей NB-IoT. В ходе эксперимента с традиционным статическим распределением слотов средний остаточный заряд устройств составил 3.7 Дж, в то время как при использовании адаптивного RL-подхода – 3.12 Дж. Это свидетельствует об улучшении энергоэффективности на 15%, вызванном сокращением числа повторных передач данных вследствие снижения коллизий.

Количество успешно переданных пакетов данных за время проведения экспериментов также улучшилось. При использовании статического подхода было зафиксировано 1710 успешных подключений. В случае использования RL-алгоритма это значение выросло до 1990 успешных подключений, что соответствует приросту успешных подключений на 16%. Данный результат подтверждает высокую эффективность адаптивного подхода с точки зрения повышения успешности передачи данных.

Сводная таблица сравнительного анализа результатов экспериментов представлена ниже:

Таблица 1. Результаты моделирования без RL-агента и с его использованием

Полученные результаты демонстрируют преимущества предложенного адаптивного подхода на основе алгоритмов обучения с подкреплением перед традиционными методами распределения слотов RACH в сетях NB-IoT. Адаптивность RL-алгоритма к текущей сетевой нагрузке позволяет значительно улучшить основные показатели производительности сети, подтвердив возможность практического применения данного подхода в реальных условиях.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ И ИХ ОБСУЖДЕНИЕ

Результаты проведенного исследования подтверждают высокую эффективность использования алгоритмов обучения с подкреплением для динамического управления процедурой доступа к временным слотам RACH в сетях NB-IoT. По сравнению с традиционным статическим подходом, применение RL-агента позволило существенно улучшить ключевые эксплуатационные показатели. Количество коллизий было сокращено на 74%, при этом доля коллизий в общем количестве попыток подключения снизилась на 77%. Также удалось увеличить число успешных подключений на 16% и улучшить энергоэффективность устройств на 15%.

Полученные данные подтверждают целесообразность внедрения адаптивных методов управления сетевыми ресурсами на основе RL-алгоритмов в реальные NB-IoT-сети, так как это позволяет существенно повысить общую производительность и надежность функционирования сети.

В рамках дальнейших исследований представляется целесообразным масштабировать предложенный подход с целью изучения поведения алгоритмов обучения с подкреплением при увеличении количества устройств и усложнении сценариев генерации трафика. Это позволит более точно оценить производительность разработанных решений в условиях, максимально приближенных к реальным эксплуатационным условиям.

Дополнительным перспективным направлением является исследование мультиагентных подходов, при которых одновременно несколько RL-агентов управляют различными аспектами сетевого взаимодействия. Предполагается, что это позволит обеспечить дополнительный прирост эффективности в управлении ресурсами сети и снизить вероятность коллизий за счет координации агентов.

Важной задачей будущих исследований является экспериментальная проверка возможности интеграции разработанных RL-алгоритмов с реальным сетевым оборудованием и тестирование в действующих сетях. Это позволит выявить потенциальные ограничения и сложности, возникающие при переходе от симуляции к практическому применению.

Авторы убеждены, что результаты настоящей работы могут служить основой для дальнейших исследований и способствовать совершенствованию технологий интеллектуального управления сетями Интернета вещей.

ВКЛАД АВТОРОВ / AUTHORS’ CONTRIBUTION

Авторы внесли равный вклад в написание статьи / The authors contributed equally to the writing of the article.