Ещё раз о некоторых проблемах применения боевых робототехнических систем

Тиханычев Олег Васильевич ORCID: 0000-0003-4759-2931 кандидат технических наук заместитель начальника отдела управления перспективных разработок, ГК "Техносерв" 111395, Россия, г. Москва, ул. Юности, 13 Tikhanychev Oleg Vasilyevich PhD in Technical Science Deputy Head of Department in the Office of Advanced Development, Technoserv Group  111395, Russia, Moscow, Yunosti str., 13 tow65@yandex.ru Другие публикации этого автора

Введение

Как показывает анализ исторического опыта, любые научные и технологические разработки рано или поздно находят применение в военной области. Не является исключением и такое направление, как робототехника. С учётом этого обстоятельства, писатели-фантасты и режиссёры утопий о будущем предсказывали потенциальную опасность, описывая случаи войны роботов с собственными создателями. Разумеется, это только фантастика. Да и роботы ранее никогда не применялись как боевые системы.

Конечно, можно возразить, что беспилотные средства как оружие применяются достаточно давно, с середины прошлого века. Но необходимо помнить, что эти средства - самонаводящиеся ракеты и управляемые бомбы, являются одноразовыми системами с ограниченными возможностями выбора цели. Это относится даже к самым совершенным из них, например, крылатым ракетам, оснащаемым системами управления с возможностью перенацеливания на конечном участке траектории. Все они являются не оружием, а боеприпасами, наводимыми в точку или на объект, указанный оператором. А под боевыми роботами ^[1] понимается именно оружие, участвующее в выборе цели и поражающее её дистанционно, в большинстве случаев без самоуничтожения. В этом заключается разница между ними.

И ещё одно важное замечание – робототехническая система, в обобщённой форме, состоит из двух основных компонентов: технических средств и программного обеспечения. И последнее, в отличие от остальных типов оружия, в том числе автоматизированных, в робототехнической системе превалирует. Что создаёт проблемы разработки и эксплуатации, которых не было в ходе применения «обычного» оружия и которые требуют решения.

1.Применение боевых роботизированных систем в современных вооруженных конфликтах

До последнего времени боевые роботизированные системы, отвечающие современному понятию определения «робот» применялись только там, где они способны были заменить человека в наиболее опасных видах деятельности: беспилотные самолёты-разведчики, мишени и ложные цели для системы противовоздушной обороны противника, роботы-саперы, беспилотные средства для подводных поисковых работ и т.п.

Организованное в полном соответствии с указанным принципом применение роботов на поле боя, например, в качестве разведывательных систем, позволило повысить эффективность ведения боевых действий. Но такое локальное решение, соответственно, обеспечивает и локальный прирост эффективности. В том числе, не решая проблему реализации одного из основных военно-технических принципов: поразить противника, находясь вне зоны его ответного поражения. Или, например, проблему сокращения длительности цикла поражения обнаруженных объектов, актуальность которой непрерывно растёт по мере повышения динамичности современных боевых действий.

Для решения указанных проблем логичным оказалось совместить вооружение и средства разведки на единой роботизированной платформе. Но что в таком случае делать с принятием решения на удар?

Этот вопрос в условиях высокодинамичных боевых действий не заставил себя ждать. При проведении операции «Несокрушимая свобода» (EnduringFreedom) беспилотным летательным аппаратом (БЛА) MQ-1 «Хищник» (Predator) была обнаружена автомобильная колонна, идентифицированная как подразделение противника. За время оценки обстановки и принятия оператором решения на удар колонна вышла из зоны применения оружия и не была обстреляна, хотя на борту БЛА имелись ракеты AGM-114K «Хеллфайр» (Hellfire), позволявшие при своевременном получении команды выполнить задачу.

17 октября 2001 года произошло событие, практически незамеченное средствами массовой информации, но являющее собой определённую веху в истории взаимоотношения человека и созданных им машин: в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый опыт использования оснащенного управляемой ракетой БЛА «Предатор» для поражения зенитной установки с находящейся в ней расчётом. Впоследствии случаи применения БЛА для поражения наземных объектов стали массовыми. В ходе проведении операций «Анаконда» (Anaconda) и «Шок и трепет» (Shock and Awe), БЛА применялись даже для непосредственной огневой поддержки и это, по заявлению американских источников, явилось очередным шагом к «войне машин» против человека ^[2,3]. В дальнейшем, по мере развития и внедрения боевой робототехники, количество подобных событий выросло многократно. В настоящее время счёт жертв беспилотников в зонах локальных конфликтах уже идёт на тысячи ^[4,5,6].

2.О некоторых проблемах развития боевой робототехники и источниках их возникновения

И пусть сейчас, хоть на простейшем уровне, разделение полномочий между машиной и человеком существует: до настоящего времени на всех этапах развития роботов от дистанционно управляемых к беспилотным аппаратам, решение на применение оружия всё-таки остаётся за человеком. Но в перспективе, эта функция может быть, и скорее всего будет, делегирована БЛА. Это решение объективно диктуется требованиями оперативности решения боевых задач, неразрывно связанное с возрастанием динамичности ведения современных военных действий. И его реализация изменит существующую ситуацию разделения полномочий и ответственности.

На практике реализация подобных решений, находящихся на грани юридических и морально-этических компетенций, ограничивается наличием ряда проблем, как технического, так и организационного характера. Проблем, без разрешения которых дальнейшее развитие боевой робототехники будет проблематично.

С научно точки зрения, наиболее очевидным алгоритмом решения подобных комплексных проблем является их декомпозиция на относительно автономные составные части с дальнейшим поиском путей локализации каждой из них.

Анализ особенностей составляющих процесса роботизации поля боя позволяет провести декомпозицию проблемы на составляющие, определяющие ряд нерешенных вопросов в рассматриваемых областях деятельности:

- проблемы безопасности роботизированного вооружения для эксплуатантов и мирного населения (некомбатантов);

- юридические и морально-этические вопросы в части разрешения на самостоятельные действия и применение робота против человека;

- проблема разделения ответственности за результаты и ошибки применения между разработчиками и эксплуатантами, и ряд других.

Проблемы безопасности всегда сопровождают развитие сложных технических систем. Робототехника – не исключение. Начиная с 1979 года, зафиксировано более десяти случаев получения увечий и даже гибели людей при сбоях использования промышленных роботов. Но промышленные роботы системы, не имеющие функциональной задачи причинять вред. Боевые роботы намного опаснее и меры безопасности при их использовании должны быть совершенно иными. Первыми над этим стали задумываться там, где наиболее активно применяют подобные системы ^[7,8,9]. Вопрос не праздный, тем более уже имеются прецеденты: 12 октября 2007 года несанкционированным огнём автоматической зенитной пушки GDF-005 «Эрликон» (Oerlikon) в Южной Африке были убиты 9 и ранены 14 военнослужащих, просто находившихся рядом с орудием и случайно вызвавшие срабатывание автоматики ^[10]. Логично предположить, что чем больше будет на вооружении стран мира робототехнических систем, тем выше вероятность подобных случаев.

Впрочем, как отмечено ранее, проблема безопасности применения сопровождает любые сложные системы, в том числе роботизированные, и общие пути её решения активно разрабатываются: как технологические, так и организационные. С точки зрения разработки систем они регламентируются нормативными документами по производству ^[11,12], а с точки зрения их использования, например, в гражданской сфере – правовыми документами по имущественным и неимущественным правам в соответствии с областью применения (Гражданским кодексом, Воздушным кодексом, Кодексами торгового мореплавания и внутреннего водного транспорта и т.п.).

С активным внедрением робототехнических систем в военном деле, с возрастанием мощности вооружения роботов, не менее актуальной стала проблема, характерная для боевых человеко-машинных систем: проблема парирования ошибок применения и ответственности в случае их возникновения. Напомним, что подобные ошибки в математической статистике принято разделять на ошибки первого и второго рода.

Таблица – Характер ошибок, возникающих в ходе принятия решений на применение оружия

В военном деле к ошибкам первого рода (см.таблицу) относят необоснованный отказ от применения оружия, приводящий к невыполнению боевой задачи, непоражению важной цели. Эта ошибка, как показывает практика, типична для ведения военных действий и не вызывает особой тревоги, конечно, если не влечёт за собой крупного ущерба от непораженного противника. Меры предотвращения такой ошибки, как правило, организационные: повышение ситуационной осведомлённости, автоматизации поддержки принятия решений и т.п.

Ошибка второго рода (см.таблицу), это поражение цели, которую нельзя было поражать. К подобным ошибкам относят, например «дружественный огонь» (Friendly fire). Последствия таких ошибок, как правило, намного страшнее, особенно, если в их результате пострадали некомбатанты.

Как ни печально это констатировать, применение боевых (ударных) робототехнических систем неизбежно влечёт за собой ошибки как первого, так и второго рода. Указанные ошибки характерны как для применения автономных роботов, так и для разомкнутых систем с участием в контуре управления человека. Кроме того, опасности причинения вреда возникают не только в процессе применения оружия, но и при автономном маневрировании роботов, их небоевом применении как потенциально-опасных систем. Более того, ранее приведённые примеры ^[5,6] показывают, что подобные ошибки уже фиксируются в ходе локальных войн и вооруженных конфликтов. Соответственно, с развитием боевой робототехники масштаб ущерба от ошибок второго рода будет увеличиваться.

При появлении ошибок применения робототехнических систем возникает вопрос, которого не было для «обычной» боевой и специальной техники, кто виноват в них: пользователь системы, который поставил некорректную задачу или разработчик, создавший систему, неверно эту задачу интерпретировавшую? Причина этого вопроса кроется в самой структуре любого робота, представляющего собой совокупность технических и программных средств, управляемых по единому алгоритму.

Неразрывно связана с указанной проблемой ещё одна спорная ситуация - это наличие юридического и этического права предоставлять машинам возможность самостоятельно принимать решение на поражение объектов, в которых может находиться и/или при поражении которых может пострадать человек.

Боевая необходимость делегации боевым роботам функции принятия решений, как отмечалось ранее, становится всё более актуальной. Увеличивается радиус действия этих машин, резко возрастают требования к оперативности поражения объектов противника. Одновременно, с развитием технологий искусственного интеллекта, создаётся технологическая возможность внедрения подобного решения.

В апреле 2013 и мае 2014 года указанная проблема обсуждалась на совещаниях, проводимых под эгидой ООН в рамках уточнения Конвенции о запрещении или ограничении применения различных видов вооружения ^[9]. Совет безопасности ООН рекомендовал установить мораторий на развитие автономных боевых роботов (Lethal autonomous robotics - LAR).

Но указанное решение носит рекомендательный характер, оно не несёт статуса международного закона, обязательного к исполнению ^[13]. Пользуясь этим и методологической неопределённостью проблемы, ведущие промышленные государства продолжают разработку боевых роботов, в том числе – частично и полностью автономных.

Тем более, что, как указано ранее, процесс повышения автономности боевых робототехнических систем определяется объективными факторами развития вооруженного противоборства.

Во-первых, требованием кардинального сокращения длительности цикла разведки и поражения объектов противника в условиях современных высокодинамичных боевых действий. В современных конфликтах предельная величина этого цикла измеряется несколькими минутами и любая задержка при передаче и обработке команд может стать критичной.

Во-вторых, ростом уровня роботизации поля боя, определяющим кардинальное возрастание количества применяемых робототехнических систем при ограничении на максимальное число привлекаемых к управлению операторов.

И, в-третьих, повышением разнообразия и эффективности средств радиоэлектронного подавления каналов управления техническими системами. Для неавтономных роботов, действующих на большом удалении от пунктов управления ими, этот фактор весьма чувствителен. Повышение автономности существенно снижает эффективность радиоэлектронного противодействия. Особенно, если предусмотреть алгоритмическое парирование потери каналов связи и навигации робототехнической системы.

Возвращаясь к заявленной в статье проблеме: на кого будет возложена ответственность в случаях причинения роботами вреда своим военнослужащим или мирному населению? Разделение вины между изготовителем робототехнического средства, разработчиком программного обеспечения для него и оператором (эксплуатантом) системы становится актуальным как никогда. В то же время, юридически эта ситуация пока не отрегулирована.

Указанная проблема определяется самой структурой робототехнических систем, являющихся сложными изделиями, включающими технические средства и программное обеспечение, функционирующие в едином неразрывном цикле.

В связи с этим, если в «классическом» случае применения обычного оружия всю очевидно: производитель вооружения обособлен от результатов своего труда и все решения, а, следовательно, и ответственность, лежит на пользователе, то в боевой роботехнике всё не так очевидно. Программное обеспечение боевых роботов не просто является их неотъемлемой частью, оно обеспечивает реализацию алгоритмов их боевого применения: управление перемещением, оценку обстановки, расчёты на применение оружием и т.п. За человеком остаётся только постановка цели и выдача команды на применение оружия, и то пока…

Ещё более сложная ситуация с разработкой и эксплуатацией робототехнических систем, оснащённых средствами искусственного интеллекта, например, на основе самообучающихся нейронных сетей. Интеллектуализированные робототехнические системы уже не действуют путём выбора стандарта поведения из набора готовых алгоритмов, они способны модифицировать алгоритмы применения, создавать собственные, обучаясь по мере эксплуатации. И кто будет виноват в возникновении ошибок эксплуатации: «родители» такого робота, разрабатывающие структуру нейронной сети и активационные функции нейронов, «воспитатели», обеспечивающие их обучение, или эксплуатанты, ставящие задачи разной степени корректности.

В свою очередь, программное обеспечение робототехнических систем разрабатывается целой кооперацией исполнителей: постановщиками задач, алгоритмистами, программистами, тестировщиками.

Последние играют не менее важную роль, чем все остальные. Достаточно вспомнить классический случай некачественного тестирования автоматизированной системы противовоздушной обороны «Си Вулф» (SeeWolf) фрегата «Бродсворд», когда пропущенная алгоритмическая ошибка проявилась в уже боевых условиях и привела к потоплению эсминца «Ковентри» в ходе Фолклендского конфликта (май 2008 года). Типичная ошибка первого рода, совершенная робототехнической системой. Ошибка, стоившая жизни нескольким десяткам британских моряков ^[14]. Вышеописанный случай самосрабатыванием автомата «Эрликон» - типичный пример ошибки второго рода.

Любой из представителей коллектива разработчиков робототехнических систем может совершить ошибку, приводящую к критическим последствиям и, теоретически, должен разделять ответственность за неё наряду с эксплуатантами системы. В существующих нормативных документах в рамках решения этой проблемы прописаны только требования по организации тестирования робототехнических систем, валидации и верификации их программного обеспечения, а вот указаний о закреплении ответственности по этапам разработки и эксплуатации указаний в них нет ^[11,12]. Отсылка к ГОСТам, регламентирующим проведение испытаний в целом, подразумевает, в лучшем случае, коллективную ответственность за формальные результаты их проведения. Учитывая, что с принятием «Закона о техническом регулировании» №184-ФЗ от 27.12.2002, статус ГОСТ существенно снижается, а технические регламенты в части создания и эксплуатации робототехники не разработаны, ситуация становится критичной.

И это ещё для относительно простого случая, при отсутствии злонамеренного программно-аппаратного воздействия на робототехническую систему. В случае применения боевых роботов ситуация будет однозначно сложнее и характеризоваться попытками противника физически или программно нарушить целенаправленную работу боевых робототехнических систем. Соответственно, в цепочку ответственных добавятся разработчики защитных систем комплекса.

Ситуация дополнительно осложняется тем, что в своей работе коллективы разработчиков тоже используют сторонние средства автоматизации процесса создания программного обеспечения, в том числе – работающие с кодом программ, автоматически генерирующие часть кода для решения задач, задаваемых в общем виде. Это удлиняет цепочку участников и ещё сильнее «размывает» проблему ответственности. И в очередной раз поднимает вопросы её юридического определения. Вопросы, ответов на которые пока нет.

3.Формулировка задачи поиска решения проблемы

Актуальность необходимости решения указанного перечня проблем, с учётом перспектив вполне вероятного массового применения роботов на поле боя в обозримом будущем будет только возрастать ^[15,16]. Примером может служить армия США, в которой активно реализуется так называемая «Третья компенсационная стратегия», направленная на активную роботизацию поля боя ^[17,18]. И вести войну по принципу «кровь – цена победы» будут всё меньше и меньше армий, развитые страны будут беречь своих граждан, обеспечивая бескровную победу.

Таким образом, анализируя текущее состояние проблемы роботизации поля боя можно сделать ряд выводов:

1)Введение реально действующего запрета на применение автономных боевых роботов в обозримом будущем маловероятно, этот процесс, учитывая потребности ведения динамичных и высокотехнологичных боевых действий продолжится.

2)С ростом масштабов применения боевых робототехнических систем неизбежно увеличение количества ошибок их применения, как первого, так и второго рода. Организационно-технические меры по их снижению не будут давать полную гарантию от ошибок, лишь снижая вероятность их возникновения.

3)Первые два фактора неизбежно порождают морально-этическую и юридическую проблему определения ответственности за приносимый роботами вред и разделения её между разработчиками и эксплуатантами боевых роботов.

Акцентируясь на последней проблеме, можно сделать вывод о том, что проблема этичности создания автономных боевых роботов и юридической ответственности за возможные последствия их применения актуальна, но до настоящего времени не решена. То есть в настоящее время существует насущная научная задача, требующая скорейшего решения.

В общем виде данная задача может быть сформулирована как необходимость:

- разработки нормативных актов, регламентирующих принципы делегирования полномочий на применение оружия программному обеспечению автономных боевых робототехнических систем;

- проведения правового анализа возможности признания (или не признания) за интеллектуализированными робототехническими системами возможности проявления собственной «воли» и ответственности за результаты её проявления специалистов, участвующих в разработке, обучении и эксплуатации роботов;

- уточнения системы нормативной документации по разработке и применению робототехнических систем в части юридического закрепления ответственности за различные этапы разработки и применения, а также за возникающие на них ошибки.

Сформулированная проблема является сложной научно-практической задачей, расположенной на стыке наук. Более того, решение задачи должно быть найдено не только и не столько для национальных правовых систем, сколько для системы международного права, обеспечив единые правила для всех. Для её решения требуется привлечение разнородных групп специалистов: юристов, техников, IT-специалистов. Но задача является актуальной и решение её объективно необходимо.

Все страны, включившиеся в гонку робототехнического вооружения, будут вынуждены решать сформулированную научную задачу. Россия – не исключение.

Заключение

В процессе развития вооружения, в том числе роботизированного, неизбежно придётся решать целый ряд технических ^[19,20,21] и организационных проблем ^{[22,23,24,25]}, в том числе и тех, на которые обращается внимание в данной статье и для парирования которых и в ней сформулирована, хоть и в обобщённой форме, постановка задачи.