TO THE USE OF ROBOTIC SYSTEMS IN THE SYSTEM OF COUNTERING TERRORISM
Authors:
1.
Voennaya akademiya RVSN im. Petra Velikogo
2.
Voennaya akademiya RVSN im. Petra Velikogo
3.
Voennaya akademiya RVSN im. Petra Velikogo
4.
Voennaya akademiya RVSN im. Petra Velikogo
Type:
Article
Pages:
from 44
to 47
Status:
Published
Received:
11.01.2019
Accepted:
30.01.2019
Published:
30.01.2019
Subject area:
UDK 32.816, 629
GRNTI 05.11 Общие проблемы народонаселения
GRNTI 06.51 Мировое хозяйство. Международные экономические отношения
GRNTI 10.01 Общие вопросы
GRNTI 11.01 Общие вопросы политических наук
GRNTI 11.25 Теория международных отношений. Внешняя политика и дипломатия
GRNTI 78.01 Общие вопросы военного дела
GRNTI 81.92 Пожарная безопасность
GRNTI 81.93 Безопасность. Аварийно-спасательные службы
GRNTI 82.01 Общие вопросы организации и управления
GRNTI 82.33 Стратегический менеджмент. Стратегическое планирование
GRNTI 11.15 Теория политических систем. Внутренняя политика
GRNTI 05.11 Общие проблемы народонаселения
GRNTI 06.51 Мировое хозяйство. Международные экономические отношения
GRNTI 10.01 Общие вопросы
GRNTI 11.01 Общие вопросы политических наук
GRNTI 11.25 Теория международных отношений. Внешняя политика и дипломатия
GRNTI 78.01 Общие вопросы военного дела
GRNTI 81.92 Пожарная безопасность
GRNTI 81.93 Безопасность. Аварийно-спасательные службы
GRNTI 82.01 Общие вопросы организации и управления
GRNTI 82.33 Стратегический менеджмент. Стратегическое планирование
GRNTI 11.15 Теория политических систем. Внутренняя политика
Language:
Russian
Keywords:
autonomous systems, robotics, security systems, lethal and non-lethal systems, ethical aspects, code of ethics
Abstract (English):
The article deals with the ethical aspects of autonomy and robotics in the system of safety of lethal and non-lethal effects in the system of counter-terrorism.
The article deals with the ethical aspects of autonomy and robotics in the system of safety of lethal and non-lethal effects in the system of counter-terrorism.
Keywords:
autonomous systems, robotics, security systems, lethal and non-lethal systems, ethical aspects, code of ethics
autonomous systems, robotics, security systems, lethal and non-lethal systems, ethical aspects, code of ethics
Человечество находится на пороге эры куда более высокотехнологичных роботов, ботов, человекоподобных роботов, других устройств и систем, в основу работы которых заложен искусственный интеллект и которые символизируют своим появлением начало новой промышленной революции, которая почти наверняка затронет все слои общества. Поэтому крайне необходимо, чтобы установленные этические и правовые нормы не подавили развитие инноваций. Также помимо общества с каждым днем происходит увеличение степени автоматизации как систем обеспечения комплексной безопасности, так и военных систем, включая будущие системы летального и не летального действия. В связи с этим все чаще поднимается вопрос о роли человека и машинного принятия решения в системе обеспечения безопасности с использованием летальных и не летальных средств воздействия с самостоятельным выбором цели. При этом сущность автономии делегирует задачу ранее созданного программного обеспечения для машины, что ставит вопрос о том, как сохранить эффективный человеческий контроль над поведением машины и рисками, связанными с потерей контроля над машиной, кроме того, риск и безопасность - критический параметр автономного оружия [1]. Рассматривая автономное оружие относительно полуавтономного оружия, которое сохраняет человеческий контроль для отбора и определения цели в системе обеспечения безопасности, при этом используемые машины могут быть опасны как для нарушителя, так и для лиц, состоящих в системе обеспечения безопасности [6]. Автономные робототехнические системы в системе обеспечения безопасности - потенциальное будущее оружие, которое самостоятельно выбирает цели и оказывает летальное или не летальное воздействие на них - ставит массу юридических, этических и моральных вопросов. У автономных робототехнических систем обеспечения безопасности есть качественно отличный уровень риска, чем у эквивалентных полуавтоматических, которые сохраняют человека в системе управления, они имеют возможность самостоятельного оказания летального или не летального воздействия не только на нарушителя, но и на несоответствующие цели прежде, чем оператор сможет вмешаться. При этом в случае передачи информации от одной к другой автономной робототехнической системе обеспечения безопасности, то возможен случай массового нанесения ущерба несоответствующим целям, что может привести к катастрофическим последствиям. С эксплуатационной точки зрения автономные робототехнические системы в системе обеспечения безопасности представляют новую угрозу массового нанесения вреда несоответствующим целям, что возможно из-за взламывания систем управления, манипуляций враждебными элементами, неожиданного взаимодействия с окружающей средой или простых сбоев и ошибок в программном обеспечении. Кроме того, когда сложность системы увеличивается, становится все сложнее и сложнее проверить поведение системы при всех возможных условиях, так как количество потенциальных взаимодействий в системе и с ее средой слишком большое [2]. В то время как эти риски могут быть в некоторой степени снижены посредством лучшего системного проектирования, проверки и анализа программного обеспечения и более качественного обучения операторов, риски не могут быть устранены полностью. Риск несчастных случаев может быть снижен, но никогда не может полностью отсутствовать. Структуры организации, рассматривающие автономное оружие летального или не летального действия в системе обеспечения безопасности, должны тщательно оценить риски и этические аспекты автономии с использованием человека в качестве ограничителя в случае не корректной работы автономной системы. При этом есть две точки зрения на автономные системы: первая - автономные системы надежны и позволяют достичь большой точности, например, автопилоты, которые позволили повысить уровень безопасности авиаперелетов; вторая - не корректно функционирующий робототехнический комплекс, имеющий возможность оказать летальное или не летальное воздействие на человека, автономные системы, которые выскальзывают из-под человеческого контроля и приводят к катастрофическим результатам. Эти две точки зрения относительно автономных систем обеспечения безопасности формируют отношение к автономным системам как к потенциально выгодным, так и опасным системам, которые могут привести к катастрофе, поэтому при использовании автономных роботизированных систем обеспечения безопасности необходимо проводить оценку рисков [3, 4]. Для простых автономных роботизированных систем обеспечения безопасности эти риски могут быть управляемы, что определяется квалификацией оператора данной системы, но при увеличении сложности системы риск возрастает, так как даже высококвалифицированный оператор уже не может однозначно предвидеть поведение и условиях, при которых может проявиться некорректная работа автономной роботизированной системы обеспечения безопасности. Время между некорректной работой автоматизированной роботизированной системой обеспечения безопасности и корректирующим действием оператора зависит от способа контроля над системой. Способ контроля над системой - ключевая переменная, определяющая потенциальные последствия некорректной работы системы обеспечения безопасности. Есть три способа контроля: полуавтономный, где роботизированная система выполняет поставленную задачу, а затем останавливается и ждет команды оператора для продолжения работы; полностью автономная система, где роботизированная система под наблюдением оператора и после выполнения операции продолжает выполнять задачу, если оператор не вмешивается для остановки действий; полностью автономная система, где роботизированная система с поставленной задачей выполняет ее и у оператора нет возможности вмешаться в процесс выполнения задачи [5]. Способ контроля роботизированной системы обеспечения безопасности определяет возможность оператора вносить корректирующие действия в процесс функционирования роботизированной системы. В контролируемой автономной системе обеспечения безопасности у оператора есть возможность вмешать в процесс работы системы при необходимости, при этом, на практике существует некоторая временная задержка между началом не корректной работы системы и принятием решения оператором на корректировку работы системы. Таким образом, основной элемент риска в автономных системах обеспечения безопасности и других - время между началом некорректной работы системы и совершением действий по корректировке работы системы. Также при возникновении рисков рассматривается возможность повреждения автономной системой, где учитывается сумма ущерба, которую может нанести автономная система обеспечения безопасности, прежде чем оператор сможет принять меры по ликвидации последствий. Возможность повреждений зависит от врожденной опасности системы, окружающей среды, в которой она работает и способа контроля. Принято считать, что сложные системы имеют более высокую степень риска, в связи с чем более уязвимы и имеют большее число системных отказов из-за компонентов, взаимодействующих «неожиданными» или нелинейными способами и могут произойти от взаимодействия оператора с системой или с ее средой [1, 2]. Сложность автоматизированной системы и процессов в ней часто является не понятной и для самого оператора. Одним из примеров такой «не прозрачности» процессов в сложной системе является авария на АЭС Фукусимы Daiichi в 2011 году, где произошла авария, в результате многократного внешнего воздействия на автономную систему безопасности, которая работала корректно. Однако дизельные генераторы, предназначенные для аварийного питания системы охлаждения реакторов, огороженные 10 м стеной, находились в низине, а вызванная землетрясением волна превысила 14 м. Волны разрушили стены и затопили аварийные дизельные генераторы, что повлекло за собой невозможность автоматического запуска системы охлаждения реакторов. Автономные системы обеспечения безопасности летального или не летального воздействия должны иметь «прозрачность» процессов не зависимо от того, что они участвуют в эксплуатации АЭС или вооружения. Наиболее ярким примером может послужить случай 26 сентября 1983 года, когда советская автоматизированная ракетная система тревоги сообщила о запуске пяти американских межконтинентальных баллистических ракет, при этом оператор предположил вероятность системной ошибки и доложил вышестоящему руководству о системном сбое, чем предотвратил катастрофу великих масштабов [7, 8]. Благодаря «прозрачности» и наличию оператора в автономной системе обеспечения летального или не летального воздействия, оператор может выступать в качестве «предохранителя». В настоящее время для автономных систем безопасности летального или не летального воздействия наиболее остро стоит вопрос о безопасности, законности и этичности их использования. Даже если возможно использование их законно и этично, в большинстве условий работы, возможно, они будут очень опасны. Последствия некорректной работы автономных систем безопасности летального или не летального воздействия могут быть катастрофичны. Поэтому объединение в системе безопасности летального или не летального действия оператора и автономной системы, что позволит реализовать уникальные возможности каждого. В сегодняшних полуавтономных системах безопасности летального или не летального действия оператор выполняет задачи относительно целевого выбора и обязательства: оператор как приоритетный управляющий системой, оператор как моральный агент, оператор как «предохранитель» [5, 7]. С развитием автономности системы все больше происходит вытеснение оператора как приоритетного управляющего, что ведет к более точной и быстрой работе системы, и при этом оператор остается в системе, как моральный агент и «предохранитель», что подчеркивает ответственность оператора, при этом оператор в настоящее время может более гибко реагировать на различные незапланированные сценарии. Автоматизированные системы до сих пор находятся вне закона, а эксперты продолжают обсуждать подходы к их правовому регулированию. В частности, в ООН существует несколько рабочих групп, которые уже обсуждают проекты резолюций о безопасном использовании высоко- и автономных систем безопасности летального и не летального воздействия. Исходя из выше изложенного необходимо: отметить, что преимуществам расширения возможностей людей при помощи использования робототехники сопутствует ряд противоречий и рисков, которые должны быть подвергнуты более серьезному рассмотрению с точки зрения здоровья, безопасности и защищенности человека (конфиденциальности, неприкосновенности, уважения человеческого достоинства, недискриминации и защиты личных данных), учесть, что существующие в РФ рамки правового регулирования должны быть обновлены и дополнены так, чтобы этические принципы учитывали сложность автономии и робототехники в ее социальных, биоэтических проявлениях, обратить внимание на условие прозрачности, а именно, что любому принятому автономной системой решению, которое окажет воздействие на жизнь одного и более людей, всегда должно быть обеспечено рациональное объяснение, то есть, чтобы выполненные автономными системами всегда можно было представить в форме понятной человеку. Необходимо обеспечить продвинутых роботов и автономные системы «черным ящиком», который будет фиксировать данные о каждой совершенной операции, логику рассуждений, по которой система приняла те или иные решения. Для реализации изложенных пунктов предлагается создать «Кодекс этических норм для разработчиков автономных систем и робототехники», определяющий организациям, спонсирующим исследования в сфере автономных систем летального и не летального воздействия, робототехники, что на первых стадиях должны учитываться будущие последствия технологий и научных разработок в этой сфере. Для чего предлагается учесть следующие пункты: основные права, прогноз предполагаемого влияния, вовлеченность (открытость принятия решений на стадии разработки), ответственность, безопасность, возможность отмены действия, конфиденциальность, минимальный вред и максимальная польза.
1. Dzhef Raskin. Interfeys: novye napravleniya v proektirovanii komp'yuternyh sistem. - SPb.: Simvol-Plyus, 2003. - 272 s
2. Problema metoda v social'no-gumanitarnom poznanii. - M.: In-t filosofii AN SSSR, 1989
3. Masyukov M.V., Goncharenko V.I., Karpov V.V., Ural'skov V.A. Issledovanie problemnyh voprosov razvitiya avtonomnyh geterogennyh robototehnicheskih kompleksov i podgotovki kadrov naukoemkih special'nostey aerokosmicheskoy otrasli // Trudy FGUP «NPCAP». Sistemy i pribory upravleniya. Nauchno-proizvodstvennyy centr avtomatiki i priborostroeniya im. Akademika N.A. Pilyugina. - Moskva, 2018. - 357 s
4. Masyukov M.V., Gudov G.N., Ural'skov V.A. Transport i logistika: innovacionnoe razvitie v usloviyah globalizacii tehnologicheskih i ekonomicheskih svyazey // Sbornik nauchnyh trudov. - Rostov n/D: RGUPS, 2018. - S. 262-267
5. M. Mistry, A. Leonardis, M. Witkowski, C. Melhuish. Advances in Autonomous Robotics Systems // 15th Annual Conference, TAROS 2014, Birmingham, UK, September 1-3, 2014
6. Ayzek Azimov. Ya, robot. - M.: Eksmo, 2010. - s. 247
7. M.Mitchel Waldrop: Autonomous vehicles: No drivers required // Nature. - Volume 518. - Number 7537. February 2015. - R. 20-23
8. Ronald C.Arkin. Warfighting Robots Could Reduce Civilian Casualties, so Calling for a Ban Now Is Premature // IEEE Spectrum, August 5, 2015
