К ВОПРОСУ ПРИМЕНЕНИЯ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ В СИСТЕМЕ ПРОТИВОДЕЙСТВИЯ ТЕРРОРИЗМУ
Авторы:
1.
Военная академия РВСН им. Петра Великого
2.
Военная академия РВСН им. Петра Великого
3.
Военная академия РВСН им. Петра Великого
4.
Военная академия РВСН им. Петра Великого
Тип:
Статья
Страницы:
с 44
по 47
Статус:
Опубликован
Получено:
11.01.2019
Одобрено:
30.01.2019
Опубликовано:
30.01.2019
Классификаторы:
УДК 32.816, 629
ГРНТИ 05.11 Общие проблемы народонаселения
ГРНТИ 06.51 Мировое хозяйство. Международные экономические отношения
ГРНТИ 10.01 Общие вопросы
ГРНТИ 11.01 Общие вопросы политических наук
ГРНТИ 11.25 Теория международных отношений. Внешняя политика и дипломатия
ГРНТИ 78.01 Общие вопросы военного дела
ГРНТИ 81.92 Пожарная безопасность
ГРНТИ 81.93 Безопасность. Аварийно-спасательные службы
ГРНТИ 82.01 Общие вопросы организации и управления
ГРНТИ 82.33 Стратегический менеджмент. Стратегическое планирование
ГРНТИ 11.15 Теория политических систем. Внутренняя политика
ГРНТИ 05.11 Общие проблемы народонаселения
ГРНТИ 06.51 Мировое хозяйство. Международные экономические отношения
ГРНТИ 10.01 Общие вопросы
ГРНТИ 11.01 Общие вопросы политических наук
ГРНТИ 11.25 Теория международных отношений. Внешняя политика и дипломатия
ГРНТИ 78.01 Общие вопросы военного дела
ГРНТИ 81.92 Пожарная безопасность
ГРНТИ 81.93 Безопасность. Аварийно-спасательные службы
ГРНТИ 82.01 Общие вопросы организации и управления
ГРНТИ 82.33 Стратегический менеджмент. Стратегическое планирование
ГРНТИ 11.15 Теория политических систем. Внутренняя политика
Язык материала:
русский
Ключевые слова:
автономные системы, робототехника, системы обеспечения безопасности, системы летального и не летального действия, этические аспекты, кодекс этических норм
Аннотация (русский):
В статье рассмотрены этические аспекты автономии и робототехники в системе обеспечения безопасности летального и не летального воздействия в системе противодействия терроризму.
В статье рассмотрены этические аспекты автономии и робототехники в системе обеспечения безопасности летального и не летального воздействия в системе противодействия терроризму.
Ключевые слова:
автономные системы, робототехника, системы обеспечения безопасности, системы летального и не летального действия, этические аспекты, кодекс этических норм
автономные системы, робототехника, системы обеспечения безопасности, системы летального и не летального действия, этические аспекты, кодекс этических норм
Человечество находится на пороге эры куда более высокотехнологичных роботов, ботов, человекоподобных роботов, других устройств и систем, в основу работы которых заложен искусственный интеллект и которые символизируют своим появлением начало новой промышленной революции, которая почти наверняка затронет все слои общества. Поэтому крайне необходимо, чтобы установленные этические и правовые нормы не подавили развитие инноваций. Также помимо общества с каждым днем происходит увеличение степени автоматизации как систем обеспечения комплексной безопасности, так и военных систем, включая будущие системы летального и не летального действия. В связи с этим все чаще поднимается вопрос о роли человека и машинного принятия решения в системе обеспечения безопасности с использованием летальных и не летальных средств воздействия с самостоятельным выбором цели. При этом сущность автономии делегирует задачу ранее созданного программного обеспечения для машины, что ставит вопрос о том, как сохранить эффективный человеческий контроль над поведением машины и рисками, связанными с потерей контроля над машиной, кроме того, риск и безопасность - критический параметр автономного оружия [1]. Рассматривая автономное оружие относительно полуавтономного оружия, которое сохраняет человеческий контроль для отбора и определения цели в системе обеспечения безопасности, при этом используемые машины могут быть опасны как для нарушителя, так и для лиц, состоящих в системе обеспечения безопасности [6]. Автономные робототехнические системы в системе обеспечения безопасности - потенциальное будущее оружие, которое самостоятельно выбирает цели и оказывает летальное или не летальное воздействие на них - ставит массу юридических, этических и моральных вопросов. У автономных робототехнических систем обеспечения безопасности есть качественно отличный уровень риска, чем у эквивалентных полуавтоматических, которые сохраняют человека в системе управления, они имеют возможность самостоятельного оказания летального или не летального воздействия не только на нарушителя, но и на несоответствующие цели прежде, чем оператор сможет вмешаться. При этом в случае передачи информации от одной к другой автономной робототехнической системе обеспечения безопасности, то возможен случай массового нанесения ущерба несоответствующим целям, что может привести к катастрофическим последствиям. С эксплуатационной точки зрения автономные робототехнические системы в системе обеспечения безопасности представляют новую угрозу массового нанесения вреда несоответствующим целям, что возможно из-за взламывания систем управления, манипуляций враждебными элементами, неожиданного взаимодействия с окружающей средой или простых сбоев и ошибок в программном обеспечении. Кроме того, когда сложность системы увеличивается, становится все сложнее и сложнее проверить поведение системы при всех возможных условиях, так как количество потенциальных взаимодействий в системе и с ее средой слишком большое [2]. В то время как эти риски могут быть в некоторой степени снижены посредством лучшего системного проектирования, проверки и анализа программного обеспечения и более качественного обучения операторов, риски не могут быть устранены полностью. Риск несчастных случаев может быть снижен, но никогда не может полностью отсутствовать. Структуры организации, рассматривающие автономное оружие летального или не летального действия в системе обеспечения безопасности, должны тщательно оценить риски и этические аспекты автономии с использованием человека в качестве ограничителя в случае не корректной работы автономной системы. При этом есть две точки зрения на автономные системы: первая - автономные системы надежны и позволяют достичь большой точности, например, автопилоты, которые позволили повысить уровень безопасности авиаперелетов; вторая - не корректно функционирующий робототехнический комплекс, имеющий возможность оказать летальное или не летальное воздействие на человека, автономные системы, которые выскальзывают из-под человеческого контроля и приводят к катастрофическим результатам. Эти две точки зрения относительно автономных систем обеспечения безопасности формируют отношение к автономным системам как к потенциально выгодным, так и опасным системам, которые могут привести к катастрофе, поэтому при использовании автономных роботизированных систем обеспечения безопасности необходимо проводить оценку рисков [3, 4]. Для простых автономных роботизированных систем обеспечения безопасности эти риски могут быть управляемы, что определяется квалификацией оператора данной системы, но при увеличении сложности системы риск возрастает, так как даже высококвалифицированный оператор уже не может однозначно предвидеть поведение и условиях, при которых может проявиться некорректная работа автономной роботизированной системы обеспечения безопасности. Время между некорректной работой автоматизированной роботизированной системой обеспечения безопасности и корректирующим действием оператора зависит от способа контроля над системой. Способ контроля над системой - ключевая переменная, определяющая потенциальные последствия некорректной работы системы обеспечения безопасности. Есть три способа контроля: полуавтономный, где роботизированная система выполняет поставленную задачу, а затем останавливается и ждет команды оператора для продолжения работы; полностью автономная система, где роботизированная система под наблюдением оператора и после выполнения операции продолжает выполнять задачу, если оператор не вмешивается для остановки действий; полностью автономная система, где роботизированная система с поставленной задачей выполняет ее и у оператора нет возможности вмешаться в процесс выполнения задачи [5]. Способ контроля роботизированной системы обеспечения безопасности определяет возможность оператора вносить корректирующие действия в процесс функционирования роботизированной системы. В контролируемой автономной системе обеспечения безопасности у оператора есть возможность вмешать в процесс работы системы при необходимости, при этом, на практике существует некоторая временная задержка между началом не корректной работы системы и принятием решения оператором на корректировку работы системы. Таким образом, основной элемент риска в автономных системах обеспечения безопасности и других - время между началом некорректной работы системы и совершением действий по корректировке работы системы. Также при возникновении рисков рассматривается возможность повреждения автономной системой, где учитывается сумма ущерба, которую может нанести автономная система обеспечения безопасности, прежде чем оператор сможет принять меры по ликвидации последствий. Возможность повреждений зависит от врожденной опасности системы, окружающей среды, в которой она работает и способа контроля. Принято считать, что сложные системы имеют более высокую степень риска, в связи с чем более уязвимы и имеют большее число системных отказов из-за компонентов, взаимодействующих «неожиданными» или нелинейными способами и могут произойти от взаимодействия оператора с системой или с ее средой [1, 2]. Сложность автоматизированной системы и процессов в ней часто является не понятной и для самого оператора. Одним из примеров такой «не прозрачности» процессов в сложной системе является авария на АЭС Фукусимы Daiichi в 2011 году, где произошла авария, в результате многократного внешнего воздействия на автономную систему безопасности, которая работала корректно. Однако дизельные генераторы, предназначенные для аварийного питания системы охлаждения реакторов, огороженные 10 м стеной, находились в низине, а вызванная землетрясением волна превысила 14 м. Волны разрушили стены и затопили аварийные дизельные генераторы, что повлекло за собой невозможность автоматического запуска системы охлаждения реакторов. Автономные системы обеспечения безопасности летального или не летального воздействия должны иметь «прозрачность» процессов не зависимо от того, что они участвуют в эксплуатации АЭС или вооружения. Наиболее ярким примером может послужить случай 26 сентября 1983 года, когда советская автоматизированная ракетная система тревоги сообщила о запуске пяти американских межконтинентальных баллистических ракет, при этом оператор предположил вероятность системной ошибки и доложил вышестоящему руководству о системном сбое, чем предотвратил катастрофу великих масштабов [7, 8]. Благодаря «прозрачности» и наличию оператора в автономной системе обеспечения летального или не летального воздействия, оператор может выступать в качестве «предохранителя». В настоящее время для автономных систем безопасности летального или не летального воздействия наиболее остро стоит вопрос о безопасности, законности и этичности их использования. Даже если возможно использование их законно и этично, в большинстве условий работы, возможно, они будут очень опасны. Последствия некорректной работы автономных систем безопасности летального или не летального воздействия могут быть катастрофичны. Поэтому объединение в системе безопасности летального или не летального действия оператора и автономной системы, что позволит реализовать уникальные возможности каждого. В сегодняшних полуавтономных системах безопасности летального или не летального действия оператор выполняет задачи относительно целевого выбора и обязательства: оператор как приоритетный управляющий системой, оператор как моральный агент, оператор как «предохранитель» [5, 7]. С развитием автономности системы все больше происходит вытеснение оператора как приоритетного управляющего, что ведет к более точной и быстрой работе системы, и при этом оператор остается в системе, как моральный агент и «предохранитель», что подчеркивает ответственность оператора, при этом оператор в настоящее время может более гибко реагировать на различные незапланированные сценарии. Автоматизированные системы до сих пор находятся вне закона, а эксперты продолжают обсуждать подходы к их правовому регулированию. В частности, в ООН существует несколько рабочих групп, которые уже обсуждают проекты резолюций о безопасном использовании высоко- и автономных систем безопасности летального и не летального воздействия. Исходя из выше изложенного необходимо: отметить, что преимуществам расширения возможностей людей при помощи использования робототехники сопутствует ряд противоречий и рисков, которые должны быть подвергнуты более серьезному рассмотрению с точки зрения здоровья, безопасности и защищенности человека (конфиденциальности, неприкосновенности, уважения человеческого достоинства, недискриминации и защиты личных данных), учесть, что существующие в РФ рамки правового регулирования должны быть обновлены и дополнены так, чтобы этические принципы учитывали сложность автономии и робототехники в ее социальных, биоэтических проявлениях, обратить внимание на условие прозрачности, а именно, что любому принятому автономной системой решению, которое окажет воздействие на жизнь одного и более людей, всегда должно быть обеспечено рациональное объяснение, то есть, чтобы выполненные автономными системами всегда можно было представить в форме понятной человеку. Необходимо обеспечить продвинутых роботов и автономные системы «черным ящиком», который будет фиксировать данные о каждой совершенной операции, логику рассуждений, по которой система приняла те или иные решения. Для реализации изложенных пунктов предлагается создать «Кодекс этических норм для разработчиков автономных систем и робототехники», определяющий организациям, спонсирующим исследования в сфере автономных систем летального и не летального воздействия, робототехники, что на первых стадиях должны учитываться будущие последствия технологий и научных разработок в этой сфере. Для чего предлагается учесть следующие пункты: основные права, прогноз предполагаемого влияния, вовлеченность (открытость принятия решений на стадии разработки), ответственность, безопасность, возможность отмены действия, конфиденциальность, минимальный вред и максимальная польза.
1. Джеф Раскин. Интерфейс: новые направления в проектировании компьютерных систем. - СПб.: Символ-Плюс, 2003. - 272 с
2. Проблема метода в социально-гуманитарном познании. - М.: Ин-т философии АН СССР, 1989
3. Масюков М.В., Гончаренко В.И., Карпов В.В., Уральсков В.А. Исследование проблемных вопросов развития автономных гетерогенных робототехнических комплексов и подготовки кадров наукоёмких специальностей аэрокосмической отрасли // Труды ФГУП «НПЦАП». Системы и приборы управления. Научно-производственный центр автоматики и приборостроения им. Академика Н.А. Пилюгина. - Москва, 2018. - 357 с
4. Масюков М.В., Гудов Г.Н., Уральсков В.А. Транспорт и логистика: инновационное развитие в условиях глобализации технологических и экономических связей // Сборник научных трудов. - Ростов н/Д: РГУПС, 2018. - С. 262-267
5. M. Mistry, A. Leonardis, M. Witkowski, C. Melhuish. Advances in Autonomous Robotics Systems // 15th Annual Conference, TAROS 2014, Birmingham, UK, September 1-3, 2014
6. Айзек Азимов. Я, робот. - М.: Эксмо, 2010. - с. 247
7. M.Mitchel Waldrop: Autonomous vehicles: No drivers required // Nature. - Volume 518. - Number 7537. February 2015. - R. 20-23
8. Ronald C.Arkin. Warfighting Robots Could Reduce Civilian Casualties, so Calling for a Ban Now Is Premature // IEEE Spectrum, August 5, 2015
