Amazon подтвердил сообщение о том, что одно из ее устройств Echo записало семейный разговор, а затем отправило его случайному человеку из списка контактов семьи, который является сотрудником члена семьи.
Но Amazon в заявлении, отправленном по электронной почте, подтвердил худший кошмар каждого защитника конфиденциальности своим объяснением: «Эхо проснулась из-за слова в фоновом разговоре, звучащего как «Алекса». Затем последующий разговор был услышан как запрос «отправить сообщение». В этот момент Алекса громко сказала: «Кому?» В этот момент фоновый разговор был интерпретирован как имя в списке контактов клиента. Затем Алекса спросила вслух:[contact name], Правильно?’ Затем Алекса интерпретировала фоновый разговор как «правильный». Какой бы маловероятной ни была эта череда событий, мы оцениваем варианты, чтобы сделать этот случай еще менее вероятным».
Для протокола: семья говорит, что они ничего не слышали от Эха. Обе версии могут быть правильными. Если бы семья была в горячем споре — и у нее не было причин сосредотачивать свое внимание на устройстве Эхо — они могли бы не услышать или не заметить говорящего Эхо.
Лично я, каким бы тревожным ни был этот инцидент, нахожу его слишком вероятным. При общении с Siri я часто слышал, как она «неверно воспринимала» слово как команду, а потом действовала по ней. Однажды я собиралась написать кому-нибудь, и тут зазвонил мой стационарный телефон (да, он у меня до сих пор есть). Когда я закончил, меня позабавило, что система распознавания голоса Siri расшифровала мой конец этого телефонного разговора и собиралась отправить его моему контакту. Если бы он интерпретировал любое слово, которое я сказал, как близкое к «отправить», он бы сделал это.
Amazon не ответила на запрос об интервью в установленный срок. Если бы это было так, я бы спросил, какие слова говорила семья, которые Эхо интерпретировала как команды и слова подтверждения. Если бы семья действительно произнесла эти командные слова в разговоре — в нужные моменты — ситуация была бы другой. И тогда это будет просто проблема команд проверки Эхо, которые должны быть более конкретными. В конце концов, слова «правильно» в предложении недостаточно для проверки. Или что-то рифмующееся с право?
Давайте поднимем это на уровень выше, со ссылкой на любимую аббревиатуру каждого ИТ-специалиста на этой неделе (GDPR) и насколько далеко мы позволяем программному обеспечению функционировать автономно (я смотрю на вас, машинное обучение).
Одно из положений GDPR, вступивших в силу в пятницу (25 мая), заключается в том, что компании должны сообщать о существенных утечках данных в течение 72 часов. Но 72 часа от чего? Вот где все становится интересным. Вот как формулирует это GDPR: «В случае утечки персональных данных контролер должен без неоправданной задержки и, по возможности, не позднее, чем через 72 часа после того, как ему стало известно об этом, уведомить об утечке персональных данных надзорный орган. компетентным в соответствии со статьей 55, за исключением случаев, когда утечка персональных данных вряд ли повлечет за собой риск для прав и свобод физических лиц».
В этом контексте контролером является взломанная компания. Мы должны спросить: когда компания о чем-то «узнает»? Это когда человек-служащий этой компании узнает об этом? Если да, то какой сотрудник? ИТ-директор? Директор по информационной безопасности? Генеральный директор? А что касается нарушения, знает ли кто-либо о нарушении, когда он впервые слышит о первоначальном предварительном указании на то, что что-то могло или не могло произойти? Или только тогда, когда этот человек действительно уверится в том, что нарушение действительно произошло, что может произойти спустя месяцы?
Но давайте вернемся к первоначальному вопросу: действительно ли это происходит, когда сотрудник-человек осознает? Что, если сервер — возможно, принадлежащий антивирусному пакету, используемому компанией — отправляет сообщение на сервер, контролируемый компанией, и делится предупреждением об обнаружении вируса? А что, если сервер компании самостоятельно предпримет действия, чтобы нейтрализовать эту угрозу? Эти действия составляют знание этой компании?
В наши дни возможности машинного обучения искусственного интеллекта стремительно растут в корпоративных ИТ, сколько системных действий скоро выйдет за рамки того, что планировал любой программист? Машинное обучение предназначено для поиска закономерностей, экстраполяции этой информации и рекомендации действий. По мере того, как скорость становится все более важной, особенно при принятии решений по безопасности, многие компании будут программировать системы так, чтобы они действовали в соответствии с экстраполяциями машинного обучения, не дожидаясь подтверждения человеком.
Это возвращает нас к ситуации с Эхо. Усилия Amazon по искусственному интеллекту позволяют системе предпринимать действия, основываясь на том, что, по ее мнению, она слышит, без подтверждения со стороны человека или, в лучшем случае, с недостаточно строгим механизмом подтверждения со стороны человека.
Была ли ошибка здесь в плохом распознавании голоса или в неправильной интерпретации этого распознавания голоса? Amazon, стремясь быть органичным и волшебным, позволяет своим системам делать совсем немного, исходя из того, что они обычно точны. И что происходит, когда это неправильно? Эта семья из штата Вашингтон только что узнала.
Примечание для ИТ-специалистов: системы машинного обучения представляют точно такую же опасность. Когда ИТ позволяет системам принимать решения без поддающегося проверке человеческого подтверждения, несчастье неизбежно. В этом инциденте с Эхо это был относительно безобидный разговор о выборе деревянного пола. С системами безопасности с машинным обучением это может быть гораздо опаснее.
Что, если машинное обучение и распознавание голоса решат, что кто-то из ИТ-специалистов говорит: «Отправьте контактный файл нашего клиента нашему прямому конкуренту»? Затем он бормочет запрос на подтверждение и ждет, пока кто-нибудь в комнате не скажет: «Правильно».
Эхо, спасибо. На этой неделе вы, возможно, пробудили многих людей к некоторым пугающим реалиям.
Авторское право © 2018 IDG Communications, Inc.