Технология распознавания лиц становится все более распространенной в нашей жизни, но она также очень уязвима для атак. Вот почему группа исследователей призывает хакеров принять участие в новом конкурсе, призванном выявить недостатки распознавания лиц и повысить осведомленность о потенциальных рисках.

Соревнования по уклонению от защиты с помощью машинного обучения регулярно проводятся AI Village на хакерской конференции Def Con с 2019 года. На ранних этапах перед исследователями стояла задача обойти защиту систем обнаружения вредоносных программ на основе машинного обучения. В 2021 году организаторы добавили новый трек, предназначенный для выявления недостатков в моделях компьютерного зрения, которые используют визуальные подсказки для обнаружения фишинговых веб-сайтов.

Но в этом году в соревновании также будут участвовать хакеры и системы распознавания лиц , которым будет предложено изменить фотографии знаменитостей так, чтобы модель машинного обучения неправильно их идентифицировала. Золтан Балаш , руководитель лаборатории исследования уязвимостей в компании-разработчике программного обеспечения Cujo AI , одном из организаторов конкурса, говорит, что добавление было сделано в ответ на быстрое расширение использования распознавания лиц и кажущийся слабым подход к безопасности среди многих поставщиков.

«Мы очень надеемся, что одним из выводов нашего конкурса станет то, что каждый раз, когда люди внедряют системы распознавания лиц, следует проявлять особую осторожность», — говорит он. «Потому что они не идеальны. И последствия могут быть плохими».

Задача распознавания лиц была разработана компанией Adversa AI , занимающейся безопасностью ИИ , которая точно знает, насколько уязвимы такие модели машинного обучения. Компания регулярно проводит учения «красной команды», в ходе которых другие фирмы нанимают ее для проверки своих систем машинного обучения на наличие брешей в безопасности.

По словам технического директора Adversa Юджина Нилоу , в Интернете появляется все больше инструментов, которые хакеры могут использовать для проведения подобных атак, и уже есть реальные примеры, когда люди использовали уязвимости в системах распознавания лиц. Мошенникам недавно удалось обмануть программное обеспечение для распознавания лиц, используемое компанией ID.me, занимающейся проверкой личности, для проверки поддельных водительских прав в рамках схемы мошенничества с безработицей на сумму 2,5 миллиона долларов США, а в Китае преступникам удалось отмыть 77 миллионов долларов , используя поддельные фотографии для обмана используемого программного обеспечения. местными налоговыми органами.

«Это очень легко и быстро сделать для злоумышленников с достаточной мотивацией», — говорит Нилоу. «Наши испытания показывают, что некоторые из лучших поставщиков систем распознавания лиц практически не демонстрируют защиты от враждебных модификаций ввода».

Организаторы надеются, что их конкурс подчеркнет текущие проблемы, связанные с распознаванием лиц. Победитель также должен опубликовать свои методы, которые должны помочь отрасли закрыть потенциальные пробелы. Конкурс открылся 12 августа и продлится до 23 сентября. Участникам предоставляется набор из 10 фотографий известных знаменитостей и онлайн-доступ к модели распознавания лиц, которая была обучена распознавать их.

Злоумышленникам дается указание слегка изменить изображения, чтобы модель неправильно их идентифицировала. Цель состоит в том, чтобы обмануть систему, чтобы она идентифицировала каждую знаменитость как каждую из других знаменитостей, что означает создание девяти измененных изображений для каждого выстрела в голову. Затем их необходимо представить организаторам соревнований, которые оценят эффективность обмана.

Наиболее важным критерием оценки каждого изображения является уверенность, с которой модель принимает новую идентичность. Об этом судят по оценке вероятности, которую модель дает изображению, которая варьируется от 0 до 1. Изображения также будут оцениваться по «скрытности» модификаций — другими словами, насколько трудно их обнаружить. Это будет оцениваться на основе уровня структурного сходства между исходным и измененным изображением, но будет использоваться только в качестве тай-брейка, если команды имеют одинаковые оценки достоверности.

Как участники редактируют изображения, зависит от них. Хотя их можно изменить вручную, Нилоу говорит, что атаки на систему машинного обучения обычно используют автоматизированные процессы. В большинстве случаев хакеры ничего не знают о модели, на которую они нацелены, и поэтому отправляют сотни или тысячи изображений и используют обратную связь от модели для итерации своих изменений. Однако, если они смогут собрать некоторую информацию о модели, их работа станет еще проще, поскольку они смогут адаптировать свой подход к ее особенностям.

«Существуют различные стратегии для работы с различными внутренними характеристиками нейронных сетей», — говорит Нилоу. «Один метод атаки может быть лучшим против одной сети и худшим против другой. Вот почему не существует универсальной атаки, но при наличии достаточного количества времени любую систему ИИ можно взломать».

Тем не менее, по словам Нилу, разработчики систем распознавания лиц могут многое сделать для защиты своих моделей. Могут помочь такие методы, как состязательное переобучение, при котором модели переобучаются для обнаружения поддельных изображений, обнаружения атак и даже таких простых вещей, как ограничение количества раз, когда люди могут вводить данные в модель.

Но что действительно нужно отрасли, так это фундаментальное изменение мышления, чтобы вопросы безопасности учитывались на ранних этапах процесса разработки, а не в конце, говорит Нилоу. «Основная причина, по которой ИИ уязвим для атак, заключается в том, что ИИ никогда не создавался с учетом безопасности, — говорит он. — Как и во многих других технологиях, безопасность — это второстепенная задача».