Популярные чат-боты могут использоваться злоумышленниками для подготовки преступлений — к таким выводам пришли эксперты. Модели искусственного интеллекта (ИИ) после взлома (а в некоторых случаях даже без него) способны давать советы о том, как создать яд, получить сильнодействующий галлюциноген или подобраться к потенциальной несовершеннолетней жертве для преступлений на сексуальной почве. Подробности о том, почему чат-боты могут стать оружием в руках преступников и как защититься от этого, читайте в материале «Известий».
Опасные уязвимости
Исследование, посвященное тому, могут ли популярные чат-боты выдавать рекомендации по противозаконной деятельности, недавно провели специалисты израильской компании Adversa AI. Они использовали технику Red Team («красной команды») — комплексной имитации реальных атак ради оценки кибербезопасности систем.
Исследователи применили джейлбрейки, особый вид атак на модели ИИ, в ходе которых чат-боты при помощи особых вводных данных заставляли обходить защиты и делать то, что запрещено разработчиками. Как выяснилось, один из исследуемых чат-ботов может выдавать опасные советы для преступников без всякого взлома.
«По сравнению с другими моделями для получения большинства инструкций к преступлениям вам не нужно делать его джейлбрейк, — рассказал основатель Adversa AI Алекс Поляков. — Он может очень подробно рассказать вам, как сделать бомбу или угнать автомобиль, даже если вы спросите напрямую».
По словам Полякова, «проблемный» чат-бот по прямому запросу также выдал инструкции по извлечению ДМТ — сильнодействующего галлюциногена, запрещенного во многих странах. А в двух из четырех случаев чат-бот проговорился и выдал рекомендации о том, как совращать детей, хотя получить подобные ответы от других моделей ИИ не удалось ни с одним джейлбрейком.
Инструмент для преступлений
Как говорит в беседе с «Известиями» ведущий эксперт отдела разработки и тестирования компании «Код безопасности» Александр Самсонов, главный риск использования чат-ботов, о котором сообщили специалисты Adversa AI, связан с тем, что модели ИИ теоретически могут выдать абсолютно любую информацию, например, «рецепт» коктейля Молотова. И эти данные злоумышленники могут использовать для совершения преступлений.
— Для киберпространства наиболее актуально применение чат-ботов в разработке вредоносного кода и фишинговых сообщений — хакеры нередко прибегают к этим инструментам, поскольку они помогают сэкономить время и увеличить качество кибератак, — отмечает специалист.
Младший аналитик-исследователь угроз кибербезопасности R-Vision Руслан Бисенгалиев в качестве примера приводит зафиксированную атаку, в ходе которой при помощи чат-ботов создавалась рассылка сообщений в мессенджерах от лица руководителей компаний. Хакеры стремились убедить сотрудников организаций, что им пишет топ-менеджер или гендиректор, чтобы выманить ценные документы или парольные данные.
О другом примере использования чат-ботов злоумышленниками рассказывает руководитель группы аналитиков по информационной безопасности Лиги цифровой экономики Виталий Фомин: в 2023 году удалось выявить схему, которая позволяла мошенникам рассылать QR-коды таким образом, что они попадали на столы учреждений, ответственных за социальные выплаты. QR-коды вели на чат-бот, которому граждане сообщали данные банковских карт, в результате чего оставались и без выплат, и без собственных средств.
— ИИ уже научился имитировать голос человека, поэтому если потенциальная жертва не верит тексту, теперь ей могут отправить голосовое сообщение для большей убедительности, — отмечает Руслан Бисенгалиев. — В будущем, если ИИ научится подделывать голос в режиме реального времени, ситуация значительно усложнится. Кроме того, недавно появилась нейросеть Sora от создателей GPT, создающая крайне реалистичные видео, — и она также может стать инструментом в руках киберпреступников.
Взлом на автомате
Сегодня сервисы на основе ИИ помогают киберпреступникам в автоматизации атак, рассказали «Известиям» эксперты департамента киберразведки Threat Intelligence компании F.A.C.C.T. По словам специалистов, чат-боты, в частности, оценили скамеры: искусственный интеллект помогает им создавать вызывающие доверие грамотные тексты (например, при наличии языкового барьера) или фишинговые сайты.
— Несмотря на то что разработчики пытаются закрывать для злоумышленников возможности использовать их продукты для преступлений, последние всё равно находят всё новые способы, как обойти ограничения, — отметили эксперты.
По данным F.A.C.C.T., сервисы на основе ИИ также применяют проправительственные хакерские группировки из разных стран — они используются для поиска решений с открытым исходным кодом, ошибок в коде, перевода и базового программирования.
К примеру, компания OpenAI (разработчик ChatGPT) поделилась информацией, что прогосударственные группировки обращаются к ее технологиям для сбора информации о различных организациях, спецслужбах и инструментах в сфере информационной безопасности (ИБ), оптимизации кода, поиска уязвимостей, создания сценариев, сайтов и материалов для фишинговых кампаний, перевода технических документов, сокрытия вредоносных процессов в системе жертв и других задач.
— Использование ИИ злоумышленниками для усовершенствования и упрощения кибератак представляет значительный риск, но это не единственная угроза, с которой могут столкнуться компании, — отмечают специалисты F.A.C.C.T. — Системы на основе ИИ активно интегрируются в рабочие процессы многих организаций благодаря их способности сокращать издержки и ускорять операции. Однако это также создает новые уязвимости, которыми могут воспользоваться злоумышленники.
Между тем, по словам руководителя группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислава Тушканова, для того чтобы чат-боты не генерировали потенциально вредную или опасную информацию, разработчики используют специальные техники дообучения под общим названием Alignment with human values (AWHV).
Игра на опережение
В рамках AWHV языковая модель получает на вход примеры запросов, ответы на которые могут принести вред, и учится отказываться отвечать, поясняет Владислав Тушканов. Кроме того, используются и более стандартные меры, например фильтрация вопросов и ответов с помощью ключевых слов и очистка изначальных наборов данных. Однако злоумышленники постоянно анализируют возможности использования чат-ботов.
Так, согласно отчету команды Kaspersky Digital Footprint Intelligence, киберпреступники активно обсуждают такие подходы на теневых площадках и исследуют возможности применения джейлбрейков и моделей, которые не имеют ограничений. Несмотря на это, создатели наиболее мощных чат-ботов постоянно совершенствуют механизмы защиты, что значительно усложняет задачу злоумышленников.
— Для противодействия подобным угрозам разработчики ИИ-решений могут вести мониторинг активностей прогосударственных APT-группировок (Advanced Persistent Threat — целевая продолжительная атака повышенной сложности. — «Известия»), — отмечают в департаменте киберразведки Threat Intelligence компании F.A.C.C.T.
Кроме того, по мнению специалистов, важным механизмом в борьбе с использованием чат-ботов киберпреступниками является взаимодействие с другими разработчиками и открытость перед другими участниками рынка для обмена данными по угрозам, а также лучшего понимания, как злоумышленники стремятся использовать инструменты с ИИ.
В то же время, по мнению Александра Самсонова, применять чат-боты могут и правоохранительные органы — особенно в контексте удобного поиска открытой информации. Или, например, при необходимости и должном юридическом обосновании получать доступ к истории запросов пользователей и на основании анализа этой информации выявлять и упреждать потенциально возможные правонарушения, заключает эксперт.