Если вы уже работали с современными цифровыми помощниками, то наверняка заметили: они здорово разгружают от рутины. Однако схожий вывод сделали и злоумышленники. В свежем отчете Google Threat Intelligence Group (GTIG) говорится, что мошенники применяют искусственный интеллект заметно активнее, чем раньше — от подготовки фишинга до «прокачки» вредоносного кода прямо во время атаки.
Клонирование языковых моделей: что такое дистилляционные атаки
Одна из самых тревожных тенденций — рост так называемых дистилляционных атак. Суть подхода проста: атакующие «засыпают» крупную языковую модель огромным числом запросов, пытаясь понять логику ее рассуждений. Затем полученные ответы используют как обучающий материал, чтобы быстро натренировать собственную модель, похожую по поведению.
Зачем преступникам «копия» LLM
- не платить за легальный сервис, используя собственную модель;
- разбирать устройство и принципы работы исходной LLM через анализ ответов;
- подбирать способы эксплуатации — в том числе для взаимодействия с легальными сервисами в своих целях.
Социнженерия и разведка: ИИ помогает готовить легенды
GTIG отдельно отмечает, что ИИ все чаще поддерживает операции по сбору разведданных и кампании социальной инженерии. В отчете упоминаются государственно спонсируемые группировки из Ирана и КНДР, которые используют ИИ по-разному: одни собирают сведения о деловых связях, чтобы создать правдоподобный предлог для контакта, другие — сводят разрозненную информацию в единый массив, упрощающий планирование атак.
Фишинг нового уровня
- создание убедительных фишинговых наборов;
- массовое распространение приманок ради кражи учетных данных;
- повышение качества текстов и сценариев общения с жертвами.
Вредоносное ПО с ИИ: адаптация «на лету»
Еще один опасный вектор — интеграция ИИ-моделей непосредственно во вредоносные программы. Тогда малварь получает возможность подстраиваться под ситуацию и уходить от обнаружения. В качестве примера GTIG приводит активность, отслеживаемую как HONESTCUE: в этом случае Gemini применялся для переписывания и выполнения кода в ходе атаки, что помогало обходить сетевое обнаружение и усложняло статический анализ.
Рынок «злого ИИ» пока не созрел, но спрос уже есть
При этом в GTIG подчеркивают: возможности и ресурсы у разных групп различаются. Уже заметен высокий интерес к специализированным ИИ-инструментам, созданным именно для атакующих — особенно к тем, что способны писать код для вредоносных программ. Пока же злоумышленники в значительной степени опираются на дистилляцию, чтобы получать кастомные модели под свои задачи. Но если «вредоносные» ИИ-сервисы станут массовыми и удобными в распространении, эффективность фишинга, социнженерии и малвари может резко вырасти.
Как защищаются: ИИ против ИИ
Чтобы противостоять угрозам, усиленным искусственным интеллектом, индустрия безопасности все чаще отвечает тем же. Вместо упора на статические проверки ИИ применяют для анализа подозрительной активности в реальном времени — по поведению, а не только по сигнатурам (фото: techradar.com).
- Динамическое распознавание вредоносных действий «здесь и сейчас».
- Проверка писем и сообщений на фишинг в масштабе, который вручную потребовал бы тысячи часов.
- Выявление потенциально опасных сценариев использования ИИ в Gemini.
- Развитие инструментов Google: поиск уязвимостей Big Sleep и исправление уязвимостей CodeMender.
