Кейсы и события в области информационной безопасности и искусственного интеллекта

Обсуждались громкие кейсы и события в области информационной безопасности и искусственного интеллекта, включая злоупотребления инструментами ИИ, уязвимости в системах, таких как Slack, prompt-инъекции и атаки через посредника. Были упомянуты следующие моменты: Злоупотребление инструментами искусственного интеллекта, такими как OpenAI GPT и Microsoft Copilot, для получения доступа к данным или платформам. Атаки prompt-log, использующие локальные LLM для разработки вредоносного программного обеспечения. Уязвимость в Slack, позволяющая получать данные из приватных каналов через отравляющие скрипты. Атаки типа prompt injection, когда злоумышленники манипулируют анализаторами изображений или документов, чтобы скрыть или исказить информацию. Проникновение внутрь защищаемого периметра и самогенерация запросов к внутренним LM-моделям для получения конфиденциальной информации. Проблема неразличения LLM текста от данных, приводящая к атакам типа indirect prompt injection. Взлом системы обнаружения сетевых вторжений из-за публичного доступа к части тренировочного датасета. Подчеркивается, что западная практика в области кибербезопасности с некоторым временным лагом приходит в Россию, поэтому важно учитывать ее при планировании защиты. Отмечается, что многие из описанных атак пока являются прототипами, но в перспективе могут стать реальными проблемами. Сессия "ИИ в информационной безопасности и Инфобез в ИИ". ХVIII конференция BIS SUMMIT 2025 – ключевое событие в сфере информационной...