"Инфобез, ИИ - значимые кейсы и уязвимости"

В ходе обсуждения были рассмотрены актуальные кейсы и проблемы в области обеспечения информационной безопасности и искусственного интеллекта. Основное внимание уделено новым угрозам, связанным с использованием ИИ, и влиянию этих угроз на практику защиты информации. Ключевые моменты и кейсы: Злоупотребление инструментами ИИ: Атаки через общедоступные модели (GPT, Cloud, Microsoft Copilot) для получения доступа к данным или платформам. Пример: использование Salesforce Einstein для перенаправления данных клиентов. Prompt log (Ransomware 3.0): Агенты, взаимодействующие с локальными LLM для генерации вредоносного ПО. Высокий потенциал для атак внутри компаний, использующих локальные модели. Slack IE: Уязвимость в корпоративном мессенджере Slack, позволяющая получать данные из приватных каналов. Проблема в недооценке угрозы и расширение уязвимости после обновлений. Атаки через посредника: Использование вируса для эмуляции человеческих запросов к внутренним LLM. Генерация запросов и получение ответов за пределы защищенного периметра. Prompt-инъекции: Злоупотребление для изменения поведения LLM при анализе данных. Пример: сокрытие команд в изображениях или документах для обмана систем. OSINT и анализ уязвимостей: Использование инструментов ИИ для поиска информации и выявления уязвимостей в веб-ресурсах компаний. Indirect Prompt Injection: Фундаментальная проблема современных LLM...