Как с помощью LLM выявлять реальные уязвимости LLM-приложений

Генеративный искусственный интеллект давно привлек внимание СМИ, однако компании опасаются внедрять технологии ИИ из-за риска галлюцинаций моделей и утечки чувствительных данных. В этом докладе мы оценим потенциал поиска уязвимостей в системах с большими языковыми моделями с помощью больших языковых моделей. Рассмотрим, как развивались подходы LM vs. LM и LLM as a judge, как они нашли реальное применение в опенсорсном фреймворке для тестирования LLM-систем на наличие уязвимостей LLAMATOR и как выбрать LLM для оценки ответов.