Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

Взлом больших языковых моделей: Количественная оценка скрытых рисков использования LLM для аннотации текста В данной научной статье исследуются риски, связанные с использованием больших языковых моделей (LLM) для аннотации текста в социальных науках. Авторы вводят понятие «взлом LLM», обозначающее неверные научные выводы, возникающие из-за вариаций в реализации LLM, таких как выбор модели и стратегии подсказок. Они количественно оценивают этот риск, воспроизводя 37 задач аннотации данных с использованием 18 различных моделей, анализируя 13 миллионов меток LLM. Исследование показывает, что неверные выводы возникают в значительной части гипотез, даже с использованием самых современных моделей. В статье подчеркивается важность ручной аннотации и строгой проверки для смягчения этих рисков, особенно вблизи пороговых значений значимости. Также демонстрируется, как легко можно намеренно манипулировать LLM. Авторы призывают к изменению подхода, рассматривая LLM как сложные инструменты, требующие тщательной оценки, а не простые инструменты аннотации типа «черный ящик», и предлагают практические рекомендации по снижению случайных и преднамеренных ошибок. #Валидация отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM