Как создать RAG, базу знаний, память для ИИ агентов с LLM. Мой взгляд.

🌟 Рассказываю как создаю архитектуру и последовательность RAG системы для базы знаний от ответов на вопросы. ⏱ *TIMECODES* 00:00 - Начало 01:00 - Что такое RAG 03:40 - Как работает поиск 06:00 - Входящие данные 07:00 - Пайплайн данных 12:00 - Валидация данных 13:00 - Базы данных 16:00 - Переранжирование ответов 18:00 - Проверка ответов 20:00 - Советы 👨🏻💻 *Кто я?* Бизнес аналитик. Создаю автоматизацию через чат-боты, LLM агенты и RAG (базу знаний) Мой путь это 10 лет инженерного опыта, диплом MBA, управление процессами на заводе IKEA и 3 года бизнес-анализа в 15 компаниях. *Ключевые пункты* # Ключевые аспекты RAG-систем - RAG-система в базовом представлении — это система поиска документов по запросу, позволяющая LLM отвечать на вопросы с использованием знаний, которых у модели нет. - Общая архитектура RAG включает LLM (языковую модель), входной промт, базу данных и Python-скрипт (worker) для обработки запросов. - Существует два основных типа поиска: векторный (семантический) и полнотекстовый (обычный), оптимальным считается гибридный подход. - Векторный поиск работает путем сравнения числовых представлений (векторов) текста, определяя степень их сходства от 0 до 1. - Гибридный поиск помогает снизить «шум» и повысить релевантность результатов либо путем предварительной фильтрации по ключевым словам, либо последующей обработкой векторных результатов. - Данные в RAG делятся на два типа: документы (для текстовой информации) и таблицы (для числовых и структурированных...