Зачем Битрикс24 своя AI-платформа? Сергей Нотевский про нейросети внутри компании и цены на GPU

Сергей Нотевский — AI Lead в Битрикс24, руководит платформой, на которой работает весь AI компании: от транскрибации звонков до агента BitrixGPT. В новом выпуске обсуждаем, стоит ли компании разворачивать нейросети у себя или брать их как сервис (MaaS), как посчитать железо под открытую модель, почему бенчмаркам нельзя верить, что такое префикс-кэш, и при чём здесь четыре года работы фитнес-тренером. ► Максим Ульянов: ► Сергей Нотевский: Материалы из подкаста: 📍Таймкоды: 00:00 — Интро: кто такой Сергей Нотевский и зачем смотреть выпуск 02:16 — Кого из разработчиков заменит AI? 04:47 — Путь Сергея Нотевского: четыре года фитнес-тренером 07:51 — Три бизнеса за три года 10:08 — Почему Сергей Нотевский ушёл с завода и вспомнил про IT? 12:50 — Как войти в IT без денег на курсы? 15:56 — Рост в Битриксе: из ручного тестировщика в лида мобильной автоматизации 20:59 — Как ChatGPT изменил карьеру: первые кейсы с GPT-3.5 24:50 — Как инженер стал продактом AI-направления? 28:12 — Почему Битрикс24 решил разворачивать модели у себя? 31:24 — Что такое Битрикс24 сегодня? 33:26 — За что отвечает AI-платформа: транскрибация звонков и автозаполнение CRM 37:38 — Агент BitrixGPT: задачи, документация и поиск людей 43:46 — Масштаб платформы: миллион запросов в день и 200 серверов с GPU 45:48 — Что под капотом BitrixGPT: ансамбль моделей и дообучение 49:39 — Что такое Битрикс24 Вайбкод? 54:37 — Почему модели галлюцинируют? 57:23 — Всегда ли большое контекстное окно — лучший результат?