Как ускорять ML-онлайн-решения без участия DS | Арсен Гумин

Как ускорить онлайн инференс без изменений логики модели машинного обучения? Поделюсь реальным опытом ускорения взаимодействия с фичесторами, онлайн моделями и сервисами. Поговорим о протоколах взаимодействия, методы в сериализации/десирилазации, балансировке нагрузки, работа с NoSQL базами данных, Onnx, OpenVino,TensorRT. Несколько простых, но не очевидных изменений в обычных asgi/wsgi серверах. Типичных и не очень ошибках при дизайне подобных решений. О спикере Интересуюсь cloud native mlops инструментами. Попробовал себя в различных data профессиях от аналитика данных до mlops разработчика. Сейчас занимаюсь развитием feature store и центрального CD инструмента для рекомендательной платформы Сбера.