Получать миллион обновлений в секунду и выжить / Александр Хвастунов

В Маркете для двусторонней интеграции с десятками источников обновлений и потребителей информации есть целая высоконагруженная мастер-система. Однако в какой-то момент масштаб обработки начал вызывать проблему: часть данных не соответствовала требованиям к оперативности обновления. Александр Хвастунов, руководитель разработки инфраструктуры подготовки данных в Яндекс Маркете, рассказывает в своём докладе на big tech night, как команда решила эту проблему и создала интеллектуальную систему квотирования с функцией автодеградации. #aitools