Основы Apache Kafka

Информационные системы в процессе своей работы порождают большое количество событий, которые могут быть связаны как с самой системой, так и с реализуемой предметной областью. Но созданные события нужно доставить до получателей - других компонентов информационной системы, и в этом случае на помощь приходят брокеры очередей сообщений и стриминговые системы. В этом ролике речь пойдёт о самой популярной системе стриминга событий - Apache Kafka и будут описаны следующие темы: - Краткое описание стримов данных - Терминология Kafka - Локальный запуск Apache Kafka - Использование утилит CLI для отправки и получения сообщений - Отправка и получение сообщений в проекте на Java 00:00:00 Вступление 00:01:35 Про стримы данных 00:06:36 Терминология и теория Kafka 00:21:00 Установка и запуск Kafka 00:31:39 Отправка и получение сообщений в CLI 00:47:49 Создание отправителя в Java 00:55:21 Использование транзакций 01:02:55 Не идемпотентные отправители и подтверждение записи 01:06:12 Создание получателя в Java 01:08:28 Ручное назначение партиций получателю 01:11:14 Получение сообщений 01:16:57 Подписка на топик в группе получателей 01:25:00 Поиск смещения 01:39:55 Фиксация прочитанных смещений получателем 01:55:30 Про семантики доставки 02:01:35 Пример семантики Exactly Once 02:06:40 Выводы Связанные с роликом статьи: #java