Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в СанктПетербурге!
Программа, подробности и билеты по ссылке: https://vk.cc/cuyIqx


РИТ++ 2017, Backend Conf

Тезисы:
http://backendconf.ru/2017/abstracts/...

Kafka распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtimeобработку большого числа событий, так и построить батчевый pipeline по доставке логов.

Почему мы используем Kafka? Если коротко унификация. А если чуть подробнее десятки поставщиков, терабайты логов каждый день, онлайн и офлайнpipeline'ы без единой высокопроизводительной шины данных с этим крайне сложно совладать.

Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как изза одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что чтото идёт не так.