Kafka для разработчиков:
тонкости и нюансы

• для решения каких задач появилась kafka
• что такое топик, партиция, оффсет, сегмент, компактификация и другие термины
• отличия Kafka от RabbitMQ
• разбор нескольких задач с собеседования про kafka

______________________________


Домашнее задание:
поднять свою kafka, попробовать через консоль в нее записать и прочитать сообщения

Результат:

• знаешь основы Kafka, умеешь ее поднимать
• можешь пройти собеседование, в котором есть вопросы про Kafka
• во время обсуждения ассинхронной архитектуры с коллегами можешь понимать и обсуждать основные термины и преимущества Kafka / RabbitMQ

• как писать в Kafka с низкими latency и большим throughput, и как это померить
• как писать в Kafka, чтобы ничего не потерять
• можно ли писать без дублей?
• можно ли добиться exactly once и на какие компромиссы придется пойти?
• как быстро загрузить данные в Kafka, используя минимум кода — разбираем kafka connect, CDC, debezium и «грабли», на которые там можно наступить

______________________________


Домашнее задание:
настроить забор данных из Postgres в Kafka в Docker по инструкции с урока

Результат:

• умеешь диагностировать проблемы на записи в Kafka и чинить их
• знаешь, как добиваться от Kafka гарантий сохранности данных и использовать Kafka-транзакции
• умеешь использовать Kafka Connect+debezium (CDC), и загружать данные из БД в Kafka в минимальные сроки

• шторм ребалансов и замедление чтения — как с ними справиться
• CQRS на основе Kafka Connect — как быстро сложить данные из Kafka в хранилище, подходящее под read-нагрузку
• что такое схематизация данных, зачем крупные компании используют schema registry и как это можно легко применить с вашей Kafka
• Tips & tricks при чтении из kafka: DLQ, сброс оффсета, ad hoc чтение данных

______________________________


Домашнее задание:
по примеру с урока добавить схематизацию к данным, загруженным из Postgres, и выгрузить эти данные в другое хранилище

Результат:

• умеешь настраивать читателей так, чтобы даже рестарты миккросервиса не приводили к остановкам чтения
• можешь за минуты выгрузить данные из Kafka в Clickhouse, Postgres и S3
• можешь работать со schema registry на практике

В предыдущих уроках мы научились работать с Kafka на небольшом масштабе, но когда Kafka работает в корпорации с десятками или даже сотнями команд, появляются новые проблемы — ресурсы кластера заканчиваются, а персональные данные требуют защиты. Без знаний из этого урока решить такие задачи будет сложно

В этом уроке:

• что происходит в момент отказа одного из брокеров Kafka? При замене диска? Как минимизировать влияние таких отказов/обновлений на запись и чтение?
• Highload на Kafka: как выбирать количество партиций? Как выбирать retention period и посчитать, сколько дисков понадобится вашему брокеру через год? Сколько в целом нагрузки может выдержать один кластер Kafka из 3 нод и когда пора расширяться?
• безопасность в Kafka: аутентификация, авторизация, квоты и шумные соседи
• федерация из Kafka кластеров: что это, когда нужно и как применять?

______________________________


Домашнее задание:
добавим в нашу Kafka аутентификацию и UI к ней

Результат:

• умеешь работать с Kafka так, чтобы отказ одного диска не ломал продакшн
• умеешь считать ресурсы и предсказывать, когда кластера перестанет хватать под вашу нагрузку
• можешь разграничить доступ и изолировать клиентов, которые хотят съесть все ресурсы кластера

Часто данные, которые приходят к нам из Kafka не идеально для нас подходят — хочется их как-то преобразовать. В этом уроке мы научимся делать такие преобразования быстро, надежно и с минимальным количеством кода

В этом уроке:

• что такое Complex Event Processing (CEP) и когда его применять? Как это может помочь вам в ежеденевных задачах с Kafka? Фильтрации, джоины, окна, stateless vs stateful
• Apache Flink, Kafka Streams, Apache Spark и др. — смотрим на разные фреймворки для стриминговой обработки, сравниваем их плюсы и минусы, а также учимся работать с ними
• эвристика в стриминге: как очень быстро, но не очень точно обработать огромные объемы данных?

______________________________


Домашнее задание:
пишем простое приложение на Apache Flink

Результат:

• умеешь быстро делать даже очень сложные преобразования над топиками
• понимаешь, какие есть фреймворки на рынке и какие из них лучше для разных бизнес-задач

Kafka не стоит на месте. Чтобы не отставать от мира IT, полезно знать про свежие фичи и как их можно применять на практике. В том числе — для ускорения AI, если она есть в твоей компании. Посмотрим на Queues over kafka, diskless kafka и многое другое

В этом уроке:

• как сейчас работают с Kafka так, как еще год назад было нельзя
• может ли теперь Kafka заменить и RabbitMQ
• как хранить петабайты данных в Kafka и зачем
• ML & Kafka — данные для ваших MCP-серверов, обновляемые в реальном времени

______________________________


Результат:

• умеешь применять самые свежие фичи Kafka в рабочих задачах — это даст преимущество при проектировании архитектур новых сервисов
• поймешь, как Kafka может быть полезна в современной AI-oriented архитектуре, чтобы агенты выдавали самые свежие результаты