поток
поток №1
старт
8 сентября
для грейдов
middle/senior
длительность
1.5 месяца
Базово работали с kafka
Но столкнулись с замедлениями чтения/записи
Знаете, куда встроить Kafka и зачем
Но как именно это сделать — большой вопрос
HighLoad-проект с N тысяч cообщений в секунду
Нужно поставлять другой команде события, в будущем планируется высокая нагрузка, а из знаний Kafka — только название технологии:)
Метите в BigTech или Staff-инженеры
Нужно подготовиться к собеседованию или предметно углубиться в технические детали
Подойдет middle/senior-разработчикам и архитекторам, если:
для курса нужно знать:
любой backend-язык
docker
базовый computer sience
База по Kafka и брокерам сообщений необязательна — во все погрузим с нуля
Из чего состоит архитектура Kafka
В чем отличия от RabbitMQ, когда использовать, какие вопросы задают на собеседованиях и как на них отвечать
Как в нее эффективно писать
Быстро, много и с гарантиями, что ничего не потеряется
Как эффективно читать из кафки
Как бороться со штормом балансировки, что такое CQRS и как реализовать схематизацию данных
Как работать с Kafka в HighLoad
Безопасность, квоты, control plane, мониторинг, и что случится в момент отказа брокера/диска/дата-центра и как быть к этому готовым
Как написать RealTime обработку данных
Паттерны, антипаттерны и лучшие практики complex event processing
Новинки Kafka
Queues over kafka, diskless kafka и многое другое — то, что пока никто не использует, но пригодится в будущем
В рамках курса разберем:
Бонус — kafka в AI
Расскажем, как она может быть полезна в современной AI-oriented архитектуре, чтобы ваши агенты выдавали самые свежие результаты
Расскажем, как она может быть полезна в современной AI-oriented архитектуре, чтобы ваши агенты выдавали самые свежие результаты
Сквозной проект, который мы будем создавать от урока к уроку, и на нем же разбираться во всех тонкостях Кафки
И все это на примере pet-проекта — сервиса склада
- Что такое CEP (Complex Event Processing)?
- Как им пользоваться, чтобы быстро решать задачи обработки событий в реальном времени?
- Какой фреймворк лучше: Flink / Spark / Kafka Streams / NiFi?
- Как защитить данные?
- Как сделать так, чтобы один сломанный клиент не уложил весь кластер через DDoS?
- Сколько нужно партиций? Какой лучше всего retention period?
- Сколько в целом выдержит мой кластер и сколько еще нужно брокеров, чтобы точно хватило?
- Что случится при отказе диска? брокера? дата-центра?
- Как сделать так, чтобы поломки не замедляли вам запись и чтение?
Как современная Kafka упрощает работу с аналитикой данных?
Какие есть секреты для удобной работы с consumer?
- Почему consumer читает так медленно?
- Как победить шторм ребалансов?
- На какие метрики лучше всего смотреть для обнаружения проблем?
- Почему тебе пригодится schema registry, если кафкой пользуются несколько команд?
- Какие с ней подводные камни и как их обойти?
Как сделать CQRS на Kafka с минимальным кол-вом кода, и зачем?
- Почему producer тормозит?
- Как гарантировать запись сообщений?
- Что мониторить, чтобы не пропустить проблемы?
- Как загрузить данные из базы в kafka за минуты, не написав ни строчки кода?
- Какие тут главные грабли и о чем сразу надо помнить?
- Как загрузить данные из базы в kafka за минуты, не написав ни строчки кода?
- Какие тут главные грабли и о чем сразу надо помнить?
- Почему producer тормозит?
- Как гарантировать запись сообщений?
- Что мониторить, чтобы не пропустить проблемы?
Как сделать CQRS на Kafka с минимальным кол-вом кода, и зачем?
- Почему тебе пригодится schema registry, если кафкой пользуются несколько команд?
- Какие с ней подводные камни и как их обойти?
- Почему consumer читает так медленно?
- Как победить шторм ребалансов?
- На какие метрики лучше всего смотреть для обнаружения проблем?
Какие есть секреты для удобной работы с consumer?
Как современная Kafka упрощает работу с аналитикой данных?
- Что случится при отказе диска? брокера? дата-центра?
- Как сделать так, чтобы поломки не замедляли вам запись и чтение?
- Сколько нужно партиций? Какой лучше всего retention period?
- Сколько в целом выдержит мой кластер и сколько еще нужно брокеров, чтобы точно хватило?
- Как защитить данные?
- Как сделать так, чтобы один сломанный клиент не уложил весь кластер через DDoS?
- Что такое CEP (Complex Event Processing)?
- Как им пользоваться, чтобы быстро решать задачи обработки событий в реальном времени?
- Какой фреймворк лучше: Flink / Spark / Kafka Streams / NiFi?
Как это все будет пошагово
{
фф"ratio": {
фффф"practice": 70%,
фффф"theory": 30%
фф}
}
фф"ratio": {
фффф"practice": 70%,
фффф"theory": 30%
фф}
}
программа
- для решения каких задач появилась kafka
- что такое топик, партиция, оффсет, сегмент, компактификация и другие термины
- отличия Kafka от RabbitMQ
- разбор нескольких задач с собеседования про kafka
______________________________
Домашнее задание:
поднять свою kafka, попробовать через консоль в нее записать и прочитать сообщения
Результат:
- знаешь основы Kafka, умеешь ее поднимать
- можешь пройти собеседование, в котором есть вопросы про Kafka
- во время обсуждения ассинхронной архитектуры с коллегами можешь понимать и обсуждать основные термины и преимущества Kafka / RabbitMQ
- как писать в Kafka с низкими latency и большим throughput, и как это померить
- как писать в Kafka, чтобы ничего не потерять
- можно ли писать без дублей?
- можно ли добиться exactly once и на какие компромиссы придется пойти?
- как быстро загрузить данные в Kafka, используя минимум кода — разбираем kafka connect, CDC, debezium и «грабли», на которые там можно наступить
______________________________
Домашнее задание:
настроить забор данных из Postgres в Kafka в Docker по инструкции с урока
Результат:
- умеешь диагностировать проблемы на записи в Kafka и чинить их
- знаешь, как добиваться от Kafka гарантий сохранности данных и использовать Kafka-транзакции
- умеешь использовать Kafka Connect+debezium (CDC), и загружать данные из БД в Kafka в минимальные сроки
- шторм ребалансов и замедление чтения — как с ними справиться
- CQRS на основе Kafka Connect — как быстро сложить данные из Kafka в хранилище, подходящее под read-нагрузку
- что такое схематизация данных, зачем крупные компании используют schema registry и как это можно легко применить с вашей Kafka
- Tips & tricks при чтении из kafka: DLQ, сброс оффсета, ad hoc чтение данных
______________________________
Домашнее задание:
по примеру с урока добавить схематизацию к данным, загруженным из Postgres, и выгрузить эти данные в другое хранилище
Результат:
- умеешь настраивать читателей так, чтобы даже рестарты миккросервиса не приводили к остановкам чтения
- можешь за минуты выгрузить данные из Kafka в Clickhouse, Postgres и S3
- можешь работать со schema registry на практике
В предыдущих уроках мы научились работать с Kafka на небольшом масштабе, но когда Kafka работает в корпорации с десятками или даже сотнями команд, появляются новые проблемы — ресурсы кластера заканчиваются, а персональные данные требуют защиты. Без знаний из этого урока решить такие задачи будет сложно
В этом уроке:
______________________________
Домашнее задание:
добавим в нашу Kafka аутентификацию и UI к ней
Результат:
В этом уроке:
- что происходит в момент отказа одного из брокеров Kafka? При замене диска? Как минимизировать влияние таких отказов/обновлений на запись и чтение?
- Highload на Kafka: как выбирать количество партиций? Как выбирать retention period и посчитать, сколько дисков понадобится вашему брокеру через год? Сколько в целом нагрузки может выдержать один кластер Kafka из 3 нод и когда пора расширяться?
- безопасность в Kafka: аутентификация, авторизация, квоты и шумные соседи
- федерация из Kafka кластеров: что это, когда нужно и как применять?
______________________________
Домашнее задание:
добавим в нашу Kafka аутентификацию и UI к ней
Результат:
- умеешь работать с Kafka так, чтобы отказ одного диска не ломал продакшн
- умеешь считать ресурсы и предсказывать, когда кластера перестанет хватать под вашу нагрузку
- можешь разграничить доступ и изолировать клиентов, которые хотят съесть все ресурсы кластера
Часто данные, которые приходят к нам из Kafka не идеально для нас подходят — хочется их как-то преобразовать. В этом уроке мы научимся делать такие преобразования быстро, надежно и с минимальным количеством кода
В этом уроке:
______________________________
Домашнее задание:
пишем простое приложение на Apache Flink
Результат:
В этом уроке:
- что такое Complex Event Processing (CEP) и когда его применять? Как это может помочь вам в ежеденевных задачах с Kafka? Фильтрации, джоины, окна, stateless vs stateful
- Apache Flink, Kafka Streams, Apache Spark и др. — смотрим на разные фреймворки для стриминговой обработки, сравниваем их плюсы и минусы, а также учимся работать с ними
- эвристика в стриминге: как очень быстро, но не очень точно обработать огромные объемы данных?
______________________________
Домашнее задание:
пишем простое приложение на Apache Flink
Результат:
- умеешь быстро делать даже очень сложные преобразования над топиками
- понимаешь, какие есть фреймворки на рынке и какие из них лучше для разных бизнес-задач
Kafka не стоит на месте. Чтобы не отставать от мира IT, полезно знать про свежие фичи и как их можно применять на практике. В том числе — для ускорения AI, если она есть в твоей компании. Посмотрим на Queues over kafka, diskless kafka и многое другое
В этом уроке:
______________________________
Результат:
В этом уроке:
- как сейчас работают с Kafka так, как еще год назад было нельзя
- может ли теперь Kafka заменить и RabbitMQ
- как хранить петабайты данных в Kafka и зачем
- ML & Kafka — данные для ваших MCP-серверов, обновляемые в реальном времени
______________________________
Результат:
- умеешь применять самые свежие фичи Kafka в рабочих задачах — это даст преимущество при проектировании архитектур новых сервисов
- поймешь, как Kafka может быть полезна в современной AI-oriented архитектуре, чтобы агенты выдавали самые свежие результаты
{
фф"level_of_knowledge": {
фффф"deep": true,
фффф"slight": false
фф}
}
фф"level_of_knowledge": {
фффф"deep": true,
фффф"slight": false
фф}
}
В итоге освоишь Kafka на продвинутом уровне и систематизируешь все знания
/1
Внутреннее устройство и практическое применение
/2
Тонкости, лучшие практики, паттерны и антипаттерны при использовании
/3
Не будет потребности в чтении доплитературы — узнаешь все, что сейчас есть и используется
/4
Готов дизайнить архитектуру сложных распределенных систем, которые полагаются на брокер сообщений
{
фф"comparison_table": {
фффф"row_1": balun_courses,
фффф"row_2": other_schools
фф}
}
фф"comparison_table": {
фффф"row_1": balun_courses,
фффф"row_2": other_schools
фф}
}
отличие этого курса от других — практическое использование Kafka в разработке
Школы
Отличия
Другие
- В большей степени про эксплуатацию — база по инструменту, какие есть настройки и за что они отвечают
- Нет информации, как это проектировать архитектурно
- Программа построена по принципу «от теории к практике»
- Дополнительно затрагивает задачи Data Science-специалистов
Мы
- Глубокий материал — преподаватель 8 лет работал с Kafka и пишет аналог инструмента в Яндексе
- Идем от бизнес-кейсов. Берем рабочую проблему —> изучаем теорию —> решаем проблему
- Фокус только на разработчиках и инженерах
из чего состоит курс
Живые созвоны — длятся по 1.5−2 часа и проходят раз в неделю в свободное от работы время. Есть запись
6 онлайн-уроков в ZOOM
Отточим всю теорию на примере реальных бизнес-кейсов, а для домашних заданий будет референс для самопроверки
Практика и домашние задания
Online-встречи для ответов на вопросы по домашним заданиям и лекциям. Фидбек дает преподаватель — никаких кураторов и помощников
Q&A-сеccии
Посмеяться, обсудить проблему или задать вопрос — на связи преподаватель и другие студенты
Общий чат
Выдадим для подтверждения твоих навыков
Сертификат
Яндекс (YDB)
разрабатывал YDB Topics — масштабируемую замену Apache Kafka, которая работает с сотнями гигабайт сообщений/сек
Т-Банк
руководил разработкой ETL-платформы на kafka: 8000 групп пакетной передачи данных и 70+ потоковой
Райффайзен Банк
ex-Streaming Platform Owner, разрабатывал потоковую платформу с нуля на основе Kafka и ее инструментов
Конференции
спикер Kafka Summit, HighLoad++ и JPoint
Преподает Андрей Серебрянский, ведущий разработчик в Яндекс
8+ лет
коммерческого опыта работы с Kafka
100500 проблем
встречал на практике при использовании Kafka
10+ докладов
по Kafka на ведущих конференциях
150 GB/s
на 1500+ серверов — поток сообщений на практике
Отвечаем репутацией за качество
{
ффф"it_companies": {
ффффф"trust": 100%
ффф}
}
ффф"it_companies": {
ффффф"trust": 100%
ффф}
}
У нас регулярно учатся BigTech-компании, и в списке лишь некоторые из них:
3 из 10
человек после 1-го курса проходят еще несколько
5.0
независимая оценка качества курсов от Яндекса
>1300
человек повысили у нас квалификацию
86.6%
учеников готовы нас рекомендовать знакомым
поддерживаем высокие метрики удовлетворенности
начинаем 8 сентября
Можно оплатить в рассрочку и иностранной валютой. Вернем 100% средств в первую неделю обучения, если не понравится
Стандарт
Только 50 мест
62 600 Р
57 400 Р
Стоимость увеличится через
дней
часов
минут
секунд
Премиум
6 online-занятий раз в неделю
Практика и домашние задания
Q&A-сессии с ответами на вопросы
Общий чат и допматериалы
Доступ к урокам на 1 год
Только 50 мест
65 900 Р
60 700 Р
Стоимость увеличится через
дней
часов
минут
секунд
6 online-занятий раз в неделю
Практика и домашние задания
Q&A-сессии с ответами на вопросы
Общий чат и допматериалы
Доступ к урокам на 2 года
Стандарт
Только 50 мест
45 400 Р
57 400 Р
Скидка с урока действует еще
дней
часов
минут
секунд
Премиум
6 online-занятий раз в неделю
Практика и домашние задания
Q&A-сессии с ответами на вопросы
Общий чат и допматериалы
Доступ к урокам на 1 год
Только 50 мест
48 700 Р
60 700 Р
Скидка с урока действует еще
дней
часов
минут
секунд
6 online-занятий раз в неделю
Практика и домашние задания
Q&A-сессии с ответами на вопросы
Общий чат и допматериалы
Доступ к урокам на 2 года
Оставьте заявку — свяжемся в течение суток, ответим на вопросы и оформим все документы
При таком способе стоимость курса увеличивается на 10% от текущей. Это связано с юридическими издержками на подготовку сделки
Оставить заявку на оплату
Подробнее о корпоративном обучении
Как согласовать обучение с работодателем
При таком способе стоимость курса увеличивается на 10% от текущей. Это связано с юридическими издержками на подготовку сделки
Оставить заявку на оплату
Подробнее о корпоративном обучении
Как согласовать обучение с работодателем
Частые вопросы по курсу
В неделю понадобится ≈8 часов:
Но часы обучения можно подстроить под себя — у тебя останутся записи уроков и Q&A-сессий с разбором вопросов по лекциям и практике. Если в них не получится найти нужные ответы, можно задать вопрос в общем чате с преподавателем
- один урок по 1.5−2 часа
- домашние задания — примерно 3 часа
Но часы обучения можно подстроить под себя — у тебя останутся записи уроков и Q&A-сессий с разбором вопросов по лекциям и практике. Если в них не получится найти нужные ответы, можно задать вопрос в общем чате с преподавателем
Курс ориентирован на разработчиках и архитекторах уровня Middle/Senior
Предварительно знакомиться с Kafka и брокерами сообщений необязательно — во все погрузим с нуля, но для прохождения курса нужно знать:
Предварительно знакомиться с Kafka и брокерами сообщений необязательно — во все погрузим с нуля, но для прохождения курса нужно знать:
- любой backend-язык
- docker
- computer science на базовом уровне
Проверки не будет, но преподаватель даст референс для самопроверки, на который можно будет опираться. А если возникнут вопросы, их можно задать на Q&A-сессиях с преподавателем в Zoom
Курс оплачивается на сайте через платежный виджет. Чек об оплате высылать не нужно, доступ в личный кабинет ученика приходит сразу после оплаты
Мы находимся в процессе получения государственной лицензии, поэтому пока нельзя получить налоговый вычет. Зато можно получить кешбэк на образовательные услуги, если он подключен у тебя в банке
Да, после заполнения формы оплаты ты перейдешь на платежную страницу. Внутри есть системы, работающие с иностранными картами
Да, у нас есть возможность оплатить курс через юридическое лицо.
Чтобы сделать это, пожалуйста, свяжитесь с нами через форму заявки. Отвечаем в течение 1-го дня
Оставить заявку
Чтобы сделать это, пожалуйста, свяжитесь с нами через форму заявки. Отвечаем в течение 1-го дня
Оставить заявку
Да, в течение первой недели обучения ты сможешь вернуть всю стоимость курса за вычетом комиссии платежной системы, если останешься недоволен качеством или поймешь, что курс тебе не подходит
Примерно 50
Да, на курсе все теоретические и практические занятия ведет только один преподаватель. Он же проводит Q&A-сессии и отвечает на вопросы в общем чате.
У нас нет кураторов и помощников — только прямое общение студентов с преподавателем
У нас нет кураторов и помощников — только прямое общение студентов с преподавателем
задать вопрос
Пиши, если есть вопрос по курсу или не знаешь, с чего начать — поможем советом
Kafka — это не просто брокер сообщений, а фундамент для построения распределенных highload-систем.
Кафка позволяет обрабатывать огромные потоки событий в реальном времени, связывать микросервисы и создавать отказоустойчивые data-driven архитектуры. В современных проектах технологию используют для логирования, стриминга данных, ETL-пайплайнов, аналитики и AI-oriented решений. Разработчику важно понимать внутреннее устройство топиков, партиций и репликации, иначе при росте нагрузки система быстро превращается в источник latency и потери данных. О всех тонкостях и нюансах мы расскажем на нашем курсе.
Курс проходит в онлайн-формате, поэтому ты можешь учиться дома, по пути на работу или в любое свободное время. Длительность курса - 1,5 месяца. Курс предполагает 2 варианта участия - у нас есть тарифы "Стандарт" и "Премиум". Разница только во времени доступа к материалам курса - 1 или 2 года.
У нас ты также можешь пройти курсы для продвинутых программистов по Go, System Design, Data Science и другим сферам. Если ты хочешь познакомиться с форматом подачи материалов перед покупкой курса, рекомендуем наши бесплатные уроки по программированию.
С помощью наших курсов студенты получают все необходимые знания, что позволяет добиться повышения или трудоустройства на новую работу - это подтверждается отзывами выпускников, некоторые их которых проходили несколько курсов у нас.
Отметим, что если ты новичок и хочешь перейти в сферу программирования с нуля, наши обучения не подойдут. Наш курс предполагает, что у тебя есть базовые знания в сфере разработки.
У нас можно пройти корпоративное обучение. Ты можешь выбрать любой курс и договориться со своим работодателем о полной или частичной оплате. Чтобы выбрать курс, переходи в каталог, где ты найдешь все доступные учебные программы.
А в отдельной статье мы рассказываем, как убедить работодателя инвестировать в твое обучение.
Кафка позволяет обрабатывать огромные потоки событий в реальном времени, связывать микросервисы и создавать отказоустойчивые data-driven архитектуры. В современных проектах технологию используют для логирования, стриминга данных, ETL-пайплайнов, аналитики и AI-oriented решений. Разработчику важно понимать внутреннее устройство топиков, партиций и репликации, иначе при росте нагрузки система быстро превращается в источник latency и потери данных. О всех тонкостях и нюансах мы расскажем на нашем курсе.
Курс проходит в онлайн-формате, поэтому ты можешь учиться дома, по пути на работу или в любое свободное время. Длительность курса - 1,5 месяца. Курс предполагает 2 варианта участия - у нас есть тарифы "Стандарт" и "Премиум". Разница только во времени доступа к материалам курса - 1 или 2 года.
У нас ты также можешь пройти курсы для продвинутых программистов по Go, System Design, Data Science и другим сферам. Если ты хочешь познакомиться с форматом подачи материалов перед покупкой курса, рекомендуем наши бесплатные уроки по программированию.
С помощью наших курсов студенты получают все необходимые знания, что позволяет добиться повышения или трудоустройства на новую работу - это подтверждается отзывами выпускников, некоторые их которых проходили несколько курсов у нас.
Отметим, что если ты новичок и хочешь перейти в сферу программирования с нуля, наши обучения не подойдут. Наш курс предполагает, что у тебя есть базовые знания в сфере разработки.
У нас можно пройти корпоративное обучение. Ты можешь выбрать любой курс и договориться со своим работодателем о полной или частичной оплате. Чтобы выбрать курс, переходи в каталог, где ты найдешь все доступные учебные программы.
А в отдельной статье мы рассказываем, как убедить работодателя инвестировать в твое обучение.