Observability, как в BigTech
Глубокий курс о том, как поставлять логи, метрики, трейсы, делать информативные дашборды, быстро устранять инциденты и правильно интерпретировать данные
Преподает SRE из крупнейшего TravelTech
длительность
2,5 месяца
когда
11 ноября
поток
поток №2
время уроков
19:00 МСК, ВТ
Подойдет backend-разработчикам от уровня Middle
{
ффф"for_developers": {
ффффф"junior": false,
ффффф"middle": true,
ффффф"senior": true
ффф}
}
ффф"for_developers": {
ффффф"junior": false,
ффффф"middle": true,
ффффф"senior": true
ффф}
}
- умеешь работать с Docker Compose
- имеешь опыт работы с терминалом
- умеешь использовать Grafana
Будет проще, если:
Будет полезно, но сложно. На этом грейде не требуют знаний observability, но если не пугает сложность и ты хочешь быстрее расти — you are welcome:)
SRE и DevOps будет полезно, если нужно:
В остальном этот курс — комплекс знаний о том, как backend-разработчику на практике применять observability, как в BigTech
- узнать о работе grafana, prometheus и других инструментов observability
- научиться применять это в работе, и понять, что в каких случаях лучше использовать
- узнать best practices надежной разработки
- научиться собирать полезные и информативные дашборды для технических целей и бизнеса
- научиться правильно интерпретировать данные из дашборда
В остальном этот курс — комплекс знаний о том, как backend-разработчику на практике применять observability, как в BigTech
Практика на Golang, но знания применимы ко всем ЯП
Инструментация observability универсальна, и различия в языках минимальные. Если переживаешь за усвоение материала, пробегись по основам Go. Это бесплатно и займет пару вечеров
Инструментация observability универсальна, и различия в языках минимальные. Если переживаешь за усвоение материала, пробегись по основам Go. Это бесплатно и займет пару вечеров
Вопросы, на которые ответит курс
/1
Как правильно строить дашборды, алерты интерпретировать данные на уровне Senior’ов
и TeamLead'ов
и TeamLead'ов
/2
Как строить полезные метрики, которые не расходуют лишние ресурсы на хранение
/3
Как писать логи, в которых потом легко разобраться
/4
Как правильно оценить нагрузку для новой фичи или сервиса и уменьшить количество инцидентов
/5
Как найти причину инцидента за пару минут и всегда держать руку на пульсе
/6
Как с помощью Observability экономить деньги работодателю, показывать бизнес-метрики и повышать себе ЗП на perfomance review
За 2,5 месяца изучаем best practices, которые используют в BigTech
Глубоко изучишь основы и лучшие практики Observability: метрики, логи, трейсы и многое другое
Научишься инструментировать любые сервисы для достижения хорошего observability
Научишься эксплуатировать сервисы: настройка, масштабирование и оптимизация инфраструктуры для сбора метрик, настройка хранилищ и систем алертинга
Построишь эффективные и не перегруженные дашборды для мониторинга состояния системы и приложений
Научишься управлять стабильностью системы и предсказывать ее поведение
Изучишь все плюсы и минусы Prometheus, Grafana Loki, Jaeger и поймешь, что и когда нужно использовать
// дашборд, который ты научишься строить в конце курса
12 уроков, 4 ДЗ, Highload-подходы и много кода
{
ффф"ratio": {
ффффф"practice": 60%,
ффффф"theory": 40%
ффф}
}
ффф"ratio": {
ффффф"practice": 60%,
ффффф"theory": 40%
ффф}
}
программа курса
Теория:
Практика:
- Что такое Observability: основные аспекты (метрики, логи, трейсы, профили).
- Зачем нужна наблюдаемость для микросервисов.
- Структурные отличия observability для монолитов и микросервисов.
- Инструменты Observability: обзор (Prometheus, Graphite, Grafana, Grafana Alloy, Grafana Pyroscope, Grafana Tempo, OpenTelemetry, Loki, Jaeger, Clickhouse).
Практика:
- Настройка базового проекта на Go.
- Интеграция базового мониторинга с Prometheus и с push gateway.
- Интеграция с graphite
- Интеграция с Loki
- Примеры использования инструментов observability
- Пример сбора runtime-метрик golang приложения.
Теория:
Практика:
- Разные подходы к работе с метриками: push vs pull.
- Архитектура Prometheus.
- Кардинальность метрик: что это и почему важно.
- Влияние системы сбора метрик на производительность.
- Эффективное именование метрик
- Разница бизнес метрик и технических метрик
- Влияние метрик на принятие бизнес решений
Практика:
- Создание и экспорт пользовательских метрик: счетчики, гистограммы, таймеры, скаляры (gauges), summaries.
- Анализ влияния высокой кардинальности на производительность.
Теория:
Практика:
- Особенности архитектуры хранилищ метрик (Prometheus TSDB, VictoriaMetrics, Thanos, Graphite, Clickhouse).
- Выбор хранилища в зависимости от нагрузки и объемов данных.
- Проблемы хранения большого объема данных: retention, агрегация, компрессия.
Практика:
- Оптимизация сбора метрик prometheus с тяжелых endpoints
- Антипаттерны реализации /metrics в связке с prometheus
- Настройка локального Prometheus в связке с VictoriaMetrics и удаленного хранилища.
- Использование graphite.
- Импорт/Экспорт метрик.
- Сравнение производительности при использовании разных хранилищ.
Теория:
Практика:
- Как правильно писать запросы для визуализации (PromQL, VictoriaMetricsQL, SQL-источники)
- Нюансы агрегаций (sum, avg, rate, increase, histogram_quantile)
- Квантили, перцентили и как их корректно использовать
- Частые ошибки в запросах (double aggregation, неправильный rate, слишком «дорогие» запросы)
Практика:
- Написание базовых и сложных запросов
- Сравнение разных способов агрегации одной и той же метрики
- Управление метриками: агрегация, квантили, экспоненциальное скользящее среднее
Теория:
Практика:
- Лучшие практики построения дашбордов
- Антипаттерны построения дашбордов
- Типы графиков и их применение: временные ряды, heatmap, гистограммы, gauges, etc.
- Как избежать перегруженных дашбордов
- 4 Golden Signals и их значение для мониторинга
- RED/USE методы построения дашбордов
Практика:
- Создание дашбордов в Grafana для анализа Golden Signals
- Практическое задание: построить дашборд для микросервиса
- Продвинутая настройка grafana: версионирование дашбордов, интеграция с несколькими источниками данных, переменные, зависимости переменных, кастомные визуализации, annotations, группировка панелей
Теория:
Практика:
- Подходы к логированию: текстовые и структурированные логи.
- Стандарты форматирования логов (JSON, OpenTelemetry Logs).
- Фильтрация и нормализация логов
- Скрытие конфиденциальной информации
- Уход от ELK в сторону grafana stack, плюсы и минусы использования ELK
Практика:
- Интеграция структурированного логирования с logrus или zap, использование slog
- Настройка Loki для агрегации логов.
- Использование fluentbit для фильтрации и отправки логов.
- Написание запросов в Loki для анализа логов.
- Уменьшение объема логов без потери данных.
Теория:
Практика:
- Что такое трейсы и зачем они нужны.
- Основы работы OpenTelemetry Trace.
- Корреляция трейсов, логов и метрик.
- OpenTelemetry как единый стандарт для метрик, логов и трейсов
- Архитектура и возможности OpenTelemetry
- Преимущества и сложности перехода на OpenTelemetry.
- Observability асинхронных систем
- Автоматическая интеграция OpenTelemetry на уровне инфраструктуры (http, sql), интеграция и корреляция на стыке систем (сервис + БД + API gateway)
- Обзор последних трендов: eBPF для мониторинга (OpenTelemetry), AIOps.
Практика:
- Интеграция OpenTelemetry в приложение. Golang zero code instrumentation
- Настройка Jaeger для распределенного трейсинга.
- Настройка Grafana Alloy для трейсинга
- Анализ проблем на основе трейсов (высокая latency, ошибки)
- Корреляция логов/метрик/трейсов (OpenTelemetry semantic conventions.
- Отладка сети с помощью OpenTelementry
- Автоматизация прокидывания requestId сквозь разные слои сервисов
- Миграция с Prometheus + Jaeger на OpenTelemetry.
- Настройка сборщиков для метрик, логов, трейсов через OpenTelemetry Collector.
Теория:
Практика:
- Проблема избыточности данных: что собирать, а что нет.
- Автоматизация интеграции метрик и логов в большое количество сервисов.
- Влияние нагрузки от системы наблюдаемости на производительность.
- Выбор агрегируемых данных/агрегация метрик.
- Проблемы мониторинга микросервисов: автоматическое обнаружение сервисов, динамическое масштабирование.
- Adaptive metrics — удаление неиспользуемых метрик
Практика:
- Настройка rate-лимитов для систем сбора метрик.
- Сэмплирование трейсов.
- Отладка долгих запросов, анализ причин деградации
- Создание шаблона для быстрой интеграции метрик и логов в новый сервис.
- Измерение влияния observability на приложение.
- Использование pprof для анализа (grafana pyroscope, flamegraphs), golang continuous profiling
- Traces to profiles
- Управление доступом к метрикам, логам, трейсам, аудит
Теория:
Практика:
- Как писать запросы для алертов (prometheus, graphite)
- Алерты из метрик, алерты из логов
- Настройка порогов для Golden Signals.
- Предотвращение перегрузки системы алертинга.
- Автоматизация алертинга.
- Дашборды для SLO
Практика:
- Настройка Alertmanager.
- Настройка алертинга в Grafana.
- Написание запросов для сложных алертов.
- Интеграция с уведомлениями (Slack, Email, PagerDuty).
- Маскирование ошибок неправильными запросами (примеры: transformNull, пропадание метрики)
Теория:
Практика:
- Взаимосвязь метрик и механизмов устойчивости (rate limiters, circuit breakers).
- Применение метрик для автоматической деградации.
- Подготовка системы к пиковым нагрузкам.
- Метрики для управления поведением системы:
- Примеры: Circuit Breakers, Graceful Degradation.
- Адаптивные rate limiters.
- Использование метрик для прогнозирования:
- Сезонные паттерны нагрузки.
- Прогнозирование с использованием ML-библиотек.
Практика:
- Реализация graceful degradation на основе метрик.
- Использование метрик для предсказания нагрузки (на основе данных прошлого года).
- Настройка circuit breakers.
Теория:
Практика:
- Введение в SRE и роль Observability:
- Error Budgets.
- Применение Top-Down анализа.
- Баланс между объемом данных и их ценностью:
- Что хранить, а что игнорировать.
- Построение системы observability для N-сервисов:
- Обработка синхронных/асинхронных взаимодействий.
- Кейсы деградации цепочек вызовов.
Практика:
- Разработка observability для системы из нескольких Go-сервисов.
- Анализ деградации цепочек вызовов через трейсы и метрики.
Теория:
Практика:
- Построение наблюдаемости для системы из множества сервисов.
- Подходы к массовой интеграции метрик в микросервисы:
- Конфигурация экспортеров и SDK.
- Шаблонизация дашбордов.
- Автоматизация алертинга: CI/CD для observability.
- Автоматизация деплоя observability стека
- Как не перегрузить систему мониторинга сложными алертами
- Синхронные и асинхронные взаимодействия: мониторинг и алертинг.
- Дизайн метрик и root cause analysis.
- Борьба с избыточным количеством метрик.
- Предсказания
- AI для алертинга
- Использование service mesh istio для улучшения наблюдаемости системы, kiali для визуализации, автоматизация сбора метрик на уровне инфраструктуры, header propagation
Практика:
- Создание комплексного дашборда для системы из N сервисов.
- Написание эффективных запросов
- Настройка cross-service трейсов.
- Проведение RCA с использованием метрик, логов и трейсов.
- Автоматизация конфигураций метрик и алертов с помощью Helm и Terraform.
дашборд, который ты научишься строить в конце курса
{
ффф"observability": {
ффффф"musthave": true;
ффф}
}
ффф"observability": {
ффффф"musthave": true;
ффф}
}
Почему observability — это musthave и где это еще пригодится?
Весь процесс обучения по шагам
Уроки длятся по 1,5−2 часа раз в неделю и проходят в свободное от учебы и работы время
Ходишь на интерактивные онлайн-уроки в ZOOM
В каждом ДЗ работаем над задачами, которые встречаются на работе. Одна из многих — поиск инцидента на prod’е
Делаешь домашку в виде рабочих кейсов
Домашние задания не требуют проверки — при выполнении ты сам (-а) поймешь, правильно все сделано или нет. Но все вопросы можно задавать на online-встречах
Ходишь на Q&A-сеccии и задаешь вопросы
Посмеяться, обсудить проблему или задать вопрос — на связи целое комьюнити разработчиков
Общаешься в чате
Получишь список книг, статей, курсов и видео, которые позволят изучить Observability еще глубже
Изучаешь дополнительные материалы
Преподает Виталий Лихачев
SRE в TravelTech, который ты точно знаешь
повышаю стабильность и надежность систем с сотнями миллионов пользователей
NDA (TravelTech)
ex-senior разработчик платформы авторизации
Avito Tech
ex-разработчик системы управления складами
EPAM
средняя оценка учеников
{
ффф"reviews": {
ффффф"reliability": true
ффф}
}
ффф"reviews": {
ффффф"reliability": true
ффф}
}
4.94 / 5
начинаем 11 ноября
Можно оплатить иностранной валютой, а еще есть 100% возврат денег в первую неделю обучения, если не понравится или не подойдет
Стандарт
Только 50 мест
53 100 Р
64 600 Р
До увеличения стоимости
дней
часов
минут
секунд
Премиум
12 практических занятий
Домашние задания
Q&A-сессии с ответами на вопросы
Общий чат и допматериалы
Доступ к курсу на 1 год
Только 50 мест
68 800 Р
68 100 Р
До увеличения стоимости
дней
часов
минут
секунд
12 практических занятий
Домашние задания
Q&A-сессии с ответами на вопросы
Общий чат и допматериалы
Доступ к курсу на 2 года
Свяжитесь с нами через форму заявки, мы ответим в ближайшее время!
При таком способе стоимость курса увеличивается на 10% от текущей. Это связано с юридическими издержками на подготовку сделки — работа юристов, договоры, оферта:(
Оставить заявку на оплату
Подробнее о корпоративном обучении
При таком способе стоимость курса увеличивается на 10% от текущей. Это связано с юридическими издержками на подготовку сделки — работа юристов, договоры, оферта:(
Оставить заявку на оплату
Подробнее о корпоративном обучении
У нас можно учиться за счет работодателя
{
ффф"it_companies": {
ффффф"trust": 100%
ффф}
}
ффф"it_companies": {
ффффф"trust": 100%
ффф}
}
Ниже — компании, которые уже обучили у нас сотрудников. При таком способе оплаты стоимость будет выше на 10%
Это связано с издержками на подготовку договоров и актов:(
Частые вопросы
Курс для backend-разработчиков уровня Middle и выше. Нужно уметь работать с Docker Compose и писать файлы конфигурации, иметь опыт работы с Linux или терминалом, а также использовать Grafana.
Курс будет полезен и для Junior-разработчиков, но будет сложно. На этом уровне знания observability обычно не требуются, но если сложность не пугает и хочется быстрее расти, присоединяйся!
Курс будет полезен и для Junior-разработчиков, но будет сложно. На этом уровне знания observability обычно не требуются, но если сложность не пугает и хочется быстрее расти, присоединяйся!
Курс оплачивается на сайте через платежный виджет GetCourse. Чек об оплате высылать не нужно, доступ в личный кабинет ученика приходит сразу после оплаты
Мы находимся в процессе получения государственной лицензии, поэтому пока не получится получить налоговый вычет. Зато можно получить кешбэк на образовательные услуги, если он подключен у тебя в банке
Да, наша школа работает в партнерстве с Tinkoff Банком, поэтому ты можешь оплатить обучение из любой страны
Да, у нас есть возможность произвести оплату обучения в качестве юридического лица.
Чтобы сделать это, пожалуйста, свяжитесь с нами через форму заявки, мы свяжемся с вами в ближайшее время
Оставить заявку на оплату курса от лица компании
Чтобы сделать это, пожалуйста, свяжитесь с нами через форму заявки, мы свяжемся с вами в ближайшее время
Оставить заявку на оплату курса от лица компании
Да, ты сможешь вернуть всю стоимость курса в течение первой недели обучения, если останешься недоволен качеством или поймешь, что курс тебе не подходит
Примерно 50
На курсе у тебя будет 1 урок в неделю примерно по 1.5-2 часа.
Несмотря на это, ты сможешь проходить курс в удобном для себя темпе и формате — у тебя будут записи уроков, поэтому ты легко сможешь наверстать упущенное
Несмотря на это, ты сможешь проходить курс в удобном для себя темпе и формате — у тебя будут записи уроков, поэтому ты легко сможешь наверстать упущенное
Не проблема — можешь сдать позже.
К тому же, домашние задания не требуют проверки — при выполнении ты сам (-а) поймешь, правильно все сделано или нет. Но все вопросы можно задавать на online-встречах или в чате — преподаватель или сокурсники во всем помогут
К тому же, домашние задания не требуют проверки — при выполнении ты сам (-а) поймешь, правильно все сделано или нет. Но все вопросы можно задавать на online-встречах или в чате — преподаватель или сокурсники во всем помогут
Да, курс ведет только один преподаватель, он же автор курса и разработчик — Виталий Лихачев. Он же проводит Q&A-сессии и отвечает на вопросы в общем чате.
У нас нет кураторов и помощников — только прямое общение студентов с преподавателем
У нас нет кураторов и помощников — только прямое общение студентов с преподавателем
Остались вопросы?
Если у тебя срочный вопрос, можешь написать нам в Telegram-бот
Если ты готов немного подождать, оставляй вопрос на сайте — мы свяжемся с тобой в ближайшее время