оптимизация go, как в bigtech
с помощью основ computer science, низкоуровнего программирования, ассемблера и практических фишек, о которых мало кто рассказывает
преподает Senior из Яндекс
|
как попасть
предзапись
поток
поток №2
длительность
5 недель
когда
2024
Обучение подойдет Golang-разработчикам
{
ффф"for_whom": {
ффффф"junior": true,
ффффф"middle": true,
ффффф"senior": true,
ффф}
}
ффф"for_whom": {
ффффф"junior": true,
ффффф"middle": true,
ффффф"senior": true,
ффф}
}
Junior
Тебе нужно уметь писать на Go на элементарном уровне и поверхностно знать устройство компьютера. Всему остальному научим:)
Middle
Senior
Частые проблемы, которые решает курс:
/5
/5
/1
Пишу бизнес-логику и приложения на Go, но не могу разобрать perf-снепшот или прочитать код в сторонней библиотеке
Часто не в теме по рабочим вопросам — хочу обсуждать с коллегами задачи, предлагать идеи и быть полезным (-ой)
/2
Паникую, если нужно оптимизировать код, потому что не знаю, что происходит за пределами синтаксиса
/3
На работе пишу простые фичи, но хочется заниматься чем-то нетривиальным и низкоуровневым
Хочу устроиться в BigTech, но на собеседованиях валюсь на вопросах по внутреннему устройству GO и Computer Science
/4
Не могу разобраться в исходном коде Go, потому что не понимаю, как устроен язык/архитектура компьютера
За 5 недель на практике научишься выжимать все соки из GO
Изучишь сomputer science для работы в BigTech и научишься понимать, как исполняется код от языкового синтаксиса до машинных инструкций
Узнаешь, как устроена операционка + на практике разберешь calling convention и научишься вызывать syscall’ы
С нуля научишься использовать ассемблер в Go для понимания языковых оптимизаций
Научишься оптимизировать код на примерах bigtech-компаний и низкоуровневого программирования
Глубоко разберешь подкапотную low-level пакетов: unsafe и runtime, reflect и debug
Научишься использовать профайлер для оптимизаций CPU, памяти и блокировок
И за счет всех этих знаний сможешь повысить уровень ЗП и свою ценность в компании, как специалиста
ИЗУЧАЕМ ВСЕ, ЧТО BIGTECH-КОМПАНИИ ТРЕБУЮТ В ВАКАНСИЯХ
{
ффф"optimization": {
ффффф"demand": 100%
ффф}
}
ффф"optimization": {
ффффф"demand": 100%
ффф}
}
Вся программа состоит из тем, которые точно пригодятся в работе и которые 100% спросят на собеседовании
Скриншоты вакансий сделаны на hh.ru
На скриншотах представлены вакансии GO-разработчика в:
- Kaspersky Lab
- Cloud.ru
- СБЕР Маркет
- Битрикс 24
10 лекций и 4 домашки — только то, что пригодится в работе
{
ффф"ratio": {
ффффф"theory": 50%,
ффффф"practice": 50%
ффф}
}
ффф"ratio": {
ффффф"theory": 50%,
ффффф"practice": 50%
ффф}
}
/3
/2
Ассемблер в GO, по которому почти нет документации
Выжимка по CS, которому годами учат в универах
Фишки оптимизации в Go, которые применяют в BigTech
/1
Подробная программа
Урок №1 — Микроархитектура процессора
Внутреннее устройство компьютера
Внутреннее устройство процессора
Урок №2 — Оперативная, кеш память
Внутреннее устройство кеша процессора
Внутреннее устройство оперативной памяти
______________________________
Результат:
Внутреннее устройство компьютера
- Industry Standard Architecture (ISA)
- Модели разделения памяти
- Организация чипсетов
Внутреннее устройство процессора
- Архитектура CPU
- Многотактовые процессоры
- Конвеер процессора
- Предсказывание переходов
- Устройство регистров
- Типы команд
- SMT и hyperthreading
- Таксономия Флинна
- Пример процессора на Verilog
Урок №2 — Оперативная, кеш память
Внутреннее устройство кеша процессора
- Кеш линии
- Политики кэширования
- Когерентность кеша
- Политики инвалидации кеша
- Уровни кеша
- Способы размещения данных на уровнях кэша
- Чтение и запись в кеш
Внутреннее устройство оперативной памяти
- Memory endian
- Page tables
- Hierarchical page tables
- Страничная адресация
- Трансляция адресов
- Shared memory
- Direct memory access
______________________________
Результат:
- за пару часов получил(-а) основы Computer Science, которые спрашивают на собеседованиях
- умеешь ускорять код через понимание, как он исполняется «под капотом»
Урок №3 — Архитектура операционных систем
Введение в операционные системы
Прерывания и системные вызовы
Урок №4 — Управления памятью в операционке
Механизмы управления памятью
Абстракции операционной системы
______________________________
Результат:
Домашнее задание:
Введение в операционные системы
- Что такое операционная система и зачем она нужна?
- Архитектура операционных систем (monolitic, micro)
- ASMP, SMP
- User space
- Kernel space
- Пример операционной системы xv6
Прерывания и системные вызовы
- fork(), vfork(), exec(), clone()
- Copy on write оптимизация
- Синхронные, асихнронные прерывания
- User, kernel, interrupt stacks
- Golang syscalls examples
- Буфферизация в дескрипторах
Урок №4 — Управления памятью в операционке
Механизмы управления памятью
- Memory ordering
- Barriers, out-of-order execution
- Memory reclaim
- Виртуальные и физические адреса
- Адресное пространство (ELx)
- Memory mapped files
- Swap file
- Физические адреса
- Memory managment unit
- Translation lookaside buffer
- Линейное выделение памяти
- Фрагментация памяти, аллокаторы
- Пример buddy аллокатора в xv6
Абстракции операционной системы
- Процессы, потоки
- Process context
- Interrupt request
- Taskelts
- OOM Killer
- SLAB
- Pipe
______________________________
Результат:
- за пару часов получил(-а) основы Computer Science, которые спрашивают на собеседованиях
- умеешь ускорять код через понимание, как он исполняется «под капотом»
Домашнее задание:
- написать программы, которые взаимодействуют с операционной системой через сисколы. Написать свои каналы в Go, используя syscall pipe
Урок №5 — введение в ассемблер Go
Введение в ассемблер Go
Урок №6 — инструкции работы со стеком
Стек программы
______________________________
Результат:
Домашнее задание:
Введение в ассемблер Go
- Типы инструкций
- Кроссплатформенность
- Flags register
- Сравнение инструкций
- Addressing modes
Урок №6 — инструкции работы со стеком
Стек программы
- Инструкций работы со стеком
- Red zone
- Guard pages
- Stack overflow
- Локальные переменные
- Соглашения вызова функций
- Стековый фрейм
______________________________
Результат:
- понимаешь, как твоя программа транслируется в ассемблерный код
- умеешь писать собственные программы на ассемблере
Домашнее задание:
- написать свою программу на ассемблере Go
Урок №7 — устройство памяти в Go, бенчмарки
Устройство памяти в Go
Бенчмарки в Go
Урок №8 — оптимизации в Go
Устройство Go
Оптимизации в Go
______________________________
Результат:
Домашнее задание:
Устройство памяти в Go
- Аллокатор Go
- Go арены, спаны
- Go scavenger, madvise calls
- Сравнение с другими языками программирования
- Сборка мусора, балласты
Бенчмарки в Go
- Что такое бенчмарки и зачем они нужны
- Как писать бенчмарки в Go
- Бенчмарки конкурентных программ
Урок №8 — оптимизации в Go
Устройство Go
- Escape analysis
- Устройство типов в Go, виртуальные вызовы
Оптимизации в Go
- Примеры базовых оптимизаций
- Работа с пакетом unsafe, работа с uintptr
- Bounds check elimination
- sync.Pool
- Copy and allocate optimizations
- Пакет reflect, законы рефлексии в Go
- Small-size объекты
______________________________
Результат:
- понимаешь внутреннее устройство рантайма Go с точки зрения управления памятью
- умеешь работать с low-level пакетами и рефлексией Go
- на практике умеешь применять оптимизации в Go
Домашнее задание:
- используя рефлексию Go, написать свою собственную реализацию RPC
- С помощью unsafe пакета написать нетривиальные функции. Например, которые не делают лишние копии данных. Дополнительно написать бенчмарки
Урок №9 — управление внутренним состоянием рантайма Go
Управление внутреннем состоянием рантайма Go
Использование продвинутых техник
Урок №10 — профилирование в Go
Профилирование в Go
______________________________
Результат:
Домашнее задание:
Управление внутреннем состоянием рантайма Go
- Пакет runtime, анализ внутреннего состояние приложения, профилирование
- Пакет debug, способы контролировать внутреннее состояние рантайма Go
- Проблемы фрагментации, сборки мусора, нехватки памяти в приложениях и их решения
Использование продвинутых техник
- Выбор аллокаторов
- CGO, примеры использования
- PGO
Урок №10 — профилирование в Go
Профилирование в Go
- Внутреннее устройство профилировщика Go
- Как работать с профилировщиком Go (CLI, Web)
- Типы профилировщиков
- Накладные расходы при профилировании
______________________________
Результат:
- умеешь оптимизировать приложение, используя продвинутые пакеты Go, которые позволяют управлять внутренним состоянием рантайма
- умеешь профилировать приложение
Домашнее задание:
- написать свой микросервис, включив в него работу с CGO, сделать профилирование и применить PGO
Понимание исполнения кода «под капотом» дает возможность его ускорить.
Например, почему в матрице лучше итерироваться по строкам, а не по столбцам или почему хранить что-либо на стеке лучше, чем на куче
Например, почему в матрице лучше итерироваться по строкам, а не по столбцам или почему хранить что-либо на стеке лучше, чем на куче
Понимание, как именно мы взаимодействуем с операционкой может ответить на многие вопросы оптимизаций.
Например, почему при необходимости лучше использовать буферизированное чтение/запись или direct буфферы при работе с сетью
Например, почему при необходимости лучше использовать буферизированное чтение/запись или direct буфферы при работе с сетью
Результат обучения в блок-схеме
До
После
Верхнеуровнево понимаешь взаимодействие пользователя с приложением
Понимание исполнения кода выходит за рамки приложения — умеешь ускорять любой код
Весь процесс обучения по шагам
Уроки длятся по 2 часа два раза неделю и проходят в свободное от учебы и работы время. Запись уроков останется у тебя навсегда
Ходишь на онлайн-уроки в Zoom
Домашка полностью моделируют реальные ситуации, чтобы ты на 100% был(-а) готов к работе над коммерческими проектами
Делаешь домашку с упором на коммерческую практику
Домашние задания необязательные. Без их сдачи
можно изучать все лекции
можно изучать все лекции
Домашки проверяются автоматизированно, а все вопросы можно задать на онлайн-встречах
Проверяешь ДЗ с помощью тестов и задаешь вопросы на Q&A-cесиях
Прокачаешься не только на домашках, но и на решении бизнес-задач, которые уже встречались в IT-компаниях или встретятся тебе в будущем
Разбираешь кейсы BigTech-компаний
Получишь целый список учебников, статей, курсов и видео, которые позволят тебе изучить оптимизацию в GO еще глубже
Изучаешь дополнительные материалы
Преподает Senior-разработчик из Яндекса — Игорь Панасюк
разрабатываю платёжный движок, через который проводят платежи все коммерческие сервисы Яндекса
Yandex
ex-преподаватель курса по Golang
ITMO
занимаюсь программированием
5+ лет
менторства и преподавания в ИТМО
350+ часов
учеников обучились на моих курсах
> 100
практики на проектах Яндекса
4000+ часов
пример подачи и качества материала
Это был первый поток, и здесь пока нет отзывов
{
ффф"feedback": {
ффффф"quantity": 0
ффф}
}
ффф"feedback": {
ффффф"quantity": 0
ффф}
}
Но у нас есть другие курсы, которые преподаются >1 года и где есть классный фидбек
System Design
Сoncurrency в GO
★ 4,94 / 5
★ 4,89 / 5
300+ учеников, обучено 7 потоков
100+ учеников, обучено 2 потока
Подготовка к алгоритмическим собеседованиям
Микросервисы, как в BigTech
★ 4,89 / 5
★ 4,92 / 5
150+ учеников, обучено 4 потока
150+ учеников, обучено 2 потока
Как только курс будет доступен к прохождению, ты первым (-ой) узнаешь о самой выгодной цене для покупки
Забронируй за собой место в анкете предзаписи
предзапись бесплатная
Развеиваем мифы
- СергейКакой смысл, если это может мне не пригодиться?
- ИгорьОптимизация кода — нечастая проблема, но эта задача бывает нужна, и круто, когда ты умеешь ее решать. К тому же, вопросы по оптимизации, Computer Science и нюансам GO задают на собеседованиях. Прямо сейчас у тебя может не быть потребности в оптимизации, но этот навык может отразиться на твоей карьере в будущем
- МарияЯ не знаю ассемблер и ничего не пойму
- ИгорьКурс не требует от тебя знания ассемблера и глубоких знаний в Computer Science. Мы всему научим:)
- ЕвгенийВ интернете куча бесплатных статей по оптимизации
- ИгорьДа, на курсе буду делиться только уникальным опытом работы в Яндексе. За 5 недель я расскажу все, чем пользуюсь сам и что пригодится на работе и собеседованиях:
- Устройство архитектуры компьютера и операционных систем, которое изучают годами в универе
- Низкоуровневые концепты и Ассемблер Go, с которыми очень сложно разобраться без должных примеров и объяснения
- Свой опыт, инсайты и фишки, которые применяю в работе
Особенность курса в том, что контент, который есть в программе, очень трудно найти в интернете. Это все чисто мой опыт)
Боишься, что курс не понравится?
Протестируй его на бесплатном уроке
Поймешь, как и во что компилируется код на Go на разных платформах
Научишься писать и запускать код с использованием Go ассемблера
В live-режиме ускоришь инфраструктурные функции, используя векторные инструкции процессора
Задашь любые вопросы
Senior-разработчику
Научишься методам оптимизации кода, которыми пользуются в Яндексе
Частые вопросы
{
ффф"questions": {
ффффф"quantity": 8
ффф}
}
ффф"questions": {
ффффф"quantity": 8
ффф}
}
Курс подойдет для любого грейда. Если ты Junior, придется немножко поднапрячься, но качественно усвоить материал все равно получится)
Для обучения на курсе тебе нужно уметь писать на Go на элементарном уровне и поверхностно знать устройство компьютера. Всему остальному научим
Для обучения на курсе тебе нужно уметь писать на Go на элементарном уровне и поверхностно знать устройство компьютера. Всему остальному научим
Лекции курса можно смотреть с любого устройства, а для сдачи домашек потребуется IDE, в которой ты пишешь код
Да, при оформлении покупки тебе будет доступна такая возможность. Более того, оплатить можно в другой валюте
Да, у нас есть возможность произвести оплату обучения в качестве юридического лица.
Чтобы сделать это, пожалуйста, оставьте заявку на оплату, мы свяжемся с вами в ближайшее время:)
Оставить заявку на оплату
Чтобы сделать это, пожалуйста, оставьте заявку на оплату, мы свяжемся с вами в ближайшее время:)
Оставить заявку на оплату
Да, ты сможешь вернуть всю стоимость курса в течение первой недели обучения, если останешься недоволен качеством курса или поймешь, что он тебе не подходит
На курсе у тебя будет 2 урока в неделю примерно по 2 часа. Дополнительно придется выделять несколько часов в неделю на домашние задания.
Однако ты сможешь проходить курс в удобном для себя темпе – записи уроков останутся с тобой навсегда. Домашки проверяются автоматизированно, а все вопросы можно задавать в чате даже после окончания курса:)
Однако ты сможешь проходить курс в удобном для себя темпе – записи уроков останутся с тобой навсегда. Домашки проверяются автоматизированно, а все вопросы можно задавать в чате даже после окончания курса:)
Если ты не успел сдать ДЗ в дедлайн, ты всегда сможешь сдать его чуть позже. Все домашки будут проверяться автоматизированно с помощью тестов, а вопросы можно задавать в чате и на Q&A-сессиях
Да, курс ведет только один преподаватель. Он же отвечает на вопросы в чате и проводит Q&A-сессии. У нас нет кураторов и помощников — только прямое обучение с преподавателем
Остались вопросы?
Если у тебя срочный вопрос, можешь написать нам в Telegram-бот
Если ты готов немного подождать, оставляй вопрос на сайте — мы свяжемся с тобой в ближайшее время