[Слёрм] Apache Kafka [Анатолий Солдатов, Александр Миронов]

395

Преимущества курса:
✓ Методология Слёрм
Мы расскажем об Apache Kafka в простой и последовательной форме, вам не придется изучать сложную документацию.
✓ Работа на результат
Техподдержка поможет каждому студенту справиться с практическими заданиями и добиться поставленных целей.
✓ Курс на русском языке
Практический курс по Apache Kafka на русском языке, вам будет проще усвоить материал, задавать вопросы и общаться с коллегами.
✓ Практикующие эксперты
Вы будете учиться у специалистов, которые уже несколько лет работают с Apache Kafka, знают о важных нюансах и будут делиться своим опытом с вами.
Необходимые знания:
а) Базовые знания и навыки работы с Git и Docker
— клонирование репозитория, добавление в него файла, commit, push.
— сборка docker-образов и запуск контейнеров из них.
б) Хорошее знание Linux
— умение работать с systemd, sudo, ip, ifconfig, cron;
— знание bash на уровне написания (минимум чтения) скриптов;
— умение работать с консолью (автокомплит, хистори и т.д.);
— знание основных утилит в линукс (ps, grep, cat, free и т.д.).
Программа курса:
Курс состоит из бесплатной части (вводная, для ознакомления) и платной (основная часть)!!!
Бесплатный блок (Курс будет доступен в личном кабинете EDU.SLURM.IO после регистрации):
1. Введение

  • Немного истории: почему лог и стриминг важны, и занимают значительное место в бизнес процессах компаний.

2. Базовые основы технологии

  • Место Кафки в жизни корпорации.
  • Сравнения с подобными технологиями.
  • Базовые примитивы: брокеры, топики, партиции, оффсеты, retention — обзор экосистемы (коннекторы, фреймворки).

3. Installation & single broker cluster

  • Создание и конфигурация топиков — первая запись и первое чтение (из консоли и клиентом).
  • Zookeeper (basic knowledge).

Программа основного/платного курса:
№1: Distributed Cluster

  • Конфигурационные параметры кластера.
  • Отказоустойчивость (replication, RF, ISR, leader election).
  • Контроллер — multi-DC setup: rack-awareness (MirrorMaker 2.0, uReplicator) — примеры архитектур.

№2: Клиенты

  • Producer (lingering, batching, acks).
  • Consumer (standalone, consumer group).
  • Как (не) потерять данные: strong consistency vs. availability (acks, jepsen).
  • Idempotence & transactions.

№3: Мониторинг

  • Key metrics.
  • Key alerts.
  • SLI & SLO for streaming infrastructure.

№4: Performance analysis & tuning

  • Benchmarking.
  • Изменение конфигурационных параметров и их оптимизация.

№5: Обслуживание сервера и траблшутинг

  • Балансировщик: partition assignment & repartitioning (hotspots, throttling, tools).
  • Upgrades & downgrades.
  • Чтение логов.
  • Продвинутые инструменты (decoding __consumer_offsets, dumping binary blobs, forcing controller re-election, zookeeper data).
  • Примеры из практики, real-life кейсы.