Инженер данных

1. Блок 1
2. Часть программы курса
3. 1

   Модуль 1

   Вводный

   Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к

4. 2

   Модуль 2

   Начнём погружение в инженерию данных со знакомства с базами данных: реляционными и MPP (с массово-параллельной обработкой данных). Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях MPP СУБД

5. 3

   Модуль 3

   ETL — это процесс извлечения, преобразования и загрузки, который является ключевым в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow

6. 4

   Модуль 4

   Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев

7. 5

   Модуль 5

   Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает процессы извлечения, преобразования и загрузки (etl-процессы) в Airflow крупной двухуровневой

8. 6

   Модуль 6

   Рассмотрим облачные решения и инструменты для построения хранилища (DWH) и озера (Data Lake) данных. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим

9. Блок 2
10. Часть программы курса
11. 7

    Модуль 7

    Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует

12. 8

    Модуль 8

    Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.

13. 9

    Модуль 9

    В работе инженеры часто сталкиваются с подготовкой данных для обучения моделей машинного обучения. Рассмотрим инструменты для построения циклов машинного обучения (ML-пайплайнов), версионирования набора данных

14. 10

    Модуль 10

    На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим

Состав модулей зависит от тарифа. Точную программу уточняйте у школы.

Обучение онлайн из любого региона. Есть казахстанский домен школы.