Построите data-пайплайны в Airflow и обработку в Spark. Освоите Python, SQL и Hadoop.
Чему научитесь
- Перезапускать упавшие задачи пайплайна
- Раскладывать файлы по кластеру HDFS
- Запрашивать данные в Hive обычным SQL
Показано 2 из 2 найденных курсов
Построите data-пайплайны в Airflow и обработку в Spark. Освоите Python, SQL и Hadoop.
Чему научитесь
Освоите Hadoop, Spark, Airflow и Hive на практике. Курс для тех, кто уже пишет на Python.
Чему научитесь
Подборка курсов Apache Airflow — стандарта оркестрации пайплайнов данных. Программы охватывают описание пайплайнов в виде DAG на Python, операторы и сенсоры, расписания и зависимости задач, повторные запуски и обработку ошибок, мониторинг, развёртывание Airflow в продакшене. На странице — зачем дата-инженеру Airflow, какая база нужна на входе, сравнение программ по цене и формату и обзор зарплат в 2026 году.
| Название курса | Платформа | Цена | Длительность | Уровень |
|---|---|---|---|---|
| Профессия Data Engineer | Skillbox | от 5 370 ₽/мес | 12 мес | Начинающий |
| Data Engineering | Skillfactory | 29 900 ₽ | 3 мес | Средний |
Apache Airflow — стандарт оркестрации пайплайнов данных. Он позволяет описывать сложные последовательности задач в виде DAG (направленных ациклических графов) на Python, запускать их по расписанию, выстраивать зависимости между шагами, перезапускать упавшие задачи и мониторить выполнение. Для дата-инженера и ETL-разработчика Airflow — почти обязательный инструмент: именно он управляет регулярной загрузкой и трансформацией данных в хранилище. Этот навык указывают практически во всех вакансиях направления.
База для курса — уверенный Python (DAG пишут на нём) и желательно SQL. Airflow осваивают начинающие и средние дата-инженеры и ETL-разработчики. Отдельные курсы стоят 25 000-60 000 ₽ за 1-2 месяца, но чаще Airflow входит ключевым модулем в полные программы дата-инженера (130 000-250 000 ₽). Сам по себе Airflow — не отдельная профессия, а базовый инструмент: зарплаты дата-инженеров с этим навыком в Москве — от 150 000-220 000 ₽/мес у junior до 400 000-600 000 ₽ у senior. Логично изучать его вместе с dbt и Spark.