dbt

dbt (data build tool) — это инструмент для трансформации данных внутри хранилищ данных. dbt позволяет аналитикам и дата-инженерам писать трансформации на SQL, управлять ими как кодом и применять практики разработки ПО — версионирование, тестирование и документирование — к аналитическим пайплайнам.

Модели данных

В dbt трансформации организованы в модели — SQL-файлы с оператором SELECT. dbt компилирует модели, управляет зависимостями между ними и выполняет в правильном порядке. Поддерживаются инкрементальные модели, которые обрабатывают только новые данные, что значительно ускоряет работу с большими объёмами.

Тестирование и качество данных

dbt включает встроенную систему тестирования данных: проверки уникальности, отсутствия NULL-значений, ссылочной целостности и пользовательские тесты на SQL. Тесты запускаются при каждом обновлении моделей, обеспечивая качество данных в аналитическом хранилище.

Документация и линейность

Платформа автоматически генерирует документацию моделей и строит граф линейности данных (data lineage). Это позволяет команде видеть, откуда приходят данные, как они трансформируются и какие отчёты от них зависят.

Версии: Core и Cloud

dbt Core — бесплатная open-source версия с CLI-интерфейсом для локальной разработки. dbt Cloud — управляемая платформа с веб-IDE, планировщиком, мониторингом и командными функциями. Обе версии используют один и тот же язык моделирования.