☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre accueillent Victor Vaneecloo, Data Engineer expérimenté, pour échanger sur ses retours d’expérience autour de dbt (data build tool) et de ses usages en Data Engineering.
Les ressources
👉 Victor sur LinkedIn : https://www.linkedin.com/in/baptiste-wlodarczyk/
➕ rateIndex : https://rateindex.streamlit.app/
➕ Newsletter : https://vaneec.tech/
➕ Site : https://vvaneecloo.ghost.io/
👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/
👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/
➕ Formation SQL sur BigQuery de 3 jours : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance
➕ Newsletter : https://datayoka.notion.site/1355071b...
➕ Blog : https://datayoka.com/blog
Liens vers les articles
1️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-performance-working-at-scale-trade-offs-1-3/
2️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-why-dbt-your-orchestration-layer-one-app-not-two-2-3/
3️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-lets-build-a-production-ready-platform-with-dbt-airflow-3-3/
Chapitres
00:00 Introduction et présentation de l’invité
01:13 Comprendre DBT : définition et enjeux
03:22 Défis et pièges dans l’utilisation de DBT
05:37 Passage à l’échelle de DBT : aspects techniques et organisationnels
09:38 Intégration des modèles incrémentaux dans DBT
11:54 Le rôle de la gouvernance en data engineering
15:34 Intégration de DBT avec les outils d’orchestration
19:39 L’intérêt des monorepos
21:53 Simplifier l’orchestration des données avec Airflow et DBT
23:55 Gouvernance et visibilité dans la gestion des données
25:20 Les avantages du micro-batching
27:09 Présentation d’Elementary pour l’observabilité
29:23 Quand utiliser un traitement complet ou incrémental
31:14 Projets et outils futurs en data engineering
