Episode 7. Ein tiefer Einblick in SQLMesh: Strukturierte Abfragevalidierung und sicheres Pipeline-Testing mit Michiel De Muynck
19.06.2025
•
Kris Peeters & Michiel De Muynck - Der Data Playbook Podcast
Michiel De Muynck erkundet SQLMesh: semantische Schicht, virtuelle Datenumgebungen und Unit-Tests für SQL-basierte Analysen.
In dieser Episode von The Data Playbook werfen wir einen technischen Blick auf SQLMesh, ein Datentransformationsframework, das entwickelt wurde, um den Workflow und die Zuverlässigkeit von SQL-basierten Datenpipelines zu verbessern. Moderiert von Kris Peeters, bietet die Episode Michiel De Muynck, Senior Data Engineer bei Dataminded, der einen tiefen Einblick in die internen Mechanismen von SQLMesh gibt, einschließlich seiner Verwendung von semantischer Analyse und isolierten Laufzeitumgebungen. Michiel umreißt, wie sich SQLMesh von Werkzeugen wie dbt unterscheidet, indem es einen semantischen Parser für SQL integriert, der strukturelle Validierung und präzisere Fehlermeldungen während der Entwicklung von Pipelines ermöglicht. Er erklärt auch die Implementierung von virtuellen Datenumgebungen, die es Dateningenieuren ermöglichen, Transformationen zu staggen, zu testen und zu versionieren, ohne Produktionsdatensätze zu beeinträchtigen, was sicherere Iterations- und Bereitstellungsprozesse unterstützt.
Hören & Ansehen auf Spotify
Hören Sie auf Apple Podcasts
Latest
How OBI Built a Lean, High-Impact AI Function That Scales
How OBI builds high-impact AI use cases : From GenAI realism to team structure, impact-first use cases, and avoiding the hype.
A Structured Framework for Building Successful Data Solutions
In this episode we talk with Frederic Vanderveken about a practical framework to make sure you’re building the right data solutions.
Data Science vs Data Engineering: Breaking the Wall
Breaking the wall between data science and data engineering with practical lessons on testing, notebooks, and production-ready data work.
