Episode 7. Ein tiefer Einblick in SQLMesh: Strukturierte Abfragevalidierung und sicheres Pipeline-Testing mit Michiel De Muynck
19.06.2025
•
Kris Peeters & Michiel De Muynck - Der Data Playbook Podcast
Michiel De Muynck erkundet SQLMesh: semantische Schicht, virtuelle Datenumgebungen und Unit-Tests für SQL-basierte Analysen.
In dieser Episode von The Data Playbook werfen wir einen technischen Blick auf SQLMesh, ein Datentransformationsframework, das entwickelt wurde, um den Workflow und die Zuverlässigkeit von SQL-basierten Datenpipelines zu verbessern. Moderiert von Kris Peeters, bietet die Episode Michiel De Muynck, Senior Data Engineer bei Dataminded, der einen tiefen Einblick in die internen Mechanismen von SQLMesh gibt, einschließlich seiner Verwendung von semantischer Analyse und isolierten Laufzeitumgebungen. Michiel umreißt, wie sich SQLMesh von Werkzeugen wie dbt unterscheidet, indem es einen semantischen Parser für SQL integriert, der strukturelle Validierung und präzisere Fehlermeldungen während der Entwicklung von Pipelines ermöglicht. Er erklärt auch die Implementierung von virtuellen Datenumgebungen, die es Dateningenieuren ermöglichen, Transformationen zu staggen, zu testen und zu versionieren, ohne Produktionsdatensätze zu beeinträchtigen, was sicherere Iterations- und Bereitstellungsprozesse unterstützt.
Hören & Ansehen auf Spotify
Hören Sie auf Apple Podcasts
Latest
Scaling Data in Aviation: Inside Brussels Airlines’ Data Strategy
How Brussels Airlines transformed a broken data setup into scalable data products, enabling self-service and real business impact.
Machine Learning in Energy: Forecasting, MLOps, and Business Impact
Inside Luminus: how machine learning models move from experimentation to production to forecast electricity demand.
Building an Engineering-First Company: Dataminded’s Founder Story with Kris Peeters
Kris Peeters reflects on building Dataminded: engineering culture, autonomy, scaling teams, and lessons from 11 years of growth.
