WAS WIR MACHEN
Datenengineering-Manifest
Das Manifest ist eine Reihe von Prinzipien, die sicherstellen, dass Ihre Projekte pünktlich geliefert werden, Ihre Mitarbeiter befähigt werden und die Stabilität Ihrer Produkte gewährleistet ist.
Dies basiert auf unserer gemeinsamen Erfahrung aus all unseren Projekten.
1. Wir sind Software-Ingenieure.
Ein Dateningenieur erstellt Software, indem er Code schreibt und dabei bewährte Praktiken befolgt. Dazu gehört die Annahme von Software-Design-Prinzipien, Versionskontrolle, automatisierten Tests, CI/CD, Cloud-Native und DevSecOps-Praktiken.
3. Wir ermöglichen dies, indem wir Selbstbedienungslösungen anbieten.
Als Dateningenieure bauen wir maßgeschneiderte Datenpipeline für komplexe Anwendungsfälle. Für häufigere Anwendungsfälle bieten wir Selbstbedienungslösungen an. Wir sind ein Ermöglicher in einer Organisation.
5. Die Batchverarbeitung ist einfacher als die Streamverarbeitung.
Während es interessanter sein könnte, einen Echtzeit-Datenstrom aufzubauen, kann dies unnötige Komplexität (Zustand, Wiederholung, ...) hinzufügen. Wenn Ihr Anwendungsfall nur einmal täglich Daten erfordert, halten Sie es einfach, halten Sie es dumm, halten Sie es nachhaltig! Das bedeutet nicht, dass wir bei Bedarf auf die Streamverarbeitung verzichten.
7. Notebooks sind für Forschung, nicht für Entwicklung.
Notizbücher bringen zu Beginn eines Datenprodukts Wert, wenn man Daten erkundet, nach potenziellen Lösungen sucht und dabei dokumentiert. Die Struktur von Notizbüchern fördert jedoch keine guten Softwaredesignmuster. Sobald Sie mit der Erkundung fertig sind, ist eine geeignete IDE das richtige Werkzeug für die Aufgabe.
9. SQL ist der niedrigste gemeinsame Nenner.
Im Laufe der Jahre haben wir den Aufstieg von domänenspezifischen Sprachen und Drag-and-Drop-Tools erlebt. Nichts kommt der Ausdruckskraft und Akzeptanz von SQL nahe. Wir sehen es als die Brücke, um weniger technische Profile zu ermöglichen, und bevorzugen es als Schnittstelle in Self-Service-Lösungen.