Jetzt bewerben

Data Engineer (m/w/d) [Kziff.OK8880] - Dortmund/Berlin

Aufgaben

Design, Entwicklung und Wartung robuster Datenpipelines mit Databricks, Spark und Python
Aufbau effizienter und skalierbarer ETL-Prozesse zum Einlesen, Transformieren und Laden von Daten aus verschiedenen Quellen (Datenbanken, APIs, Streaming-Plattformen) in cloudbasierte Data Lakes und Data Warehouses
Nutzung des Databricks Ökosystems (SQL, Delta Lake, Workflows, Unity Catalog) zur Bereitstellung zuverlässiger und performanter Daten-Workflows
Integration mit Cloud-Diensten wie Azure, AWS oder GCP zur Ermöglichung sicherer und kosteneffizienter Datenlösungen
Mitgestaltung der Datenmodellierung und -architektur zur Gewährleistung von Konsistenz, Zugänglichkeit und langfristiger Wartbarkeit der Datenlandschaft
Gewährleistung der Datenqualität durch Validierungsprozesse und Einhaltung von Data-Governance-Richtlinien
Zusammenarbeit mit Data Scientists und Analysten, um Datenbedürfnisse zu verstehen und umsetzbare Lösungen zu liefern
Kontinuierliche Weiterbildung in den Bereichen Databricks, Data Engineering und Cloud-Technologien zur Optimierung unserer Tools und Prozesse

Anforderungen

3+ Jahre Berufserfahrung als Data Engineer mit Databricks und Apache Spark
Ausgeprägte Programmierkenntnisse mit Python, inklusive
Erfahrung in Datenmanipulationsbibliotheken (z.B. PySpark, Spark SQL)Erfahrung mit Kernbestandteilen des Databricks Ecosystems: Databricks Workflows, Unity Catalog und Delta Live Tables
Solides Wissen über Datenlager Prinzipien, ETL/ELT Prozesse, Datenmodellierung und Datenbanksysteme
Erfahrung mit mindestens einer größeren Cloud Plattform (Azure, AWS, oder GCP)
Ausgezeichnete SQL Skills für Datenabfragen, Datentransformationen und Analysen
Ausgezeichnete Kommunikationsfähigkeiten in Englisch und Deutsch (mind. B2 Level)
Fähigkeit eigenständig sowie im Team in einer agilen Umgebung zu arbeiten
Wissen über Best Practices zum Thema Data-Governance, Datenqualität und Compliance
Erfahrung mit Multi-Cloud UmgebungenKentnisse über DevOps, Infrastructure-as-Code (e.g. Terraform) und CI/CD PipelinesInteresse oder Erfahrung mit Machine Learning oder AI TechnologienErfahrung mit Data Visualization Tools wie Power BI oder Looker

Unser Angebot

Flexible Working Models: Frühaufsteher oder Nachteule? Dank unserer flexiblen Arbeitsmodelle beginnst du deinen Arbeitstag wann und wo es für dich am besten passt. Wir bieten dir die Möglichkeit, hybrid zu arbeiten – du kannst selbst entscheiden, ob du mehr im Büro oder im Home Office arbeiten möchtest.
Career Development & Onboarding: Starte deine Reise bei NETCONOMY mit einem strukturierten Onboarding und Mentoring und setze sie mit individuellen Schulungsmöglichkeiten fort. Unser Learning & Development Team hilft dir die beste Lösung für dich zu finden!
Company Summit: Tausche berufliche und persönliche Erfahrungen auf unserem jährlichen firmeninternen NETCONOMY Summit aus! Ein Highlight des Events ist die lockere Atmosphäre und der Austausch mit dem internationalen Team.
Social Events: Knüpfe bei unseren Social Events neue Kontakte, wie zum Beispiel bei unseren Pizza Abenden, Wanderungen oder Weihnachtsfeiern, und zelebriere gemeinsam Meilensteine.
Snacks und Wohlbefinden: Nutze unsere Lunch Benefit und Rabatte in Partnerrestaurants, um dich in den Pausen zu stärken und frische Energie zu tanken.
Mobility Support: Lass doch mal das Auto stehen! Da wir unsere Verantwortung für die Umwelt ernst nehmen, unterstützen wir deine klimafreundlichen Transportkosten.

Jetzt bewerben

Informationen

Arbeitszeiten

40 Std./Woche

Stellenart

Vollzeit

Vergütung

nach Vereinbarung

Bewerbung

Lebenslauf
Zeugnisse

Kontakt

Oliver Kirch

L&W CONSOLIDATION GmbH
Auf dem Hahn 1
47228 Duisburg
bewerbung@lwconsolid.de
0203 518892 27
http://www.lwconsolid.de

Aufgaben

Design, Entwicklung und Wartung robuster Datenpipelines mit Databricks, Spark und Python
Aufbau effizienter und skalierbarer ETL-Prozesse zum Einlesen, Transformieren und Laden von Daten aus verschiedenen Quellen (Datenbanken, APIs, Streaming-Plattformen) in cloudbasierte Data Lakes und Data Warehouses
Nutzung des Databricks Ökosystems (SQL, Delta Lake, Workflows, Unity Catalog) zur Bereitstellung zuverlässiger und performanter Daten-Workflows
Integration mit Cloud-Diensten wie Azure, AWS oder GCP zur Ermöglichung sicherer und kosteneffizienter Datenlösungen
Mitgestaltung der Datenmodellierung und -architektur zur Gewährleistung von Konsistenz, Zugänglichkeit und langfristiger Wartbarkeit der Datenlandschaft
Gewährleistung der Datenqualität durch Validierungsprozesse und Einhaltung von Data-Governance-Richtlinien
Zusammenarbeit mit Data Scientists und Analysten, um Datenbedürfnisse zu verstehen und umsetzbare Lösungen zu liefern
Kontinuierliche Weiterbildung in den Bereichen Databricks, Data Engineering und Cloud-Technologien zur Optimierung unserer Tools und Prozesse

Anforderungen

3+ Jahre Berufserfahrung als Data Engineer mit Databricks und Apache Spark
Ausgeprägte Programmierkenntnisse mit Python, inklusive
Erfahrung in Datenmanipulationsbibliotheken (z.B. PySpark, Spark SQL)Erfahrung mit Kernbestandteilen des Databricks Ecosystems: Databricks Workflows, Unity Catalog und Delta Live Tables
Solides Wissen über Datenlager Prinzipien, ETL/ELT Prozesse, Datenmodellierung und Datenbanksysteme
Erfahrung mit mindestens einer größeren Cloud Plattform (Azure, AWS, oder GCP)
Ausgezeichnete SQL Skills für Datenabfragen, Datentransformationen und Analysen
Ausgezeichnete Kommunikationsfähigkeiten in Englisch und Deutsch (mind. B2 Level)
Fähigkeit eigenständig sowie im Team in einer agilen Umgebung zu arbeiten
Wissen über Best Practices zum Thema Data-Governance, Datenqualität und Compliance
Erfahrung mit Multi-Cloud UmgebungenKentnisse über DevOps, Infrastructure-as-Code (e.g. Terraform) und CI/CD PipelinesInteresse oder Erfahrung mit Machine Learning oder AI TechnologienErfahrung mit Data Visualization Tools wie Power BI oder Looker

Unser Angebot

Flexible Working Models: Frühaufsteher oder Nachteule? Dank unserer flexiblen Arbeitsmodelle beginnst du deinen Arbeitstag wann und wo es für dich am besten passt. Wir bieten dir die Möglichkeit, hybrid zu arbeiten – du kannst selbst entscheiden, ob du mehr im Büro oder im Home Office arbeiten möchtest.
Career Development & Onboarding: Starte deine Reise bei NETCONOMY mit einem strukturierten Onboarding und Mentoring und setze sie mit individuellen Schulungsmöglichkeiten fort. Unser Learning & Development Team hilft dir die beste Lösung für dich zu finden!
Company Summit: Tausche berufliche und persönliche Erfahrungen auf unserem jährlichen firmeninternen NETCONOMY Summit aus! Ein Highlight des Events ist die lockere Atmosphäre und der Austausch mit dem internationalen Team.
Social Events: Knüpfe bei unseren Social Events neue Kontakte, wie zum Beispiel bei unseren Pizza Abenden, Wanderungen oder Weihnachtsfeiern, und zelebriere gemeinsam Meilensteine.
Snacks und Wohlbefinden: Nutze unsere Lunch Benefit und Rabatte in Partnerrestaurants, um dich in den Pausen zu stärken und frische Energie zu tanken.
Mobility Support: Lass doch mal das Auto stehen! Da wir unsere Verantwortung für die Umwelt ernst nehmen, unterstützen wir deine klimafreundlichen Transportkosten.

Über uns

Als mehrfach ausgezeichneter und zertifizierter HR-Dienstleister steht die L&W CONSOLIDATION GmbH seit 2010 als verlässlicher und effizienter Partner an der Seite unserer Kandidaten. Jeden Tag setzen wir auf Persönlichkeiten, die die Arbeitswelt von heute und von morgen gestalten wollen. Ob als Berufseinsteiger, Quereinsteiger oder Fach- und Führungskraft, mit uns greifen Sie auf ein Netzwerk zurück, dass durch Verbindlichkeit, Vertrauen und Persönlichkeit entstanden ist. Sie nutzen die Kompetenzen und Ressourcen unserer HR-Spezialisten, um sich entsprechend Ihrer beruflichen Wünsche zu entwickeln.

Diversity

L&W CONSOLIDATION ist Unterzeichner der Charta der Vielfalt. Unsere Stellenausschreibungen richten sich generell an alle Menschen, unabhängig von Alter, ethnischer Herkunft und Nationalität, Geschlecht und geschlechtlicher Identität, körperlichen und geistigen Fähigkeiten, Religion und Weltanschauung, sexueller Orientierung und sozialer Herkunft.