Senior Data Engineer für dynamische Preisgestaltung (m/w/d) - Remote

Unser Kunde revolutioniert die Preisgestaltungsstrategien durch datengestützte Technologien. In diesem Projekt konzipieren, entwickeln und betreiben Sie die Dateninfrastruktur, die präzise dynamische Preisberechnungen ermöglicht. Sie arbeiten direkt an der Schnittstelle zwischen Datengewinnung, -verarbeitung und Machine Learning Modellen. Haben Sie Interesse an der Gestaltung zukunftsweisender Datenarchitekturen? Dann sind Sie bei uns genau richtig! Hauptaufgaben - Durchführung komplexer Datenanalysen und Wartung von Datensätzen für interne und externe Kommunikation. - Entwicklung und Optimierung robuster Datenpipelines mit Cloud Composer (Apache Airflow 2.7+). - Konzeption und Pflege der Dateninfrastruktur unter Verwendung von Google BigQuery. - Implementation und Verwaltung von Datenextraktionsprozessen mittels Scrapy für die Erfassung von Wettbewerbsdaten. - Sicherstellung höchster Datenqualität und -integrität in allen Phasen der Datenverarbeitung. - Zusammenarbeit mit Data Scientists bei der Implementierung und dem Betrieb von Machine Learning Modellen. - Dokumentation von Datenprozessen und -strukturen gemäß Unternehmensstandards. - Regelmäßige Leistungsoptimierung der Datenpipelines und Datenbanken. Anforderungen - Masterabschluss in Informatik, Mathematik, Statistik oder vergleichbare Qualifikation mit entsprechender Berufserfahrung. - Nachweisbare Erfahrung in einem Start-up-Umfeld mit agilem Entwicklungsansatz. - Mindestens 3 Jahre praktische Erfahrung in objektorientierter Programmierung, vorzugsweise Python (3.9+). - Fundierte Kenntnisse im Design und der Implementierung von Data Warehouses und Data Marts. - Mindestens 3 Jahre Erfahrung in der Entwicklung und dem Betrieb von Datenpipelines. - Praktische Erfahrung mit dem Deployment und der Betreuung von Machine Learning Modellen in Produktionsumgebungen. - Verhandlungssichere Englischkenntnisse in Wort und Schrift. - Tiefgreifende Kenntnisse in Google Cloud Platform (GCP), insbesondere BigQuery und Cloud Composer. - Erfahrung mit Datenextraktionstools wie Scrapy und Kenntnisse in Web Scraping Techniken. - Verständnis für Datenschutz und Datensicherheitskonzepte. Von Vorteil - Japanischkenntnisse, auch Grundkenntnisse werden geschätzt. - Erfahrung mit Docker und Kubernetes für containerisierte Anwendungen. - Kenntnisse in Terraform oder ähnlichen Infrastructure-as-Code Tools. - Erfahrung mit Echtzeit-Datenverarbeitung und Streaming-Technologien (Apache Kafka, Google Pub/Sub). - Zertifizierungen im Bereich Google Cloud Platform oder Data Engineering. - Erfahrung mit Datenvisualisierungstools wie Tableau, Power BI oder Google Data Studio. - Grundlegende Kenntnisse in Machine Learning und KI-gestützter Datenanalyse. - Vertrautheit mit CI/CD-Prozessen für Datenpipelines und Infrastruktur. Technologiestack Unser aktueller Technologiestack umfasst, ist aber nicht beschränkt auf: - Google Cloud Platform (GCP) als primäre Cloud-Infrastruktur - BigQuery für Data Warehousing und analytische Abfragen - Cloud Composer (basierend auf Apache Airflow 2.7+) für Workflow-Orchestrierung - Scrapy 2.11+ für strukturierte Datenextraktion - Python 3.9+ als Hauptprogrammiersprache - Git für Versionskontrolle - Docker für Containerisierung - Verschiedene Machine Learning Frameworks wie TensorFlow und scikit-learn Arbeitsweise Sie arbeiten in einem vollständig verteilten, jedoch eng verbundenen Team, das agile Methoden nutzt. Wir setzen auf regelmäßige virtuelle Stand-ups, Sprint-Planungen und Retrospektiven. Die Zusammenarbeit erfolgt über moderne Kollaborationstools, die einen nahtlosen Austausch ermöglichen. Kreativität und Innovation werden gefördert – wir schätzen Ihre Ideen und geben Ihnen Raum, diese umzusetzen. Unser Angebot Als Teil unseres internationalen Teams haben Sie die Möglichkeit, an innovativen Lösungen zu arbeiten, die die Zukunft der dynamischen Preisgestaltung prägen. Sie genießen die Flexibilität einer vollständig remote arbeitenden Position, erhalten wettbewerbsfähige Vergütung und haben exzellente berufliche Entwicklungsmöglichkeiten. Wir fördern kontinuierliches Lernen und bieten regelmäßige Weiterbildungen in aktuellen Technologien und Methoden.