Leitender Dateningenieur (Remote) für KI & Social Media Plattform

Sind Sie leidenschaftlich daran interessiert, robuste Dateninfrastrukturen aufzubauen, die innovative KI-Lösungen antreiben? Unsere hochmoderne Plattform zur Erstellung und Veröffentlichung von KI-generiertem Content auf sozialen Medien sucht einen qualifizierten leitenden Dateningenieur, um unsere Datenoperationen voranzutreiben. In dieser Position werden Sie skalierbare Datenpipelines entwerfen, die Datenqualität sicherstellen und mit funktionsübergreifenden Teams zusammenarbeiten, um den Erfolg unserer KI-Plattform zu fördern. Über das Projekt Unsere Plattform revolutioniert die Art und Weise, wie Content-Ersteller mit sozialen Medien interagieren, indem künstliche Intelligenz genutzt wird, um ansprechende Inhalte zu generieren, zu optimieren und zu veröffentlichen. Als unser leitender Dateningenieur spielen Sie eine entscheidende Rolle bei der Gestaltung und Wartung des Datenökosystems, das unsere KI-Algorithmen antreibt. Hauptverantwortlichkeiten - Konzeption, Entwicklung und Wartung robuster, skalierbarer Datenpipelines zur Erfassung, Verarbeitung und Speicherung von Daten aus verschiedenen Social-Media-Quellen und Nutzerinteraktionen. - Entwurf und Implementierung einer umfassenden Data-Warehouse-Lösung, die unsere KI-Modelle und Business-Intelligence-Anforderungen unterstützt. - Etablierung und Durchsetzung rigoroser Datenqualitätsprüfungen und Validierungsprozesse, um die Integrität, Genauigkeit und Zuverlässigkeit der von unseren KI-Modellen verwendeten Social-Media-Daten zu gewährleisten. - Automatisierung von Extraktions-, Transformations- und Ladeprozessen (ETL) mithilfe moderner Tools und Frameworks zur Optimierung der Datenerfassung und -transformation, zur Steigerung der Effizienz und zur Reduzierung manueller Eingriffe. - Kontinuierliche Überwachung und Optimierung von Datenpipelines zur Verbesserung von Geschwindigkeit, Zuverlässigkeit und Skalierbarkeit, um einen reibungslosen Betrieb unseres KI-Assistenten zu gewährleisten. - Enge Zusammenarbeit mit Data Scientists, ML-Ingenieuren und funktionsübergreifenden Teams, um Datenanforderungen zu verstehen und die notwendige Dateninfrastruktur für die Modellentwicklung und -schulung bereitzustellen. - Implementierung und Durchsetzung von Daten-Governance-Praktiken, die Datenschutz, Sicherheit und Einhaltung relevanter Vorschriften, einschließlich DSGVO, im Kontext von Social-Media-Daten garantieren. - Festlegung von Leistungskennzahlen und Implementierung umfassender Überwachungslösungen zur Identifizierung und Behebung von Engpässen oder Anomalien in der Datenpipeline. - Zusammenarbeit mit Datenanalysten und Geschäftsteams zur Gestaltung interaktiver Dashboards, die eine datengestützte Entscheidungsfindung im gesamten Unternehmen ermöglichen. - Entwicklung und Unterstützung von Data Marts und Echtzeit-Dashboards, die umsetzbare Einblicke in Social-Media-Daten und Plattformleistung bieten. - Kontinuierliche Information über aufkommende Datentechnologien, Tools und Frameworks, mit Bewertung ihres Potenzials zur Verbesserung von Datenengineering-Prozessen. Erforderliche Fähigkeiten - Bachelor- oder Master-Abschluss in Informatik, Dateningenieurwesen oder einem verwandten technischen Bereich. - Mindestens 5+ Jahre nachgewiesene Erfahrung im Datenengineering, mit Schwerpunkt auf ETL-Prozessen, Datenpipeline-Entwicklung und Datenqualitätssicherung. - Umfassende Kenntnisse in Python (Python 3.8+) und SQL, mit umfangreichem Wissen über moderne Datenengineering-Bibliotheken und -Frameworks wie Apache Airflow, dbt oder ähnliche. - Praktische Erfahrung mit cloudbasierten Datenspeicher- und Verarbeitungslösungen, insbesondere AWS (Redshift, S3, Glue) und/oder Azure (Synapse Analytics, Data Factory, Databricks). - Tiefes Verständnis von Datenmodellierungstechniken und Erfahrung mit relationalen und NoSQL-Datenbanken. - Erfahrung in der Konzeption und Implementierung von Data-Warehousing-Lösungen nach dimensionalen Modellierungskonzepten (Kimball/Inmon). - Vertrautheit mit Streaming-Datenverarbeitungsframeworks wie Apache Kafka, Kinesis oder ähnlichen. - Kompetenz mit Versionskontrollsystemen (Git) und CI/CD-Praktiken für Datenpipelines. Wünschenswert - Erfahrung mit KI/ML-Datenpipelines und Verständnis der Datenanforderungen für maschinelle Lernmodelle. - Kenntnisse in Containerisierungstechnologien (Docker, Kubernetes) für reproduzierbare Daten-Workflows. - Vertrautheit mit DataOps-Prinzipien und agilen Methoden im Kontext des Datenengineerings. - Erfahrung mit Datenvisualisierungstools wie Tableau, Power BI oder ähnlichen Plattformen. - Verständnis von Social-Media-APIs und Datenstrukturen. - Vorherige Erfahrung in einer leitenden oder Senior-Position im Bereich Dateninfrastrukturmanagement. - Kenntnisse von Daten-Governance-Frameworks und praktischer Implementierung von DSGVO-Compliance-Maßnahmen. Warum Sie Teil unseres Teams werden sollten Als Mitglied unseres Teams haben Sie die Möglichkeit, die Datengrundlage einer innovativen KI-Plattform zu gestalten, die die Erstellung von Social-Media-Inhalten transformiert. Sie arbeiten remote mit einem vielfältigen Team talentierter Fachleute zusammen, nutzen modernste Technologien und lösen komplexe Datenherausforderungen. Wir bieten wettbewerbsfähige Vergütung, flexible Arbeitsregelungen, berufliche Entwicklungsmöglichkeiten und die Chance, einen bedeutenden Einfluss in einem schnell wachsenden Bereich zu nehmen.