Leitender Dateningenieur (m/w/d) für KI-gestützte Social-Media-Plattform | Remote

Unser innovatives Technologieunternehmen entwickelt eine zukunftsweisende Plattform, die mithilfe modernster künstlicher Intelligenz die Erstellung und Veröffentlichung von Social-Media-Inhalten revolutioniert. Für den weiteren Ausbau unserer Dateninfrastruktur suchen wir einen erfahrenen Lead Data Engineer, der die Architektur und Entwicklung unserer Datenpipelines verantwortet und maßgeblich zum Erfolg unseres KI-gestützten Assistenten beiträgt. Ihre Kernaufgaben - Konzeption, Entwicklung und Wartung robuster, skalierbarer Datenpipelines zur Erfassung, Verarbeitung und Speicherung von Daten aus verschiedenen Social-Media-Quellen und Nutzerinteraktionen. - Eigenverantwortliche Architektur und Implementierung eines leistungsfähigen Data Warehouse-Systems unter Berücksichtigung modernster Technologien und Best Practices. - Einführung stringenter Datenqualitätskontrollen und Validierungsprozesse, um die Integrität, Genauigkeit und Zuverlässigkeit der Social-Media-Daten für unsere KI-Modelle sicherzustellen. - Automatisierung von ETL-Prozessen (Extract, Transform, Load) zur Optimierung der Datenaufnahme und -transformation mit dem Ziel, manuelle Eingriffe zu reduzieren und die Effizienz zu steigern. - Kontinuierliche Überwachung und Optimierung der Datenpipelines hinsichtlich Geschwindigkeit, Zuverlässigkeit und Skalierbarkeit, um einen reibungslosen Betrieb unseres KI-Assistenten zu gewährleisten. - Enge Zusammenarbeit mit Data Scientists, ML Engineers und funktionsübergreifenden Teams, um Datenanforderungen zu verstehen und die notwendige Dateninfrastruktur für Modellentwicklung und -training bereitzustellen. - Durchsetzung von Daten-Governance-Praktiken zur Gewährleistung von Datenschutz, Datensicherheit und Einhaltung relevanter Vorschriften (insbesondere DSGVO) im Kontext von Social-Media-Daten. - Etablierung von Leistungskennzahlen und Implementierung von Monitoring-Lösungen zur Identifizierung und Behebung von Engpässen oder Anomalien in der Datenpipeline. - Entwicklung und Betreuung von Data Marts und interaktiven Dashboards, die Echtzeit-Einblicke in Social-Media-Daten ermöglichen und datengestützte Entscheidungsfindung unterstützen. - Kontinuierliche Beobachtung und Bewertung neuer Datentechnologien, Tools und Frameworks hinsichtlich ihres Potenzials zur Verbesserung der Data-Engineering-Prozesse. Erforderliche Qualifikationen - Abgeschlossenes Bachelor- oder Master-Studium in Informatik, Datenengineering oder einem verwandten Fachgebiet. - Nachweisbare Berufserfahrung (mindestens 5 Jahre) im Bereich Data Engineering mit Schwerpunkt auf ETL-Prozessen, Datenpipeline-Entwicklung und Datenqualitätssicherung. - Fundierte Kenntnisse in Python 3.9+ und SQL sowie umfassende Erfahrung mit modernen Data-Engineering-Bibliotheken und Frameworks wie Apache Airflow, dbt, Spark oder Kafka. - Umfangreiche praktische Erfahrung mit cloudbasierten Datenspeicher- und Verarbeitungslösungen, insbesondere AWS (Redshift, S3, Lambda, Glue) oder Azure (Data Factory, Synapse Analytics, Databricks). - Vertrautheit mit NoSQL-Datenbanken wie MongoDB, Cassandra oder DynamoDB sowie relationalen Datenbanksystemen wie PostgreSQL oder MySQL. - Praktische Erfahrung mit Container-Technologien wie Docker und Kubernetes für die Bereitstellung von Datenpipelines. - Nachweisbare Erfolge bei der Optimierung von Datenverarbeitungsprozessen und der Verbesserung der Datenqualität in datenintensiven Anwendungen. Warum Sie Teil unseres Teams werden sollten Als Lead Data Engineer in unserem Unternehmen gestalten Sie aktiv die Zukunft KI-gestützter Social-Media-Technologie mit. Sie arbeiten in einem vollständig remote arbeitenden, internationalen Team mit flachen Hierarchien, in dem Ihre Expertise geschätzt wird und Sie maßgeblichen Einfluss auf technologische Entscheidungen nehmen. Wir bieten wettbewerbsfähige Vergütung, flexible Arbeitszeiten und die Möglichkeit, mit modernsten Technologien an der Schnittstelle von künstlicher Intelligenz und Social Media zu arbeiten.