Lead Data Engineer (m/w/d) für KI-basierte Social Media Plattform

Unser innovatives Unternehmen entwickelt eine fortschrittliche Plattform, die mithilfe von künstlicher Intelligenz die Erstellung und Veröffentlichung von Inhalten auf sozialen Medien revolutioniert. Für die Weiterentwicklung unserer Dateninfrastruktur suchen wir einen erfahrenen Lead Data Engineer, der unsere skalierbaren Datenpipelines entwirft und betreut. Ihre Hauptaufgaben - Konzeption, Entwicklung und Wartung robuster und skalierbarer Datenpipelines zur Erfassung, Verarbeitung und Speicherung von Daten aus verschiedenen Social-Media-Quellen und Nutzerinteraktionen. - Architektur und Design eines leistungsstarken Data Warehouse Systems unter Berücksichtigung neuester Best Practices und Technologien. - Implementierung strenger Datenqualitätskontrollen und Validierungsprozesse zur Gewährleistung der Integrität, Genauigkeit und Zuverlässigkeit der Social-Media-Daten für unsere KI-Modelle. - Automatisierung von ETL-Prozessen (Extract, Transform, Load) zur Optimierung der Datenaufnahme und -transformation, um manuelle Eingriffe zu reduzieren und die Effizienz zu steigern. - Kontinuierliche Überwachung und Optimierung von Datenpipelines zur Verbesserung von Geschwindigkeit, Zuverlässigkeit und Skalierbarkeit für einen reibungslosen Betrieb unseres KI-Assistenten. - Enge Zusammenarbeit mit Data Scientists, ML Engineers und funktionsübergreifenden Teams, um Datenanforderungen zu verstehen und die notwendige Dateninfrastruktur bereitzustellen. - Durchsetzung von Datengovernance-Praktiken zur Gewährleistung des Datenschutzes, der Datensicherheit und der Einhaltung relevanter Vorschriften, einschließlich der DSGVO. - Etablierung von Leistungskennzahlen und Implementierung von Überwachungslösungen zur Identifizierung und Behebung von Engpässen oder Anomalien in der Datenpipeline. - Zusammenarbeit mit Datenanalysten und Business-Teams zur Gestaltung interaktiver Dashboards, die datengestützte Entscheidungsfindung ermöglichen. - Entwicklung und Unterstützung von Data Marts und Dashboards, die Echtzeit-Einblicke in Social-Media-Daten bieten. - Kontinuierliche Fortbildung zu aufkommenden Datentechnologien, -tools und -frameworks sowie Bewertung ihres Potenzials zur Verbesserung der Data-Engineering-Prozesse. Erforderliche Qualifikationen - Bachelor- oder Master-Abschluss in Informatik, Datenengineering oder einem verwandten Fachgebiet. - Nachgewiesene Erfahrung im Bereich Data Engineering mit Schwerpunkt auf ETL-Prozessen, Entwicklung von Datenpipelines und Sicherstellung der Datenqualität. - Ausgeprägte Kenntnisse in Programmiersprachen wie Python 3.9+, SQL (PostgreSQL, MySQL) sowie fundiertes Wissen über Data-Engineering-Bibliotheken und -Frameworks (Apache Airflow, dbt, Pandas). - Erfahrung mit cloudbasierten Datenspeicher- und Verarbeitungslösungen wie AWS (Redshift, S3, Glue), Azure (Synapse, Data Factory) oder Google Cloud (BigQuery, Dataflow). - Praktische Erfahrung mit Big Data-Technologien wie Spark, Kafka oder Hadoop. - Vertrautheit mit DataOps-Prinzipien, CI/CD-Pipelines für Datenworkflows und agilen Methoden. - Fundierte Kenntnisse im Monitoring und in der Optimierung von Dateninfrastrukturen zur Gewährleistung von Leistung, Zuverlässigkeit und Kosteneffizienz. - Hervorragende Problemlösungsfähigkeiten und die Fähigkeit, kollaborativ in einem funktionsübergreifenden Team zu arbeiten. - Ausgeprägte Kommunikationsfähigkeiten, um technische Konzepte nicht-technischen Stakeholdern verständlich vermitteln zu können. - Kenntnisse in den Bereichen Datengovernance, Datenschutz und relevanten Datenschutzbestimmungen (DSGVO). Wünschenswerte Zusatzqualifikationen - Erfahrung mit Containerisierung und Orchestrierungstechnologien (Docker, Kubernetes). - Kenntnisse im Bereich Machine Learning Operations (MLOps). - Erfahrung mit Social-Media-APIs und Datenanalyse im Kontext von sozialen Medien. - Praktische Erfahrung in der Arbeit mit großen Datenmengen und Echtzeitdatenverarbeitung. - Zertifizierungen in relevanten Cloud-Plattformen oder Datentechnologien. Warum Sie bei uns arbeiten sollten Als Lead Data Engineer in unserem innovativen Unternehmen haben Sie die Möglichkeit, an der Schnittstelle von künstlicher Intelligenz und sozialen Medien zu arbeiten. Sie werden maßgeblich dazu beitragen, eine skalierbare und robuste Dateninfrastruktur aufzubauen, die die Grundlage für unsere KI-gestützten Lösungen bildet. Wir bieten ein vollständig remote-basiertes Arbeitsumfeld, flexible Arbeitszeiten und die Möglichkeit, mit modernsten Technologien zu arbeiten. Werden Sie Teil unseres internationalen Teams und gestalten Sie die Zukunft der KI-gestützten Content-Erstellung für soziale Medien aktiv mit.