Senior Scala Big Data Ingenieur (m/w/d) | Remote AWS Spark Entwickler

Sind Sie ein versierter Scala-Entwickler mit umfassender Expertise in Big-Data-Technologien und Cloud-Infrastruktur? Unser Fintech-Unternehmen, spezialisiert auf Online-Handels- und Investmentplattformen, sucht einen Senior Scala Big Data Ingenieur, der anspruchsvolle Daten-Pipelines konzipiert und implementiert, die unsere Finanzprodukte antreiben. Diese Remote-Position bietet Ihnen die Möglichkeit, mit modernsten Technologien in einem dynamischen, schnelllebigen Umfeld zu arbeiten. Über die Position Als Senior Scala Big Data Ingenieur spielen Sie eine entscheidende Rolle bei der Konzeption und Entwicklung robuster Datenverarbeitungssysteme, die unsere Handels- und Investmentplattformen unterstützen. Sie arbeiten mit enormen Datensätzen, optimieren die Leistung und gewährleisten die Zuverlässigkeit unserer verteilten Systeminfrastruktur. Diese Position erfordert tiefgreifendes technisches Wissen in Kombination mit der Fähigkeit, Herausforderungen im Finanzbereich zu verstehen und zu lösen. Hauptaufgaben - Konzeption und Implementierung effizienter, skalierbarer Daten-Pipelines unter Verwendung von Scala und Big-Data-Technologien. - Entwicklung und Wartung von ETL-Workflows mit Apache Spark 3.3+, Hadoop, Hive und Airflow. - Architekturlösungen für die Verarbeitung von Finanzdatenströmen mit hohem Volumen mittels Apache Kafka 3.0+. - Optimierung der Datenspeicherung und -abfrage über verschiedene Systeme hinweg, einschließlich HDFS, AWS S3, Apache Cassandra und relationale Datenbanken. - Zusammenarbeit mit Data-Science-Teams zur Implementierung und Optimierung ihrer Python-Modelle und Algorithmen. - Aufbau und Wartung der Infrastruktur auf AWS, unter Nutzung von Diensten wie S3, Athena, EMR und EKS. - Implementierung umfassender automatisierter Tests für Spark-Anwendungen zur Sicherstellung der Datenintegrität. - Teilnahme an Code-Reviews und technischen Diskussionen zur Verbesserung der Systemarchitektur. - Überwachung von Leistungskennzahlen und Implementierung von Optimierungen für bestehende Daten-Pipelines. - Dokumentation technischer Lösungen und Wissensaustausch mit Teammitgliedern. Erforderliche Qualifikationen und Erfahrungen - Mindestens 4 Jahre Berufserfahrung in der Scala-Entwicklung (Scala 2.13 oder 3.x) in Produktionsumgebungen. - Fundierte Kenntnisse mit Apache Spark, dem Hadoop-Ökosystem und Prinzipien des verteilten Rechnens. - Praktische Erfahrung mit Hive, Airflow und Workflow-Orchestrierungstools. - Nachgewiesene Expertise mit Kafka und nachrichtenbasierten Architekturen. - Fortgeschrittene Kenntnisse von Datenspeicherlösungen wie HDFS, AWS S3 und Apache Cassandra 4.0+. - Solides Verständnis relationaler Datenbankkonzepte und Beherrschung von SQL. - Erfahrung in der Konzeption und Implementierung von Daten-Pipelines für umfangreiche Systeme. - Nachgewiesene Erfahrung mit AWS-Diensten (S3, Athena, EMR, EKS, etc.). - Fähigkeit, Python-Code zu lesen und zu verstehen, insbesondere für Data-Science-Anwendungen. - Erfahrung im Schreiben und Warten automatisierter Tests für Spark-Anwendungen. - Ausgezeichnete Englischkenntnisse in Wort und Schrift. Wünschenswerte Zusatzqualifikationen - Erfahrung in der Fintech-, Handels- oder Investmentbranche. - Kenntnisse in Echtzeit-Datenverarbeitung und Systemen mit niedriger Latenz. - Vertrautheit mit Containerisierungstechnologien (Docker, Kubernetes). - Erfahrung mit CI/CD-Pipelines und DevOps-Praktiken. - Verständnis für Datenverwaltung und Compliance-Anforderungen im Finanzdienstleistungssektor. - Beiträge zu Open-Source-Projekten oder der Scala-Community. - Zertifizierungen im Bereich AWS oder Big-Data-Technologien. Warum Sie unserem Team beitreten sollten Die Arbeit bei uns bedeutet, an der Spitze der Finanztechnologie-Innovation zu stehen. Sie helfen beim Aufbau von Systemen, die täglich Millionen von Transaktionen verarbeiten und die Investitionsentscheidungen unserer Kunden direkt beeinflussen. Wir bieten wettbewerbsfähige Vergütung, flexible Remote-Arbeitsregelungen, berufliche Entwicklungsmöglichkeiten und die Chance, mit einem vielfältigen Team talentierter Ingenieure zusammenzuarbeiten. Schließen Sie sich uns an, um zukunftsweisende Handels- und Investmentplattformen zu schaffen, die die Finanzlandschaft neu gestalten.