Senior Scala & Big Data Entwickler für FinTech Handelsplattform | Remote

Wir entwickeln fortschrittliche Finanzprodukte, die sich auf Online-Handel und Investmentlösungen spezialisieren. Als unser Senior Scala & Big Data Entwickler sind Sie verantwortlich für den Aufbau und die Wartung von hochleistungsfähigen Datenverarbeitungssystemen, die unsere Handelsplattform antreiben. Kernaufgaben - Konzeption und Implementierung effizienter Datenpipelines mit Scala 3.x und Apache Spark 3.5+. - Entwicklung und Wartung von ETL-Prozessen über verschiedene Datenquellen und -ziele hinweg. - Optimierung bestehender Big-Data-Workflows für verbesserte Leistung und Zuverlässigkeit. - Zusammenarbeit mit Data Scientists zur Implementierung ihrer Algorithmen in Produktionsumgebungen. - Implementierung und Wartung von Echtzeit-Datenverarbeitung mit Kafka und verwandten Technologien. - Sicherstellung von Datenqualität und -integrität während des gesamten Datenlebenszyklus. - Erstellung umfassender automatisierter Tests für Spark-Anwendungen zur Aufrechterhaltung der Codezuverlässigkeit. - Teilnahme an Code-Reviews und Wissensaustausch mit Teammitgliedern. - Dokumentation von Architekturentscheidungen und Systementwürfen. Erforderliche Qualifikationen - Mindestens 3 Jahre Berufserfahrung mit Scala-Programmierung (Scala 2.13 oder Scala 3.x). - Fundierte Erfahrung mit Apache Spark, Hadoop, Hive und Airflow-Workflows. - Kompetenz in Datenstrom-Technologien einschließlich Apache Kafka. - Praktische Kenntnisse verschiedener Datenbanksysteme: RDBMS, Cassandra und andere NoSQL-Lösungen. - Praktische Erfahrung mit AWS-Diensten wie S3, Athena, EMR, EKS und verwandter Cloud-Infrastruktur. - Fähigkeit, Python-Code zu lesen und zu verstehen, insbesondere im Data-Science-Kontext. - Erfahrung in der Konzeption und Implementierung automatisierter Tests für Spark-Anwendungen. - Fundierte SQL-Kenntnisse für komplexe Datenabfragen und -manipulation. - Gute Englischkenntnisse in Wort für effektive Teamkommunikation. Wünschenswert - Erfahrung mit Containerisierungstechnologien (Docker, Kubernetes). - Kenntnisse der Prinzipien funktionaler Programmierung. - Erfahrung mit Echtzeit-Analysen und Dashboard-Erstellung. - Verständnis für Finanzmärkte und Handelssysteme. - Vorerfahrung mit verteiltem Computing und hochverfügbaren Systemen. - Erfahrung mit CI/CD-Pipelines für Big-Data-Anwendungen. Warum Sie Teil unseres Teams werden sollten Die Arbeit bei uns bedeutet, Teil eines zukunftsweisenden FinTech-Projekts zu sein, das den Online-Handel und Investitionen transformiert. Sie haben die Möglichkeit, mit den neuesten Big-Data-Technologien in einer vollständig ortsunabhängigen Umgebung zu arbeiten, mit talentierten Fachleuten aus der ganzen Welt zusammenzuarbeiten und Ihre Expertise in Finanzdatensystemen zu erweitern.