Data Engineer
dmTech
(Sonstiges, 500-1000 Mitarbeiter)
Schlagwörter
Skills
Data Engineer, Data Science, Python, LTE, Hadoop, PEX, CLI, Jenkins, Ansible playbooks, Ambari, CI/CD, GitLab, SQL, Hive ORC / External, PySpark, Airflow, DAG, SCRUM, Kanban, Agile, Jira, BigData, Pro-PyCharm, DBeaver, MSSQL, MySQL, Grafana, Datadog, Docker, Linux, Machine Learning, Deep Learning, Keras, TensorFlow, Pandas, PsyPy, NumPy, Matplotlib, Seaborn, SciKit-Learn, Text Mining, NLP, PySpark, CNN, Pytorch, TextTorch, FastAi, SQL, MySQL, PostgreSQL,MSSQL, NoSQL, Hadoop, MapReduce, Cassandra, AWS, Docker, Git, SCRUM, PyCharm, Eclipse, Java, JavaScript, Microservices, Jupyter Notebook, RStudio, AWS, RedShift, Kafka, Dataiku, Zeitreiehen, Oracle, Pandas, Tableau, Numpy, Scikit, GridSearch, Anomaly Detection, Statistical Modelling, Multivariate Analysis, Exploratory Data Analysis, XGBoost, Decision Tree, Random Forest, Bash, SAS CI, JEE7 (JPA, JSF, EJB), Primefaces, OmniFaces, Maven, SVN, Payara, NodeJS, Kubernetes, Docker, Terraform, AWS, Microsoft Azure, Cloud, Big Data, NoSQL, Jira
Projekthistorie
03/2022
-
04/2023
- Entwickelte und verbesserte ETL-Datenpipelines auf Basis von Python für verschiedene Datenquellen (z.B. SAS-Viya) zwischen verschiedenen Produktzonen unter Verwendung von PySpark und Hive, um ein effizientes Datalake-System zu schaffen.
- Migration von einem alten Hadoop-Cluster auf einen neuen On-Premise-Hadoop-Cluster und Gewährleistung einer reibungslosen Übertragung der Pipelines auf den neuen Cluster.
- Erstellung von Sensoren und Anpassungen in Airflow, um einen reibungslosen Betrieb der Datenpipelines sicherzustellen, einschließlich der Einrichtung von Scheduling-Jobs und der Überwachung von Jobs, die fehlerhaft waren oder unterbrochen wurden.
- Optimierung von PySpark-Code, um die Geschwindigkeit und Effizienz der Datenverarbeitung zu maximieren und die Datenqualität sicherzustellen.
- Durchführung von umfangreichen Troubleshooting-Aufgaben, um Datenprobleme zu identifizieren und zu beheben, und Anpassung der Pipelines, um die Probleme in Zukunft zu vermeiden.
- Durchführung von End-to-End-Tests für die Datenanalyse und Erstellung von Tabellen.
- Erstellung von Grafana-Dashboards zur Überwachung des Datenflusses.
- Verwendung von CI/CD auf GitHub zur automatisierten Bereitstellung der Pipelines.
07/2021
-
10/2021
Data Engineer
NORD/LB
(Banken und Finanzdienstleistungen, 5000-10.000 Mitarbeiter)
Aufbau eines auf Python basierendes ETL-Daten-Pipeline auf den Diversen
Datenquellen ( e.g. NiFi ,Qlik, etc.) zwischen verschiedene Produkt-Zones
anhand PySpark und Hive
- Python, Hadoop Ecosystem, ETL, CI/CD auf GitHub, SQL, Hive ORC /
External, PySpark, SCRUM
Datenquellen ( e.g. NiFi ,Qlik, etc.) zwischen verschiedene Produkt-Zones
anhand PySpark und Hive
- Python, Hadoop Ecosystem, ETL, CI/CD auf GitHub, SQL, Hive ORC /
External, PySpark, SCRUM
08/2019
-
06/2021
Data Scietist
Telefonica Germany
(Telekommunikation, 5000-10.000 Mitarbeiter)
- Weiterentwicklung eines auf Python basierendes Analytikal-Daten-Pipeline
(ETL, Preprocessing, Models-Training, Rsults-Monitoring), das für Prozess-
Management der Zeitreihen- bzw. Event-Basiertes-Datensätze aufgebaut
wurde
- Feature-Selection, Entwicklung und Einsetzen der ML-Modelle in Produktion
- Modell-Monitoring anhand Tableau
- Feature-Engineering, Modellenentwicklung und Deployment der Modellen im
Rahmen des ChurnLab-Projektes
Techs: Python, Hadoop Ecosystem, ETL, CI/CD auf GitLab, Dataiku, Zeitreiehen,
Oracle, SQL, Hive, Pandas, PySpark, Tableau, SCRUM
Award: Preisträger [Als Mitglied der ChurnLab-Team] der People Award 2020 der
Telefonica Germany für ausgezeichnete Customer Churn Rdeduction
(ETL, Preprocessing, Models-Training, Rsults-Monitoring), das für Prozess-
Management der Zeitreihen- bzw. Event-Basiertes-Datensätze aufgebaut
wurde
- Feature-Selection, Entwicklung und Einsetzen der ML-Modelle in Produktion
- Modell-Monitoring anhand Tableau
- Feature-Engineering, Modellenentwicklung und Deployment der Modellen im
Rahmen des ChurnLab-Projektes
Techs: Python, Hadoop Ecosystem, ETL, CI/CD auf GitLab, Dataiku, Zeitreiehen,
Oracle, SQL, Hive, Pandas, PySpark, Tableau, SCRUM
Award: Preisträger [Als Mitglied der ChurnLab-Team] der People Award 2020 der
Telefonica Germany für ausgezeichnete Customer Churn Rdeduction
01/2019
-
04/2019
Data Scientist
Coliquio
(Pharma und Medizintechnik, 50-250 Mitarbeiter)
Aufbau und Design die neue ETL system und DWH. Dazu die Wartung der
alte ETL in python und Datenbank-Weiterentwicklung.
Techs: - Python, NiFi, MySQL, PostgreSQL, Docker, AWS, SCRUM, Git
alte ETL in python und Datenbank-Weiterentwicklung.
Techs: - Python, NiFi, MySQL, PostgreSQL, Docker, AWS, SCRUM, Git
06/2017
-
12/2018
Data Scientist
Assystem Germany
(Automobil und Fahrzeugbau, >10.000 Mitarbeiter)
Recommender-System-Entwicklung einer Android-Anwendung, um dem Benutzer
zu helfen, den schnellsten und bequemsten Weg zu finden (je nach
Wetter und Verkehr), um zum Ziel zu gelangen
Techs: Python, Keras, TensorFlow, MatplotLib, Pandas, Numpy, Microservices,
Thrift, NATS, NodeJS, Marathon, Mesos, Cassandra, SCRUM, Git
zu helfen, den schnellsten und bequemsten Weg zu finden (je nach
Wetter und Verkehr), um zum Ziel zu gelangen
Techs: Python, Keras, TensorFlow, MatplotLib, Pandas, Numpy, Microservices,
Thrift, NATS, NodeJS, Marathon, Mesos, Cassandra, SCRUM, Git
Reisebereitschaft
Weltweit verfügbar
Ich bin in München bzw. Remote erreichbar
Sonstige Angaben
ich bin ein sehr motivierte Data-Scientist. Ich bin fasziniert mit der großen Daten-menge, diese zu bearbeiten und damit neue KI-Modelle trainieren und was interessantes vorhersagen .
