Um die Webseite des Kunden für die Zukunft vorzubereiten, sollten eine neue Infrastruktur geschaffen werden, in der es möglich ist, Daten aus unterschiedlichen externen Quellen in der Datenbank zu streamen, zu strukturieren und zu speichern. Anschließend sollte es möglich sein, die Daten aus unterschiedlichen Quellen, die ähnliche Daten enthalten gemeinsam analysieren zu können. Das Produkt des Projekts sollte eine Webschnittstelle zur Suche, Visualisierung und Ad-hoc-Modellierung von Tabellen mit statistischen Daten besitzen. Durch einen geeigneten Einsatz von Hadoop, Hive und Spark konnte das Projekt erfolgreich umgesetzt werden. Für die Realisierung wurden mehrere ETL implementiert die die Daten aus den Quellen in der Datenbank geladen und bearbeitet haben. Durch Einsatz von ROLAP und MOLAP ist der Endnutzer in der Lage diese Daten individuell abfragen und analysieren.
Ausgeführte Aufgabe: Herr Zadeh verantwortete in diesem Projekt die Planung, Organisation und Durchführung, sowie die Kommunikation mit Projektowner und dem Entwicklungsteam. Zusätzlich verantwortete er die Implementierung, manuelle Testdurchführung, sowie die Erstellung und Anpassung von automatisierten Testfällen. Die anschließenden Testergebnisse wurden ausführlich dokumentiert. Die Erstellung von Power BI Dashboards und Reportings gehörte ebenfalls zu seinen Aufgaben.
Eingesetzte Technologien: Cloudera, Azure, Hadoop, Spark, Hive, Kafka, Python, CI/CD, Power BI