Apache Spark mit Databricks - Crashkurs

Lerne, wie Du ETL Aufgaben mit Spark und Databricks schnell und einfach lösen kannst.

Das wirst du lernen

Verstehe die Architektur von Apache Spark und lerne die Grundlagen zur Apache Spark Programmierung.
Lerne, was Databricks ist und wie du damit Data Science/Engineering Aufgaben schnell und einfach lösen kannst.
Lerne die Spark DataFrames API praktisch anzuwenden.

Anforderungen

Grundkenntnisse in Python und SQL

Beschreibung

Databricks wurde von den Apache Spark Schöpfern gegründet. Databricks stellt eine webbasierte Plattform für Datenanalysen mit Apache Spark bereit, die Data Scientists, Data Engineers, Machine-Learning Engineers und Data Analysts zusammenbringt und ist mit der AWS oder Azure Cloud integrierbar.

Durch die zusätzlichen Features, die Databricks mitbringt sind produktive und skalierbare Data Science und Data Engineering möglich. Die Features sind eine optimierte Performance auf Apache Spark, zuverlässige und leistungsstarke Data Lakes mit Delta Lake, Interaktive Data Science und Zusammenarbeit zwischen den unterschiedlichen Beteiligten wie Data Scientists, Data Engineers, Machine-Learning Engineers usw..

Mit Databricks sind Jobs und Workflows in Produktivumgebung möglich, für die Anforderungen hinsichtlich Unternemenssicherheit ist durch End-to-End Datenschutz und Compliance gesorgt, bekannte und geläufige Tools sind ohne Probleme integrierbar und es wird ein Experten-Support durch die Apache Spark Schöpfer gegeben.

Nach erfolgreichem Abschluss des Kurses wirst du in der Lage sein mit Databricks interaktive Data Science und Data Engineering zu betreiben. Du bekommst eine Einführung in die Grundlagen von Apache Spark und Databricks. Du lernst mit Spark DataFrames umzugehen sowie Aufgaben mit der kostenlosen Community Edition schnell und einfach zu lösen.

Für wen ist dieser Kurs eher nicht geeignet?

Alle, die PySpark, Databricks oder AWS von A-Z lernen möchten – also alle Aspekte von hinten bis vorne wissen möchten – werden in diesem Kurs höchstwahrscheinlich nicht auf ihre Kosten kommen.

Der Ansatz, der hier genommen wird ist, dass wir notwendige Spark, Databricks und AWS Features lernen werden, um schnell und mit praktischem Fokus Mehrwert durch Projekte im Data Engineering und Data Science Bereich zu generieren.

Für wen eignet sich dieser Kurs:

Jeder, der Apache Spark mit Databricks lernen möchte
Data Engineers, Data Scientists, Machine-Learning Engineers mit und ohne Vorkenntnisses in Apache Spark
Informatiker, Python-Entwickler, DWH-Entwickler mit geringen Vorkenntnisses in Apache Spark und Interesse an Data Engineering/Data Science