Guida ai Big Data con Spark 2. 0 e Python

What you'll learn

L'obiettivo finale è riuscire ad analizzare i Big Data tramite pyspark
Capire la nascita e l'evoluzione dei Big Data, a partire da Hadoop
Avere un panorama completo dei framework per i Big Data e della loro evoluzione
Capire l'evoluzione del framework Spark e dei suoi moduli
Impostare un ambiente di lavoro in locale e su Databricks
Importare e analizzare i dati tramite pyspark
Manipolazione dati e machine learning
Cenni di database SQL e NoSQL
Cenni di Spark Streaming

Course content
13 sections • 67 lectures • 7h 38m total length

Requirements

Conoscere le basi di Python e dell'analisi dati

Description

Se l’analisi di grossi quantitativi di dati sta diventando sempre di più una necessità, non solo nel campo del marketing, ma anche di settori come la medicina e la diagnostica, da alcuni anni ci si sta ponendo il problema di quali siano le metodologie migliori per trarre quanta più informazione utile possibile dai grandi dataset che possono essere reperiti in vari modi su internet (ad esempio nel caso di analisi di social media) o fanno parte del patrimonio di un’azienda.

Viviamo infatti nell’era dei cosiddetti “Big Data”. Questo termine, coniato attorno al 2001, nasce per indicare enormi dataset che possono essere analizzati per estrarre informazione finora difficilmente accessibile e difficilmente processabile da un solo computer, per quanto potente, ma per analizzare i quali è necessario utilizzare più computer connessi in qualche modo tra loro in maniera coordinata.

Di conseguenza, anche dal lato dell'organizzazione dei dati sono nati dei framework particolari per la gestione di queste grosse quantità di dati, il più recente dei quali è Spark.

Spark, come vedremo, può essere utilizzato con molti linguaggi di programmazione, tra i quali Python è uno dei più importanti e utilizzati.

Dopo una parte introduttiva sui Big Data e sui framework che sono stati nel corso degli ultimi anni per gestirli, ci occuperemo quindi di vari argomenti e implementazione di esempi di codice per ognuna di queste due librerie. In particolare vedremo come implementare i più comuni algoritmi di machine learning: regressione, Support Vector Machines, Alberi di decisione, metodi Ensemble e Kmeans, oltre alla manipolazione dati e al calcolo delle statistiche di base. Vedremo poi l'implementazione di un'analisi testi tramite pyspark, come impostare un sistema di raccomandazione, e alcuni cenni su regole di associazione e streaming.

Who this course is for:

Chi ha già conoscenze pregresse di analisi dati con Python e si trova ad analizzare dataset più grandi
Chi ha qualche conoscenza delle basi del machine learning