Marco Riani

SYLLABUS

ORARI DELLE LEZIONI

MER 9.00-11.00 K8 (lezione frontale)

MER 14.00-16.00 K8 (lezione frontale)

VEN 14.00-16.00 (laboratorio Aula infoA+infoB)

LIBRI DI TESTO

Zani S. e Cerioli A. (2007). Analisi dei dati e data mining per le decisioni aziendali, Giuffrè editore, Milano.

Programma del corso

CAPITOLO I del testo

CAPITOLO II del testo

CAPITOLO III del testo

CAPITOLO IV del testo

CAPITOLO V del testo (tutto tranne la sezione 5.1)

CAPITOLO VI del testo (fino a p. 262)

CAPITOLO VII (fino a p. 293)

CAPITOLO VIII

CAPITOLO IX (fino a p. 448)

CAPITOLO X (fino a p. 479)

Lucidi delle lezioni

Prima settimana (indici di statistica descrittiva)

Seconda settimana (correlazione, cograduzione)

Terza settimana (trattamenti preliminari, ripasso sulla regressione semplice)

Quarta settimana (Indici di associazione)

Quinta settimana (grafici multidimensionali e trasformazione dei dati)

Sesta settimana

Richiami di algebra lineare (file estratto dal libro Strumenti statistici e informatici per applicazioni aziendali, (2013) di Marco Riani, Fabrizio Laurini Gianluca Morelli, Pitagora Edtrice Bologna

Aspetti matematici delle componenti principali

Lucidi componenti principali (file completo aggiornato al 24/10/2016)

Ottava settimana

Analisi delle corrispondenze

Nona settimana

Distanze e indici di similarità

Analisi dei gruppi

Decima settimana

Multidimensional scaling

PROGRAMMA DA SVOLGERE PER CHI SOSTIENE LA PROVA DA 30 ore

Capitoli-1-3

Capitolo 4 (fino a p. 117)

Capitolo 5 (fino a p. 200)

Capitolo 6 (fino a p. 262)

Capitolo 8

Capitolo IX (fino a p. 448)

SOFTWARE utilizzato durante il corso

Excel 2016 e SPSS 24.

COMPONENTI AGGIUNTIVI DI EXCEL DA SCARICARE

Xnumbers. Consente di calcolare autovalori e autovettori (oltre naturalmente ad una vastissima serie di funzioni matematiche). La maggior parte delle tecniche di analisi dei dei dati multivariati (componenti principali, analisi delle corrispondenze, clustering robusto e multidimensional scaling), si basa sulla scomposizione in termini di autovalori e autovettori allo scopo di ricostuire in maniera approssimata matrici dei dati e/o matrici di dissimilarità e/o tabelle di contigenza.

ChartLabeler. Consente di aggiungere etichette personalizzate ai punti in un diagramma di dispersione.

boxplot.xla Consente di creare i grafici a scatola (boxplot) in Excel. Osservazione: il vecchio file che era stato inserito in alcuni computer non veniva letto. E' stata inserita una nuova versione del file.

Per le istruzioni dettagliate sull'installazione dei componenti aggiuntivi è possibile scaricare il file Installazione_componenti_aggiuntivi.pdf

AVVISO: quando si scarica un file che è stato creato con il componente aggiuntivo XN.xlam è NECESSARIO per il CORRETTO FUNZIONAMENNTO scegliere l'opzione SALVA FILE dal menu contestuale del browser web. Una volta salvato il file su disco, si apre con Excel e si passa al punto successivo qua sotto.

----------------------------------

Avviso: quando si apre un file che è stato creato con il componente aggiuntivo XN.xlam è necessario dal menu File|Collegamenti fare click sul pulsante "Cambia Origine" ed inserire il percorso dove il file XN.xlam si trova sul vostro computer.

Nei comptuer delle aule didattiche Il file con il componente XN.xlam è stato inserito nella cartella:
"C:\users\esame_riani\appdata\roaming\microsoft\addins"
Nei vostri computer il file XN.xlam deve essere inserito dentro
"C:\users\(nomeutente)\appdata\roaming\microsoft\addins".

FILE DI CORREDO AL CORSO

File di integrazione.

Prima settimana

Argomento	Obiettivo	File di input	File di output	Data ultima modifica
Inserimento dei dati in SPSS	Assegnare il corretto formato alle variabili presenti nella matrice dei dati. Prendere confidenza con SPSS	HOME THEATRE HT_ini.sav	HT.sav	15/09/2014
Scostamenti standardizzati	Ripassare i concetti di scostamenti standardizzati. Confrontare unità statistiche in presenza di fenomeni con diverso ordine di grandezza e diversa scala di misura	HT.sav htSS.xlsx	HT_SS.sav htSS(out).xlsx	23/09/2014
Statistiche descrittive	Calcolare statistiche descrittive e implementare manualmente alcune formule di calcolo in Excel. Confrontare la standardizzazione robusta con quella tradizionale.	HT.sav ht_SD.xlsx	ht_SD(out).xlsx	18/09/2015
Statistiche descrittive in presenza di unità statistiche con diversa importanza	Calcolare statistiche descrittive ponderate e implementare manualmente le formule di calcolo in Excel.	Ind_ec.sav Ind_ec.xlsx	Ind_ec_(out).xlsx	23/09/2015
Distribuzioni di frequenze e tabelle a doppia entrata	Calcolare distribuzioni di frequenze con classi di ampiezza uguale o diversa ampiezza e creare tabelle a doppia entrata	ex23.sav ex23_DE.xls	ex23_DE.sav ex23_DE(out).xls	02/10/2015
Statistiche descrittive per sottogruppi di unità	Calcolare statistiche descrittive in presenza di variabili di raggruppamento	HT.sav htgruppi.xlsx	htgruppi(out).xlsx	11/09/2018
Campionamento casuale	Estrarre un campione casuale di unità statistiche da un collettivo	SondUSA.sav SondUSA.xls	SondUSA(out) .xls	14/09/2016

Seconda settimana

Argomento	Obiettivo	File di input	File di output	Data ultima modifica
Covarianza e correlazione	Richiamare i concetti di covarianza e correlazione e implementare manualmente le diverse formule in EXCEL	corr0.xlsx	corr0(out).xlsx	25/09/2014
Diagramma di dispersione dinamico	Costruire un diagramma di dispersione dinamico in base alle scelte derivanti da caselle a discesa.	benessereSPM.xlsx	benessereSPM(out).xlsx	18/09/2018
Matrice di covarianza e correlazione	Costruire la matrice di covarianze e correlazione in Excel (tramite formule oppure componente aggiuntivo analisi dei dati). Costruire un diagramma di dispersione con etichette personalizzate.	CONADR.xlsx	CONADR(out).xlsx	21/09/2016
Matrice di covarianza e correlazione	Costruire la matrice di covarianze codevianze e la matrice di correlazione in SPSS e valutare la significatività delle relazioni.	CONADR.sav	CONADR.spv	25/09/2014
v.c. normale (standardizzata)	Richiamare i concetti di funzione di densità e di funzione di ripartizione. Calcolare in una v.a. normale la funzione di densità e la funzione di ripartizione. Trovare i valori che lasciano alla destra (sinistra) una probabilità prefissata. Calcolare la probabilià di ottenere valori compresi in un determinato intervallo	norm.xls	norm(out).xls	23/09/2015
Distribuzione normale bivariata	Calcolare la funzione di densità di una distribuzione normale bivariata e rappresentarla graficamente.	normbiv.xlsm	normbiv(out).xlsm	25/09/2014
Test sul coefficiente di correlazione lineare	Determinare la significatività della relazione lineare tra le diverse variabili	TAGLIAT40.xlsx TAGLIAT40.sav	TAGLIAT40(out).xlsx	30/09/2016
Valori di rxy significativi	Dimostrare empiricamente che al crescere della numerosità campionaria diminuisce il valore di rxy ritenuto significativo	sogliarxy.xlsx	sogliarxy(out).xlsx	25/09/2014
Cograduazione	Calcolare il coefficiente rho di Spearman per verificare la concordanza di andamento tra due fenomeni misurati almeno su scala ordinale	cograd.xlsx	cograd(out).xlsx	25/09/2014
Cograduazione	Calcolare la matrice dei coefficienti rho di Spearman in presenza di gradi ripetuti e valutare la loro significatività.	cogradrip.xlsx	cogradrip(out).xlsx	25/09/2017

Terza settimana

Analisi dei dati mancanti e dei valori estremi. Boxplot e grafici ad istogrammi.	Effettuare un'analisi dei dati mancanti e dei valori estremi univariati (ossia esterni all'intervallo [Q1-1.5IQR Q3+1.5IQR]) Calcolare medie e deviazioni standard con tutti i dati e solo i dati mancanti (esclusione listwise e pairwise). Analizzare i singoli fenomeni tramite grafici a scatola ed istogrammi	TAGLIAT40MIS.xlsx TAGLIAT40.sav	TAGLIAT40MIS(out).xlsx	25/09/2018
Boxplot in excel	Creare grafici a scatola (boxplot) in excel tramite il componente aggiuntivo boxplot.xla (PARTE FACOLTATIVA).	htbox.xlsx	htbox(out).xlsx	27/09/2016
Boxplot in excel	Creare grafici a scatola (boxplot) per sottogruppi di unità. Confronto tramite medie e quantili.	ex23box.xls	ex23box(out).xlsx	03/10/2017
Boxplot in SPSS	Creare grafici a scatola (boxplot) per sottogruppi di unità.	ex23.sav	v. slides	03/10/2014
Modello di regressione	Richiamare i concetti di regressione lineare.	regressione.xlsx	regressione(out).xls	03/10/2017

Quarta settimana

Tabelle di contingenza 2 x 2	Calcolare i diversi indici di associazione nelle tabelle 2x2 e verificare empiricamente le proprietà dei diversi indici	cont1.xlsx	cont1(out).xlsx	03/10/2017
Tabelle di contingenza 2 x 2	Approfondire la relazione tra il Cross Product Ratio (Θ) e l'indice normalizzato del rapporto dei prodotti incrociati (Q) e l'indice U	Theta_and_Q.xlsx	Theta_and_Q(out).xlsx	03/10/2017
Tabelle di contingenza r x c	Analisi della relazione tra appartenenza al partito politico e posizione sulla pena di morte negli USA.	SondUSAcont.xlsx	SondUSAcont(out).xlsx	05/10/2016
Eterogeneità	Calcolare gli indici di eterogeneità assoluti e normalizzati di Gini e di Shannon	entropia.xlsx	entropia(out).xlsx	08/10/2014
Indici di associazione dotati di interpretazione operativa (fenomeni qualitativi nominali)	Calcolare gli indici basati sulla riduzione proporzionale della probabilità di errore e gli indici basati sulla riduzione proporzionale dell'eterogeneità	spumanti.xlsx spumanti.sav	spumanti(out).xlsx	24/10/2017
Indici di associazione per variabili ordinali	Introdurre i concetti di coppie concordanti (C) e coppie discordanti (D). Calcolare gli indici gamma, taub e di Somers.	assord.xlsx	assord(out).xlsx	08/10/2014
Associazione tra un fenomeno nominale (X) ed uno ordinale (Y) in tabella 2 x c	Confrontare le distribuzioni condizionate di Y in corrispondenza delle diverse classi di X. Introdurre indici di associazione che utilizzano solo l'ordinamento dei livelli di Y (indice delta di Agresti). (FACOLTATIVO)	nomxord.xlsx	nomxord(out).xlsx	08/10/2014
Scomposizione della varianza nei gruppi e tra i gruppi	Porre in luce la relazione esistente tra un indice di variabilità (d'un certo tipo) riferito all'intero collettivo e gli indici di variabilità (del medesimo tipo) inerenti ai gruppi della partizione. Rappresentare graficamente gli intervalli di confidenza	UnivUSAanova.xlsx	UnivUSAanova(out).xlsx	14/10/2016
Associazione tra un fenomeno quantitativo (Y) ed uno nominale (X)	Calcolare indici normalizzati che misurano la dipendenza in media di Y da X (rapporti di correlazione)	etaYX.xlsx	etaYX(out).xlsx	10/10/2014
Intervalli di confidenza degli indici di associazione	Utilizzando l'errore standard asintotico dei diversi indici di associazione per calcolare intervalli di confidenza	v. slides		10/10/2014

Quinta e sesta settimana

Grafico in coordinate parallele	Creare ed interpretare i grafici in coordinate parallele	parcoord1.xlsx	parcoord1(out).xlsx	11/10/2016
Rapprsentazione iconica delle unità	Implementare in Excel i grafici a stella (facoltativo) e interpretarli		stars(out).xlsx	10/10/2014

Introdurre la notazione matriciale. Calcolare autovalori e autovettori	Verificare, utilizzando un dataset di esempio, le formule contenute nel file aspetti matematici delle componenti principali	formulemat.xlsx	formulemat(out).xlsx ---------------- File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers formulematM(out).xlsx	13/11/2015
Altri esercizi su autovalori e autovettori	Consolidare la procedure per il calcolo degli autovalori e autovettori	Eigenvalues_Eigenvectors.xlsx	Eigenvalues_Eigenvectors(out).xlsx	24/10/2016
Componenti principali	Effettuare la riduzione delle dimensioni tramite la tecnica delle componenti principali.	benessere.xlsx benessere.sav	benessere(out).xlsx -------------- File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers benessereM(out).xlsx	17/10/2014

Settima e ottava settimana

Componenti principali	Effettuare la riduzione delle dimensioni tramite la tecnica delle componenti principali.	lavatrici.xlsx	lavatrici(out).xlsx -------------- File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers lavatriciM(out).xlsx	31/10/2014
Componenti principali	Esplorare gli aspetti geometrici della tecnica delle componenti principali	ellisse.xlsx	ellisse(out).xlsx -------------- File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers ellisseM(out).xlsx	31/10/2014

Costruire un biplot dinamico

File pdf contenente i dettagli matematici per la costruzione del biplot dinamico.

Costruzione di un biplot dinamico in cui tramite barre di scorrimento posso visualizzare diverse varianti del biplot.

benessereBiplot.xlsx

Per versione di Excel antecedenti al 2013
benessereBiplot(OUT)Excel2010.xlsx
----------------
File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers
benessereBiplotM(OUT)Excel2010.xlsx
___________
___________
___________
SOLO PER CHI POSSIEDE EXCEL 2013/2016
benessereBiplot(OUT).xlsx
----------------
File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers
benessereBiplotM(OUT).xlsx

24/10/2016

Analisi delle corrispondenze

Relazione tra i profili riga e colonna di una tabella di contingenza. Riduzione delle dimensioni. Scomposizione dell'inerzia

corrisp.xlsx

corrisp(out).xlsx
----------------
File di output contenente solo i valori e non i riferimenti esterni al componente aggiuntivo Xnumbers
corrispM(out).xlsx

31/10/2014

Nona settimana

Distanze	Calcolare le distanze di Minkowski e le distanze di Mahalnobis tramite diversi metodi	distanze1.xlsx	distanze1(out).xlsx	12/11/2014
Indici di similarità	Calcolare diversi indici di similarità	similarita.xlsx	similarita(out).xlsx	12/11/2014

Capire la funzione obiettivo utilizzata dal metodo delle k-medie

Impostare manualmente la funzione obiettivo utilizzata dal metodo non gerarchico di clustering delle k-medie. Trovare la soluzione tramite il risolutore di Excel

k-means_risol.xlsm

k-means_risol(out).xlsx

28/11/2017

Cluster analysis

Effettuare la segmentazione utilizzando la metodologia delle k-medie e scegliere il numero appropriato di gruppi. Avvertenza: il file è stato zippato poiché è in formato xlsm (file di Excel con attivazione di macro)

kmeans.zip

kmeans(out).zip

12/11/2014

Decima settimana

Multidimensional scaling

Ricostruire la matrice dei dati partendo dalla matrice di dissimilarità

mds.xlsx

mds(out).xlsx

17/11/2014

ESERCIZIO RIEPILOGATIVO

INPUT FILE

SOLUZIONE (file di output contenente solo i valori)