Il modello CRISP-DM

Il modello CRISP-DM

Il Cross Industry Standard Process per il Data Mining è un modello per la standardizzazione del processo di sviluppo e applicazione del data mining nei contesti organizzativi di tipo industriale e commerciale sviluppato nella metà degli anni '90 da un gruppo di esperti di data mining.

Il modello è nato da un workshop in cui si sono incontrati esperti di data mining per condividere gli approcci metodologici che ognuno aveva sviluppato individualmente nelle proprie esperienze lavorative e per fare il punto della situazione sullo stato del data mining applicato a qualsiasi contesto organizzativo; la domande che tali esperti si sono posti sono:

possibile sviluppare un modello standard di processo di data mining che serva da guida a tutti i nuovi sviluppatori di processi di data mining?

Come si dimostra ai nostri clienti che il data mining è giunto ad una maturità tale che è possibile adottarlo come parte di un loro processo di business chiave?

La risposta alle due domande è lo sviluppo di uno modello di processo standard di data mining applicabile ad ogni contesto organizzativo e in ogni settore industriale; il modello è di riferimento per gli ideatori perché unisce le esperienze di ognuno e le standardizza in un una procedura unica ed è di riferimento per tutti i futuri sviluppatori sia di progetti grandi e complessi sia per quelli più piccoli. Le specifiche del modello sono disponibili a tutti e non proprietarie. I redattori del modello CRISP-DM incontratisi nel workshop hanno formato un consorzio che continua ancora oggi ad esistere e ad essere un punto di riferimento per tutti coloro che gravitano nel mondo del data mining.

Il modello di processo per il data mining dà una visione d'insieme della forma ciclica di un progetto di data mining, delle fasi in cui si articola il progetto, delle attività di ogni

fase e dei collegamenti tra le varie fasi. Il modello consiste di sei fasi, le fasi sono ordinate ma ogni fase può essere ripetuta all'interno del processo a seconda del contesto in cui si sta applicando il processo, il processo, nella sua interezza, è incrementale. I collegamenti tra le fasi vengono mostrati in figura 11.

Il modello fornisce le indicazioni delle direzioni, gli obiettivi e le attività di ogni fase del processo.

Il processo illustrato è di tipo top-down e gerarchico, il modello parte cioè da un livello di astrazione alto e quindi indipendente rispetto al contesto specifico e mano a mano che si scende nella gerarchia si trovano i riferimenti su che cosa fare e sul come farlo nei contesti specifici. Ogni fase è composta di un certo numero di obiettivi generici applicabili indipendentemente dal contesto del progetto, per ogni obiettivo sono definite una serie di attività da eseguire nella situazione specifica del processo, infine, all'ultimo livello di dettaglio il processo CRISP è composto dalle varie istanze costituite dalle azioni, decisioni e risultati del processo di data mining studiato.

Figura : Fasi del modello CRISP-DM [fonte www.crisp-dm.org]

Fase 1: Business Understanding

Questa fase iniziale consiste nel riflettere e considerare gli obiettivi del progetto e i suoi requisiti dal punto di vista aziendale.

La conoscenza accumulata in questa fase è necessaria per capire che cosa vuole veramente l'azienda dal data mining e se quello che vuole è compatibile con i vincoli che l'azienda stessa pone. Una volta chiariti gli obiettivi del business li si deve convertire in problemi di data mining; deve cioè essere definito che cosa ci si aspetta come output del sistema. Ad esempio, se l'obiettivo di business è di aumentare le vendite di un certo prodotto, il corrispondente obiettivo di data mining sarà di predire quante persone contattare nell'offerta e con quali caratteristiche, considerando i loro panieri di prodotti acquistati nel passato, le loro caratteristiche socio-demografiche e il loro stadio di relazione con l'azienda.

Infine si deve preparare una pianificazione molto dettagliata, che potrà cambiare nel corso del processo, delle attività da svolgere, delle risorse coinvolte e dei risultati attesi.

La fase 1 si compone degli obiettivi di:

determinare gli obiettivi di business;

conoscere la situazione aziendale in cui si stabilisce il processo;

determinare gli obiettivi di data mining;

produrre un piano ben definito del progetto.

Fase 2: Data Understanding

Questa fase inizia con la collezione dei dati provenienti dalle varie fonti e continua con tutte le attività di osservazione necessarie per prendere familiarità con i dati. Quando i dati provengono da fonti diverse è necessario verificare che sarà possibile integrarli, è necessario anche , indipendentemente dalla fonte, controllare la qualità dei dati, la sua numerosità e correttezza.

Questa fase è molo importante perché apporta una grande quantità di pre-conoscenza a partire dai dati e individua i possibili vincoli nell'applicazione del data mining per

soddisfar gli obiettivi prefissati nella fase precedente di business understanding dovuti alle caratteristiche dei dati.

La qualità del lavoro compito per la comprensione dei dati rappresenta il primo passo della fase successiva di preparazione dei dati.

Le attività di questa fase sono:

collezionare i dati iniziali;

descrivere i dati;

esplorarli;

verificarne la qualità.

Fase 3: Data Preparation

Questa fase comprende tutte le attività necessarie a costruire l'insieme dei dati che verrà sottoposto allo strumento di data mining, è pertanto necessario che a questo punto si sia arrivati all'idea definitive di quali e quanti dati dovranno essere sottoposti all'analisi. Questa fase è solitamente molto lunga, può diventare automatizzabile una volta deciso che cosa si vuole dai dati e non presenta un ordine preciso di priorità tra le vari attività che la compongono:

selezione dei dati;

pulizia dei dati;

costruzione dei dati (record generati, variabili derivate);

integrazione dei dati;

formattazione dei dati in base al formato richiesto dallo strumento di data mining.

Fase 4: Modeling

In questa fase vengono selezionate le tecnica di modellazione ed applicate sui dati nella forma richiesta; nei risultati della modellazione hanno grande rilevanza le scelte degli

algoritmi ma soprattutto le scelte dei parametri che calibrano l'algoritmo. Di solito ci sono varie tecniche per lo stesso problema di data mining ed ogni tecnica presenta dei vincoli diversi sulla tipologia dei dati che prende in input. Dopo la scelta della tecnica di data mining da applicare può essere necessario pertanto dover tornare alla fase precedente di preparazione dei dati.

Questa fase comprende anche la valutazione del modello da un punto di vista tecnico di accuratezza e qualità dei risultati ottenuti; si valuta la bontà del modello sotto punti di vista diversi, non solo l'accuratezza con cui il modello predice un fatto ma anche la generalità dei risultati ottenuti, la comprensibilità e la semplicità del modello.

Le attività di questa fase sono:

selezione della tecnica di modellazione;

generazione della procedura o del meccanismo con cui testare il modello;

costruzione del modello;

miglioramenti al modello (valutazione tecnica del modello).

Fase 5: Evaluation

La fase di valutazione è strettamente legata agli obiettivi stabiliti nella fase di business understanding, se si crede che tali obiettivi non siano stati pienamente raggiunti è necessario ritornare sui passi precedenti.

Le attività di cui consiste questa fase sono:

valutazione di risultati;

review del processo;

definizione dei prossimi passi.

Fase 6: Deployment

L'ultimo passo del processo è quello di trasferire la conoscenza emersa dai modelli costruiti all'organizzazione. La conoscenza deve essere organizzata e presentata in maniera tale che sia comprensibile ed utile all'azienda.

Le attività di questa fase sono:

pianificare il trasferimento della conoscenza;

pianificare le azioni di monitoraggio e manutenzione del modello costruito;

produzione di un report finale;

ripercorrere ed eventualmente modificare tutte le fasi del processo.