Blog.

Data Modelling e Model Evaluation | Data Science Methodology


Autore
Andrea Provino
Data
Tempo di lettura
2 minuti
Categoria
Data Science, machine-learning

data-modelling-model-evaluation-data-science-methodology-machine-learning

A questo punto della data sciecne methodology: data modelling e data evaluation.

La Data Science Methodology è una metodologia, cioé un sistema di metodi che, usati in una particolare area di studi, permettono di organizzare ordinatamente i task da completare per raggiungere uno specifico obiettivo.

Il nostro percorso è iniziato con il Business Understarning e l’Analytic Approach, seguito dal Data Requirments e Data Collection, e dalla definizione del Data Understaning e Data Preparation.

Ora vediamo in cosa consiste la fase di data modelling e di model evaluation

Data Modelling

La fase di Data Modelling è incentrata sullo sviluppo di un modello che può essere:

  • descrittivo
  • predittivo

La scelta dipende dall’aproccio analitico scelto: statistical driven o machine learning driven.

Model Evaluation

E’ arrivato il momento di valutare l’utilità del modello: è in grado di rispondere alle domande inzialmente poste?

Siamo stati in grado di risolvere il problema? O forse è necessario correggere il modello?

Generalmente la Model Evaluation è divisa in due sotto-fasi:

  • diagnostic measures
  • statistical significance testing

Nella prima dobbiamo assicurarci che il modello stia funzionando come previsto. Qualora si trattasse in un prescriptive model è necessario valutare che le previsioni siano coerenti, e nel caso in quale misura, con i dati raccolti.

Invece per un descriptive model è necessario applicare un testing set con rislutati conosciuti.

Nella seconda, controlliamo che i dati sono stati propriamente gestiti dal modello e interpretati a dovere.

Più in generale la fase di Model Evaluation esprime quanto bene il nostro modello abbia imparato dai dati fornitogli.

Per finezza, distinguiamo due tipologie di model evaluation:

  • In-sample evaluation, per determinare le performance sul dataset di training.
  • Out-of-sample evaluation, per approssimare le performance del modello nel mondo reale

Ho sviluppato un post, per approfondire in modo tecnico il model evaluation.

La fase successiva?

5 – Model Deployment e Feedback

Un caldo abbraccio, Andrea.


Ultimi post

Patricia Merkle Trie

Il Practical Algorithm To Retrieve Information Coded In Alphanumeric Merkle Trie, o Patricia Merkle Trie è una struttura dati chiave-valore usatada Ethereum e particolarmente efficiente per il salvataggio e la verifica dell’integrità dell’informazione. In questo post ne studieremo le caratteristiche. Prima di procedere, ci conviene ripassare l’introduzione al Merkle Tree nella quale abbiamo chiarito il […]

Andrea Provino
ethereum-patricia-merkle-tree
Tree Data Structure: cos’è un Merkle Tree

Un Merkle Tree è una struttura dati efficiente per verificare che un dato appartenga a un insieme esteso di elementi. È comunemente impiegato nelle Peer to Peer network in cui la generazione efficiente di prove (proof) contribuisce alla scalabilità della rete. Capire i vantaggi di questa struttura ci tornerà utile nel nostro percorso di esplorazione […]

Andrea Provino
merkle-tree-cover
UTXO: come funziona il modello Unspent Transaction Outputs

Per tenere traccia dei bilanci utente, la blockchain di Bitcoin sfrutta un modello di contabilità definito UTXO o Unspent Transaction Outputs. In questo articolo ne esaminiamo le caratteristiche. Ogni blockchain è dotata di un sistema di contabilità, un meccanismo attraverso cui tenere traccia dei bilanci di ciascun utente. I due grandi modelli di riferimento nel […]

Andrea Provino
bitcoin-utxo
Cos’è Ethereum

Possiamo definire Ethereum come una macchina a stati distribuita che traccia le transizioni di un archivio dati general-purpose (i.e. una memoria in grado di registrare qualsiasi dato esprimibile come coppia di chiave e valore o key-value) all’interno della Ethereum Blockchain. È arrivato il momento di esplorare uno dei progetti tecnologici più innovativi e interessanti degli […]

Andrea Provino
ethereum