Comments (6)
mi sembra che quanto riportato sopra sia valido per le province. E' valido anche per i comuni? [Verifico e Modifico il commento sopra]
relativamente alla tematica rifiuti sto scorrendo i documenti Nota Fas 2016_1 pag.7 e Nota Fas 2016_2 pag 9 e capitolo 2. Il file Nota Fas 2016_2 nell'appendice D descrive come sono stati ottenuti i cluster dei comuni (k-means, PCA).
from daf-data-science.
- CAT_DET_COD_1
- CAT_DET_COD_2
- CAT_DET_COD_3
- CAT_DET_COD_4
- CAT_DET_COD_5
rappresentano la ripartizione in millesimi dei fabbisogni dei comuni sulle varie voci analizzate da Open Civitas. Metto un rif al notebook appena lo carico
row = df_serv_entrate.iloc[0]
sum(row.filter(regex="^CAT_*")) # = 1.0
from daf-data-science.
Il fabbisogno standard viene determinato attraverso OLS a partire da N variabili
DOMANDE:
- Importante per il confronto dei dati: I fabbisogni 2010 e 2013 sono stati calcolati con metodi diversi (funzione di costo/funzione di spesa) a causa di un aggiornamento delle procedure? O sono state utilizzate le stesse metodologie? Nella pagina http://www.mef.gov.it/ministero/commissioni/ctfs/ sono presenti diversi documenti che spiegano come i dati sono stati elaborati, e da tali documenti si evince che la metodologia utilizzata per il calcolo del fabbisogno è stata modificata nel tempo.
- le variabili nella regressione sono relative a quale anno? forse l'anno precedente? Perchè nella scheda relativa al dato viene specificato 2010-2013, e 2013-2015, e non solo 2010 e 2013?
- CAT_DET_COD_1, ..., CAT_DET_COD_[N] sono i pesi stimati con Ordinary Least Squares (OLS), associati a tali variabili?
- COEFF_TEORICO è normalizzato rispetto a tutti i servizi (asilo, rifiuti, etc)?
- IND1,..., IND[N] sono valori stimati in base al COEFF_TEORICO? con quali formule?
- Oltre a LQP_COD_4, LQP_COD_5, LQP_COD_6, chiederei anche informazioni a proposito di LQP_COD_S
Aggiungo una nota per coloro che stanno utilizzando i dati open civitas e che hanno in mente di utilizzare un algoritmo di clusterizzazione sui fabbisogni: nel documento (13 settembre 2016) che descrive la metodologia viene spiegato dettagliatamente come nel calcolo del fabbisogno per i rifiuti venga utilizzata una variabile CLUSTER, che specifica a quale cluster ciascun comune è stato assegnato. I cluster (15) sono stati determinati a partire da un set di variabili, che poi è stato ridotto utilizzando PCA. Mi sembra di capire che l'informazione relativa al cluster venga poi utilizzata per stimare il fabbisogno dei comuni (almeno in alcuni casi). Nel caso si voglia fare un'analisi con clusterizzazione, credo sia importante capire come i dati siano già stati clusterizzati in precedenza.
from daf-data-science.
Credo che il file http://www.opencivitas.it/dataset/2013-comuni-determinanti-servizio-rifiuti contenga i dati utilizzati per la regressione nel calcolo dei fabbisogni. Forse potremmo chiedere a SOSE info a riguardo e valutare se scaricare anche questi dati? Questo file contiene la specifica di appartenenza di ciascun comune a ciascun cluster.
from daf-data-science.
RIF CAT_DET_COD_1, ..., CAT_DET_COD_[N] sono i pesi stimati con Ordinary Least Squares (OLS), associati a tali variabili?
Se ho capito bene i valori di queste variabili rappresentano i Fabbisogni dei Comuni interpolati utilizzando una regressione quantilica (ref. Approfondimento metodologico relativo alla regressione quantilica).
Questi fabbisogni sono stati creati:
- selezionando alcune citta' metropolitane, enti area vasta e province montane come rappresentative dell'intero campione
- escludendone alcune in base alla variabile dipendente per la regressione rif. ALLEGATO 4 - DEFINIZIONE DEL CAMPIONE DI REGRESSIONE
- utilizzando dati ottenuti da ISTAT, MIUR, ACI, ASIA (attività di trattamento e smaltimento dei rifiuti a livello provinciale ) e questionario
Le tabella all' allegato 6 contiene i dati puntuali utilizzati per il modello.
[L'allegato 4](http://www.mef.gov.it/ministero/commissioni/ctfs/documenti/Nota_Metodologica_Fabbisogni_Province_x3_maggio_2016x_V2.pdf] fornisce un riferimento sul come e' stato composto il campione per la regressione.
Partendo dalla pagina 72 in doc sono presenti tutti valori di coefficienti stimati in base alle regressione quantilica.
Gli indicatori sono ottenuti applicando una funzione di Normalized Exponential Function per scalare tutto tra [0;1] (ref. slides).
Obiettivi
- sembra sia quello di costruire una tabella millesimale (slide 2) dei fabbisogni dei comuni
from daf-data-science.
Domande per email
-
Potreste definire analiticamente e concettualmente i valori di CAT_DET_COD_1, ..., CAT_DET_COD_[N], COEFF_TEORICO, IND1,..., IND[N], LQP_COD_1, ..., LQP_COD_[N], LQP_COD_S per ciascun servizio (ovvero dei campi nell'header dei file relativi al fabbisogno) e se i valori sono stato normalizzati e rispetto a cosa (su tutti i servizi /su tutti i comuni)?
-
Ci sembra di capire che i fabbisogni 2010 e 2013 sono stati calcolati con metodi diversi (funzione di costo/funzione di spesa) a causa di un aggiornamento delle procedure. E' corretto? O sono state utilizzate le stesse metodologie? Potreste indicare per ciascun anno quale procedura è stata utilizzata ed indicarci in quale documento/paragrafo è spiegata la metodologia per ciascun anno?
-
Le variabili nella regressione sono relative a quale anno? Forse l'anno precedente? Perchè nella scheda relativa al dato viene specificato 2010-2013, e 2013-2015, e non solo 2010 e 2013? In generale non e' ben chiaro il criterio che associa 2010 e 2013 alle altre variabili presenti nei dataset, avete maggiori informazioni?
-
abbiamo letto qui http://www.mef.gov.it/ministero/commissioni/ctfs/documenti/PRESENTAZIONE_SOSE_CTFS_3MARZO_2016.pdf che un obiettivo e' quello di raccogliere i dati ogni anno, avete un aggiornamento dei dati attuali? Sarebbe bello poter avere i dati anno per anno.
from daf-data-science.
Related Issues (20)
- Dati relativi fabbisogni header mancanti per le serie temporali 2013-2015 HOT 1
- Analisi Dati MEF Redditi e principali variabili Irpef su base comunale HOT 1
- Analisi dati tema viabilità
- Info Questionario CP01U
- Studio Spesa media per software e hardware (QUESTIONARIO)
- Realizzare una web application basata sui dati relativi al Servizio Smaltimento Rifiuti HOT 2
- Richiesta chiarimenti a Ministero Sviluppo HOT 1
- Incrociare dati Aiuti Mise e dati Open Coesione HOT 2
- One Pager Dati Registro Nazionale Aiuti di Stato Mise HOT 2
- One Pager Dati Open Civitas HOT 1
- Integrazione Dati da MEF su Redditi e principali variabili IRPEF su base comunale HOT 1
- Integrazione con Dati OpenBilanci
- to add geo position
- Vulnerabilità nei software daf-data-science/requirements.txt
- Analisi FC01B Comuni - Servizi di Ufficio Tecnico - Fabbisogni, caratteristiche e prestazioni
- Analisi Aiuti Mise
- Analisi Dataset Mise
- Arricchimento Dati aiuti Mise HOT 2
- [Data Integration] Open Civitas HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from daf-data-science.