patataman / contratosmadrid Goto Github PK

Listado de cosa que hay que hacer de cara a la prueba de concepto:

1. Arreglar los detalles de la documentación que nos comentaron en la clase #11
2. Implementar de 2 a 3 fuentes de datos en la prueba de concepto y enlazarlas entre sí en un MondoDB #12
   2.1 Contratos de la CAM (sin los pdfs)
   2.2 Listas electorales CAM
   2.3 Papeles Off-shore para las empresas y personas jurídicas
3. Usar la API de LibreBOR para hacer las relaciones con los papeles off-shore y las listas electorales #13
4. Hacer el diseño del front #10
   4.1 Usar el Google Charts (o como se llamase) para generar un mapa de Madrid y dibujar por encima la agrupación de contratos por municipio (Muy probablemente con un círculo y según el nº de contratos, + grande o + pequeño) #14
5. Cómo estandarizamos para que se introduzcan los datos para nuestras pruebas de la misma forma, y se puedan actualizar y modificar los datos sin romperlo todo?
6. Ir viendo el tema de la entrega con la máquina virtual y toda esa pesca. Cómo se despliegua en la MV?
7. Responder con un "Roger Roger" si te has leído este issue

Usar la API de LibreBOR para hacer las relaciones con los papeles off-shore y las listas electorales

Listado de imágenes-mockup para la web. Aportaciones son bienvenidas

Si el usuario hace una búsqueda en el buscador

El usuario hace click en alguno de los contratos para obtener más información en detalle

Crear heatmap usando la API de Google Maps (se aceptan propuestas de otras APIs):

Para el heatmap en si:
https://developers.google.com/maps/documentation/javascript/heatmaplayer?hl=es
Para obtener las coordenadas de una localidad:
https://developers.google.com/maps/documentation/geocoding/overview

En un MongoDB y ser capaces de buscar en ellos

1. Contratos de la CAM (sin los pdfs)
2. Listas electorales CAM
3. Papeles Off-shore para las empresas y personas jurídicas

Este issue va sobre los endpoints y necesidades de los mismos que habría que implementar. Sentíos libre de añadir lo que veáis necesario

Ver cómo se hace y cómo se puede generar un mapa de la CAM para dibujar con https://datastudio.google.com/u/0/ el mapita

Usar el Google Charts (o como se llamase) para generar un mapa de Madrid y dibujar por encima la agrupación de contratos por municipio (Muy probablemente con un círculo y según el nº de contratos, + grande o + pequeño)

https://www.kaggle.com/zusmani/paradisepanamapapers?select=bahamas_leaks.nodes.intermediary.csv

Se pide:

1. Definir el valor añadido que proporciona al usuario el escenario de integración
   (conocimiento que no es posible obtener de las fuentes de datos por separado).

• Trasparencia al ciudadano
• Ayuda a investigaciones (fraudes, irregularidades, prevaricación...)

2. Seleccionar, recopilar y analizar las fuentes a integrar comprobando el modelo de
   datos y el formato, el histórico y periodo contemplado, la periodicidad de
   actualización, etc. <---- Carta a los reyes magos

• Contratos Comunidad de Madrid: Formato PDF (?), Histórico accesile, actualización cada vez que haya uno nuevo
  -- Contrataciones: https://www.comunidad.madrid/transparencia/contratos < Idea base
  -- Presupuestos: https://www.comunidad.madrid/transparencia/presupuestos-0 < Si se puede podría estar bien asociar presupuesto con el coste final

• Listas electorales: Txt, Histórico accesible, actualización cada 4 años
  -- https://github.com/JaimeObregon/infoelectoral
  CAM: https://github.com/franloza/infoelectoral-madrid

• Histórico de Gobiernos en la Comunidad
  -- Se podrían scrapear desde http://www.argos.gva.es/ahe/pls/argos_elec/DMEDB_elecComunidades.informeElec?aNComuId=12&aVLengua=c
  -- O desde https://www.madrid.org/iestadis/fijas/estructu/general/otros/eleccionescmasamblea11.htm pero puede ser más complicado

• Papeles de sociedades off-shore: https://www.kaggle.com/zusmani/paradisepanamapapers?select=bahamas_leaks.nodes.intermediary.csv

• Idea fuente datos: Api X para detectar nuevos contratos y entonces realizar un scrappeo para indexar los nuevos contratos a la bbdd

• Next Steps (Futuro):
  -- Contrataciones a nivel nacional (Debería darlo el Gobierno)
  ---- API de Mapa para la navegación
  -- Contrataciones internacionales

3. Diseñar un sistema software que recoja la información de las fuentes seleccionadas
   en el punto anterior (en tiempo real o fuentes off-line) basándose en los conceptos
   de integración vistos en la asignatura.

4. Elegir un sistema de integración de datos (virtual o material) adecuado y de
   procesamiento de la información obtenida. En el caso de optar por un enfoque
   material, la tecnología propuesta para el almacenamiento de la información
   recogida debe ajustarse a un paradigma de arquitectura distribuida. En caso de
   elegir una arquitectura de tipo virtual, deberá justificarse adecuadamente la
   ausencia de la capa de almacenamiento.

5. Diseñar un sistema que basándose en los datos integrados realice los análisis
   requeridos y que además visualice la información utilizando distintos formatos
   (líneas temporales, mapas, gráficos estadísticos, etc.). El análisis de los datos se
   realizará a través de un sistema externo (sea una API, una librería software externa,
   etc.). Este diseño debe basarse en alguno de los paquetes de software estudiados
   en la asignatura.

6. Plantear las consultas básicas que proporcionen la información requerida por el
   usuario. Por ejemplo, en el escenario proporcionado a modo de ejemplo, algunas
   consultan podrían ser (a) cuál es la ruta con menos tráfico para el registro del
   Ayuntamiento de Madrid en el momento de la consulta y (b) mostrar una línea
   temporal con la evolución de las ayudas ofrecidas por los distintos ministerios.

7. Para la visualización pueden utilizarse herramientas como librerías de visualización
   en javascript (protovis, Google API visualization, dygraphs), Gephi (para
   visualización de grafos, http://gephi.org/), Google Data Studio o software como
   Tableau entre otras opciones.

8. Implementar una prueba de concepto del sistema diseñado. Esta prueba no tiene
   que incluir toda la propuesta teórica, puede ser una parte. Como requisito para la
   prueba de concepto se deberán integrar al menos dos fuentes de datos y desde el
   punto de vista de la integración funcional será necesario integrar al menos un
   servicio de terceros, por ejemplo, para analizar el texto de los comentarios de los
   ciudadanos en redes sociales. Tanto la integración de datos como la funcional se
   hará de acuerdo a las tecnologías estudiadas en la asignatura. La funcionalidad de
   esta prueba de concepto deberá validarse con los profesores de la asignatura en la
   sesión establecida en el cronograma de la asignatura

Fuentes de datos: Contrataciones (ver si hay alguna forma de detectar cuando sale uno nuevo) + Listas electorales + Presupuestos (Si cuela)
Servicio: Elastic / BBDD / Gráficas...