palmerabollo / egov Goto Github PK

Proveedores de datos:

• DGT

  • http://www.dgt.es/es/el-trafico/
  • http://infocar.dgt.es/etraffic/
  • Incidencias http://infocar.dgt.es/etraffic/Incidencias?ca=&provIci=&caracter=acontecimiento&accion_consultar=Consultar&IncidenciasRETENCION=IncidenciasRETENCION&IncidenciasOBRAS=IncidenciasOBRAS&IncidenciasPUERTOS=IncidenciasPUERTOS&IncidenciasMETEOROLOGICA=IncidenciasMETEOROLOGICA&IncidenciasEVENTOS=IncidenciasEVENTOS&IncidenciasOTROS=IncidenciasOTROS&IncidenciasRESTRICCIONES=IncidenciasRESTRICCIONES&ordenacion=fechahora_ini-DESC

• Otros

  • https://opendata.esri.es/datasets/a64659151f0a42c69a38563e9d006c6b_0

Datos:

• Puntos negros
• Estado de la circulación (incidencias) y restricciones
• Radares #6

• Evaluar https://github.com/extrabacon/python-shell para soportar Python que tiene cierta demanda. Ver también https://stackoverflow.com/questions/39897505/python-and-node-js-on-heroku/39947385#39947385
• Evaluar si con Apollo GraphQL hay algún patrón, buena práctica o utilidad para enganchar diferentes providers que no se ejecutan en el mismo proceso.

import requests
import json
import bs4 as bs
from urllib.parse import urljoin
from tabula import read_pdf

base_url = "http://www.dgt.es/es/el-trafico/control-de-velocidad/"
text_pdf = "aquí"

def find_pdf_url(base_url,text_pdf):
  # Get the website
  r = requests.get(base_url)
  if r.ok:
    # Parse it to find the download link
    html = bs.BeautifulSoup(r.text)

    # Find all links
    links = html.find_all("a", href=True)

    # Find the link with the word from the link
    pdf = [_ for _ in links if text_pdf in _.text]

    # Create absolute path and return
    pdf_relative_url = pdf[0].get("href")
    pdf_url = urljoin(base_url, pdf_relative_url)

    return pdf_url
  else:
    print("Error trying to get {}".format(base_url))
    r.raise_for_status()

# Find the url of the pdf
pdf_url = find_pdf_url(base_url, text_pdf)

# Parse pdf to json and save to disk
json_file = read_pdf(pdf_url, encoding="latin-1", pages="all", output_format="json")
with open('data.json', 'w') as outfile:
json.dump(json_file, outfile)

Puede ser buen caso para probar #5

Complementar con datos de puntos kilométricos:

• https://www.arcgis.com/home/item.html?id=d8854f26fd5c4baab08337ca0f3aff6f
• https://services1.arcgis.com/nCKYwcSONQTkPA4K/arcgis/rest/services/Puntos_kilometricos_Espana/FeatureServer/0
• https://www.arcgis.com/apps/View/index.html?appid=05639508cb7a43ecbb41b3241b5e9caf
• https://opendata.esri.es/datasets/d8854f26fd5c4baab08337ca0f3aff6f_0

"Starting November 28th, 2022, free Heroku Dynos, free Heroku Postgres, and free Heroku Data for Redis® will no longer be available."

Esto rompe la demo que está corriendo en egov-demo.herokuapp.com y que consumen los ejemplos del portal.
Avisad si conocéis alternativas ya que el proyecto no tiene presupuesto para mantener infraestructura propia.

Ver https://blog.apollographql.com/announcing-managed-federation-265c9f0bc88e

Acceso al API con apikey para generación de estadísticas de uso y filtro de usuarios abusivos.

Proveedores de datos:

• Congreso de los Diputados http://www.congreso.es
• Senado http://www.senado.es/
• WikiData (ejemplo https://www.wikidata.org/wiki/Q17045132)

Datos:

• Actividad parlamentaria
• Datos de políticos y partidos políticos