osm-es / catatom2osm Goto Github PK

A void translation name in highway_names.csv is used to remove addresses for that street. If there inadvertently there are a blank string ' ', the addresses pass with a null name and produces some exceptions. Strip names in get_translations, catatom2osm.py #501

python3 -m unittest test.test_main
/usr/lib/python3.6/importlib/_bootstrap.py:219: ImportWarning: can't resolve package from spec or package, falling back on name and path
return f(*args, **kwds)

Occurs importing lxml etree
compat.py
from lxml import etree

En algunas versiones de JOSM, al abrir un archivo de tareas da el error:
Fallo al descargar datos. Su formato o bien no está soportado, bien formado y/o inconsistente.
Detalles(sin traducir: Illegal value for attribute 'upload'. Got 'yes'. (en la línea 2, columna 33.) 77

raise Exception(u'ñ')
Traceback (most recent call last):
File "", line 1, in
Exception: <exception str() failed>

Python2 fails to raise exeptions with unicode message and special characters. It should be encoded.

Error nuevo también que antes no sucedía. En el gestor de tareas le doy a crear un nuevo proyecto. Después importo archivo zoning.geojson y me sale el mapa bien importado. Selecciono geometrías arbitrarias y cuando le doy a Crear proyecto me salta el siguiente error:
No key 'geometry': Not an HTML form submission (Content-Type: )

He probado con otras importaciones ya realizadas que no dieron problemas. Y al intentar subir el archivo me sale el mismo error. Así que no debería ser problema del archivo que subo. No sé si habra cambiado algo en el gestor de tareas que pueda provocar el error.

In march 2021, a request was made in the import list regarding this import and the Simple 3D Buildings tagging scheme. Currently some building parts are been considered not needed because they only contains tags for the maximum and minimum values of the building:levels and building:levels:underground already present in the building outline. Nevertheless, the standard says that the entire building outline should be filled with building parts.

This issue was also discussed on the talk-es list.

Me han salido unos problemas que no conozco que nunca me habían salido con la suma de las direcciones de entrada y de salida. Como pone en la wiki aviso para ver que sucede.

El report es el siguiente:
Municipio: Castellanos de Moriscos
Nombre en Catastro: CASTELLANOS DE MORISCOS
Código: 37092
Fecha: 03/05/20
Opciones: 37092
Superficie: 13.8 km²
Población: 1638 hab. (2009)
Wikipedia: https://www.wikipedia.org/wiki/es:Castellanos de Moriscos
Wikidata: https://www.wikidata.org/wiki/Q1628745

=Información del sistema=
Versión de la aplicación: CatAtom2Osm 1.2dev
Plataforma: Linux 4.15.0-70-generic #79-Ubuntu SMP Tue Nov 12 10:36:11 UTC 2019 x86_64 x86_64
Versión de QGIS: 3.4.13-Madeira
Versión de GDAL: 2.2.3
Número de CPUs: 2
Frecuencia de CPU: 0.0 Mhz
Tiempo de ejecución: 29.6 segundos
Memoria total: 980.00 MB
Memoria física usada: 186.98 MB
Memoria virtual usada: 1557.26 MB

=Direcciones=

==Datos de entrada==
Fecha de origen: 2019-10-26
Número de características: 1009
Tipo entrada: 774
Tipo parcela: 235
Códigos postales: 1
Nombres de viales: 74

==Procesado==
Direcciones eliminadas por nombre de vía: 51
Direcciones sin número de portal eliminadas: 1
Direcciones sin edificio asociado eliminadas: 218
Direcciones correspondientes a edificios múltiples eliminadas: 131
Direcciones tipo parcela no únicas para su edificio eliminadas: 53

==Combinación==
Direcciones OSM: 9
Direcciones rechazadas por existir en OSM: 7

==Datos de salida==
Direcciones: 547
En nodos de entrada: 287
En edificios: 258
Tipo addr:street: 544
Tipo addr:place: 3

=Edificios=

==Datos de entrada==
Fecha de origen: 2019-10-26
Número de características: 3258
Edificios: 758
Partes de edificios: 2461
Piscinas: 39

==Procesado==
Partes fuera de contorno eliminadas: 75
Partes bajo rasante eliminadas: 71
Contornos de edificios creados: 2
Edificios con geometrías multiparte: 153
Edificios resultantes de dividir multipartes: 329
Partes fusionadas al contorno: 1255
Partes adyacentes fusionadas: 183
Geometrías no válidas eliminadas: 2
Vértices en punta eliminados: 3
Vértices próximos fusionados: 95
Puntos topológicos creados: 922
Vértices simplificados: 1348

==Combinación==
Edificios/piscinas en OSM: 163
Con conflicto: 148

==Datos de salida==
Nodos: 9339
Vías: 1903
Relaciones: 42
Número de características: 1850
Edificios: 936
Partes de edificios: 875
Piscinas: 39
Recuento de tipos de edificios: yes: 16, barn: 94, industrial: 158, residential: 636, public: 18, office: 6, retail: 5, ruins: 3
Plantas sobre rasante (nivel: nº de edificios): 1: 340, 3: 43, 2: 340, 4: 29, 5: 5, 7: 1
Plantas bajo rasante (nivel: nº de edificios): 1: 100, 2: 4
Archivos de tareas de rústica: 1
Archivos de tareas de urbana: 87

=Problemas=
Validación del informe: 2
La suma de las direcciones de salida y las eliminadas debe ser igual a las direcciones de entrada
La suma de las direcciones en entradas y edificios debe ser igual a las direcciones de salida

Me sucede tanto en 10.14.5 como en 10.13.6 (Mojave e High Sierra). Realizo todo el proceso de instalación y va correcto hasta que intento descargar alguna zona, entonces me lanza estos dos errores: ERROR - No module named qgis.core
ERROR - Por favor instala QGIS
Qgis está instalado ( y reinstalado ) con los paquetes de KyngChaos, no veo donde puede estar el problema. Gracias.

In QGIS 3.x all features from a line/polygon shapefile are upgraded to multi* features.

https://lists.osgeo.org/pipermail/qgis-developer/2018-May/053507.html

For forward compatibility, promote all Polygon layers to MultiPolygon and adapt the code to detect single part geometries using the count of parts instead of the type or isMultipart method.

Al probarlo en Docker y me comunican que también en máquina virtual al intentar hacer el catatom2osm 04057 por primera vez (Láujar de Andarax) da el siguiente error ERROR - No se pueden leer los metadatos de 'CDAU'
En mi caso Docker en Win10

Hola,

He intentado generar y corregir los archivos a importar en el proyecto de importación del Catastro de València, pero algo ha salido mal.
Tras corregir el nombre de algunas calles en el archivo "highway_names.csv", he vuelto a lanzar el comando "catatom2osm 46900" para generar y corregir los archivos a importar. Esta tarea ha tardado 4 días en completarse (el ordenador no se ha apagado nunca). Hoy, cuando ha terminado, he visto que catatom2Osm muestra algún error y no se han generado algunos archivos como "review.txt" ni la carpeta "tasks".
Adjunto el archivo "report" y una imagen de catatom2Osm.

report.txt

¿Creéis que tiene alguna solución?
Saludos,
Jordi

-w

https://wiki.openstreetmap.org/wiki/ES:Import_CDAU

Los archivos de tareas a partir de u00476 están vacíos. Sin embargo, la capa building.osm generada con la opción '-b' si está completa. Averiguar por que se generan (hay una condición que debería impedir generar archivos vacíos) y por qué no se suplen los edificios de esas tareas.

2019-06-18 14:05:37,959 - DEBUG - Cargados 58 nodos, 6 vías, 0 relaciones de la capa 'u00475'
2019-06-18 14:05:37,975 - INFO - Generado 'tasks/u00475.osm.gz': 23 nodos, 6 vías, 0 relaciones
2019-06-18 14:05:37,976 - DEBUG - Cargados 0 nodos, 0 vías, 0 relaciones de la capa 'u00476'
2019-06-18 14:05:37,990 - INFO - Generado 'tasks/u00476.osm.gz': 0 nodos, 0 vías, 0 relaciones

Usando la misma versión que egofer me da exactamente el mismo error.

Usando la versión en desarrollo me da error en la segunda pasada pero creo que es por el mismo motivo porque ha dejado de funcionar a la vez.

parallels@parallels-Parallels-Virtual-Platform:~/Desktop/catastro$ catatom2osm 37009 --log DEBUG
2019-11-16 15:41:15,293 - DEBUG - Usando Python 2.7.15
2019-11-16 15:41:15,293 - DEBUG - Running with lxml.etree
2019-11-16 15:41:16,213 - DEBUG - Inicializada la API de QGIS 2.18.17
2019-11-16 15:41:16,214 - DEBUG - Usando GDAL 2.2.3
2019-11-16 15:41:16,215 - INFO - Comienza el procesado de '37009'
2019-11-16 15:41:16,327 - INFO - Leídos 43 características en '37009/A.ES.SDGC.CP.37009.cadastralzoning.gml'
Agregar: 100%|██████████| 43/43 [00:00<00:00, 536.83it/s, file=rustic_zoning.shp]
2019-11-16 15:41:16,437 - DEBUG - Cargados 5 características en 'rusticzoning' desde 'cadastralzoning.gml'
2019-11-16 15:41:17,883 - INFO - Municipio: 'Alba de Yeltes'
Agregar: 100%|██████████| 43/43 [00:00<00:00, 2271.42it/s, file=urban_zoning.shp]
2019-11-16 15:41:17,911 - DEBUG - Cargados 37 características en 'urbanzoning' desde 'cadastralzoning.gml'
2019-11-16 15:41:17,912 - DEBUG - 5 multipolígonos divididos a 10 poligonos en la capa 'urbanzoning'
2019-11-16 15:41:17,937 - INFO - Leídos 327 características en '37009/A.ES.SDGC.AD.37009.gml'
2019-11-16 15:41:17,955 - INFO - Leídos 1 características en '37009/A.ES.SDGC.AD.37009.gml'
2019-11-16 15:41:17,973 - INFO - Leídos 18 características en '37009/A.ES.SDGC.AD.37009.gml'
Agregar: 100%|██████████| 327/327 [00:00<00:00, 4813.43it/s, file=address.shp]
2019-11-16 15:41:18,094 - DEBUG - Cargados 327 características en 'address' desde 'address.gml'
Unir campo: 100%|██████████| 328/328 [00:00<00:00, 8039.01it/s, file=address.shp]
2019-11-16 15:41:18,160 - DEBUG - Combinado 'postaldescriptor.gml' a 'address'
Unir campo: 100%|██████████| 345/345 [00:00<00:00, 8891.97it/s, file=address.shp]
2019-11-16 15:41:18,214 - DEBUG - Combinado 'thoroughfarename.gml' a 'address'
2019-11-16 15:41:18,265 - INFO - Generado 'address.geojson'
2019-11-16 15:41:18,304 - DEBUG - Eliminadas 7 direcciones rechazadas por nombre de vial
  0%|          | 0/42 [00:00<?, ?it/s]Traceback (most recent call last):
  File "/home/parallels/catastro/CatAtom2Osm-development/main.py", line 113, in <module>
    run()
  File "/home/parallels/catastro/CatAtom2Osm-development/main.py", line 102, in run
    process(options)
  File "/home/parallels/catastro/CatAtom2Osm-development/main.py", line 39, in process
    app.run()
  File "/home/parallels/catastro/CatAtom2Osm-development/catatom2osm.py", line 103, in run
    self.process_zoning()
  File "/home/parallels/catastro/CatAtom2Osm-development/catatom2osm.py", line 260, in process_zoning
    self.urban_zoning.topology()
  File "/home/parallels/catastro/CatAtom2Osm-development/layer.py", line 689, in topology
    pbar = self.get_progressbar(_("Topology"), len(geometries))
  File "/home/parallels/catastro/CatAtom2Osm-development/layer.py", line 583, in get_progressbar
    pbar.set_description(description)
  File "/home/parallels/.local/lib/python2.7/site-packages/tqdm/std.py", line 1312, in set_description
    self.refresh()
  File "/home/parallels/.local/lib/python2.7/site-packages/tqdm/std.py", line 1274, in refresh
    self.display()
  File "/home/parallels/.local/lib/python2.7/site-packages/tqdm/std.py", line 1397, in display
    self.sp(self.__repr__() if msg is None else msg)
  File "/home/parallels/.local/lib/python2.7/site-packages/tqdm/std.py", line 1042, in __repr__
    return self.format_meter(**self.format_dict)
  File "/home/parallels/.local/lib/python2.7/site-packages/tqdm/std.py", line 469, in format_meter
    nobar = bar_format.format(bar=full_bar, **format_dict)
UnicodeEncodeError: 'ascii' codec can't encode character u'\xed' in position 7: ordinal not in range(128)
Exception UnicodeEncodeError: UnicodeEncodeError('ascii', u'Topolog\xeda:   0%|', 7, 8, 'ordinal not in range(128)') in <object repr() failed> ignored

Con:

• Python 2.7.15
• CatAtom2Osm 1.2 dev
• GDAL 2.2.3
• QGIS 2.18.17

Originally posted by @JorgeSanzS in #47 (comment)

I run into the following error when attempting to process any town:

Traceback (most recent call last):
File "/home/xrg/CatAtom2Osm/main.py", line 113, in
run()
File "/home/xrg/CatAtom2Osm/main.py", line 102, in run
process(options)
File "/home/xrg/CatAtom2Osm/main.py", line 39, in process
app.run()
File "/home/xrg/CatAtom2Osm/catatom2osm.py", line 103, in run
self.process_zoning()
File "/home/xrg/CatAtom2Osm/catatom2osm.py", line 261, in process_zoning
self.urban_zoning.merge_adjacents()
File "/home/xrg/CatAtom2Osm/layer.py", line 945, in merge_adjacents
(groups, geometries) = self.get_adjacents_and_geometries()
File "/home/xrg/CatAtom2Osm/layer.py", line 643, in get_adjacents_and_geometries
parents_per_vertex, geometries = self.get_parents_per_vertex_and_geometries()
File "/home/xrg/CatAtom2Osm/layer.py", line 634, in get_parents_per_vertex_and_geometries
for point in Geometry.get_vertices_list(feature):
File "/home/xrg/CatAtom2Osm/layer.py", line 200, in get_vertices_list
return [point for part in Geometry.get_multipolygon(feature)
File "/home/xrg/CatAtom2Osm/layer.py", line 193, in get_multipolygon
if geom.wkbType() == WKBPolygon:
AttributeError: 'NoneType' object has no attribute 'wkbType'

Bug thrown using Debian 9, Python 2.7.13, QGIS 2.14.11 and GDAL 2.1.2.

python3 -m unittest test.test_layer
../usr/local/lib/python3.6/dist-packages/fuzzywuzzy/process.py:245: DeprecationWarning: generator 'extractWithoutOrder' raised StopIteration
return max(best_list, key=lambda i: i[1])

It could be solved with

93:
-            raise StopIteration
+            return

From @jqngarcia on January 8, 2018 14:10

El instalador presenta problemas en Windows 10, ya que parece tener problemas con la seguridad. Tiene que tener algo que ver con TLS y SSL.

Adjunto log
log cat2osm.txt

Copied from original issue: javiersanp/CatAtom2Osm#67

Hola,

Estoy intentando usar la versión 1.1.8. de Catatom2Osm en Windows 10, pero no consigo hacerlo funcionar porque cuando lanzo el comando "catatom2osm 46900" (València) me sale el siguiente error:
"ERROR - No module named PyQt5.QtCore"

Para empezar he intentado usar catatom2osm instalando solemente QGIS 2.18, pero no lo reconoce. Instalo QGIS 2 mediante un archivo .exe [1] porque no es posible hacerlo mediante el instalador OSGeo4W en red (te obliga a elegir QGIS 3). Al instalar únicamente QGIS 2.18, cuando lanzo el comando "catatom2osm 46900", salta los siguientes errores:
"ERROR - No module named qgis.core
ERROR - Please, install QGIS"
Puede que ésto sea debido a que no sé añadir las librerías si no es con el instalador OSGeo4W en red.

Por tanto, mi duda es la siguiente: ¿cómo puedo resolver alguno de estos errores para poder usar la versión 1.1.8?

Muchas gracias.

[1] http://download.osgeo.org/qgis/win64/

In Windows, it's happening an infinite loop in the method PolygonLayer.delete_invalid_geometries (layer.py). The method vertexAt of QgsGeometry should return Point(0, 0), but the comparision is failing even if the coordinates are 0, 0.

                v = Point(geom.vertexAt(n))
                while v != Point(0, 0):
                    if v in to_move:

Add count of input data values like conditionOfConstruction, currentUse, etc.

Add count of lifecycle prefix tags

From @javiersanp on March 27, 2017 21:32

Correct code to work both with Python 2 and 3.

Copied from original issue: javiersanp/CatAtom2Osm#6

From @javiersanp on January 3, 2018 21:0

Develop function to compare two datasets published in different dates and generate OSM files with the objects added, changed our deleted.

Copied from original issue: javiersanp/CatAtom2Osm#62

During the normal execution In Windows, GDAL raises multiple errors like this. This don't seems to affect the results. The problem occurs while saving changed geometries (self.writer.changeGeometryValues) in layer.PolygonLayer.topology and layer.PolygonLayer.simplify. The only test affected is test_layer.TestConsLayer.test_simplify1, but it occurs randomly.

During second processing of 08900 with 1.2dev, QGIS 3.2.3

2018-11-05 00:04:13,076 - DEBUG - Simplificados 158663 vértices en la capa 'building'
Traceback (most recent call last):
File "/home/javier/osm-es/CatAtom2Osm/main.py", line 113, in
run()
File "/home/javier/osm-es/CatAtom2Osm/main.py", line 102, in run
process(options)
File "/home/javier/osm-es/CatAtom2Osm/main.py", line 39, in process
app.run()
File "/home/javier/osm-es/CatAtom2Osm/catatom2osm.py", line 112, in run
self.building.move_address(self.address)
File "/home/javier/osm-es/CatAtom2Osm/layer.py", line 1574, in move_address
r = Geometry.get_multipolygon(pg)[0][0]
IndexError: list index out of range

Me ha surgido un último problema a la hora de crear el proyecto en el Gestor
de Tareas. En el Paso 3 del gestor, después de adjuntar el archivo
"zoning.geojson", me devuelve al Paso 1 con el siguiente mensaje informando
del error:

"Lo sentimos, no se pudo crear el proyecto. (DataError) Geometry type
(GeometryCollection) does not match column type (Multipolygon)"

Me he fijado que en la previsualización del mapa, en el paso 3, se observa
una área no sombreada de azul por el gestor [1]. Es decir, parece que el
Gestor de Tareas no detecta esa tarea. Esta misma área sí que queda
sombreada en la previsualización si utilizo el archivo
"rustic_zoning.geojson".

He usado la versión de desarrollo 1.2 de CatAtom2Osm para generar los
archivos. ¿Es posible que se trate de algún error del archivo
"zoning.geojson"? ¿Vale la pena repetir el proceso sin usar la versión de
desarrollo de CatAtom2Osm?

[1] https://drive.google.com/open?id=1HmvYfnKur0xt1cJQUJp8OCnA2Ry-30uq

Buenas,

He estado pensando que quizá sería interesante utilizar los datos del xeoportal de Santiago (del cual tenemos autorización) para complementar la importación del catastro. Se pueden descargar todos los datos (creo) desde el apartado de descargas en formato shp, dwg, dgn y gml. He pensado que para el emparejamiento de calles OSM-Catastro se podrían utilizar los nombres utilizados por esta plataforma también, que una forma de conseguirlos sería sacarlos de los shp de la red viaria.
Complementar las geometrías de los edificios con las de catastro ya sería algo bastante mas complicado, pero creo que lo mejor es que la persona encargada de importar (por ahora parece que yo solo) utilizase el wms del xeoportal junto pnoa y catastro para determinar que geometría se ajusta mejor.

Un salúdo!

He procesado los ficheros de Badalona (08015) y aparte de generar una zona muy grande (ver https://tareas.openstreetmap.es/project/126#task/4) que contiene todo aquello que no está en otros polígonos/tareas, he detectado lo siguiente.

En el fichero zoning.geojson, el polígono correspondiente al fichero u00184.osm.gz (ver https://github.com/OSM-es/catastro-import/blob/master/08015/u00184.osm.gz), solamente contiene un edificio, mientras que el fichero OSM contiene varios. También lo he detectado con el fichero u00182.osm.gz.

Adjunto el fichero report.txt con el resultado del proceso.

report.txt

zoning.zip

User @jlinfante reports keyboard interrupt after 120 hours of execution runing 08900.

Se ha reportado en el grupo de Telegram de OSM España que recientemente CatAtom2OSM lanza un error sin llegar a procesar los archivos y que afecta a todos los municipios.

root@40633846530b:/home/CatAtom2Osm# catatom2osm 39088
2019-11-16 10:49:01,336 - INFO - Comienza el procesado de '39088'
2019-11-16 10:49:01,425 - INFO - Leídos 40 características en '39088/A.ES.SDGC.CP.39088.cadastralzoning.gml'
2019-11-16 10:49:02,180 - INFO - Municipio: 'Tresviso'
...
2019-11-16 10:49:04,293 - INFO - Generado 'urban_zoning.geojson'
2019-11-16 10:49:04,304 - INFO - Generado 'rustic_zoning.geojson'
Traceback (most recent call last):
  File "/home/CatAtom2Osm/main.py", line 120, in <module>
    run()
  File "/home/CatAtom2Osm/main.py", line 113, in run
    process(args, options)
  File "/home/CatAtom2Osm/main.py", line 51, in process
    app.run()
  File "/home/CatAtom2Osm/catatom2osm.py", line 133, in run
    self.rustic_zoning.append(self.urban_zoning)
  File "/home/CatAtom2Osm/layer.py", line 977, in append
    zone = feature['levelName'][3]
TypeError: 'QPyNullVariant' object does not support indexing

Probablemente esté asociado a una actualización reciente de los archivos GML de Catastro (26-10-2019) motivado por algún cambio en la estructura de los archivos A.ES.SDGC.CP.*.cadastralzoning.gml (atributo levelName de CadastralZoning)

Probado en:

• CatAtom2Osm 1.1.8
• GDAL 2.2.3, released 2017/11/20
• QGIS - 2.18.17 'Las Palmas'

https://www.quantstart.com/articles/Parallelising-Python-with-Threading-and-Multiprocessing

En Windows ocurre este error

Traceback (most recent call last):
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\main.py", line 113, in <module>
    run()
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\main.py", line 105, in run
    process(options)
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\main.py", line 39, in process
    app.run()
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\catatom2osm.py", line 96, in run
    self.read_address()
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\catatom2osm.py", line 448, in read_address
    self.address.append(address_gml)
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\layer.py", line 340, in append
    to_add.append(self.copy_feature(feature, rename, resolve))
  File "C:\Users\Administrador\Documents\GitHub\CatAtom2Osm\layer.py", line 300, in copy_feature
    match = re.search(reference_match, src_val)
  File "C:\OSGEO4~1\apps\Python37\lib\re.py", line 183, in search
    return _compile(pattern, flags).search(string)
TypeError: expected string or bytes-like object

feature[src_attr] contiene una lista de valores, por ejemplo: ['#ES.SDGC.PD.38.005.38580', '#ES.SDGC.TN.38.005.1', '#ES.SDGC.AU.38.005'], en lugar de una cadena de texto como suele ser normal: '(3:#ES.SDGC.PD.38.005.38580,#ES.SDGC.TN.38.005.1,#ES.SDGC.AU.38.005)'

Llevo varias importaciones de catastro sin problemas pero con un municipio me ha salido un error que nunca me había salido.

-El error es el siguiente:
ERROR - La capa '37226/A.ES.SDGC.AD.37226.gml|layername=address' está vacía

-Todo lo que sale por consola

catatom2osm 37226

QSqlDatabase: QSQLITE driver not loaded

QSqlDatabase: available drivers:

ERROR: Opening of authentication db FAILED

QSqlQuery::prepare: database not open

WARNING: Auth db query exec() FAILED

2018-11-21 11:46:44,621 - INFO - Comienza el procesado de '37226'

2018-11-21 11:46:46,345 - INFO - Descargando '37226/A.ES.SDGC.CP.37226.zip'

2018-11-21 11:46:46,759 - INFO - Leídos 34 características en '37226/A.ES.SDGC.CP.37226.cadastralzoning.gml'

2018-11-21 11:46:47,842 - INFO - Municipio: 'Pajares de la Laguna'

2018-11-21 11:46:50,303 - INFO - Generado '37226/boundary.poly'

2018-11-21 11:46:50,835 - INFO - Descargando '37226/A.ES.SDGC.AD.37226.zip'

2018-11-21 11:46:50,937 - ERROR - La capa '37226/A.ES.SDGC.AD.37226.gml|layername=address' está vacía

Me he topado con el siguiente error, únicamente para el pueblo 45164 Sonseca (Toledo), tanto antes de la última actualización como ahora. No me ha ocurrido con ningún otro municipio.

catastro@d6f524ce2099:~$ catatom2osm -t 45164
2021-03-31 19:23:05,668 - INFO - Comienza el procesado de '45164'
2021-03-31 19:23:05,846 - INFO - Leídos 521 características en '45164/A.ES.SDGC.CP.45164.cadastralzoning.gml'
2021-03-31 19:23:08,427 - INFO - Municipio: 'Sonseca'                                                                                                                                                              
2021-03-31 19:23:42,242 - INFO - Generado '45164/boundary.poly'                                                                                                                                                    
2021-03-31 19:23:42,435 - INFO - Descargando '45164/A.ES.SDGC.BU.45164.zip'
2021-03-31 19:23:44,918 - INFO - Leídos 5549 características en '45164/A.ES.SDGC.BU.45164.building.gml'                                                                                                            
2021-03-31 19:23:56,480 - INFO - Leídos 14932 características en '45164/A.ES.SDGC.BU.45164.buildingpart.gml'                                                                                                       
2021-03-31 19:24:14,778 - INFO - Leídos 384 características en '45164/A.ES.SDGC.BU.45164.otherconstruction.gml'                                                                                                    
2021-03-31 19:50:53,481 - INFO - Descargando 'current_building.osm'                                                                                                                                                
2021-03-31 19:51:03,613 - INFO - Leído 'current_building.osm': 5107 nodos, 2078 vías, 3 relaciones
2021-03-31 19:51:09,599 - INFO - Generado 'current_building.osm': 5018 nodos, 2027 vías, 3 relaciones                                                                                                              
Traceback (most recent call last):
  File "/opt/CatAtom2Osm/main.py", line 113, in <module>
    run()
  File "/opt/CatAtom2Osm/main.py", line 105, in run
    process(options)
  File "/opt/CatAtom2Osm/main.py", line 39, in process
    app.run()
  File "/opt/CatAtom2Osm/catatom2osm.py", line 134, in run
    self.process_tasks(self.building)
  File "/opt/CatAtom2Osm/catatom2osm.py", line 199, in process_tasks
    self.get_tasks(source)
  File "/opt/CatAtom2Osm/catatom2osm.py", line 247, in get_tasks
    if last_task[0] == 'r':
IndexError: string index out of range

New value detected in Barcelona october 2018 data.

Don't generate address.geojson.

Cuando el nombre del vial se refiere a un lugar y comience con el prefijo "Lugar", este prefijo hay que eliminarlo del nombre. Es una modificación muy sencilla en el archivo translate.py
Definir la lista de prefijos a eliminar en el archivo setup.py, por ahora ['Lugar'].

Whit the 2018-10-30 update, the zipped cadastre files that usually contained the *.gml files without any folder structure are now under F:\INSPIRE\CadastralParcels\08\08900-BARCELONA
The program fails to access them
File "/usr/lib/python2.7/zipfile.py", line 909, in getinfo
'There is no item named %r in the archive' % name)
KeyError: "There is no item named u'A.ES.SDGC.CP.MD..08900.xml' in the archive"

He vuelto a instalar todo porque formate el ordenador y mire a meter la versión development para poder usar Qgis3
He ido a probar y lo ejecuto como siempre pero al final se cierra python de forma forzada.

No me he fijado bien pero a simple vista los archivos los crea y tiene pinta de que correctos.

En el log sale todo normal.

Lo único que no me suena que saliera antes eran líneas tipo esta de fallos de segmentación
/usr/local/bin/catatom2osm: line 14: 47057 Segmentation fault: 11 python3 "$DIR/main.py" $*
Me sale entre medias y al final.

In issue #10 the csv delimiter was changed. Since then, a IndexError: list index out of range could raise trying to read old csv files.

Some times there are addresses with a semicolon in the name and there is a conflict because this is the character used as separator for CSV files. Solution: change the CSV separator to tabs.

When processing a big city, the program stops at this point. No problems found with smaller towns.

Traceback (most recent call last):
File "/home/xrg/CatAtom2Osm/main.py", line 113, in
run()
File "/home/xrg/CatAtom2Osm/main.py", line 102, in run
process(options)
File "/home/xrg/CatAtom2Osm/main.py", line 39, in process
app.run()
File "/home/xrg/CatAtom2Osm/catatom2osm.py", line 121, in run
if self.building.conflate(current_bu_osm):
File "/home/xrg/CatAtom2Osm/layer.py", line 1674, in conflate
pbar.clean()
AttributeError: 'tqdm' object has no attribute 'clean'

Using Debian 9, Python 2.7.13, QGIS 2.14.11 and GDAL 2.1.2.

Cuando se usa xml.etree.ElementTree (en Windows), la función tostring muestra incorrectamente los números como conversión de una cadenas de bytes

from builtins import str
from compat import etree
e = etree.Element('node', {'lat': str('1'), 'lon': str('2')})
etree.tostring(e)
<node lat="b\'1\'" lon="b\'2\'" />

Processing of building layer goes much slower (topology 20x, simplify 50x) in QGIS 3 than in QGIS 2.

¿Es posible o se podría implementar una manera de dividir en pequeños cachos aquellos municipios más grandes?

Mismamente madrid. He intentado generar poco a poco: primero catatom2osm -m 28900, esto tarda un tiempo, pero es realizable. Ahora bien, al ejecutar catatom2osm -t 28900:

...
2021-10-02 02:20:20,719 - INFO - Leídos 124183 características en '28900/A.ES.SDGC.BU.28900.building.gml'                                                                                                          
2021-10-02 02:22:20,878 - INFO - Leídos 839881 características en '28900/A.ES.SDGC.BU.28900.buildingpart.gml'                                                                                                      
2021-10-02 02:26:59,179 - INFO - Leídos 14170 características en '28900/A.ES.SDGC.BU.28900.otherconstruction.gml'                                                                                                  
Topología:   0%|▍                                                                                                                                   | 2810/941469 [4:55:05<179:50:00,  1.45it/s, file=building.shp]

Los dos primeros gml, building y buildingpart, le toma unas horas, aceptable. Pero al llegar a otherconstruction olvídate, le he tenido toda la noche y apenas ha avanzado como puedes ver en el indicador de progreso.

Mi primera duda es, como dije al comienzo, si es posible dividir el municipio, mediante un boundary.poly o algo similar. Y la segunda es qué es ese othercontruction que le cuesta tantísimo procesar, ¿quizás pueda evitarse?

Document and follow the import guidelines process for the addresses in CartoBCN in a way similar to issue #11.

https://wiki.openstreetmap.org/wiki/ES:Espa%C3%B1a/Contribuidores#Ayuntamiento_de_Barcelona

Very easy first issue

From @javiersanp on January 4, 2018 17:11

Add to the changeset comment of each task the name of the municipality to import and the label of the task

Copied from original issue: javiersanp/CatAtom2Osm#63

From @javiersanp on January 5, 2018 14:17

Copied from original issue: javiersanp/CatAtom2Osm#64