maykinmedia / catalogi-importer Goto Github PK

Showing the URL is not needed. So, porbbaly changing the __str__

Similar to objects API:

• Define menus for Accounts, Logs, Configuration (Service, Catalog, SelectionList), Importer (just Import Job)
• Export fixture
• Enable post-migration signal in apps.py

• Create project on ReadTheDocs
• Create starting point to hold documentation.
• Quickstart documentation (remeber redis/celery), for example see: https://objects-and-objecttypes-api.readthedocs.io/en/latest/installation/quickstart.html
• How to configure, for example: https://open-zaak.readthedocs.io/en/latest/installation/config/openzaak_config.html
• How to use the application, something like: https://open-zaak.readthedocs.io/en/latest/manual/catalogi/index.html

Disabled in d717d6c

/docs/check_sphinx.py

/.github/workflows/quickstart.yml

Review the log entry texts and translations.

The Import Job start screen should ask for a date to use for beginGeldigheid (default today).
A second boolean can be added to indicate to actually close zaaktypes (eindGeldigheid) on that date already (default: False).

We can use some JS logic to retrieve a list of Catalogs from the selected API, in the Catalog detail page.

so, I don't need to keep my browser open.

Loop loggers in docker.py and set console handler.

The order, or rather, the volgnummer is important for Open Zaak. We need to respect the order in i-Navigator or allow for manual ordering before importing.

The report can be a screen in the admin interface but we need to discuss the contents of this report.

Currently, we discussed the report to show:

• Number of newly created zaaktypen, documenttypen, etc.
• Number of failures (with reason)
• Number of updates to existing objects

This should do:

• Create new zaaktypen, documenttypen, etc if needed (together called objects)
• Create new versions of objects if they already exist (based on unique attrs)
• Never remove objects
• Always save new objects/version as concept (ie. don't publish) -- this is covered #34 and #35

This can be for example the list view of the import or report model, that shows how far an import is as a percentage. It doesn't need to be an Ajax-loader or something.

This depends on having a Docker image/compose ready and instructions to install it in a Docker engine.

...and report any anomalies beforehand.

Http 200 and sensible body.

Laten we onder CSS-tabjes oid een onderverdeling maken.

This will give an overview of the functional requirements as well as the interface guidelines.

We'll do a session to go over these based on the following functional requirements:

1. Screen to select i-Navigator XML-file (#18)
2. Analyse XML file for correctness (#14)
3. Select which Catalogi API to use (#12, #17)
4. Process XML file and start import in selected Catalogi API (#15, #13)
5. Show progress of the import (#19)
6. Show report of the import results (#16)

During actual import, create new (concept) version of already published objects.

Example:

1. Retrieve zaaktype with bronorganisatie and identificatie
   2a. If not exist, import [END]
   2b. If exists, and is in published, close it (set end date according to XML startdate of new version - apparently)
2. Create new zaaktype

This also holds for Informatieobjecttypen and Besluittypen

You can filter the ZGW-consumer services on ZTC.

Also, you need to add a Catalog UUID-field to paste the UUID of the specific catalog.

ZGW-service configured can be removed

zaaktype:

• vertrouwelijkheidaanduiding: rapporteren als error als niet ingevuld

• doorlooptijd: als niet ingevuld dan 'afdoeningstermijn'

  365 dagen invullen als het niet wettelijk is. Zaaktype B1161 als voorbeeld. Dit is dan de servicenorm (eg: afdoeningstermijn, zie onder)

• verlengingMogelijk: als JA, dan verlengingsTermijn verplicht

• servicenorm: 'afdoeningstermijn' in iNavigator

resultaatype:

• archiefnominatie: default: blijvend_bewaren

Opmerkingen na verwerken:

• De verlengingMogelijk is nog wel een probleem, ik vind er een aantal zaaktypes met JA maar open-zaak moet dan een verlengingstermijn hebben.
• Doorlooptijd/servicenorm voelt onduidelijk.

During actual import, overwrite concept objects.

Example:

1. Retrieve zaaktype with bronorganisatie and identificatie
   2a. If not exist, import [END]
   2b. If exists, and is in concept, delete (if published, see #35)
2. Import zaaktype

This also holds for Informatieobjecttypen and Besluittypen

Bij het importeren van een export uit de iNavigator catalogus krijgen we enkele van de volgende meldingen:

Error | zaaktype B1222: resultaattype omschrijving='Afgebroken' can't be created: Invalid input: De velden zaaktype, omschrijving moeten een unieke set zijn.

Deze resultaattypen bestaan inderdaad, maar zouden afgesloten moeten worden en nieuwe aangemaakt. (zelfde bug als onlangs opgelost mbt informatieobjecttypen)

Daarnaast deze melding:

Error | Zaaktype B1159: resultaattype omschrijving='Verleend' can't be

created: Invalid input: afleidingswijze cannot be vervaldatum_besluit when selectielijstklasse.procestermijn is nihil

Hoe kunnen we die het beste oplossen?

CI laatste versie (kan versienummer niet zien in interface)
OZ versie 1.3.5

(de eerste bijlage hoort hier niet bij, maar kan hem niet meer verwijderen!)

i-Navigator "beroep-mogelijk" is niet Catalogi "verlengingMogelijk"

Catalogi "verlengingMogelijk" moet mappen op i-Navigator "wettelijke-verdagingstermijn".
i-Navigator "beroep-mogelijk" moet genegeert worden.

Dit zit o.a. in Zaaktype B1210

By default, only show import jobs from the last 7 days.

Configure the media/private_media volumes in the Ansible playbook.

In the logs, show the description of the error, along with the Zaak-identificatie that it is about.

Always show a B-number of the Zaaktype in XML
or a for documenttypes, the naam.

The precheck can take a while so move this to a Celery task

Check out: https://github.com/maykinmedia/objects-api/tree/master/.github/workflows

HTTP 400 and validation errors.

We should show a nice message or something instead, and perhaps redirect to the configuration page.

For tags and master=latest.

Resultaattypen koppelen we nu aan de selectielijst via "naam-model" attribuut. We moeten ook kijken naar "field naam=NAAM" waar zoiets staat als

Resultaat 11.1 Selectielijst gemeenten en intergemeentelijke organen 2020

of "field naam=URL" waar zoiets staat als

https://inavigator.bizzib.nl/bsd/sl2017.gem.html#11_1_1

<naam-model ref="SCN0000586">Verleend permanent</naam-model><opmerking ref="SCN0000590">Einddatum vergunning</opmerking><toelichting ref="SCN0000591">Ander datumkenmerk: na beëindiging toestemming in registratie 'Vergunningen en ontheffingen'</toelichting><vernietigingsgrondslag ref="SCNX000593"><list><fields><field naam="NAAM">Resultaat 11.1 Selectielijst gemeenten en intergemeentelijke organen 2017</field><field naam="URL">https://inavigator.bizzib.nl/bsd/sl2017.gem.html#11_1</field><field naam="TOELICHTING"/></fields><fields><field naam="NAAM">Resultaat 11.1 Selectielijst gemeenten en intergemeentelijke organen 2020</field><field naam="URL">https://inavigator.bizzib.nl/bsd/sl2020.gem.html#11_1</field><field naam="TOELICHTING"/></fields></list></vernietigingsgrondslag><vernietigingsgrondslag-txt ref="SCNT000593"/><waardering ref="SCN0000594">Vernietigen</waardering><bewaartermijn ref="SCNW000595">1</bewaartermijn><bewaartermijn-eenheid ref="SCNE000595">Jaar</bewaartermijn-eenheid><bewaartermijn-start ref="SCN0000596">Ander datumkenmerk</bewaartermijn-start>

Volgorde van achterhalen is dan:

1. Parse/match URL-veld indien deze bestaat
2. Parse/match NAAM-veld indien deze bestaat
3. Match naam-model
4. Parse/match toelichtingsveld waar Renzo zelf selectielijst nummer invuld.

This includes:

• README
• CODE_OF_CONDUCT
• AUTHORS
• CONTRIBUTING
• LICENSE
• ReadTheDocs starting point

In order to export zaaktypes, we need to configure the URL and credentials of the Catalogi API.