zalf-rdm / geonode Goto Github PK

ZALF GeoNode includes several additions to the metadata schema. This additions require to be configured manually by data stewards. This could be done using the geonode admin panel, therefore this fields must be editable through the admin interface.

Effected fields:

• RelationType
• RelatedIdentifierType
• RelatedIdentifier
• FundingReference
• Funder
• RelatedProject
• use_constrains/restrictioncodetype
• people orcid_identifier

this may not be all.

based on data provided by mr. pilz map dataset to shape file

2. Download Statistiken
   Im Rahmen der Evaluierung des Angebotes unserer Daten und für die Bereitstellung von Statistiken über die Nutzung des GeoNode Daten Repositories am ZALF benötigen wir Nutzerstatistiken. GeoNode bietet bereits die Möglichkeit Statistiken über die Profilseite des Dateninhabers abzugreifen, siehe Bild.

User Profile (https://stable.demo.geonode.org/people/profile/mwall)

Jedoch benötigen wir über die bereits verfügbaren viewer Statistiken auch Download Statistiken für den einzelnen Dataset. Diese sollten für autorisierte Nutzer (Admin) über die API verfügbar sein. Darüber hinaus sollen die Download Statistiken in dem User Profile des Uploaders neben der View Statistik abgebildet werden.

Task Description

currently agrovoc and gemet keyword picking is only a full text string search. But @CarstenHoffmann mentioned that he expects the definition of at least AGROVOC keywords should include navigating through concept, themes and groups. Additionally AGROVOC thesauri is imported into the database and is not interacting with the AGROVOC API. Therefor having the latest changes requires constant updating the keyword list.

Additionally geosolutions is thinking about dropping multithesauri support maybe at some point. I'm currently not finding the link to the discussion about it.

Image of current AGROVOC picker:

Issue on the geonode core:

GeoNode#11282

this may get solved as soon as the new docker images were used.

in process of adding more fields to the geonode data model we added api endpoints. we need to check access permissions for this new endpoints:

router.register(r"licenses", views.LicenseViewSet, "licenses")
router.register(r"relationtypes", views.RelationTypeViewSet, "relationtypes")
router.register(r"relatedidentifiertypes", views.RelatedIdentifierTypeViewSet, "relatedidentifiertypes")
router.register(r"relatedidentifiers", views.RelatedIdentifierViewSet, "relatedidentifiers")
router.register(r"fundingreferences", views.FundingReferenceViewSet, "fundingreferences")
router.register(r"relatedprojects", views.RelatedProjectViewSet, "relatedprojects")
router.register(r"tkeywordlabels", views.ThesaurusKeywordLabelViewSet, "tkeywordlabels")

Feature Description

Allow users to login into geonode via orcid

Proposed Solution

(https://github.com/eosc-kc/keycloak-orcid)

Additional Information

Any additional information or context that may be helpful in implementing the feature.

Install an test non spatial data contrib module from 52n

Aktuell werden auch die im BonaRes Repositorium veröffentlichten Daten über die Google Dataset Search bereitgestellt. Dazu werden im Hintergrund die Metadaten in das schema.org Format, welches Google voraussetzt, gebracht. Weiterhin wird eine Sitemap generiert, die Google zur Indizierung nutzt.

Redmine Artikel: https://redmine.bonares.de/projects/datenzentrum/wiki/Einbindung_in_Google_Dataset_Search

Link zu GDS für das BonaRes Repository: https://datasetsearch.research.google.com/search?src=0&query=bonares%20repository&docid=L2cvMTF0MDZ3Z3E0OA%3D%3D

https://datasetsearch.research.google.com/help

Current geonode XML export does not support all fields which are part of the bonares metadata schema. Therefore the xml template must be adopted to fulfill bonares requirements

Ich finde es seltsam, dass neben meinem Profilbild viele graue Kästchen zu sehen sind. Diese scheinen die LDAP Gruppen anzuzeigen, denen ich zugehörig bin. Das sollte nicht im Benutzerprofil angezeigt werden.

setup new templates for PRs and Issues. Get inspired by geonode-k8s

Eine wichtige Anforderung an das neue Repositorium ist, auch weiterhin den BonaRes Metadatenstandard zu unterstützen. Der BonaRes Standard ist kompatibel zu INSPIRE (ISO19115) und DataCite und enthält darüber hinaus auch eine Beschreibung des Datenmodells.

Beschreibung des BonaRes Metadatenschemas:

• https://doi.org/10.20387/bonares-5pgg-8yrp
• https://doi.org/10.1016/j.cageo.2019.07.005

Task Description

currently geonode uses the word map for an integration of several datasets. In our future repository we want to use this feature to group multiple datasets into a data collection. Therefore we need to rename maps into something like data collecion

Additional Information

Any additional information or context that may be helpful in completing the task.

Feature Description

Prinzipien: Nutzerfreundlichkeit (extern)
Aktuelle Umsetzung: Der Zitationsvorschlag ist sehr versteckt im Tab Access. Dort findet man ihn schlecht. Man kann ihn auch nur in einem Format kopieren.

Proposed Solution

:Es sollte die Möglichkeit geben, die Zitiervorschläge in verschiedenen, gängigen Formaten runterladen zu können (Endnote, Txt, …). Die Vorschläge sollten besser platziert werden. Am rechten Rand oder extra Tab oder hier und auch im Download Zip.
Zu klären ist: Wie wird die Zitierung generiert? Die Angaben im Repo unterscheiden sich tw. zu den Angaben bei DataCite.
A description of how you propose implementing the feature.

Is your feature request related to a problem? Please describe.
add a hidden field to the RessourceBase Database in Geonode that holds datacite metadata.

Describe the solution you'd like
https://training.geonode.geosolutionsgroup.com/master/GN4/055_project_customize_model.html

Includes Rest-API functionallity

Neben dem BGR Produktcenter werden auch aktuell im BonaRes Repositorium die Metadaten der Edaphobase geharvested. Die Kollegen vom Senckenberg stellen diese auch über die CSW Schnittstelle bereit.

Redmine Wiki Artikel: https://redmine.bonares.de/projects/datenzentrum/wiki/Metadata_harvesting_from_SGN
Senckenberg Kontakt: Stephan Lesch ([email protected])

Ich komme auch nicht mit einem Button aus dem Dialog zurück und muss den Browser-Back Knopf benutzen.

Task Description

integrate and test contrib module external applications into zalf repository, maybe as henning for support on this task
(https://github.com/GeoNodeUserGroup-DE/contrib_externalapplications)

try to set e.g. processor for a dataset. after reloading metadata the value is not set

Aktuell werden im BonaRes Repositorium auch die Metadaten von veröffentlichen Daten / Map-Services der BGR angezeigt. Dafür werden die BGR Metadaten über die CSW Schnittstelle des BGR Produktcenters geharvested. Das muss auch im neuen Geonode Repositorium möglich sein.

Mögliche hilfreiche Dokumente in unserem Redmine dazu:

Wenn ein Pflichtelement nicht ausgefüllt ist, dann erscheint eine Fehlermeldung. Soweit gut. ABER:

1. die Bezeichnung des Element sollte dem der Darstellung im Metadaten-Editor entsprechend. Aktuell sieht es aus wie eine interne Feldbezeichnung.
2. Es wäre schön, wenn nach Webklicken des Dialogs das Element farblich gekennzeichnet wird, welches fehlt. Ich habe eine Weile gebraucht, das fehlende Element zu finden.

Upload "data" from ORD into GeoNode first as Documents. This documents must have the same metadata as the corresponding datasets. Further the documents must be added to the supplemental material of the corresponding dataset.

In future we may can have an additional field inside of the metadata view to show linked_data from the endpoint: api/v2/documents/{id}/linked_resources/

Agrovoc Katalog in Cloud Umgebung integrieren:
Das der Agrovoc relativ groß ist, benötigt das einmalige Laden des Agrovocs in der GeoNode Datenbank sehr viel (ca.10GB Ram). Leider reichen die aktuellen Ressourcen auf Fizz hierfür nicht aus. Es müsste ein anderer Weg gefunden werden, den Agrovoc zu laden.

Check if the xml metadata upload is working. what are the limits, see what could be done to fully implement this function for migration of the bonares repo

Aktuell ist es GeoNode nicht möglich, Maps herunterzuladen. Da wir Maps als eine Datenkollektion, also eine Sammlung von Datasets verstehen. Wünschen wir uns die Möglichkeit eine Map herunterladen zu können. Ein solcher Download würde alle an die Map gehefteten Datasets in einem vorgegebenen Format beinhalten und diese in einem ZIP bündeln.

Is your feature request related to a problem? Please describe.
add a metadata download button in geonode that allows downloading metadata as datacite metadata.

Describe the solution you'd like
add another button in the download metadata section, maybe just store the link to the datacite metadata url

When accessing the GET /api/v2/users api endpoint. All users with names and mail addr are listed for all registered suers. Do we have a data privacy issue with? @specka @DataStewards

When editing metadata in the advanced metadata editor the following metadata fields cannot be set due to problems with the forms:

• Use_constrains
• Restrictions
• Related Identifier
• Funder names
• Related project

Ich bin mir nicht sicher, ob wir das Geonode Formular zur Metadateneingabe anpassen oder wie geplant unser Upload-Tool erweitern (siehe Whimsical ).

As the ZALF GeoNode release is somehow bond to the geonode release cycle and still seperate from the upstream, we need to find a versioning schema. E.g. Something like geonode:4.2.2-z0.1.0

after we found out we can rename the current milestone

This step requires to understand the geonode API endpoints in detail.

Is your feature request related to a problem? Please describe.
Detailseite von Datensätzen.

Describe the solution you'd like
Es wäre schön, wenn bei jedem Datensatz im Hintergrund eine Statistik mitläuft, wie oft der Datensatz angeschaut wurde und auch heruntergeladen wurde, ähnlich wie bei Zenodo:

Describe alternatives you've considered

Additional context

In first iteration we using the Geonode default metadata schema to upload the ord data into geonode. This can later be changed inside the OpenResearchData Migrations repo. But for a first proof of concept this is neccessary.

expose added bonares MD fields to outside services such as:

• relatedidentifertypes
• RelationType
• FundingReferences
• Licenses
• relatedprojects
• keywords

Wichtig ist auch die Integration des AGROVOCs, mit dem wir aktuell auch Keywords in unserem Metadaten vergeben. Das sollte auch in Geonode möglich sein.

Frage von Niko: kann man in Geonode eine Übersicht integrieren, um zu schauen, welche Regionen/Daten von PlanetScope bereits heruntergeladen und im ZALF bereitstehen?

Antwort Xenia: sollte möglich sein, wenn hier einfach Metadaten zu den entsprechenden Daten eingegeben werden.

Der ganze Sachverhalt ist zu prüfen.

Damit auch das neue Repositorium geharvested werden könnte, muss auch die CSW Schnittstelle funktionieren, damit unsere Daten auch weiterhin herausgegeben werden können.

Frage: wie gehen wir mit den ZALF Datensätzen um, die nicht INSPIRE-kompatibel sind?

setup github action to run tests on gh PR

Expected Behavior

when running python manage.py migrate the process should run through

Actual Behavior

root@geonode-geonode-0:/usr/src/geonode# python manage.py migrate
sentry enabled ...
https://[email protected]/4504473572016128
Operations to perform:
  Apply all migrations: account, actstream, admin, announcements, auth, avatar, base, br, contenttypes, django_celery_results, documents, dynamic_models, favorite, geoapps, geonode_client, geonode_mapstore_client, geonode_resource_processing, geonode_themes, groups, guardian, harvesting, importer, invitations, layers, management_commands_http, maps, monitoring, oauth2_provider, people, pinax_notifications, processing, ratings, resource, sequences, services, sessions, sites, socialaccount, taggit, tastypie, upload, user_messages
Running migrations:
  Applying base.0088_auto_20230330_0640...Traceback (most recent call last):
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/utils.py", line 84, in _execute
    return self.cursor.execute(sql, params)
psycopg2.errors.NotNullViolation: column "use_constrains_id" of relation "base_resourcebase" contains null values


The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/usr/src/geonode/manage.py", line 29, in <module>
    execute_from_command_line(sys.argv)
  File "/usr/local/lib/python3.10/dist-packages/django/core/management/__init__.py", line 419, in execute_from_command_line
    utility.execute()
  File "/usr/local/lib/python3.10/dist-packages/django/core/management/__init__.py", line 413, in execute
    self.fetch_command(subcommand).run_from_argv(self.argv)
  File "/usr/local/lib/python3.10/dist-packages/django/core/management/base.py", line 354, in run_from_argv
    self.execute(*args, **cmd_options)
  File "/usr/local/lib/python3.10/dist-packages/django/core/management/base.py", line 398, in execute
    output = self.handle(*args, **options)
  File "/usr/local/lib/python3.10/dist-packages/django/core/management/base.py", line 89, in wrapped
    res = handle_func(*args, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/django/core/management/commands/migrate.py", line 244, in handle
    post_migrate_state = executor.migrate(
  File "/usr/local/lib/python3.10/dist-packages/django/db/migrations/executor.py", line 117, in migrate
    state = self._migrate_all_forwards(state, plan, full_plan, fake=fake, fake_initial=fake_initial)
  File "/usr/local/lib/python3.10/dist-packages/django/db/migrations/executor.py", line 147, in _migrate_all_forwards
    state = self.apply_migration(state, migration, fake=fake, fake_initial=fake_initial)
  File "/usr/local/lib/python3.10/dist-packages/django/db/migrations/executor.py", line 227, in apply_migration
    state = migration.apply(state, schema_editor)
  File "/usr/local/lib/python3.10/dist-packages/django/db/migrations/migration.py", line 126, in apply
    operation.database_forwards(self.app_label, schema_editor, old_state, project_state)
  File "/usr/local/lib/python3.10/dist-packages/django/db/migrations/operations/fields.py", line 104, in database_forwards
    schema_editor.add_field(
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/base/schema.py", line 522, in add_field
    self.execute(sql, params)
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/base/schema.py", line 145, in execute
    cursor.execute(sql, params)
  File "/usr/local/lib/python3.10/dist-packages/sentry_sdk/integrations/django/__init__.py", line 616, in execute
    return real_execute(self, sql, params)
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/utils.py", line 66, in execute
    return self._execute_with_wrappers(sql, params, many=False, executor=self._execute)
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/utils.py", line 75, in _execute_with_wrappers
    return executor(sql, params, many, context)
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/utils.py", line 79, in _execute
    with self.db.wrap_database_errors:
  File "/usr/local/lib/python3.10/dist-packages/django/db/utils.py", line 90, in __exit__
    raise dj_exc_value.with_traceback(traceback) from exc_value
  File "/usr/local/lib/python3.10/dist-packages/django/db/backends/utils.py", line 84, in _execute
    return self.cursor.execute(sql, params)
django.db.utils.IntegrityError: column "use_constrains_id" of relation "base_resourcebase" contains null values

Define a UI and implement it like described here: https://training.geonode.geosolutionsgroup.com/master/GN4/101_CUSTOMIZE_LF.html

Task Description

Geonode Supports an so called advanced workflow to allow publication process of datasets by group admins. This must be configured in the first place. The link.

Additional Information

Any additional information or context that may be helpful in completing the task.

Feature Description

If a scientist submits a paper to a journal, often reviewers also check availability of related research data that was published as part of the paper. As this is a "double-blind-process", reviewers need to download data without providing the personal information such as email address.

Nevertheless, I (XS) would also prefer, that a direct data download could be enabled with Geonode without this step of sending around an email with an download link. I hope, that this comes naturally with Geonode. But if not, we need to implement it.

Proposed Solution

Download of Geo and Non-Geo-Data without login or provision of email address.

Additional Information

Any additional information or context that may be helpful in implementing the feature.

Feature Description

Currently in GeoNode it's not possible to configure set User information (people.Profile) through the api/v2. As GeoNode uses users/profiles as contact roles we cannot create and configure this users through the geonode API.

Available fields in API:

We are nevertheless able to set this via admin interface:

User Profile Page:

Propose Solution

We could extend the v2/api to also set Profile informations. This might not be trivial.

Check if thesauri keywords can be set for a dataset or map via rest api v2

Current available categories in GeoNode does not fit to our Categorization of datasets. We need to change them. is this possible?

Aktuell ist es so, dass im BonaRes Repositorium die Daten in verschiedenen Formaten heruntergeladen werden können. Es wäre schön, wenn das auch im neuen Repositorium gehen würde. Allerdings sollten nur die Formate möglich sein, die auch Sinn machen. Das ist aktuell im BonaRes Repositorium schlecht umgesetzt.