dapla-toolbelt-metadata 0.6.5__tar.gz → 0.6.6__tar.gz

{dapla_toolbelt_metadata-0.6.5 → dapla_toolbelt_metadata-0.6.6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.3
 Name: dapla-toolbelt-metadata
-Version: 0.6.5
+Version: 0.6.6
 Summary: Dapla Toolbelt Metadata
 License: MIT
 Author: Team Metadata

{dapla_toolbelt_metadata-0.6.5 → dapla_toolbelt_metadata-0.6.6}/pyproject.toml

@@ -2,7 +2,7 @@
 name = "dapla-toolbelt-metadata"
 description = "Dapla Toolbelt Metadata"
 license = "MIT"
-version = "0.6.5"
+version = "0.6.6"
 dynamic = ["classifiers"]
 readme = "README.md"
 authors = [{ name = "Team Metadata", email = "metadata@ssb.no" }]

{dapla_toolbelt_metadata-0.6.5 → dapla_toolbelt_metadata-0.6.6}/src/dapla_metadata/datasets/core.py

@@ -171,6 +171,21 @@ class Datadoc:
         ):
             extracted_metadata = self._extract_metadata_from_dataset(self.dataset_path)
 
+        if extracted_metadata is not None:
+            existing_file_path = self._get_existing_file_path(extracted_metadata)
+            if (
+                self.dataset_path
+                and existing_file_path is not None
+                and extracted_metadata is not None
+                and existing_metadata is not None
+            ):
+                self.dataset_consistency_status = self._check_dataset_consistency(
+                    self.dataset_path,
+                    Path(existing_file_path),
+                    extracted_metadata,
+                    existing_metadata,
+                )
+
         if (
             self.dataset_path
             and self.explicitly_defined_metadata_document
@@ -179,13 +194,6 @@ class Datadoc:
             and extracted_metadata is not None
             and existing_metadata is not None
         ):
-            existing_file_path = self._get_existing_file_path(extracted_metadata)
-            self.dataset_consistency_status = self._check_dataset_consistency(
-                self.dataset_path,
-                Path(existing_file_path),
-                extracted_metadata,
-                existing_metadata,
-            )
             self._check_ready_to_merge(
                 self.dataset_consistency_status,
                 errors_as_warnings=self.errors_as_warnings,

{dapla_toolbelt_metadata-0.6.5 → dapla_toolbelt_metadata-0.6.6}/src/dapla_metadata/variable_definitions/_utils/config.py

@@ -9,24 +9,6 @@ from dapla_metadata.variable_definitions._generated.vardef_client.configuration
 
 VARDEF_HOST_TEST = "https://metadata.intern.test.ssb.no"
 WORKSPACE_DIR = "WORKSPACE_DIR"
-VARDEF_DESCRIPTIONS_FILE_PATH = "VARDEF_DESCRIPTIONS_FILE_PATH"
-VARDEF_DEFAULT_DESCRIPTION_PATH = (
-    "variable_definitions/resources/vardef_model_descriptions_nb.yaml"
-)
-
-
-def get_descriptions_path() -> str:
-    """Get the relative file path from the repo root to the Norwegian descriptions.
-
-    First checks the `VARDEF_DESCRIPTIONS_FILE_PATH` environment variable; if not set, returns a default path.
-
-    Returns:
-        str: The file path to the descriptions.
-    """
-    return (
-        get_config_item(VARDEF_DESCRIPTIONS_FILE_PATH)
-        or VARDEF_DEFAULT_DESCRIPTION_PATH
-    )
 
 
 def get_workspace_dir() -> str | None:

{dapla_toolbelt_metadata-0.6.5 → dapla_toolbelt_metadata-0.6.6}/src/dapla_metadata/variable_definitions/_utils/constants.py

@@ -24,8 +24,6 @@ TEMPLATE_SECTION_HEADER_MACHINE_GENERATED_EN = (
     "\n--- Machine generated fields. Do not edit ---\n"
 )
 
-NORWEGIAN_DESCRIPTIONS = "norwegian_description"
-
 DEFAULT_DATE = date(1000, 1, 1)
 
 MACHINE_GENERATED_FIELDS = [

{dapla_toolbelt_metadata-0.6.5 → dapla_toolbelt_metadata-0.6.6}/src/dapla_metadata/variable_definitions/_utils/files.py

@@ -3,12 +3,8 @@
 import logging
 from datetime import datetime
 from pathlib import Path
-from typing import TYPE_CHECKING
-from typing import Any
-from typing import cast
 
 import pytz
-from pydantic.config import JsonDict
 from ruamel.yaml import YAML
 from ruamel.yaml import CommentedMap
 from ruamel.yaml import RoundTripRepresenter
@@ -27,10 +23,7 @@ from dapla_metadata.variable_definitions._utils.constants import DOUBLE_QUOTE_FI
 from dapla_metadata.variable_definitions._utils.constants import (
     MACHINE_GENERATED_FIELDS,
 )
-from dapla_metadata.variable_definitions._utils.constants import NORWEGIAN_DESCRIPTIONS
-from dapla_metadata.variable_definitions._utils.constants import OPTIONAL_FIELD
 from dapla_metadata.variable_definitions._utils.constants import OWNER_FIELD_NAME
-from dapla_metadata.variable_definitions._utils.constants import REQUIRED_FIELD
 from dapla_metadata.variable_definitions._utils.constants import (
     TEMPLATE_SECTION_HEADER_MACHINE_GENERATED,
 )
@@ -47,14 +40,8 @@ from dapla_metadata.variable_definitions._utils.constants import (
     VARIABLE_STATUS_FIELD_NAME,
 )
 from dapla_metadata.variable_definitions._utils.constants import YAML_STR_TAG
-from dapla_metadata.variable_definitions._utils.descriptions import (
-    apply_norwegian_descriptions_to_model,
-)
 from dapla_metadata.variable_definitions.exceptions import VardefFileError
 
-if TYPE_CHECKING:
-    from pydantic import JsonValue
-
 logger = logging.getLogger(__name__)
 
 
@@ -119,41 +106,6 @@ def _get_variable_definitions_dir():
     return folder_path
 
 
-def _set_field_requirement(field_name: str, field: Any) -> str | None:
-    """Determine the field requirement status."""
-    if field_name not in MACHINE_GENERATED_FIELDS:
-        if field.is_required() or field_name == VARIABLE_STATUS_FIELD_NAME:
-            return REQUIRED_FIELD
-        return OPTIONAL_FIELD
-    return None
-
-
-def _populate_commented_map(
-    field_name: str,
-    value: str,
-    commented_map: CommentedMap,
-    model_instance: CompleteResponse,
-) -> None:
-    """Add data to a CommentedMap."""
-    commented_map[field_name] = value
-    field = type(model_instance).model_fields[field_name]
-    description: JsonValue = cast(
-        JsonDict,
-        field.json_schema_extra,
-    )[NORWEGIAN_DESCRIPTIONS]
-    field_requirement: str | None = _set_field_requirement(field_name, field)
-    if description is not None:
-        new_description = (
-            ("\n" + field_requirement + "\n" + str(description))
-            if field_requirement
-            else ("\n" + str(description))
-        )
-        commented_map.yaml_set_comment_before_after_key(
-            field_name,
-            before=new_description,
-        )
-
-
 def _validate_and_create_directory(custom_directory: Path) -> Path:
     """Ensure that the given path is a valid directory, creating it if necessary.
 
@@ -290,9 +242,9 @@ def _model_to_yaml_with_comments(
     start_comment: str,
     custom_directory: Path | None = None,
 ) -> Path:
-    """Convert a model instance to a structured YAML file with Norwegian descriptions as comments.
+    """Convert a model instance to a structured YAML file.
 
-    Adds Norwegian descriptions to the model, organizes fields into sections, and saves
+    Organizes fields into sections with headers and saves
     the YAML file with a structured format and timestamped filename.
 
     Args:
@@ -307,13 +259,6 @@ def _model_to_yaml_with_comments(
     yaml = YAML()
     configure_yaml(yaml)
 
-    from dapla_metadata.variable_definitions.variable_definition import (
-        VariableDefinition,
-    )
-
-    # Apply new fields to model
-    apply_norwegian_descriptions_to_model(VariableDefinition)
-
     # Convert Pydantic model instance to dictionary
     data = model_instance.model_dump(
         serialize_as_any=True,
@@ -326,21 +271,16 @@ def _model_to_yaml_with_comments(
     status_map = CommentedMap()
     owner_map = CommentedMap()
 
-    # Loop through all fields in the model and populate the commented maps
+    # Loop through all fields in the model and assigne to commented maps
     for field_name, value in data.items():
         if field_name == VARIABLE_STATUS_FIELD_NAME:
-            _populate_commented_map(field_name, value, status_map, model_instance)
+            status_map[field_name] = value
         elif field_name == OWNER_FIELD_NAME:
-            _populate_commented_map(field_name, value, owner_map, model_instance)
+            owner_map[field_name] = value
         elif field_name in MACHINE_GENERATED_FIELDS:
-            _populate_commented_map(
-                field_name,
-                value,
-                machine_generated_map,
-                model_instance,
-            )
-        elif field_name not in {VARIABLE_STATUS_FIELD_NAME, OWNER_FIELD_NAME}:
-            _populate_commented_map(field_name, value, commented_map, model_instance)
+            machine_generated_map[field_name] = value
+        else:
+            commented_map[field_name] = value
 
     base_path = (
         _get_variable_definitions_dir()

dapla_toolbelt_metadata-0.6.5/src/dapla_metadata/variable_definitions/_utils/descriptions.py

@@ -1,89 +0,0 @@
-"""Utilities for dynamically adding extra fields to Pydantic models, specifically Norwegian descriptions."""
-
-import logging
-from pathlib import Path
-from typing import TYPE_CHECKING
-from typing import cast
-
-import ruamel.yaml
-from pydantic import BaseModel
-from pydantic import Field
-
-from dapla_metadata.variable_definitions._utils.config import get_descriptions_path
-
-if TYPE_CHECKING:
-    from pydantic.config import JsonDict
-
-logger = logging.getLogger(__name__)
-
-
-def get_package_root() -> Path:
-    """Get an absolute Path to the root of the package (dapla_metadata)."""
-    number_of_directories_up_from_descriptions_file = 2
-    return (
-        Path(__file__)
-        .resolve()
-        .parents[number_of_directories_up_from_descriptions_file]
-    )
-
-
-def load_descriptions(file_path: Path) -> dict:
-    """Load and return the contents of a YAML file as a dictionary.
-
-    Args:
-        file_path (Path): Path to the YAML file.
-
-    Returns:
-    dict: Parsed contents of the YAML file.
-    """
-    with Path.open(file_path, encoding="utf-8") as f:
-        return ruamel.yaml.YAML().load(f)
-
-
-def apply_norwegian_descriptions_to_model(
-    model: type[BaseModel],
-) -> None:
-    """Add Norwegian descriptions to the fields of a Pydantic model.
-
-    This function globally modifies the model fields by inserting a Norwegian description
-    from a predefined dictionary. If a field does not have a corresponding
-    Norwegian description, a default message is used.
-
-    Args:
-        model (BaseModel): A Pydantic model instance to be updated.
-
-    Returns:
-        None: The function modifies the model in place.
-    """
-    new_fields = {}
-
-    descriptions = load_descriptions(
-        get_package_root() / get_descriptions_path(),
-    )
-
-    for field_name, field_info in model.model_fields.items():
-        new_description: str = descriptions.get(
-            field_name,
-            f"No description in norwegian found for {field_name}",
-        )
-        if "No description in norwegian found" in new_description:
-            logger.warning("Missing description for %s", field_name)
-        else:
-            logger.debug("Field %s: %s", field_name, new_description)
-
-        new_fields[field_name] = Field(  # type: ignore[call-overload]
-            default=field_info.default,
-            alias=field_info.alias,
-            title=field_info.title,
-            description=field_info.description,
-            json_schema_extra=cast(
-                "JsonDict",
-                {
-                    "norwegian_description": new_description,
-                    "annotation": field_info.annotation,
-                },
-            ),
-        )
-
-    model.model_fields.update(new_fields)  # Apply changes
-    model.model_rebuild()

dapla_toolbelt_metadata-0.6.5/src/dapla_metadata/variable_definitions/resources/vardef_model_descriptions_nb.yaml

@@ -1,109 +0,0 @@
-# --- Variabel definisjoner ---
-# ref: https://statistics-norway.atlassian.net/wiki/spaces/MPD/pages/3009839199/VarDef+-+Krav+til+dokumentasjon+av+variabler
-name: |
-  Variabelens navn. Dette skal ikke være en mer “teknisk” forkortelse, men et navn som er forståelig for mennesker.
-  -------------------------
-  >>> EKSEMPEL:
-  name:
-      nb: |-
-          Lønnsinntekter
-short_name: |
-  Dette er variabelens kortnavn, som kan være en mer “teknisk” forkortelse, f.eks. wlonn (kortnavnet til Lønnsinntekter). Kortnavnet til en variabel i Vardef skal være unikt.
-  Kravet til kortnavnet er at det kan inneholde a-z (kun små bokstaver), 0-9 og _ (understrek). Minimumslengden på kortnavnet er 2 tegn.
-  Bokstavene “æ”, “ø” og “å” kan ikke brukes. Disse anbefales erstattet med hhv. “ae”, “oe” og “aa"
-definition: |
-  En definisjon skal beskrive hva variabelen betyr og være så kort og presis som mulig. Mer utfyllende opplysninger kan legges i Merknad-feltet.
-  -------------------------
-  >>> EKSEMPEL:
-  definition:
-      nb: |-
-          Yrkesinntekter, kapitalinntekter, skattepliktige og skattefrie overføringer, i løpet av kalenderåret.
-classification_reference: |
-  ID av en klassifikasjon eller kodeliste fra KLASS som beskriver verdiene variabelen kan anta.
-  For eksempel vil variabelen 'Sivilstand' ha klassifikasjon 'Standard for sivilstand' (kan vises på https://www.ssb.no/klass/klassifikasjoner/19 ) som har ID 19.
-  -------------------------
-  >>> EKSEMPEL:
-  classification_reference: "19"
-unit_types: |
-  Enhetstyper - enhetene som beskrives av denne variabelen. Variabelen “sivilstand” vil f.eks. ha enhetstypen person,
-  mens f.eks. “Produsentpris for tjenester” vil ha både foretak og bedrift som enhetstyper siden variabelen kan beskrive begge.
-  Verdier skal være koder fra: https://www.ssb.no/klass/klassifikasjoner/702.
-  -------------------------
-  >>> EKSEMPEL:
-  unit_types:
-      - "20"
-subject_fields: |
-  Statistikkområder som variabelen brukes innenfor. For eksempel tilhører variabelen “Sivilstand” statistikkområdet “Befolkning”.
-  Verdier skal være koder fra https://www.ssb.no/klass/klassifikasjoner/618.
-  -------------------------
-  >>> EKSEMPEL:
-  subject_fields:
-      - "bf"
-      - "be"
-contains_special_categories_of_personal_data: |
-  Viser om variabelen inneholder spesielt sensitive personopplysninger.
-  -------------------------
-  >>> EKSEMPEL:
-  contains_special_categories_of_personal_data: true
-measurement_type: |
-  Måletype som en kvantitativ variabelen tilhører, f.eks.  valuta, areal osv.
-  Verdien skal være en kode fra: https://www.ssb.no/klass/klassifikasjoner/303
-  -------------------------
-  >>> EKSEMPEL:
-  measurement_type: "03"
-valid_from: |
-  Datoen variabeldefinisjonen er gyldig f.o.m.
-  -------------------------
-  >>> EKSEMPEL:
-  valid_from: 1999-01-30
-valid_until: |
-  Datoen variabeldefinisjonens var gyldig t.o.m. Settes hvis definisjonen skal erstattet av en ny definisjon (med en ny gyldighetsperiode), eller variabelen ikke lenger skal brukes.
-  -------------------------
-  >>> EKSEMPEL:
-  valid_until: 2024-10-23
-external_reference_uri:  |
-  En peker (URI) til ekstern definisjon/dokumentasjon, f.eks. ei webside som er relevant for variabelen.
-  -----------------------------------------------------
-  >>> EKSEMPEL:
-  external_reference_uri: "https://www.landbruksdirektoratet.com"
-comment: |
-  Her kan en sette inn eventuelle tilleggsopplysninger som ikke hører hjemme i selve definisjonen.
-  Variabelen “Landbakgrunn” har f.eks. merknaden “Fra og med 1.1.2003 ble definisjon endret til også å trekke inn besteforeldrenes fødeland”.
-  -----------------------------------------------------------------------------------------------
-  >>> EKSEMPEL:
-  comment:
-      nb: |-
-          Fra og med 1.1.2003 ble definisjon endret til også å trekke inn besteforeldrenes fødeland.
-related_variable_definition_uris: |
-  Her kan en legge inn URIer til andre variabler som er relevante. Eksempelvis er variabelen “Inntekt etter skatt” en beregnet variabel der  “Yrkesinntekter” og “Kapitalinntekter” inngår i beregningen.
-  En kan da legge inn deres URI-er i dette feltet.
-  -------------------------
-  >>> EKSEMPEL:
-  related_variable_definition_uris:
-      - "https://example.com/"
-contact: |
-  Her dokumenterer en navn og epost for person eller gruppe som kan svare på spørsmål.
-  -------------------------
-  >>> EKSEMPEL:
-  contact:
-      title:
-          nb: |-
-              Seksjonsleder
-      email: leder@ssb.no
-variable_status: |
-  Livssyklus for variabelen.
-id: |
-  Unik SSB identifikator for variabeldefinisjonen. Denne blir maskingenerert.
-  Variabeldefinisjoner med ulike gyldighetsperioder har samme ID (og samme kortnavn).
-patch_id: |
-  Løpenummer som identifiserer en patch, endring, for en variabeldefinisjon.
-owner: |
-  Eier av variabelen dvs. ansvarlig Dapla-team (statistikk-team) og informasjon om tilgangsstyringsgrupper. Team-tilhørighet settes automatisk til det samme som teamtilhørigheten til den som oppretter variabelen.
-created_at: |
-  Tidsstempelet da variabelen ble opprettet. Denne er maskingenerert.
-created_by: |
-  Personen som har opprettet variabelen. Dette er maskingenerert.
-last_updated_at: |
-  Tidsstempelet da variabelen sist ble oppdatert. Denne er maskingenerert.
-last_updated_by: |
-  Personen som sist utførte en endring i variabelen. Denne er maskingenerert.