EuroEval 16.4.0__py3-none-any.whl → 16.5.0__py3-none-any.whl

euroeval/metrics/huggingface.py

@@ -121,7 +121,10 @@ class HuggingFaceMetric(Metric):
         if self.metric is None:
             self.download(cache_dir=benchmark_config.cache_dir)
 
-        assert self.metric is not None
+        assert self.metric is not None, (
+            "Metric has not been downloaded. Please call download() before using the "
+            "__call__ method."
+        )
 
         with no_terminal_output(disable=benchmark_config.verbose):
             results = self.metric.compute(
@@ -140,13 +143,21 @@ class HuggingFaceMetric(Metric):
         if isinstance(score, np.floating):
             score = float(score)
 
+        self.close()
         return score
 
+    def close(self) -> None:
+        """Close any resources held by the metric."""
+        if self.metric is not None:
+            if self.metric.filelock is not None:
+                self.metric.filelock.release(force=True)
+            if self.metric.writer is not None:
+                self.metric.writer.finalize(close_stream=True)
+
     def __del__(self) -> None:
         """Clean up the metric from memory."""
         if self.metric is not None:
-            if self.metric.writer is not None:
-                self.metric.writer.close()
+            self.close()
             del self.metric
 
 

euroeval/metrics/llm_as_a_judge.py

@@ -9,7 +9,6 @@ from pydantic import BaseModel, Field
 
 from ..exceptions import InvalidBenchmark
 from ..logging_utils import log
-from ..model_cache import ModelCache
 from ..utils import extract_json_dict_from_string
 from .base import Metric
 
@@ -111,6 +110,7 @@ class LLMAsAJudgeMetric(Metric):
         """
         # Importing here to avoid circular imports
         from ..benchmark_modules import LiteLLMModel
+        from ..model_cache import ModelCache
 
         if not predictions or not references:
             return None

euroeval/model_cache.py

@@ -1,5 +1,6 @@
 """ModelCache class for caching model outputs."""
 
+import collections.abc as c
 import hashlib
 import json
 import logging
@@ -94,7 +95,7 @@ class ModelCache:
             with self.cache_path.open("w") as f:
                 json.dump(dict(), f)
 
-    def _hash_key(self, key: str | list[dict[str, str]]) -> str:
+    def _hash_key(self, key: str | c.Sequence[dict[str, str]]) -> str:
         """Hash the key to use as an index in the cache.
 
         Args:
@@ -107,7 +108,7 @@ class ModelCache:
         return hashlib.md5(string=str(key).encode()).hexdigest()
 
     def __getitem__(
-        self, key: str | list[dict[str, str]]
+        self, key: str | c.Sequence[dict[str, str]]
     ) -> SingleGenerativeModelOutput:
         """Get an item from the cache.
 
@@ -122,7 +123,7 @@ class ModelCache:
         return self.cache[hashed_key]
 
     def __setitem__(
-        self, key: str | list[dict[str, str]], value: SingleGenerativeModelOutput
+        self, key: str | c.Sequence[dict[str, str]], value: SingleGenerativeModelOutput
     ) -> None:
         """Set an item in the cache.
 
@@ -140,7 +141,7 @@ class ModelCache:
         self.cache_path.unlink()
         del self.cache
 
-    def __contains__(self, key: str | list[dict[str, str]]) -> bool:
+    def __contains__(self, key: str | c.Sequence[dict[str, str]]) -> bool:
         """Check if a key is in the cache.
 
         Args:
@@ -258,7 +259,7 @@ def load_cached_model_outputs(
         The model output containing the cached sequences.
     """
     input_column = "messages" if "messages" in cached_dataset.column_names else "text"
-    cached_model_outputs: list[SingleGenerativeModelOutput] = [
+    cached_model_outputs: c.Sequence[SingleGenerativeModelOutput] = [
         cache[prompt] for prompt in cached_dataset[input_column]
     ]
 

euroeval/model_loading.py

@@ -35,7 +35,7 @@ def load_model(
     Returns:
         The model.
     """
-    log_once(f"Loading the model {model_config.model_id}...")
+    log_once(f"\nLoading the model {model_config.model_id}...")
 
     # The order matters; the first model type that matches will be used. For this
     # reason, they have been ordered in terms of the most common model types.

euroeval/prompt_templates/__init__.py

@@ -1,8 +1,10 @@
 """The different prompt templates used in EuroEval."""
 
+from .classification import CLASSIFICATION_TEMPLATES
 from .linguistic_acceptability import LA_TEMPLATES
 from .multiple_choice import MULTIPLE_CHOICE_TEMPLATES
 from .named_entity_recognition import NER_TEMPLATES
 from .reading_comprehension import RC_TEMPLATES
 from .sentiment_classification import SENT_TEMPLATES
 from .summarization import SUMM_TEMPLATES
+from .token_classification import TOKEN_CLASSIFICATION_TEMPLATES

euroeval/prompt_templates/classification.py

@@ -0,0 +1,206 @@
+"""Templates for the classification task."""
+
+import typing as t
+
+from ..data_models import PromptConfig
+from ..languages import (
+    BULGARIAN,
+    CZECH,
+    DANISH,
+    DUTCH,
+    ENGLISH,
+    ESTONIAN,
+    FAROESE,
+    FINNISH,
+    FRENCH,
+    GERMAN,
+    GREEK,
+    ICELANDIC,
+    ITALIAN,
+    LATVIAN,
+    LITHUANIAN,
+    NORWEGIAN,
+    NORWEGIAN_BOKMÅL,
+    NORWEGIAN_NYNORSK,
+    POLISH,
+    PORTUGUESE,
+    SLOVAK,
+    SPANISH,
+    SWEDISH,
+    UKRAINIAN,
+)
+
+if t.TYPE_CHECKING:
+    from ..languages import Language
+
+CLASSIFICATION_TEMPLATES: dict["Language", PromptConfig] = {
+    ENGLISH: PromptConfig(
+        default_prompt_prefix="The following are texts and their labels.",
+        default_prompt_template="Text: {text}\nLabel: {label}",
+        default_instruction_prompt="Here is a text:\n'{text}'.\n\nClassify the text "
+        "into the categories {labels_str}, and reply with only the label.",
+        default_prompt_label_mapping="auto",
+    ),
+    BULGARIAN: PromptConfig(
+        default_prompt_prefix="Следват текстове и техните етикети.",
+        default_prompt_template="Текст: {text}\nЕтикет: {label}",
+        default_instruction_prompt="Ето един текст:\n'{text}'.\n\nКласифицирайте "
+        "текста в категориите {labels_str} и отговорете само с етикета.",
+        default_prompt_label_mapping="auto",
+    ),
+    CZECH: PromptConfig(
+        default_prompt_prefix="Následují texty a jejich štítky.",
+        default_prompt_template="Text: {text}\nŠtítek: {label}",
+        default_instruction_prompt="Zde je text:\n'{text}'.\n\nKlasifikujte text do "
+        "kategorií {labels_str} a odpovězte pouze štítkem.",
+        default_prompt_label_mapping="auto",
+    ),
+    DANISH: PromptConfig(
+        default_prompt_prefix="Følgende er tekster og deres etiketter.",
+        default_prompt_template="Tekst: {text}\nEtiket: {label}",
+        default_instruction_prompt="Her er en tekst:\n'{text}'.\n\nKlassificer teksten "
+        "i kategorierne {labels_str}, og svar kun med etiketten.",
+        default_prompt_label_mapping="auto",
+    ),
+    GERMAN: PromptConfig(
+        default_prompt_prefix="Im Folgenden sind Texte und ihre Labels aufgeführt.",
+        default_prompt_template="Text: {text}\nLabel: {label}",
+        default_instruction_prompt="Hier ist ein Text:\n'{text}'.\n\nKlassifiziere den "
+        "Text in die Kategorien {labels_str} und antworte nur mit dem Label.",
+        default_prompt_label_mapping="auto",
+    ),
+    GREEK: PromptConfig(
+        default_prompt_prefix="Ακολουθούν κείμενα και οι ετικέτες τους.",
+        default_prompt_template="Κείμενο: {text}\nΕτικέτα: {label}",
+        default_instruction_prompt="Εδώ είναι ένα κείμενο:\n'{text}'.\n\n"
+        "Κατηγοριοποιήστε το κείμενο στις κατηγορίες {labels_str} και απαντήστε μόνο "
+        "με την ετικέτα.",
+        default_prompt_label_mapping="auto",
+    ),
+    SPANISH: PromptConfig(
+        default_prompt_prefix="A continuación se presentan textos y sus etiquetas.",
+        default_prompt_template="Texto: {text}\nEtiqueta: {label}",
+        default_instruction_prompt="Aquí hay un texto:\n'{text}'.\n\nClasifica el "
+        "texto en las categorías {labels_str} y responde solo con la etiqueta.",
+        default_prompt_label_mapping="auto",
+    ),
+    ESTONIAN: PromptConfig(
+        default_prompt_prefix="Järgnevad on tekstid ja nende sildid.",
+        default_prompt_template="Tekst: {text}\nSilt: {label}",
+        default_instruction_prompt="Siin on tekst:\n'{text}'.\n\nKlassifitseeri tekst "
+        "kategooriatesse {labels_str} ja vasta ainult sildiga.",
+        default_prompt_label_mapping="auto",
+    ),
+    FINNISH: PromptConfig(
+        default_prompt_prefix="Seuraavassa on tekstejä ja niiden tunnisteita.",
+        default_prompt_template="Teksti: {text}\nTunniste: {label}",
+        default_instruction_prompt="Tässä on teksti:\n'{text}'.\n\nLuokittele teksti "
+        "kategorioihin {labels_str} ja vastaa vain tunnisteella.",
+        default_prompt_label_mapping="auto",
+    ),
+    FAROESE: PromptConfig(
+        default_prompt_prefix="Hér eru tekster og teirra etikettir.",
+        default_prompt_template="Tekstur: {text}\nEtikettur: {label}",
+        default_instruction_prompt="Her er ein tekstur:\n'{text}'.\n\nFlokka teksturin "
+        "í bólkar {labels_str} og svara bert við etikettinum.",
+        default_prompt_label_mapping="auto",
+    ),
+    FRENCH: PromptConfig(
+        default_prompt_prefix="Voici des textes et leurs étiquettes.",
+        default_prompt_template="Texte : {text}\nÉtiquette : {label}",
+        default_instruction_prompt="Voici un texte :\n'{text}'.\n\nClassifiez le texte "
+        "dans les catégories {labels_str} et répondez uniquement avec l'étiquette.",
+        default_prompt_label_mapping="auto",
+    ),
+    ICELANDIC: PromptConfig(
+        default_prompt_prefix="Hér fyrir neðan eru textar og merkingar þeirra.",
+        default_prompt_template="Texti: {text}\nMerking: {label}",
+        default_instruction_prompt="Hér er texti:\n'{text}'.\n\nFlokkaðu textann "
+        "í flokkana {labels_str} og svaraðu aðeins með merkingenni.",
+        default_prompt_label_mapping="auto",
+    ),
+    ITALIAN: PromptConfig(
+        default_prompt_prefix="Di seguito sono riportati testi e le loro etichette.",
+        default_prompt_template="Testo: {text}\nEtichetta: {label}",
+        default_instruction_prompt="Ecco un testo:\n'{text}'.\n\nClassifica il testo "
+        "nelle categorie {labels_str} e rispondi solo con l'etichetta.",
+        default_prompt_label_mapping="auto",
+    ),
+    LITHUANIAN: PromptConfig(
+        default_prompt_prefix="Toliau pateikiami tekstai ir jų etiketės.",
+        default_prompt_template="Tekstas: {text}\nEtiketė: {label}",
+        default_instruction_prompt="Štai tekstas:\n'{text}'.\n\nKlasifikuokite tekstą "
+        "į kategorijas {labels_str} ir atsakykite tik etiketę.",
+        default_prompt_label_mapping="auto",
+    ),
+    LATVIAN: PromptConfig(
+        default_prompt_prefix="Turpmāk ir teksti un to etiķetes.",
+        default_prompt_template="Teksts: {text}\nEtiķete: {label}",
+        default_instruction_prompt="Šeit ir teksts:\n'{text}'.\n\nKlasificējiet tekstu "
+        "kategorijās {labels_str} un atbildiet tikai ar etiķeti.",
+        default_prompt_label_mapping="auto",
+    ),
+    NORWEGIAN_BOKMÅL: PromptConfig(
+        default_prompt_prefix="Følgende er tekster og deres etiketter.",
+        default_prompt_template="Tekst: {text}\nEtikett: {label}",
+        default_instruction_prompt="Her er en tekst:\n'{text}'.\n\nKlassifiser teksten "
+        "i kategoriene {labels_str}, og svar kun med etiketten.",
+        default_prompt_label_mapping="auto",
+    ),
+    DUTCH: PromptConfig(
+        default_prompt_prefix="Hieronder volgen teksten en hun labels.",
+        default_prompt_template="Tekst: {text}\nLabel: {label}",
+        default_instruction_prompt="Hier is een tekst:\n'{text}'.\n\nClassificeer de "
+        "tekst in de categorieën {labels_str} en antwoord alleen met het label.",
+        default_prompt_label_mapping="auto",
+    ),
+    NORWEGIAN_NYNORSK: PromptConfig(
+        default_prompt_prefix="Følgjande er tekstar og deira etikettar.",
+        default_prompt_template="Tekst: {text}\nEtikett: {label}",
+        default_instruction_prompt="Her er ein tekst:\n'{text}'.\n\nKlassifiser "
+        "teksten i kategoriane {labels_str}, og svar berre med etiketten.",
+        default_prompt_label_mapping="auto",
+    ),
+    NORWEGIAN: PromptConfig(
+        default_prompt_prefix="Følgende er tekster og deres etiketter.",
+        default_prompt_template="Tekst: {text}\nEtikett: {label}",
+        default_instruction_prompt="Her er en tekst:\n'{text}'.\n\nKlassifiser teksten "
+        "i kategoriene {labels_str}, og svar kun med etiketten.",
+        default_prompt_label_mapping="auto",
+    ),
+    POLISH: PromptConfig(
+        default_prompt_prefix="Poniżej znajdują się teksty i ich etykiety.",
+        default_prompt_template="Tekst: {text}\nEtykieta: {label}",
+        default_instruction_prompt="Oto tekst:\n'{text}'.\n\nSklasyfikuj tekst do "
+        "kategorii {labels_str} i odpowiedz tylko etykietą.",
+        default_prompt_label_mapping="auto",
+    ),
+    PORTUGUESE: PromptConfig(
+        default_prompt_prefix="A seguir estão textos e seus rótulos.",
+        default_prompt_template="Texto: {text}\nRótulo: {label}",
+        default_instruction_prompt="Aqui está um texto:\n'{text}'.\n\nClassifique o "
+        "texto nas categorias {labels_str} e responda apenas com o rótulo.",
+        default_prompt_label_mapping="auto",
+    ),
+    SLOVAK: PromptConfig(
+        default_prompt_prefix="Nasledujú texty a ich štítky.",
+        default_prompt_template="Text: {text}\nŠtítok: {label}",
+        default_instruction_prompt="Tu je text:\n'{text}'.\n\nKlasifikujte text do "
+        "kategorií {labels_str} a odpovedzte iba štítkom.",
+        default_prompt_label_mapping="auto",
+    ),
+    SWEDISH: PromptConfig(
+        default_prompt_prefix="Följande är texter och deras etiketter.",
+        default_prompt_template="Text: {text}\nEtikett: {label}",
+        default_instruction_prompt="Här är en text:\n'{text}'.\n\nKlassificera texten "
+        "i kategorierna {labels_str} och svara endast med etiketten.",
+        default_prompt_label_mapping="auto",
+    ),
+    UKRAINIAN: PromptConfig(
+        default_prompt_prefix="Нижче наведено тексти та їхні позначки.",
+        default_prompt_template="Текст: {text}\nПозначка: {label}",
+        default_instruction_prompt="Ось текст:\n'{text}'.\n\nКласифікуйте текст у "
+        "категорії {labels_str} і відповідайте лише позначкою.",
+        default_prompt_label_mapping="auto",
+    ),
+}

euroeval/prompt_templates/linguistic_acceptability.py

@@ -4,48 +4,59 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
-    CS,
-    DA,
-    DE,
-    EN,
-    ES,
-    ET,
-    FI,
-    FO,
-    FR,
-    IS,
-    IT,
-    LT,
-    LV,
-    NB,
-    NL,
-    NN,
-    NO,
-    PL,
-    PT,
-    SK,
-    SV,
+    BULGARIAN,
+    CZECH,
+    DANISH,
+    DUTCH,
+    ENGLISH,
+    ESTONIAN,
+    FAROESE,
+    FINNISH,
+    FRENCH,
+    GERMAN,
+    GREEK,
+    ICELANDIC,
+    ITALIAN,
+    LATVIAN,
+    LITHUANIAN,
+    NORWEGIAN,
+    NORWEGIAN_BOKMÅL,
+    NORWEGIAN_NYNORSK,
+    POLISH,
+    PORTUGUESE,
+    SERBIAN,
+    SLOVAK,
+    SPANISH,
+    SWEDISH,
+    UKRAINIAN,
 )
 
 if t.TYPE_CHECKING:
-    from ..data_models import Language
+    from ..languages import Language
 
 LA_TEMPLATES: dict["Language", PromptConfig] = {
-    CS: PromptConfig(
+    BULGARIAN: PromptConfig(
+        default_prompt_label_mapping=dict(correct="да", incorrect="не"),
+        default_prompt_prefix="Следват изречения и дали са граматически правилни.",
+        default_prompt_template="Изречение: {text}\nГраматически правилно: {label}",
+        default_instruction_prompt="Изречение: {text}\n\nОпределете дали изречението е "
+        "граматически правилно или не. Отговорете с {labels_str}, и нищо друго.",
+    ),
+    CZECH: PromptConfig(
         default_prompt_label_mapping=dict(correct="ano", incorrect="ne"),
         default_prompt_prefix="Následující jsou věty a zda jsou gramaticky správné.",
         default_prompt_template="Věta: {text}\nGramaticky správná: {label}",
         default_instruction_prompt="Věta: {text}\n\nUrčete, zda je věta gramaticky "
         "správná nebo ne. Odpovězte {labels_str}, a nic jiné.",
     ),
-    DA: PromptConfig(
+    DANISH: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nej"),
         default_prompt_prefix="Følgende er sætninger og om de er grammatisk korrekte.",
         default_prompt_template="Sætning: {text}\nGrammatisk korrekt: {label}",
         default_instruction_prompt="Sætning: {text}\n\nBestem om sætningen er "
         "grammatisk korrekt eller ej. Svar kun med {labels_str}, og intet andet.",
     ),
-    DE: PromptConfig(
+    GERMAN: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nein"),
         default_prompt_prefix="Die folgenden Sätze und ob sie grammatikalisch korrekt "
         "sind.",
@@ -54,7 +65,15 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         "grammatikalisch korrekt ist oder nicht. Antworten Sie mit {labels_str}, und "
         "nichts anderes.",
     ),
-    EN: PromptConfig(
+    GREEK: PromptConfig(
+        default_prompt_label_mapping=dict(correct="ναι", incorrect="όχι"),
+        default_prompt_prefix="Οι ακόλουθες είναι προτάσεις και εάν είναι "
+        "γραμματικά σωστές.",
+        default_prompt_template="Πρόταση: {text}\nΓραμματικά σωστή: {label}",
+        default_instruction_prompt="Πρόταση: {text}\n\nΠροσδιορίστε εάν η πρόταση "
+        "είναι γραμματικά σωστή ή όχι. Απαντήστε με {labels_str}, και τίποτα άλλο.",
+    ),
+    ENGLISH: PromptConfig(
         default_prompt_label_mapping=dict(correct="yes", incorrect="no"),
         default_prompt_prefix="The following are sentences and whether they are "
         "grammatically correct.",
@@ -62,7 +81,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Sentence: {text}\n\nDetermine whether the sentence "
         "is grammatically correct or not. Answer with {labels_str}, and nothing else.",
     ),
-    ES: PromptConfig(
+    SPANISH: PromptConfig(
         default_prompt_label_mapping=dict(correct="sí", incorrect="no"),
         default_prompt_prefix="Lo siguiente son textos y si son gramaticalmente "
         "correctos.",
@@ -70,7 +89,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Texto: {text}\n\nDetermina si el texto es "
         "gramaticalmente correcto o no. Responde con {labels_str}, y nada más.",
     ),
-    ET: PromptConfig(
+    ESTONIAN: PromptConfig(
         default_prompt_label_mapping=dict(correct="jah", incorrect="ei"),
         default_prompt_prefix="Järgnevad on laused ja kas need on grammatiliselt "
         "õiged.",
@@ -78,7 +97,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Lause: {text}\n\nOtsusta, kas lause on "
         "grammatiliselt õige või mitte. Vasta {labels_str}, ja mitte midagi muud.",
     ),
-    PL: PromptConfig(
+    POLISH: PromptConfig(
         default_prompt_label_mapping=dict(correct="tak", incorrect="nie"),
         default_prompt_prefix="Poniżej znajdują się teksty i informacja, czy są "
         "gramatycznie poprawne.",
@@ -86,7 +105,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Tekst: {text}\n\nOkreśl, czy tekst jest "
         "gramatycznie poprawny. Odpowiedz używając wyłącznie {labels_str}.",
     ),
-    PT: PromptConfig(
+    PORTUGUESE: PromptConfig(
         default_prompt_label_mapping=dict(correct="sim", incorrect="não"),
         default_prompt_prefix="Seguem-se abaixo textos e se são "
         "gramaticalmente correctos",
@@ -94,7 +113,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Texto: {text}\n\nDetermina se o texto é "
         "gramaticalmente correcto ou não. Responde com {labels_str}, e nada mais.",
     ),
-    FI: PromptConfig(
+    FINNISH: PromptConfig(
         default_prompt_label_mapping=dict(correct="kyllä", incorrect="ei"),
         default_prompt_prefix="Seuraavat ovat lauseita ja ovatko ne "
         "kieliopillisesti oikein.",
@@ -102,7 +121,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Lause: {text}\n\nMääritä onko lause "
         "oikein vai ei. Vastaa {labels_str}, ja ei mitään muuta.",
     ),
-    FO: PromptConfig(
+    FAROESE: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
         default_prompt_prefix="Hetta eru nakrir setningar og um teir eru mállæruliga "
         "rættir.",
@@ -110,7 +129,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Setningur: {text}\n\nGreindu hvort setningurin er "
         "mállæruliga rættur ella ikki. Svara við {labels_str}, og einki annað.",
     ),
-    FR: PromptConfig(
+    FRENCH: PromptConfig(
         default_prompt_label_mapping=dict(correct="oui", incorrect="non"),
         default_prompt_prefix="Les phrases suivantes indiquent si elles sont "
         "grammaticalement correctes.",
@@ -119,7 +138,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Phrase: {text}\n\nDéterminez si la phrase est "
         "grammaticalement correcte ou non. Répondez par {labels_str}, et rien d'autre.",
     ),
-    IS: PromptConfig(
+    ICELANDIC: PromptConfig(
         default_prompt_label_mapping=dict(correct="já", incorrect="nei"),
         default_prompt_prefix="Hér fyrir neðan eru setningar ásamt mati á því hvort "
         "þær eru málfræðilega réttar.",
@@ -128,7 +147,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         "málfræðilega rétt. Svaraðu með 'já' ef setningin er rétt og 'nei' ef hún "
         "er það ekki.",
     ),
-    IT: PromptConfig(
+    ITALIAN: PromptConfig(
         default_prompt_label_mapping=dict(correct="si", incorrect="no"),
         default_prompt_prefix="Di seguito sono riportate le frasi e la loro "
         "correttezza grammaticale.",
@@ -136,7 +155,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Frase: {text}\n\nStabilite se la frase è "
         "grammaticalmente corretta o meno. Rispondere con {labels_str}, e nient'altro.",
     ),
-    LT: PromptConfig(
+    LITHUANIAN: PromptConfig(
         default_prompt_label_mapping=dict(correct="taip", incorrect="ne"),
         default_prompt_prefix="Toliau pateikti sakiniai ir ar jie yra gramatiškai "
         "teisingi.",
@@ -144,14 +163,14 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Sakinys: {text}\n\nNustatykite, ar sakinys yra "
         "gramatiškai teisingas, ar ne. Atsakykite su {labels_str}, ir nieko kito.",
     ),
-    LV: PromptConfig(
+    LATVIAN: PromptConfig(
         default_prompt_label_mapping=dict(correct="jā", incorrect="nē"),
         default_prompt_prefix="Šie ir teikumi un to gramatiskie pareizumi.",
         default_prompt_template="Teikums: {text}\nGramatiski pareizs: {label}",
         default_instruction_prompt="Teikums: {text}\n\nNoteiciet, vai teikums ir "
         "gramatiski pareizs vai nē. Atbildiet ar {labels_str}, un neko citu.",
     ),
-    NB: PromptConfig(
+    NORWEGIAN_BOKMÅL: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
         default_prompt_prefix="Følgende er setninger og hvorvidt de er grammatisk "
         "korrekte.",
@@ -159,7 +178,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
         "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
     ),
-    NL: PromptConfig(
+    DUTCH: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nee"),
         default_prompt_prefix="Hieronder staan zinnen en of ze grammaticaal correct "
         "zijn.",
@@ -167,7 +186,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Zin: {text}\n\nBepaal of de zin grammaticaal "
         "correct is of niet. Antwoord met {labels_str}, en verder niets.",
     ),
-    NN: PromptConfig(
+    NORWEGIAN_NYNORSK: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
         default_prompt_prefix="Følgende er setninger og hvorvidt de er grammatisk "
         "korrekte.",
@@ -175,7 +194,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
         "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
     ),
-    NO: PromptConfig(
+    NORWEGIAN: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
         default_prompt_prefix="Følgende er setninger og hvorvidt de er grammatisk "
         "korrekte.",
@@ -183,7 +202,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
         "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
     ),
-    SK: PromptConfig(
+    SLOVAK: PromptConfig(
         default_prompt_label_mapping=dict(correct="áno", incorrect="nie"),
         default_prompt_prefix="Nasledujú vety a či sú gramaticky správne.",
         default_prompt_template="Veta: {text}\nGramaticky správna: {label}",
@@ -192,7 +211,16 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
             "Odpovedzte so {labels_str}, a nič iné."
         ),
     ),
-    SV: PromptConfig(
+    SERBIAN: PromptConfig(
+        default_prompt_label_mapping=dict(correct="da", incorrect="ne"),
+        default_prompt_prefix="U nastavku su rečenice i da li su gramatički ispravne.",
+        default_prompt_template="Rečenica: {text}\nGramatički ispravna: {label}",
+        default_instruction_prompt=(
+            "Rečenica: {text}\n\nOdredite da li je rečenica gramatički ispravna ili "
+            "ne. Odgovorite sa {labels_str}, i ništa drugo."
+        ),
+    ),
+    SWEDISH: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nej"),
         default_prompt_prefix="Följande är meningar och huruvida de är grammatiskt "
         "korrekta.",
@@ -200,4 +228,15 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Mening: {text}\n\nBestäm om meningen är "
         "grammatiskt korrekt eller inte. Svara med {labels_str}, och inget annat.",
     ),
+    UKRAINIAN: PromptConfig(
+        default_prompt_label_mapping=dict(correct="так", incorrect="ні"),
+        default_prompt_prefix=(
+            "Нижче наведені речення і їхня граматична правильність."
+        ),
+        default_prompt_template=("Речення: {text}\nГраматично правильно: {label}"),
+        default_instruction_prompt=(
+            "Речення: {text}\n\nВизначте, чи речення граматично правильне чи ні. "
+            "Відповідайте {labels_str}, і нічого більше."
+        ),
+    ),
 }