EuroEval 16.2.2__py3-none-any.whl → 16.4.0__py3-none-any.whl

euroeval/metrics/speed.py

@@ -1,7 +1,6 @@
 """Inference speed metric."""
 
 import collections.abc as c
-import logging
 import typing as t
 
 from .base import Metric
@@ -11,8 +10,6 @@ if t.TYPE_CHECKING:
 
     from ..data_models import BenchmarkConfig, DatasetConfig
 
-logger: logging.Logger = logging.getLogger("euroeval")
-
 
 class SpeedMetric(Metric):
     """Speed metric."""

euroeval/model_cache.py

@@ -8,11 +8,9 @@ import typing as t
 from collections import defaultdict
 from dataclasses import asdict
 
-from tqdm.auto import tqdm
-
 from .constants import NUM_GENERATION_TOKENS_FOR_CLASSIFICATION
 from .data_models import GenerativeModelOutput, SingleGenerativeModelOutput
-from .utils import log_once
+from .logging_utils import get_pbar, log, log_once
 
 if t.TYPE_CHECKING:
     from pathlib import Path
@@ -20,9 +18,6 @@ if t.TYPE_CHECKING:
     from datasets import Dataset
 
 
-logger = logging.getLogger("euroeval")
-
-
 class ModelCache:
     """A cache for model outputs.
 
@@ -65,9 +60,10 @@ class ModelCache:
             with self.cache_path.open() as f:
                 json_cache = json.load(f)
         except json.JSONDecodeError:
-            logger.warning(
+            log(
                 f"Failed to load the cache from {self.cache_path}. The cache will be "
-                f"re-initialised."
+                f"re-initialised.",
+                level=logging.WARNING,
             )
             json_cache = dict()
             with self.cache_path.open("w") as f:
@@ -89,9 +85,10 @@ class ModelCache:
             with self.cache_path.open("w") as f:
                 json.dump(dumpable_cache, f)
         except KeyError:
-            logger.warning(
+            log(
                 f"Failed to load the cache from {self.cache_path}. The cache will be "
-                f"re-initialised."
+                f"re-initialised.",
+                level=logging.WARNING,
             )
             self.cache = dict()
             with self.cache_path.open("w") as f:
@@ -172,18 +169,18 @@ class ModelCache:
 
         # Double check that the number of inputs and outputs match
         if not len(model_inputs) == len(model_output.sequences):
-            logger.warning(
+            log(
                 f"Number of model inputs ({len(model_inputs)}) does not match the "
                 f"number of model outputs ({len(model_output.sequences)}). We will not "
-                f"cache the model outputs."
+                f"cache the model outputs.",
+                level=logging.WARNING,
             )
             return
 
         # Store the generated sequences in the cache, one by one
-        with tqdm(
+        with get_pbar(
             iterable=model_inputs,
             desc="Caching model outputs",
-            leave=False,
             disable=hasattr(sys, "_called_from_test"),
         ) as pbar:
             for sample_idx, model_input in enumerate(pbar):

euroeval/model_config.py

@@ -5,14 +5,12 @@ import typing as t
 
 from . import benchmark_modules
 from .exceptions import InvalidModel, NeedsEnvironmentVariable, NeedsExtraInstalled
+from .logging_utils import log
 
 if t.TYPE_CHECKING:
     from .data_models import BenchmarkConfig, ModelConfig
 
 
-logger = logging.getLogger("euroeval")
-
-
 def get_model_config(
     model_id: str, benchmark_config: "BenchmarkConfig"
 ) -> "ModelConfig":
@@ -51,9 +49,10 @@ def get_model_config(
         elif isinstance(exists_or_err, NeedsEnvironmentVariable):
             needs_env_vars.append(exists_or_err.env_var)
         elif exists_or_err is True:
-            logger.debug(
+            log(
                 f"The model {model_id!r} was identified by the "
-                f"{benchmark_module.__name__} benchmark module."
+                f"{benchmark_module.__name__} benchmark module.",
+                logging.DEBUG,
             )
             model_config = benchmark_module.get_model_config(
                 model_id=model_id, benchmark_config=benchmark_config

euroeval/model_loading.py

@@ -10,6 +10,7 @@ from .benchmark_modules import (
 )
 from .enums import InferenceBackend, ModelType
 from .exceptions import InvalidModel
+from .logging_utils import log_once
 
 if t.TYPE_CHECKING:
     from .benchmark_modules import BenchmarkModule
@@ -34,6 +35,8 @@ def load_model(
     Returns:
         The model.
     """
+    log_once(f"Loading the model {model_config.model_id}...")
+
     # The order matters; the first model type that matches will be used. For this
     # reason, they have been ordered in terms of the most common model types.
     model_class: t.Type[BenchmarkModule]

euroeval/prompt_templates/linguistic_acceptability.py

@@ -4,6 +4,7 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
+    CS,
     DA,
     DE,
     EN,
@@ -14,6 +15,7 @@ from ..languages import (
     FR,
     IS,
     IT,
+    LT,
     LV,
     NB,
     NL,
@@ -21,6 +23,7 @@ from ..languages import (
     NO,
     PL,
     PT,
+    SK,
     SV,
 )
 
@@ -28,6 +31,13 @@ if t.TYPE_CHECKING:
     from ..data_models import Language
 
 LA_TEMPLATES: dict["Language", PromptConfig] = {
+    CS: PromptConfig(
+        default_prompt_label_mapping=dict(correct="ano", incorrect="ne"),
+        default_prompt_prefix="Následující jsou věty a zda jsou gramaticky správné.",
+        default_prompt_template="Věta: {text}\nGramaticky správná: {label}",
+        default_instruction_prompt="Věta: {text}\n\nUrčete, zda je věta gramaticky "
+        "správná nebo ne. Odpovězte {labels_str}, a nic jiné.",
+    ),
     DA: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nej"),
         default_prompt_prefix="Følgende er sætninger og om de er grammatisk korrekte.",
@@ -70,11 +80,11 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
     ),
     PL: PromptConfig(
         default_prompt_label_mapping=dict(correct="tak", incorrect="nie"),
-        default_prompt_prefix="Poniżej znajdują się teksty i czy są "
+        default_prompt_prefix="Poniżej znajdują się teksty i informacja, czy są "
         "gramatycznie poprawne.",
         default_prompt_template="Tekst: {text}\nGramatycznie poprawny: {label}",
-        default_instruction_prompt="Tekst: {text}\n\nOkreśl czy tekst jest "
-        "gramatycznie poprawny czy nie. Odpowiedz {labels_str}, i nic więcej.",
+        default_instruction_prompt="Tekst: {text}\n\nOkreśl, czy tekst jest "
+        "gramatycznie poprawny. Odpowiedz używając wyłącznie {labels_str}.",
     ),
     PT: PromptConfig(
         default_prompt_label_mapping=dict(correct="sim", incorrect="não"),
@@ -126,6 +136,14 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Frase: {text}\n\nStabilite se la frase è "
         "grammaticalmente corretta o meno. Rispondere con {labels_str}, e nient'altro.",
     ),
+    LT: PromptConfig(
+        default_prompt_label_mapping=dict(correct="taip", incorrect="ne"),
+        default_prompt_prefix="Toliau pateikti sakiniai ir ar jie yra gramatiškai "
+        "teisingi.",
+        default_prompt_template="Sakinys: {text}\nGramatiškai teisingas: {label}",
+        default_instruction_prompt="Sakinys: {text}\n\nNustatykite, ar sakinys yra "
+        "gramatiškai teisingas, ar ne. Atsakykite su {labels_str}, ir nieko kito.",
+    ),
     LV: PromptConfig(
         default_prompt_label_mapping=dict(correct="jā", incorrect="nē"),
         default_prompt_prefix="Šie ir teikumi un to gramatiskie pareizumi.",
@@ -165,6 +183,15 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
         "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
     ),
+    SK: PromptConfig(
+        default_prompt_label_mapping=dict(correct="áno", incorrect="nie"),
+        default_prompt_prefix="Nasledujú vety a či sú gramaticky správne.",
+        default_prompt_template="Veta: {text}\nGramaticky správna: {label}",
+        default_instruction_prompt=(
+            "Veta: {text}\n\nUrčite, či je veta gramaticky správna alebo nie. "
+            "Odpovedzte so {labels_str}, a nič iné."
+        ),
+    ),
     SV: PromptConfig(
         default_prompt_label_mapping=dict(correct="ja", incorrect="nej"),
         default_prompt_prefix="Följande är meningar och huruvida de är grammatiskt "

euroeval/prompt_templates/multiple_choice.py

@@ -4,6 +4,7 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
+    CS,
     DA,
     DE,
     EN,
@@ -13,6 +14,7 @@ from ..languages import (
     FR,
     IS,
     IT,
+    LT,
     LV,
     NB,
     NL,
@@ -20,6 +22,7 @@ from ..languages import (
     NO,
     PL,
     PT,
+    SK,
     SV,
 )
 
@@ -28,6 +31,17 @@ if t.TYPE_CHECKING:
 
 # TODO: Missing Faroese
 MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
+    CS: PromptConfig(
+        default_prompt_prefix=(
+            "Následující jsou otázky s výběrem z více možností (s odpověďmi)."
+        ),
+        default_prompt_template="Otázka: {text}\nOdpověď: {label}",
+        default_instruction_prompt=(
+            "Otázka: {text}\n\nOdpovězte na výše uvedenou otázku "
+            "pomocí {labels_str}, a nic jiného."
+        ),
+        default_prompt_label_mapping="auto",
+    ),
     DA: PromptConfig(
         default_prompt_prefix="Følgende er multiple choice spørgsmål (med svar).",
         default_prompt_template="Spørgsmål: {text}\nSvar: {label}",
@@ -105,6 +119,14 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
         "precedente con {labels_str}, e nient'altro.",
         default_prompt_label_mapping="auto",
     ),
+    LT: PromptConfig(
+        default_prompt_prefix="Toliau pateikti daugiavariančiai klausimai "
+        "(su atsakymais).",
+        default_prompt_template="Klausimas: {text}\nAtsakymas: {label}",
+        default_instruction_prompt="Klausimas: {text}\n\nAtsakykite į aukščiau "
+        "pateiktą klausimą atsakydami {labels_str}, ir nieko daugiau.",
+        default_prompt_label_mapping="auto",
+    ),
     LV: PromptConfig(
         default_prompt_prefix="Tālāk seko jautājumi ar vairākām atbilžu izvēlēm "
         "(ar atbildēm).",
@@ -146,7 +168,18 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
         "(z odpowiedziami).",
         default_prompt_template="Pytanie: {text}\nOdpowiedź: {label}",
         default_instruction_prompt="Pytanie: {text}\n\nOdpowiedz na powyższe pytanie, "
-        "odpowiadając {labels_str}, i nic więcej.",
+        "używając {labels_str} i niczego więcej.",
+        default_prompt_label_mapping="auto",
+    ),
+    SK: PromptConfig(
+        default_prompt_prefix=(
+            "Nasledujú otázky s viacerými možnosťami (s odpoveďami)."
+        ),
+        default_prompt_template="Otázka: {text}\nOdpoveď: {label}",
+        default_instruction_prompt=(
+            "Otázka: {text}\n\n"
+            "Odpovedzte na nasledujúcu otázku použitím {labels_str}, a nič iné."
+        ),
         default_prompt_label_mapping="auto",
     ),
     SV: PromptConfig(

euroeval/prompt_templates/named_entity_recognition.py

@@ -4,6 +4,7 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
+    CS,
     DA,
     DE,
     EN,
@@ -14,6 +15,7 @@ from ..languages import (
     FR,
     IS,
     IT,
+    LT,
     LV,
     NB,
     NL,
@@ -21,6 +23,7 @@ from ..languages import (
     NO,
     PL,
     PT,
+    SK,
     SV,
 )
 
@@ -29,6 +32,25 @@ if t.TYPE_CHECKING:
 
 
 NER_TEMPLATES: dict["Language", PromptConfig] = {
+    CS: PromptConfig(
+        default_prompt_label_mapping={
+            "b-per": "osoba",
+            "i-per": "osoba",
+            "b-loc": "místo",
+            "i-loc": "místo",
+            "b-org": "organizace",
+            "i-org": "organizace",
+            "b-misc": "různé",
+            "i-misc": "různé",
+        },
+        default_prompt_prefix="Následující jsou věty a JSON slovníky s pojmenovanými "
+        "entitami, které se v dané větě vyskytují.",
+        default_prompt_template="Věta: {text}\nPojmenované entity: {label}",
+        default_instruction_prompt="Věta: {text}\n\nIdentifikujte pojmenované entity "
+        "ve větě. Měli byste to vypsat jako JSON slovník s klíči {labels_str}. "
+        "Hodnoty by měly být seznamy pojmenovaných entit tohoto typu, přesně tak, "
+        "jak se objevují ve větě.",
+    ),
     DA: PromptConfig(
         default_prompt_label_mapping={
             "b-per": "person",
@@ -241,6 +263,25 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
         "{labels_str}. I valori devono essere elenchi di entità "
         "nominate di quel tipo, esattamente come appaiono nella frase.",
     ),
+    LT: PromptConfig(
+        default_prompt_label_mapping={
+            "b-per": "asmuo",
+            "i-per": "asmuo",
+            "b-loc": "vieta",
+            "i-loc": "vieta",
+            "b-org": "organizacija",
+            "i-org": "organizacija",
+            "b-misc": "kita",
+            "i-misc": "kita",
+        },
+        default_prompt_prefix="Toliau pateikti sakiniai ir JSON žodynai su vardiniais "
+        "vienetais, kurie pateikiame sakinyje.",
+        default_prompt_template="Sakinys: {text}\nVardiniai vienetai: {label}",
+        default_instruction_prompt="Sakinys: {text}\n\nIdentifikuokite vardinius "
+        "vienetus sakinyje. Turėtumėte pateikti tai kaip JSON žodyną su raktais "
+        "{labels_str}. Reikšmės turi būti to tipo vardinių vienetų sąrašai, "
+        "tiksliai taip, kaip jie rodomi sakinyje.",
+    ),
     LV: PromptConfig(
         default_prompt_label_mapping={
             "b-per": "persona",
@@ -341,20 +382,39 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
         default_prompt_label_mapping={
             "b-per": "osoba",
             "i-per": "osoba",
-            "b-loc": "lokalizacja",
-            "i-loc": "lokalizacja",
+            "b-loc": "miejsce",
+            "i-loc": "miejsce",
             "b-org": "organizacja",
             "i-org": "organizacja",
-            "b-misc": "różne",
-            "i-misc": "różne",
+            "b-misc": "inne",
+            "i-misc": "inne",
+        },
+        default_prompt_prefix="Poniżej znajdują się zdania i słowniki JSON "
+        "z jednostkami nazewniczymi, które występują w danym zdaniu.",
+        default_prompt_template="Zdanie: {text}\nJednostki nazewnicze: {label}",
+        default_instruction_prompt="Zdanie: {text}\n\nZidentyfikuj jednostki "
+        "nazewnicze w zdaniu. Wypisz je jako słownik JSON z kluczami "
+        "{labels_str}. Wartości odpowiadające kluczom powinny być listami jednostek "
+        "nazewniczych danego typu, dokładnie tak, jak pojawiają się w zdaniu.",
+    ),
+    SK: PromptConfig(
+        default_prompt_label_mapping={
+            "b-per": "osoba",
+            "i-per": "osoba",
+            "b-loc": "miesto",
+            "i-loc": "miesto",
+            "b-org": "organizácia",
+            "i-org": "organizácia",
+            "b-misc": "rôzne",
+            "i-misc": "rôzne",
         },
-        default_prompt_prefix="Poniżej znajdują się zdania i słowniki JSON z nazwanymi "
-        "jednostkami występującymi w danym zdaniu.",
-        default_prompt_template="Zdanie: {text}\nNazwane jednostki: {label}",
-        default_instruction_prompt="Zdanie: {text}\n\nZidentyfikuj nazwane jednostki "
-        "w zdaniu. Powinieneś wypisać to jako słownik JSON z kluczami "
-        "{labels_str}. Wartości powinny być listami nazwanych jednostek "
-        "tego typu, dokładnie tak jak pojawiają się w zdaniu.",
+        default_prompt_prefix="Nasledujúce sú vety a JSON-objekty s pomenovanými "
+        "entitami, ktoré sa nachádzajú v danej vete.",
+        default_prompt_template="Veta: {text}\nPomenované entity: {label}",
+        default_instruction_prompt="Veta: {text}\n\nIdentifikujte pomenované "
+        "entity vo vete. Výstup by mal byť vo forme JSON-objektu s kľúčmi "
+        "{labels_str}. Hodnoty by mali byť zoznamy pomenovaných entít danej "
+        "kategórie, presne tak, ako sa vyskytujú vo vete.",
     ),
     SV: PromptConfig(
         default_prompt_label_mapping={

euroeval/prompt_templates/reading_comprehension.py

@@ -4,6 +4,7 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
+    CS,
     DA,
     DE,
     EN,
@@ -14,6 +15,7 @@ from ..languages import (
     FR,
     IS,
     IT,
+    LT,
     LV,
     NB,
     NL,
@@ -21,6 +23,7 @@ from ..languages import (
     NO,
     PL,
     PT,
+    SK,
     SV,
 )
 
@@ -28,6 +31,19 @@ if t.TYPE_CHECKING:
     from ..data_models import Language
 
 RC_TEMPLATES: dict["Language", PromptConfig] = {
+    CS: PromptConfig(
+        default_prompt_prefix="Následující texty obsahují otázky a odpovědi.",
+        default_prompt_template=(
+            "Text: {text}\nOtázka: {question}\nOdpověď maximálně 3 slovy: {label}"
+        ),
+        default_instruction_prompt=(
+            "Text: {text}\n\n"
+            "Odpovězte na následující otázku k výše uvedenému textu "
+            "maximálně 3 slovy.\n\n"
+            "Otázka: {question}"
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
     DA: PromptConfig(
         default_prompt_prefix="Følgende er tekster med tilhørende spørgsmål og svar.",
         default_prompt_template="Tekst: {text}\nSpørgsmål: {question}\nSvar med maks. "
@@ -116,6 +132,15 @@ RC_TEMPLATES: dict["Language", PromptConfig] = {
         "sul in un massimo di 3 parole.\n\nDomanda: {question}",
         default_prompt_label_mapping=dict(),
     ),
+    LT: PromptConfig(
+        default_prompt_prefix="Toliau pateikti tekstai su atitinkamais klausimais ir "
+        "atsakymais.",
+        default_prompt_template="Tekstas: {text}\nKlausimas: {question}\nAtsakykite ne "
+        "daugiau kaip 3 žodžiais: {label}",
+        default_instruction_prompt="Tekstas: {text}\n\nAtsakykite į šį klausimą apie "
+        "aukščiau pateiktą tekstą ne daugiau kaip 3 žodžiais.\n\nKlausimas: {question}",
+        default_prompt_label_mapping=dict(),
+    ),
     LV: PromptConfig(
         default_prompt_prefix="Turpmāk seko teksti ar atbilstošiem jautājumiem un "
         "atbildēm.",
@@ -162,10 +187,11 @@ RC_TEMPLATES: dict["Language", PromptConfig] = {
         default_prompt_prefix=(
             "Poniżej znajdują się teksty z towarzyszącymi pytaniami i odpowiedziami."
         ),
-        default_prompt_template="Tekst: {text}\nPytanie: {question}\nOdpowiedź w "
-        "maksymalnie 3 słowach: {label}",
+        default_prompt_template="Tekst: {text}\nPytanie: {question}\nOdpowiedź z "
+        "użyciem maksymalnie 3 słów: {label}",
         default_instruction_prompt="Tekst: {text}\n\nOdpowiedz na następujące pytanie "
-        "dotyczące powyższego tekstu w maksymalnie 3 słowach.\n\nPytanie: {question}",
+        "dotyczące powyższego tekstu, używając maksymalnie 3 słów.\n\nPytanie: "
+        "{question}",
         default_prompt_label_mapping=dict(),
     ),
     PT: PromptConfig(
@@ -177,6 +203,18 @@ RC_TEMPLATES: dict["Language", PromptConfig] = {
         "sobre o texto acima num máximo de 3 palavras.\n\nPergunta: {question}",
         default_prompt_label_mapping=dict(),
     ),
+    SK: PromptConfig(
+        default_prompt_prefix=("Nasledujú texty s pridruženými otázkami a odpoveďami."),
+        default_prompt_template=(
+            "Text: {text}\nOtázka: {question}\nOdpoveď na maximálne 3 slová: {label}"
+        ),
+        default_instruction_prompt=(
+            "Text: {text}\n\n"
+            "Odpovedzte na nasledujúcu otázku týkajúcu sa textu uvedeného vyššie "
+            "maximálne 3 slovami.\n\nOtázka: {question}"
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
     SV: PromptConfig(
         default_prompt_prefix="Nedan följer texter med tillhörande frågor och svar.",
         default_prompt_template="Text: {text}\nFråga: {question}\nSvar på max 3 ord: "

euroeval/prompt_templates/sentiment_classification.py

@@ -4,6 +4,7 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
+    CS,
     DA,
     DE,
     EN,
@@ -14,6 +15,7 @@ from ..languages import (
     FR,
     IS,
     IT,
+    LT,
     LV,
     NB,
     NL,
@@ -21,6 +23,7 @@ from ..languages import (
     NO,
     PL,
     PT,
+    SK,
     SV,
 )
 
@@ -38,6 +41,16 @@ SENT_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Dokument: {text}\n\nKlassificer sentimentet i "
         "dokumentet. Svar kun med {labels_str}, og intet andet.",
     ),
+    CS: PromptConfig(
+        default_prompt_label_mapping=dict(
+            positive="pozitivní", neutral="neutrální", negative="negativní"
+        ),
+        default_prompt_prefix="Následují dokumenty a jejich sentiment, který může být "
+        "{labels_str}.",
+        default_prompt_template="Dokument: {text}\nSentiment: {label}",
+        default_instruction_prompt="Dokument: {text}\n\nKlasifikujte sentiment v "
+        "dokumentu. Odpovězte pouze s {labels_str}, a nic jiného.",
+    ),
     DE: PromptConfig(
         default_prompt_label_mapping=dict(
             positive="positiv", neutral="neutral", negative="negativ"
@@ -90,7 +103,7 @@ SENT_TEMPLATES: dict["Language", PromptConfig] = {
         default_prompt_template="Dokument: {text}\nSentyment: {label}",
         default_instruction_prompt=(
             "Dokument: {text}\n\nKlasyfikuj sentyment w dokumencie. "
-            "Odpowiedz z {labels_str}, i nic więcej."
+            "Odpowiedz jednym słowem: {labels_str}."
         ),
     ),
     PT: PromptConfig(
@@ -153,6 +166,16 @@ SENT_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Documento: {text}\n\nClassificare il sentiment del "
         "documento. Rispondere con {labels_str}, e nient'altro.",
     ),
+    LT: PromptConfig(
+        default_prompt_label_mapping=dict(
+            positive="teigiamas", neutral="neutralus", negative="neigiamas"
+        ),
+        default_prompt_prefix="Toliau pateikti dokumentai ir jų nuotaika, kuri "
+        "gali būti {labels_str}.",
+        default_prompt_template="Dokumentas: {text}\nNuotaika: {label}",
+        default_instruction_prompt="Dokumentas: {text}\n\nKlasifikuokite nuotaiką "
+        "dokumente. Atsakykite su {labels_str}, ir nieko kito.",
+    ),
     LV: PromptConfig(
         default_prompt_label_mapping=dict(
             positive="pozitīvs", neutral="neitrāls", negative="negatīvs"
@@ -203,6 +226,16 @@ SENT_TEMPLATES: dict["Language", PromptConfig] = {
         default_instruction_prompt="Dokument: {text}\n\nKlassifiser følelsen i "
         "teksten. Svar med {labels_str}, og ikke noe annet.",
     ),
+    SK: PromptConfig(
+        default_prompt_label_mapping=dict(
+            positive="pozitívne", neutral="neutrálne", negative="negatívne"
+        ),
+        default_prompt_prefix="Nižšie sú dokumenty a ich sentiment, ktorý môže byť "
+        "{labels_str}.",
+        default_prompt_template="Dokument: {text}\nSentiment: {label}",
+        default_instruction_prompt="Dokument: {text}\n\nKlasifikujte pocit v "
+        "dokumente. Odpovedzte so {labels_str}, a nič iné.",
+    ),
     SV: PromptConfig(
         default_prompt_label_mapping=dict(
             positive="positiv", neutral="neutral", negative="negativ"

euroeval/prompt_templates/summarization.py

@@ -4,6 +4,7 @@ import typing as t
 
 from ..data_models import PromptConfig
 from ..languages import (
+    CS,
     DA,
     DE,
     EN,
@@ -13,6 +14,7 @@ from ..languages import (
     FR,
     IS,
     IT,
+    LT,
     LV,
     NB,
     NL,
@@ -28,6 +30,14 @@ if t.TYPE_CHECKING:
 
 # TODO: Missing Faroese
 SUMM_TEMPLATES: dict["Language", PromptConfig] = {
+    CS: PromptConfig(
+        default_prompt_prefix=("Následující jsou dokumenty s přiloženými souhrny."),
+        default_prompt_template=("Dokument: {text}\nSouhrn: {target_text}"),
+        default_instruction_prompt=(
+            "Dokument: {text}\n\nNapište souhrn výše uvedeného dokumentu."
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
     DA: PromptConfig(
         default_prompt_prefix="Følgende er dokumenter med tilhørende resuméer.",
         default_prompt_template="Dokument: {text}\nResumé: {target_text}",
@@ -96,11 +106,14 @@ SUMM_TEMPLATES: dict["Language", PromptConfig] = {
         ),
         default_prompt_label_mapping=dict(),
     ),
-    IS: PromptConfig(
-        default_prompt_prefix="Eftirfarandi eru skjöl með meðfylgjandi samantektum.",
-        default_prompt_template="Skjal: {text}\nSamantekt: {target_text}",
-        default_instruction_prompt="Skjal: {text}\n\nSkrifaðu samantekt á ofangreindu "
-        "skjali.",
+    LT: PromptConfig(
+        default_prompt_prefix=(
+            "Žemiau pateikiami dokumentai su pridėtomis santraukomis."
+        ),
+        default_prompt_template=("Dokumentas: {text}\nSantrauka: {target_text}"),
+        default_instruction_prompt=(
+            "Dokumentas: {text}\n\nParašykite aukščiau pateikto dokumento santrauką."
+        ),
         default_prompt_label_mapping=dict(),
     ),
     IT: PromptConfig(
@@ -111,6 +124,13 @@ SUMM_TEMPLATES: dict["Language", PromptConfig] = {
         "documento di cui sopra.",
         default_prompt_label_mapping=dict(),
     ),
+    IS: PromptConfig(
+        default_prompt_prefix="Eftirfarandi eru skjöl með meðfylgjandi samantektum.",
+        default_prompt_template="Skjal: {text}\nSamantekt: {target_text}",
+        default_instruction_prompt="Skjal: {text}\n\nSkrifaðu samantekt á ofangreindu "
+        "skjali.",
+        default_prompt_label_mapping=dict(),
+    ),
     NB: PromptConfig(
         default_prompt_prefix="Nedenfor følger dokumenter med tilhørende sammendrag.",
         default_prompt_template="Dokument: {text}\nSammendrag: {target_text}",
@@ -142,7 +162,7 @@ SUMM_TEMPLATES: dict["Language", PromptConfig] = {
     ),
     PL: PromptConfig(
         default_prompt_prefix="Poniżej znajdują się artykuły z towarzyszącymi "
-        "streszczeniami.",
+        "im streszczeniami.",
         default_prompt_template="Artykuł: {text}\nStreszczenie: {target_text}",
         default_instruction_prompt="Artykuł: {text}\n\nNapisz streszczenie "
         "powyższego artykułu.",