EuroEval 15.12.0__py3-none-any.whl → 16.7.1__py3-none-any.whl

euroeval/prompt_templates/summarization.py

@@ -1,18 +1,63 @@
 """Templates for the Summarization task."""
 
+import typing as t
+
 from ..data_models import PromptConfig
-from ..languages import DA, DE, EN, ES, FI, FR, IS, IT, NB, NL, NN, NO, PT, SV
+from ..languages import (
+    BOSNIAN,
+    CZECH,
+    DANISH,
+    DUTCH,
+    ENGLISH,
+    ESTONIAN,
+    FINNISH,
+    FRENCH,
+    GERMAN,
+    GREEK,
+    ICELANDIC,
+    ITALIAN,
+    LATVIAN,
+    LITHUANIAN,
+    NORWEGIAN,
+    NORWEGIAN_BOKMÅL,
+    NORWEGIAN_NYNORSK,
+    POLISH,
+    PORTUGUESE,
+    SERBIAN,
+    SPANISH,
+    SWEDISH,
+    UKRAINIAN,
+)
+
+if t.TYPE_CHECKING:
+    from ..languages import Language
 
 # TODO: Missing Faroese
-SUMM_TEMPLATES = {
-    DA: PromptConfig(
+SUMM_TEMPLATES: dict["Language", PromptConfig] = {
+    BOSNIAN: PromptConfig(
+        default_prompt_prefix=("Slijede dokumenti s priloženim sažecima."),
+        default_prompt_template=("Dokument: {text}\nSažetak: {target_text}"),
+        default_instruction_prompt=(
+            "Dokument: {text}\n\nNapišite sažetak gornjeg dokumenta."
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
+    CZECH: PromptConfig(
+        default_prompt_prefix=("Následující jsou dokumenty s přiloženými souhrny."),
+        default_prompt_template=("Dokument: {text}\nSouhrn: {target_text}"),
+        default_instruction_prompt=(
+            "Dokument: {text}\n\nNapište souhrn výše uvedeného dokumentu."
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
+    DANISH: PromptConfig(
         default_prompt_prefix="Følgende er dokumenter med tilhørende resuméer.",
         default_prompt_template="Dokument: {text}\nResumé: {target_text}",
         default_instruction_prompt="Dokument: {text}\n\nSkriv et resumé af ovenstående "
         "dokument.",
         default_prompt_label_mapping=dict(),
     ),
-    DE: PromptConfig(
+    GERMAN: PromptConfig(
         default_prompt_prefix="Nachstehend finden Sie Dokumente mit zugehörigen "
         "Zusammenfassungen.",
         default_prompt_template="Dokument: {text}\nZusammenfassung: {target_text}",
@@ -20,7 +65,14 @@ SUMM_TEMPLATES = {
         "Zusammenfassung des oben genannten Dokuments.",
         default_prompt_label_mapping=dict(),
     ),
-    EN: PromptConfig(
+    GREEK: PromptConfig(
+        default_prompt_prefix="Ακολουθούν έγγραφα με συνοδευτικές περιλήψεις.",
+        default_prompt_template="Έγγραφο: {text}\nΠερίληψη: {target_text}",
+        default_instruction_prompt="Έγγραφο: {text}\n\nΓράψτε μια περίληψη του "
+        "παραπάνω εγγράφου.",
+        default_prompt_label_mapping=dict(),
+    ),
+    ENGLISH: PromptConfig(
         default_prompt_prefix="The following are documents with accompanying "
         "summaries.",
         default_prompt_template="Document: {text}\nSummary: {target_text}",
@@ -28,22 +80,28 @@ SUMM_TEMPLATES = {
         "document.",
         default_prompt_label_mapping=dict(),
     ),
-    ES: PromptConfig(
+    SPANISH: PromptConfig(
         default_prompt_prefix="A continuación se presentan documentos con resúmenes "
         "adjuntos.",
         default_prompt_template="Documento: {text}\nResumen: {target_text}",
-        default_instruction_prompt="Documento: {text}\n\nEscriba un resumen del "
-        "documento anterior.",
+        default_instruction_prompt="Documento: {text}\n\n",
+        default_prompt_label_mapping=dict(),
+    ),
+    ESTONIAN: PromptConfig(
+        default_prompt_prefix="Allpool on dokumendid koos kokkuvõtetega.",
+        default_prompt_template="Dokument: {text}\nKokkuvõte: {target_text}",
+        default_instruction_prompt="Dokument: {text}\n\nKoosta ülaltoodud dokumendi "
+        "kokkuvõte.",
         default_prompt_label_mapping=dict(),
     ),
-    PT: PromptConfig(
+    PORTUGUESE: PromptConfig(
         default_prompt_prefix="Abaixo encontras documentos com resumos associados.",
         default_prompt_template="Documento: {text}\nResumo: {target_text}",
         default_instruction_prompt="Documento: {text}\n\nEscreve um resumo do "
         "documento anterior.",
         default_prompt_label_mapping=dict(),
     ),
-    FI: PromptConfig(
+    FINNISH: PromptConfig(
         default_prompt_prefix="Seuraavassa on artikkeleita ja niihin liittyviä "
         "tiivistelmiä.",
         default_prompt_template="Uutisartikkeli: {text}\nTiivistelmä: {target_text}",
@@ -51,21 +109,33 @@ SUMM_TEMPLATES = {
         "yllä olevasta artikkelista.",
         default_prompt_label_mapping=dict(),
     ),
-    FR: PromptConfig(
+    FRENCH: PromptConfig(
         default_prompt_prefix="Les documents suivants sont accompagnés d'un résumé.",
         default_prompt_template="Document: {text}\nRésumé: {target_text}",
         default_instruction_prompt="Document: {text}\n\nRédigez un résumé du "
         "document ci-dessus.",
         default_prompt_label_mapping=dict(),
     ),
-    IS: PromptConfig(
-        default_prompt_prefix="Eftirfarandi eru skjöl með meðfylgjandi samantektum.",
-        default_prompt_template="Skjal: {text}\nSamantekt: {target_text}",
-        default_instruction_prompt="Skjal: {text}\n\nSkrifaðu samantekt á ofangreindu "
-        "skjali.",
+    LATVIAN: PromptConfig(
+        default_prompt_prefix="Tālāk ir dokumenti ar pievienotām kopsavilkumiem.",
+        default_prompt_template="Dokuments: {text}\nKopsavilkums: {target_text}",
+        default_instruction_prompt=(
+            "Dokuments: {text}\n\n"
+            "Uzrakstiet kopsavilkumu par iepriekš minēto dokumentu."
+        ),
         default_prompt_label_mapping=dict(),
     ),
-    IT: PromptConfig(
+    LITHUANIAN: PromptConfig(
+        default_prompt_prefix=(
+            "Žemiau pateikiami dokumentai su pridėtomis santraukomis."
+        ),
+        default_prompt_template=("Dokumentas: {text}\nSantrauka: {target_text}"),
+        default_instruction_prompt=(
+            "Dokumentas: {text}\n\nParašykite aukščiau pateikto dokumento santrauką."
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
+    ITALIAN: PromptConfig(
         default_prompt_prefix="Di seguito sono riportati i documenti con le relative "
         "sintesi.",
         default_prompt_template="Documento: {text}\nSintesi: {target_text}",
@@ -73,14 +143,21 @@ SUMM_TEMPLATES = {
         "documento di cui sopra.",
         default_prompt_label_mapping=dict(),
     ),
-    NB: PromptConfig(
+    ICELANDIC: PromptConfig(
+        default_prompt_prefix="Eftirfarandi eru skjöl með meðfylgjandi samantektum.",
+        default_prompt_template="Skjal: {text}\nSamantekt: {target_text}",
+        default_instruction_prompt="Skjal: {text}\n\nSkrifaðu samantekt á ofangreindu "
+        "skjali.",
+        default_prompt_label_mapping=dict(),
+    ),
+    NORWEGIAN_BOKMÅL: PromptConfig(
         default_prompt_prefix="Nedenfor følger dokumenter med tilhørende sammendrag.",
         default_prompt_template="Dokument: {text}\nSammendrag: {target_text}",
         default_instruction_prompt="Dokument: {text}\n\nSkriv et sammendrag av "
         "dokumentet ovenfor.",
         default_prompt_label_mapping=dict(),
     ),
-    NL: PromptConfig(
+    DUTCH: PromptConfig(
         default_prompt_prefix="Hieronder volgen documenten met bijbehorende "
         "samenvattingen.",
         default_prompt_template="Document: {text}\nSamenvatting: {target_text}",
@@ -88,25 +165,48 @@ SUMM_TEMPLATES = {
         "het bovenstaande document.",
         default_prompt_label_mapping=dict(),
     ),
-    NN: PromptConfig(
+    NORWEGIAN_NYNORSK: PromptConfig(
         default_prompt_prefix="Nedenfor følger dokumenter med tilhørende sammendrag.",
         default_prompt_template="Dokument: {text}\nSammendrag: {target_text}",
         default_instruction_prompt="Dokument: {text}\n\nSkriv et sammendrag av "
         "dokumentet ovenfor.",
         default_prompt_label_mapping=dict(),
     ),
-    NO: PromptConfig(
+    NORWEGIAN: PromptConfig(
         default_prompt_prefix="Nedenfor følger dokumenter med tilhørende sammendrag.",
         default_prompt_template="Dokument: {text}\nSammendrag: {target_text}",
         default_instruction_prompt="Dokument: {text}\n\nSkriv et sammendrag av "
         "dokumentet ovenfor.",
         default_prompt_label_mapping=dict(),
     ),
-    SV: PromptConfig(
+    POLISH: PromptConfig(
+        default_prompt_prefix="Poniżej znajdują się artykuły z towarzyszącymi "
+        "im streszczeniami.",
+        default_prompt_template="Artykuł: {text}\nStreszczenie: {target_text}",
+        default_instruction_prompt="Artykuł: {text}\n\nNapisz streszczenie "
+        "powyższego artykułu.",
+        default_prompt_label_mapping=dict(),
+    ),
+    SERBIAN: PromptConfig(
+        default_prompt_prefix="Slede dokumenti sa odgovarajućim sažecima.",
+        default_prompt_template="Dokument: {text}\nSažetak: {target_text}",
+        default_instruction_prompt="Dokument: {text}\n\nNapišite sažetak "
+        "gorenavedenog dokumenta.",
+        default_prompt_label_mapping=dict(),
+    ),
+    SWEDISH: PromptConfig(
         default_prompt_prefix="Nedan följer dokument med tillhörande sammanfattningar.",
         default_prompt_template="Dokument: {text}\nSammanfattning: {target_text}",
         default_instruction_prompt="Dokument: {text}\n\nSkriv en sammanfattning av "
         "ovanstående dokument.",
         default_prompt_label_mapping=dict(),
     ),
+    UKRAINIAN: PromptConfig(
+        default_prompt_prefix="Нижче наведено документи з супровідними резюме.",
+        default_prompt_template="Документ: {text}\nРезюме: {target_text}",
+        default_instruction_prompt=(
+            "Документ: {text}\n\nНапишіть резюме наведеного вище документа."
+        ),
+        default_prompt_label_mapping=dict(),
+    ),
 }

euroeval/prompt_templates/token_classification.py

@@ -0,0 +1,279 @@
+"""Templates for the token classification task."""
+
+import typing as t
+
+from ..data_models import PromptConfig
+from ..languages import (
+    BULGARIAN,
+    CZECH,
+    DANISH,
+    DUTCH,
+    ENGLISH,
+    ESTONIAN,
+    FAROESE,
+    FINNISH,
+    FRENCH,
+    GERMAN,
+    GREEK,
+    ICELANDIC,
+    ITALIAN,
+    LATVIAN,
+    LITHUANIAN,
+    NORWEGIAN,
+    NORWEGIAN_BOKMÅL,
+    NORWEGIAN_NYNORSK,
+    POLISH,
+    PORTUGUESE,
+    SLOVAK,
+    SPANISH,
+    SWEDISH,
+    UKRAINIAN,
+)
+
+if t.TYPE_CHECKING:
+    from ..languages import Language
+
+
+TOKEN_CLASSIFICATION_TEMPLATES: dict["Language", PromptConfig] = {
+    ENGLISH: PromptConfig(
+        default_prompt_prefix="Below are texts and JSON dictionaries with the "
+        "categories that occur in the given text.",
+        default_prompt_template="Text: {text}\nCategories: {label}",
+        default_instruction_prompt="Text: {text}\n\nIdentify the categories in "
+        "the text. You should output this as a JSON dictionary with the keys being "
+        "{labels_str}. The values should be lists of the spans of that category, "
+        "exactly as they appear in the text.",
+        default_prompt_label_mapping="auto",
+    ),
+    BULGARIAN: PromptConfig(
+        default_prompt_prefix="По-долу са текстове и JSON речници с категориите, "
+        "които се срещат в дадения текст.",
+        default_prompt_template="Текст: {text}\nКатегории: {label}",
+        default_instruction_prompt="Текст: {text}\n\nИдентифицирайте категориите "
+        "в текста. Трябва да изведете това като JSON речник, като ключовете са "
+        "{labels_str}. Стойностите трябва да бъдат списъци с откъсите от тази "
+        "категория, точно както се появяват в текста.",
+        default_prompt_label_mapping="auto",
+    ),
+    CZECH: PromptConfig(
+        default_prompt_prefix="Níže jsou texty a JSON slovníky s kategoriemi, "
+        "které se v daném textu vyskytují.",
+        default_prompt_template="Text: {text}\nKategorie: {label}",
+        default_instruction_prompt="Text: {text}\n\nIdentifikujte kategorie v "
+        "textu. Měli byste to vypsat jako JSON slovník, kde klíče jsou "
+        "{labels_str}. Hodnoty by měly být seznamy úseků dané kategorie, přesně "
+        "tak, jak se objevují v textu.",
+        default_prompt_label_mapping="auto",
+    ),
+    DANISH: PromptConfig(
+        default_prompt_prefix="Nedenfor er tekster og JSON-ordbøger med de "
+        "kategorier, der forekommer i den givne tekst.",
+        default_prompt_template="Tekst: {text}\nKategorier: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nIdentificer kategorierne i "
+        "teksten. Du skal udskrive dette som en JSON-ordbog, hvor nøglerne er "
+        "{labels_str}. Værdierne skal være lister over uddrag af den kategori, "
+        "præcis som de optræder i teksten.",
+        default_prompt_label_mapping="auto",
+    ),
+    GERMAN: PromptConfig(
+        default_prompt_prefix="Unten sind Texte und JSON-Wörterbücher mit den "
+        "Kategorien, die im jeweiligen Text vorkommen.",
+        default_prompt_template="Text: {text}\nKategorien: {label}",
+        default_instruction_prompt="Text: {text}\n\nIdentifiziere die Kategorien "
+        "im Text. Du solltest dies als ein JSON-Wörterbuch ausgeben, wobei die "
+        "Schlüssel {labels_str} sind. Die Werte sollten Listen der Ausschnitte "
+        "dieser Kategorie sein, genau so, wie sie im Text erscheinen.",
+        default_prompt_label_mapping="auto",
+    ),
+    GREEK: PromptConfig(
+        default_prompt_prefix="Παρακάτω είναι κείμενα και JSON λεξικά με τις "
+        "κατηγορίες που εμφανίζονται στο δεδομένο κείμενο.",
+        default_prompt_template="Κείμενο: {text}\nΚατηγορίες: {label}",
+        default_instruction_prompt="Κείμενο: {text}\n\nΑναγνωρίστε τις "
+        "κατηγορίες στο κείμενο. Θα πρέπει να το εκτυπώσετε ως ένα JSON "
+        "λεξικό με τα κλειδιά να είναι {labels_str}. Οι τιμές θα πρέπει να "
+        "είναι λίστες με τα αποσπάσματα αυτής της κατηγορίας, ακριβώς όπως "
+        "εμφανίζονται στο κείμενο.",
+        default_prompt_label_mapping="auto",
+    ),
+    SPANISH: PromptConfig(
+        default_prompt_prefix="A continuación se presentan textos y diccionarios "
+        "JSON con las categorías que aparecen en el texto dado.",
+        default_prompt_template="Texto: {text}\nCategorías: {label}",
+        default_instruction_prompt="Texto: {text}\n\nIdentifica las categorías "
+        "en el texto. Debes imprimir esto como un diccionario JSON con las "
+        "claves siendo {labels_str}. Los valores deben ser listas de los "
+        "fragmentos de esa categoría, tal como aparecen en el texto.",
+        default_prompt_label_mapping="auto",
+    ),
+    ESTONIAN: PromptConfig(
+        default_prompt_prefix="Allpool on tekstid ja JSON-sõnastikud kategooriatega, "
+        "mis esinevad antud tekstis.",
+        default_prompt_template="Tekst: {text}\nKategooriad: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nTuvastage tekstis "
+        "kategooriad. Te peate selle väljatrükkima JSON-sõnastikuna, kus "
+        "võtmed on {labels_str}. Väärtused peaksid olema selle kategooria "
+        "lõikude loendid, täpselt nii, nagu need tekstis esinevad.",
+        default_prompt_label_mapping="auto",
+    ),
+    FINNISH: PromptConfig(
+        default_prompt_prefix="Alla on tekstejä ja JSON-sanakirjoja, joissa on "
+        "kategorioita, jotka esiintyvät annetussa tekstissä.",
+        default_prompt_template="Teksti: {text}\nKategoriat: {label}",
+        default_instruction_prompt="Teksti: {text}\n\nTunnista tekstin "
+        "kategoriat. Sinun tulee tulostaa tämä JSON-sanakirjana, jossa "
+        "avaimet ovat {labels_str}. Arvojen tulee olla kyseisen kategorian "
+        "pätkien listoja, täsmälleen niin kuin ne esiintyvät tekstissä.",
+        default_prompt_label_mapping="auto",
+    ),
+    FAROESE: PromptConfig(
+        default_prompt_prefix="Niðanfyri eru tekstir og JSON orðabøkur við "
+        "bólkum, ið eru í givna tekstinum.",
+        default_prompt_template="Tekstur: {text}\nBólkar: {label}",
+        default_instruction_prompt="Tekstur: {text}\n\nKenn aftur bólkarnar "
+        "í tekstinum. Tú skalt prenta hetta sum ein JSON orðabók, har "
+        "lyklarnir eru {labels_str}. Virðini skulu vera listar yvir "
+        "brotini av tí bólkinum, beint sum tey síggjast í tekstinum.",
+        default_prompt_label_mapping="auto",
+    ),
+    FRENCH: PromptConfig(
+        default_prompt_prefix="Ci-dessous se trouvent des textes et des dictionnaires "
+        "JSON avec les catégories qui apparaissent dans le texte donné.",
+        default_prompt_template="Texte : {text}\nCatégories : {label}",
+        default_instruction_prompt="Texte : {text}\n\nIdentifiez les catégories "
+        "dans le texte. Vous devez l'imprimer sous la forme d'un dictionnaire JSON "
+        "avec pour clés {labels_str}. Les valeurs doivent être des listes des "
+        "extraits de cette catégorie, exactement comme ils apparaissent dans le texte.",
+        default_prompt_label_mapping="auto",
+    ),
+    ICELANDIC: PromptConfig(
+        default_prompt_prefix="Hér fyrir neðan eru textar og JSON orðabækur með "
+        "flokkum sem koma fyrir í tilteknum texta.",
+        default_prompt_template="Texti: {text}\nFlokkar: {label}",
+        default_instruction_prompt="Texti: {text}\n\nFinndu flokkana í "
+        "textanum. Þú átt að prenta þetta sem JSON orðabók þar sem lyklar "
+        "eru {labels_str}. Gildin eiga að vera listar yfir brot af þeim "
+        "flokki, nákvæmlega eins og þau koma fyrir í textanum.",
+        default_prompt_label_mapping="auto",
+    ),
+    ITALIAN: PromptConfig(
+        default_prompt_prefix="Di seguito sono riportati testi e dizionari JSON "
+        "con le categorie che compaiono nel testo dato.",
+        default_prompt_template="Testo: {text}\nCategorie: {label}",
+        default_instruction_prompt="Testo: {text}\n\nIdentifica le categorie "
+        "nel testo. Devi stampare questo come un dizionario JSON con le chiavi "
+        "che sono {labels_str}. I valori devono essere liste dei brani di "
+        "quella categoria, esattamente come appaiono nel testo.",
+        default_prompt_label_mapping="auto",
+    ),
+    LITHUANIAN: PromptConfig(
+        default_prompt_prefix="Žemiau pateikti tekstai ir JSON žodynai su "
+        "kategorijomis, kurios pasitaiko nurodytame tekste.",
+        default_prompt_template="Tekstas: {text}\nKategorijos: {label}",
+        default_instruction_prompt="Tekstas: {text}\n\nNustatykite kategorijas "
+        "tekste. Turite tai atspausdinti kaip JSON žodyną, kur raktai yra "
+        "{labels_str}. Reikšmės turėtų būti tos kategorijos ištraukų sąrašai, "
+        "tiksliai taip, kaip jos pateikiamos tekste.",
+        default_prompt_label_mapping="auto",
+    ),
+    LATVIAN: PromptConfig(
+        default_prompt_prefix="Zemāk ir teksti un JSON vārdnīcas ar kategorijām, "
+        "kas parādās dotajā tekstā.",
+        default_prompt_template="Teksts: {text}\nKategorijas: {label}",
+        default_instruction_prompt="Teksts: {text}\n\nIdentificējiet "
+        "kategorijas tekstā. Jums tas jāizdrukā kā JSON vārdnīca, kur "
+        "atslēgas ir {labels_str}. Vērtībām jābūt šo kategoriju "
+        "izvilkumu sarakstiem, tieši tā, kā tās parādās tekstā.",
+        default_prompt_label_mapping="auto",
+    ),
+    NORWEGIAN_BOKMÅL: PromptConfig(
+        default_prompt_prefix="Nedenfor er tekster og JSON-ordbøker med de "
+        "kategoriene som forekommer i den gitte teksten.",
+        default_prompt_template="Tekst: {text}\nKategorier: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nIdentifiser kategoriene "
+        "i teksten. Du skal skrive dette ut som en JSON-ordbok med nøklene "
+        "som er {labels_str}. Verdiene skal være lister over utdragene av "
+        "den kategorien, akkurat som de vises i teksten.",
+        default_prompt_label_mapping="auto",
+    ),
+    DUTCH: PromptConfig(
+        default_prompt_prefix="Hieronder volgen teksten en JSON-woordenboeken "
+        "met de categorieën die in de gegeven tekst voorkomen.",
+        default_prompt_template="Tekst: {text}\nCategorieën: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nIdentificeer de "
+        "categorieën in de tekst. Je moet dit afdrukken als een JSON-woordenboek "
+        "met de sleutels zijnde {labels_str}. De waarden moeten lijsten zijn van "
+        "de fragmenten van die categorie, precies zoals ze in de tekst voorkomen.",
+        default_prompt_label_mapping="auto",
+    ),
+    NORWEGIAN_NYNORSK: PromptConfig(
+        default_prompt_prefix="Nedanfor er tekstar og JSON-ordbøker med dei "
+        "kategoriane som førekjem i den gitte teksten.",
+        default_prompt_template="Tekst: {text}\nKategoriar: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nIdentifiser kategoriane "
+        "i teksten. Du skal skrive dette ut som ein JSON-ordbok med nøklane "
+        "som er {labels_str}. Verdiane skal vere lister over utdraga av den "
+        "kategorien, akkurat som dei viser seg i teksten.",
+        default_prompt_label_mapping="auto",
+    ),
+    NORWEGIAN: PromptConfig(
+        default_prompt_prefix="Nedenfor er tekster og JSON-ordbøker med de "
+        "kategoriene som forekommer i den gitte teksten.",
+        default_prompt_template="Tekst: {text}\nKategorier: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nIdentifiser kategoriene "
+        "i teksten. Du skal skrive dette ut som en JSON-ordbok med nøklene "
+        "som er {labels_str}. Verdiene skal være lister over utdragene av "
+        "den kategorien, akkurat som de vises i teksten.",
+        default_prompt_label_mapping="auto",
+    ),
+    POLISH: PromptConfig(
+        default_prompt_prefix="Poniżej znajdują się teksty i słowniki JSON z "
+        "kategoriami występującymi w danym tekście.",
+        default_prompt_template="Tekst: {text}\nKategorie: {label}",
+        default_instruction_prompt="Tekst: {text}\n\nZidentyfikuj kategorie "
+        "w tekście. Należy to wydrukować jako słownik JSON, w którym kluczami "
+        "są {labels_str}. Wartości powinny być listami fragmentów danej "
+        "kategorii, dokładnie tak, jak pojawiają się w tekście.",
+        default_prompt_label_mapping="auto",
+    ),
+    PORTUGUESE: PromptConfig(
+        default_prompt_prefix="A seguir estão textos e dicionários JSON com as "
+        "categorias que aparecem no texto dado.",
+        default_prompt_template="Texto: {text}\nCategorias: {label}",
+        default_instruction_prompt="Texto: {text}\n\nIdentifique as categorias "
+        "no texto. Você deve imprimir isso como um dicionário JSON com as "
+        "chaves sendo {labels_str}. Os valores devem ser listas dos trechos "
+        "dessa categoria, exatamente como aparecem no texto.",
+        default_prompt_label_mapping="auto",
+    ),
+    SLOVAK: PromptConfig(
+        default_prompt_prefix="Nižšie sú texty a JSON slovníky s kategóriami, "
+        "ktoré sa v danom texte vyskytujú.",
+        default_prompt_template="Text: {text}\nKategórie: {label}",
+        default_instruction_prompt="Text: {text}\n\nIdentifikujte kategórie v "
+        "texte. Mali by ste to vypísať ako JSON slovník, kde kľúče sú "
+        "{labels_str}. Hodnoty by mali byť zoznamy úsekov danej kategórie, "
+        "presne tak, ako sa objavujú v texte.",
+        default_prompt_label_mapping="auto",
+    ),
+    SWEDISH: PromptConfig(
+        default_prompt_prefix="Nedan är texter och JSON-ordböcker med de "
+        "kategorier som förekommer i den givna texten.",
+        default_prompt_template="Text: {text}\nKategorier: {label}",
+        default_instruction_prompt="Text: {text}\n\nIdentifiera kategorierna "
+        "i texten. Du ska skriva ut detta som en JSON-ordbok med nycklarna "
+        "som är {labels_str}. Värdena ska vara listor över utdragen av den "
+        "kategorin, precis som de visas i texten.",
+        default_prompt_label_mapping="auto",
+    ),
+    UKRAINIAN: PromptConfig(
+        default_prompt_prefix="Нижче наведено тексти та JSON-словники з "
+        "категоріями, які зустрічаються в наведеному тексті.",
+        default_prompt_template="Текст: {text}\nКатегорії: {label}",
+        default_instruction_prompt="Текст: {text}\n\nВизначте категорії в "
+        "тексті. Ви повинні надрукувати це як JSON-словник, де ключі - це "
+        "{labels_str}. Значення повинні бути списками уривків цієї категорії, "
+        "саме так, як вони з'являються в тексті.",
+        default_prompt_label_mapping="auto",
+    ),
+}

euroeval/scores.py

@@ -1,24 +1,26 @@
 """Aggregation of raw scores into the mean and a confidence interval."""
 
+import collections.abc as c
 import logging
 import typing as t
 import warnings
 
 import numpy as np
 
+from .logging_utils import log
+
 if t.TYPE_CHECKING:
     from .metrics import Metric
     from .types import ScoreDict
 
-logger = logging.getLogger("euroeval")
-
 
 def log_scores(
     dataset_name: str,
-    metrics: list["Metric"],
-    scores: list[dict[str, float]],
+    metrics: c.Sequence["Metric"],
+    scores: c.Sequence[dict[str, float]],
     model_id: str,
     model_revision: str,
+    model_param: str | None,
 ) -> "ScoreDict":
     """Log the scores.
 
@@ -34,6 +36,8 @@ def log_scores(
             The model ID of the model that was evaluated.
         model_revision:
             The revision of the model.
+        model_param:
+            The model parameter, if any.
 
     Returns:
         A dictionary with keys 'raw_scores' and 'total', with 'raw_scores' being
@@ -42,23 +46,30 @@ def log_scores(
     """
     if model_revision and model_revision != "main":
         model_id += f"@{model_revision}"
-
-    logger.info(f"Finished evaluation of {model_id} on {dataset_name}.")
+    if model_param is not None:
+        model_id += f"#{model_param}"
 
     total_dict: dict[str, float] = dict()
+    all_log_strs: list[str] = [f"Finished benchmarking {model_id} on {dataset_name}."]
     for metric in metrics:
         test_score, test_se = aggregate_scores(scores=scores, metric=metric)
         test_score, test_score_str = metric.postprocessing_fn(test_score)
         test_se, test_se_str = metric.postprocessing_fn(test_se)
         total_dict[f"test_{metric.name}"] = test_score
         total_dict[f"test_{metric.name}_se"] = test_se
-        logger.info(f"{metric.pretty_name}: {test_score_str} ± {test_se_str}")
+        log_str = (
+            f"- {metric.pretty_name}: {test_score_str} ± {test_se_str}"
+            if not np.isnan(test_se)
+            else f"- {metric.pretty_name}: {test_score_str}"
+        )
+        all_log_strs.append(log_str)
+    log("\n".join(all_log_strs), level=logging.INFO)
 
     return dict(raw=scores, total=total_dict)
 
 
 def aggregate_scores(
-    scores: list[dict[str, float]], metric: "Metric"
+    scores: c.Sequence[dict[str, float]], metric: "Metric"
 ) -> tuple[float, float]:
     """Helper function to compute the mean with confidence intervals.
 
@@ -84,7 +95,7 @@ def aggregate_scores(
 
         if len(test_scores) > 1:
             sample_std = np.std(test_scores, ddof=1)
-            test_se = sample_std / np.sqrt(len(test_scores))
+            test_se = (sample_std / np.sqrt(len(test_scores))).item()
         else:
             test_se = np.nan