EuroEval 16.1.0__tar.gz → 16.1.1__tar.gz

{euroeval-16.1.0 → euroeval-16.1.1}/.gitignore

@@ -121,3 +121,6 @@ gfx/euroeval-*.png
 gfx/euroeval-*.jpeg
 gfx/euroeval-*.jpg
 gfx/euroeval-*.xcf
+
+# Contracts
+generated_contracts/

{euroeval-16.1.0 → euroeval-16.1.1}/.pre-commit-config.yaml

@@ -34,7 +34,7 @@ repos:
     hooks:
     -   id: nbstripout
 -   repo: https://github.com/pre-commit/mirrors-mypy
-    rev: v1.17.1
+    rev: v1.18.1
     hooks:
     -   id: mypy
         args:

{euroeval-16.1.0 → euroeval-16.1.1}/CHANGELOG.md

@@ -10,6 +10,14 @@ and this project adheres to [Semantic Versioning](http://semver.org/spec/v2.0.0.
 
 
 
+## [v16.1.1] - 2025-09-12
+### Fixed
+- Fixed an issue from v16.1.0, where reasoning models were not using the tokeniser's
+  chat template.
+- Fixed an issue with some of the prompts for base decoders, that the list of possible
+  labels for sequence classification tasks was not included in the prompt.
+
+
 ## [v16.1.0] - 2025-09-11
 ### Added
 - Added support for Polish 🇵🇱! This includes the reading comprehension dataset PoQuAD,

{euroeval-16.1.0 → euroeval-16.1.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: EuroEval
-Version: 16.1.0
+Version: 16.1.1
 Summary: The robust European language model benchmark.
 Project-URL: Repository, https://github.com/EuroEval/EuroEval
 Project-URL: Issues, https://github.com/EuroEval/EuroEval/issues

{euroeval-16.1.0 → euroeval-16.1.1}/pyproject.toml

@@ -1,6 +1,6 @@
 [project]
 name = "EuroEval"
-version = "16.1.0"
+version = "16.1.1"
 description = "The robust European language model benchmark."
 readme = "README.md"
 authors = [

{euroeval-16.1.0 → euroeval-16.1.1}/src/euroeval/generation_utils.py

@@ -202,7 +202,7 @@ def apply_prompt(
     """
     # Sanity check
     if (
-        generative_type == GenerativeType.INSTRUCTION_TUNED
+        generative_type in {GenerativeType.INSTRUCTION_TUNED, GenerativeType.REASONING}
         and always_populate_text_field
         and tokeniser is None
     ):
@@ -229,7 +229,10 @@ def apply_prompt(
         )
         label_mapping = dataset_config.prompt_label_mapping
         label = label_mapping.get(label, label)
-        if generative_type == GenerativeType.INSTRUCTION_TUNED:
+        if generative_type in {
+            GenerativeType.INSTRUCTION_TUNED,
+            GenerativeType.REASONING,
+        }:
             prompt = dataset_config.instruction_prompt.format(**kwargs)
             return prompt, label
         else:
@@ -355,7 +358,7 @@ def apply_prompt(
                 f"Unsupported task group: {dataset_config.task.task_group}."
             )
 
-    if generative_type == GenerativeType.INSTRUCTION_TUNED:
+    if generative_type in {GenerativeType.INSTRUCTION_TUNED, GenerativeType.REASONING}:
         few_shot_messages = [
             dict(role=role, content=content)
             for prompt, label in few_shot_sections
@@ -408,7 +411,10 @@ def apply_prompt(
     else:
         prompt_prefix = ""
         if dataset_config.prompt_prefix:
-            prompt_prefix = dataset_config.prompt_prefix + "\n\n"
+            labels_str = dataset_config.get_labels_str()
+            prompt_prefix = (
+                dataset_config.prompt_prefix.format(labels_str=labels_str) + "\n\n"
+            )
 
         few_shot_prompt = "\n\n".join([prompt for prompt, _ in few_shot_sections])
         if few_shot_prompt:

{euroeval-16.1.0 → euroeval-16.1.1}/src/euroeval/task_group_utils/sequence_classification.py

@@ -198,7 +198,7 @@ def extract_labels_from_generation(
         # If no candidate labels were found, we either pick the label with the smallest
         # word edit distance to the predicted label (if invalid model outputs are
         # allowed), or we raise an error
-        if min(edit_distances) > 100:
+        if min(edit_distances) >= 1000:
             if dataset_config.allow_invalid_model_outputs:
                 logger.warning(
                     "No candidate labels found for the predicted label "

{euroeval-16.1.0 → euroeval-16.1.1}/src/euroeval/tokenisation_utils.py

@@ -339,13 +339,18 @@ def get_end_of_chat_token_ids(
         return None
 
     user_message: dict[str, str] = dict(role="user", content="X")
-    token_ids = apply_chat_template(
-        conversation=[user_message],
-        tokeniser=tokeniser,
-        tokenise=True,
-        add_generation_prompt=False,
-        enable_thinking=generative_type == GenerativeType.REASONING,
-    )
+    try:
+        token_ids = apply_chat_template(
+            conversation=[user_message],
+            tokeniser=tokeniser,
+            tokenise=True,
+            add_generation_prompt=False,
+            enable_thinking=generative_type == GenerativeType.REASONING,
+        )
+    except InvalidModel as e:
+        if "does not have a chat template" in str(e):
+            return None
+        raise e
     assert isinstance(token_ids, list)
 
     for idx, token in enumerate(tokeniser.convert_ids_to_tokens(token_ids)):

{euroeval-16.1.0 → euroeval-16.1.1}/tests/test_data_loading.py

@@ -81,7 +81,7 @@ def test_examples_in_official_datasets_are_not_too_long(
 ) -> None:
     """Test that the examples are not too long in official datasets."""
     dummy_model_config = LiteLLMModel.get_model_config(
-        model_id="", benchmark_config=benchmark_config
+        model_id="model", benchmark_config=benchmark_config
     )
     tokeniser = AutoTokenizer.from_pretrained(tokeniser_id)
     dataset = load_raw_data(

{euroeval-16.1.0 → euroeval-16.1.1}/uv.lock

@@ -834,7 +834,7 @@ wheels = [
 
 [[package]]
 name = "euroeval"
-version = "16.1.0"
+version = "16.1.1"
 source = { editable = "." }
 dependencies = [
     { name = "accelerate" },

euroeval-16.1.0/generated_contracts/employment_contract_001.md

@@ -1,137 +0,0 @@
-## Ansættelseskontrakt
-
-Mellem undertegnede
-
-<company-name>Nordic Software Solutions ApS, CVR-nr. 35298741, Vesterbrogade 68, 2. th., 4460 Snertinge</company-name>
-
-og
-
-## Frederik Madsen  
-Sankt Jørgens Allé 15, 4. tv., 8781 Stenderup (herefter kaldet medarbejderen)
-
-indgås følgende:
-
-<start-date>
-## [SECTION-IDX]. Tiltrædelse
-
-Medarbejderen tiltræder sin ansættelse den 1. august 2024.
-</start-date>
-
-<location>
-## [SECTION-IDX]. Arbejdssted
-
-Medarbejderens faste arbejdssted er Vesterbrogade 68, 2. th., 2605 Brøndby.
-</location>
-
-<title>
-## [SECTION-IDX]. Stillingsbetegnelse
-
-Medarbejderen er ansat som Softwareudvikler.
-</title>
-
-## [SECTION-IDX]. Arbejdsopgaver
-
-Medarbejderen skal primært beskæftige sig med udvikling og vedligeholdelse af softwareapplikationer, fejlsøgning og deltagelse i teammøder og kodegennemgange. Opgaverne kan justeres efter virksomhedens løbende behov.
-
-<trial-period>
-Ansættelsen er ikke omfattet af en prøvetid.
-</trial-period>
-
-<salary>
-## [SECTION-IDX]. Løn
-
-Den årlige løn udgør kr. 600.000 brutto (før skat, pension og lovpligtige bidrag) og udbetales månedsvis bagud med kr. 50.000 brutto pr. måned. Lønnen overføres til medarbejderens konto senest sidste hverdag i måneden.
-
-Lønnen revurderes én gang årligt pr. 1. oktober.
-</salary>
-
-<pension>
-## [SECTION-IDX]. Pension
-
-Der oprettes pensionsordning hos Danica Pension. Arbejdsgiver indbetaler 8 %, og medarbejderen 4 % af den faste løn som pensionsbidrag.
-</pension>
-
-<social-security>
-## [SECTION-IDX]. Sociale sikringsbidrag
-
-Virksomheden indbetaler samtlige påkrævede sociale sikringsbidrag i henhold til gældende dansk lovgivning, herunder ATP, barselsfond og andre relevante bidrag.
-</social-security>
-
-<work-time>
-## [SECTION-IDX]. Arbejdstid
-
-Den gennemsnitlige ugentlige arbejdstid er 37 timer. Arbejdstiden placeres indenfor virksomhedens faste rammer og aftales nærmere med nærmeste leder.
-
-Lønnen er inklusiv betaling for eventuelt merarbejde af begrænset omfang. Pålagt overarbejde kan efter forudgående aftale honoreres med afspadsering eller ekstra betaling.
-</work-time>
-
-<holiday>
-## [SECTION-IDX]. Ferie
-
-Medarbejderen optjener og afholder ferie med løn i henhold til ferielovens regler. Særligt ferietillæg på 2,48 % af den ferieberettigede løn udbetales.
-
-Juleaftensdag og nytårsaftensdag betragtes som fridage med løn.
-</holiday>
-
-<extra-holiday>
-## [SECTION-IDX]. Ekstra feriefridage
-
-Der ydes én ekstra uge med feriefridage (5 dage) pr. ferieår ud over den ferie, der følger af ferieloven. Feriefridagene kan enten afholdes eller efter nærmere aftale overføres til næste ferieår. Ikke afholdte dage udbetales ved fratrædelse.
-</extra-holiday>
-
-<training>
-## [SECTION-IDX]. Efteruddannelse
-
-Medarbejderen har ret til at deltage i relevant efter- og videreuddannelse i overensstemmelse med virksomhedens og overenskomstens bestemmelser. Uddannelse aftales løbende mellem medarbejderen og ledelsen.
-</training>
-
-<illness>
-## [SECTION-IDX]. Sygdom
-
-Ved sygdom skal medarbejderen melde fravær til nærmeste leder snarest muligt. Virksomheden kan anmode om dokumentation fra læge efter tre sygedage. Omkostninger til lægeattest afholdes af virksomheden.
-
-Medarbejderen oppebærer fuld sædvanlig løn under sygdom.
-</illness>
-
-<parental-leave>
-## [SECTION-IDX]. Graviditet, barsel og forældreorlov
-
-Medarbejderen har ret til orlov ved graviditet, barsel eller adoption i overensstemmelse med gældende lovgivning.
-
-- Mor har ret til fuld løn i 4 uger før forventet fødsel og 14 uger efter fødslen.
-- Far/medmor har ret til fuld løn i 2 uger efter fødslen.
-
-Retten til løn under orlov gælder også ved adoption, hvis autoriteterne kræver tilstedeværelse før modtagelse af barnet.
-
-Ved barns sygdom har medarbejderen ret til frihed med løn i op til 5 arbejdsdage pr. barn pr. år til pasning af sygt barn under 18 år.
-</parental-leave>
-
-<termination>
-## [SECTION-IDX]. Opsigelse
-
-Ansættelsesforholdet kan opsiges af begge parter med 90 dages varsel til udgangen af en måned.
-
-Opsigelse skal ske skriftligt, og være modtageren i hænde senest den sidste dag i måneden.
-
-Ved opsigelse finder funktionærloven anvendelse i det omfang, den ikke er fraveget til fordel for medarbejderen.
-</termination>
-
-<collective-agreement>
-## [SECTION-IDX]. Kollektiv overenskomst
-
-Ansættelsesforholdet er omfattet af IT-overenskomsten (Prosa).
-</collective-agreement>
-
-## [SECTION-IDX]. Fortrolighed og loyalitet
-
-Medarbejderen er pålagt tavshedspligt angående forhold, der omhandler virksomhedens forretningshemmeligheder og øvrige fortrolige oplysninger, både under og efter ansættelsen. Videregivelse af sådanne oplysninger til tredjemand er ikke tilladt uden forudgående skriftlig tilladelse.
-
-## [SECTION-IDX]. Retsgrundlag
-
-Ansættelsesforholdet er reguleret af dansk ret. Hvor ovenstående ikke stiller medarbejderen bedre, gælder funktionær- og ferielovens almindelige regler.
-
-Snertinge, den 4. juli 2024
-
-Medarbejderen _____________________________________
-
-Virksomheden _____________________________________

euroeval-16.1.0/generated_contracts/employment_contract_002.md

@@ -1,152 +0,0 @@
-## Ansættelseskontrakt
-
-Mellem undertegnede
-
-<company-name>Grønt Helbred A/S
-CVR-nr.: 30249876</company-name>
-
-<location>Torvegade 48, st., 4720 Præstø (herefter kaldet virksomheden)</location>
-
-og medundertegnede
-
-## Nanna Jørgensen  
-Holmbladsgade 79, 3. mf., 9520 Skørping  
-(herefter kaldet medarbejderen)
-
-indgås følgende ansættelsesaftale:
-
-<start-date>
-## [SECTION-IDX]. Tiltrædelse
-
-Medarbejderen tiltræder stillingen med virkning fra den 15. juli 2024.
-</start-date>
-
-<location>
-## [SECTION-IDX]. Arbejdssted
-
-Arbejdsstedet vil som udgangspunkt være på Torvegade 48, 1., 5792 Årslev.  
-Virksomheden kan dog, i nødvendigt omfang og med forudgående varsel, pålægge arbejde på andre steder i virksomheden.
-</location>
-
-<title>
-## [SECTION-IDX]. Stillingsbetegnelse
-
-Medarbejderen ansættes i stillingen som Klinikassistent.
-</title>
-
-## [SECTION-IDX]. Arbejdsopgaver
-
-Medarbejderens primære opgaver vil være:
-
-- Assistere tandlæger i klinikken.
-- Modtage og servicere patienter.
-- Sterilisering og håndtering af klinikkens udstyr.
-- Administrative opgaver i forbindelse med klinikkens drift.
-
-Arbejdsopgaverne kan til enhver tid ændres og tilpasses virksomhedens behov.
-
-<trial-period>
-Der er ikke aftalt nogen prøvetid i dette ansættelsesforhold.
-</trial-period>
-
-<salary>
-## [SECTION-IDX]. Løn
-
-Den årlige løn udgør 347.000 kr. brutto (før skat, pension og lovpligtige bidrag).  
-Lønnen udbetales bagud månedsvis med 28.916 kr. brutto, indsættes på medarbejderens oplyste konto, sidste hverdag i måneden.
-
-Lønforhold revideres årligt.
-</salary>
-
-<pension>
-## [SECTION-IDX]. Pension
-
-Medarbejderen er omfattet af en pensionsordning gennem PFA Pension.  
-Virksomheden indbetaler 6,5% af den pensionsgivende løn, og medarbejderen indbetaler 3% af samme.  
-Beløbene indbetales sammen med lønudbetalingen.
-</pension>
-
-<social-security>
-## [SECTION-IDX]. Sociale sikringsbidrag
-
-Virksomheden indbetaler alle lovpligtige sociale sikringsbidrag, herunder ATP, barselsfonden samt øvrige relevante bidrag i henhold til gældende dansk lovgivning.
-</social-security>
-
-<work-time>
-## [SECTION-IDX]. Arbejdstid
-
-Den gennemsnitlige ugentlige arbejdstid udgør 32 timer fordelt på ugens hverdage, eksklusive frokostpause.  
-Arbejdstiden placeres efter nærmere aftale med virksomheden og under hensyntagen til klinikkens åbningstider.
-</work-time>
-
-<holiday>
-## [SECTION-IDX]. Ferie
-
-Medarbejderen har ret til ferie og feriegodtgørelse efter ferielovens bestemmelser.  
-Det særlige ferietillæg på 2,48% af den ferieberettigede løn udbetales i forbindelse med ferieafholdelse.
-</holiday>
-
-<extra-holiday>
-## [SECTION-IDX]. Feriefridage
-
-Ansættelsen giver ikke ret til ekstra feriefridage ud over de lovbestemte ferieuger.
-</extra-holiday>
-
-<training>
-## [SECTION-IDX]. Efteruddannelse
-
-Medarbejderen har ret til relevant efteruddannelse, hvor det er foreneligt med virksomhedens drift og i overensstemmelse med overenskomsten.  
-Behov og muligheder for efteruddannelse aftales løbende mellem medarbejder og virksomhed.
-</training>
-
-<illness>
-## [SECTION-IDX]. Sygdom
-
-Ved sygdom skal medarbejderen underrette virksomheden hurtigst muligt.  
-Efter 3 dages fravær kan dokumentation for sygdom kræves via lægeerklæring, for hvilken virksomheden afholder udgiften.  
-Medarbejderen oppebærer sin sædvanlige løn under sygdom.
-</illness>
-
-<parental-leave>
-## [SECTION-IDX]. Graviditet, barsel, forældreorlov og barns sygdom
-
-Medarbejderen er berettiget til orlov samt økonomiske ydelser i henhold til barselsloven og virksomhedens politik.
-
-Virksomheden betaler fuld løn til mor i følgende perioder:
-- 4 uger før forventet fødsel
-- 14 uger efter fødsel
-
-Virksomheden betaler fuld løn til far/medmor i:
-- 2 uger efter barnets fødsel
-
-Derudover har medarbejderen ret til fri med løn i op til 2 dage pr. kalenderår ved barns sygdom.
-</parental-leave>
-
-## [SECTION-IDX]. Fortrolighed
-
-Medarbejderen er underlagt tavshedspligt under og efter ansættelsen, hvad angår alle oplysninger om virksomheden og dens forhold, som ikke er offentligt kendte eller bør anses som forretningshemmeligheder.
-
-<termination>
-## [SECTION-IDX]. Opsigelse
-
-Ansættelsesforholdet kan af begge parter opsiges med 30 dages varsel til udløbet af en måned.  
-Såfremt funktionærloven eller overenskomsten stiller medarbejderen bedre, er det disse regler, der gælder.
-
-Opsigelsen skal ske skriftligt.
-</termination>
-
-<collective-agreement>
-## [SECTION-IDX]. Overenskomst
-
-Ansættelsesforholdet er omfattet af Tandlægeforeningens overenskomst samt gældende aftaler inden for området.
-</collective-agreement>
-
-## [SECTION-IDX]. Retsgrundlag
-
-Ansættelsen er omfattet af dansk ret, herunder funktionær- og ferieloven, såfremt ansættelsesvilkårene ikke måtte stille medarbejderen bedre end disse lovregler.
-
-Præstø, den 13. juni 2024
-
-Medarbejderen: _____________________________________
-
-Virksomheden: _____________________________________

euroeval-16.1.0/generated_contracts/employment_contract_003.md

@@ -1,144 +0,0 @@
-## Ansættelseskontrakt
-
-Mellem undertegnede
-
-<company-name>Skovly Hotel og Konference ApS</company-name>  
-Skovlyvej 14, st., 7950 Erslev  
-CVR-nr.: 41123302  
-(herefter kaldet virksomheden)
-
-og medundertegnede
-
-Jesper Bach Petersen  
-Birkevej 7, 1., 2635 Ishøj  
-(herefter kaldet medarbejderen)
-
-indgås følgende ansættelseskontrakt:
-
-<start-date>
-## [SECTION-IDX]. Tiltrædelse
-
-Medarbejderen tiltræder ansættelsen pr. 1. juli 2024.
-</start-date>
-
-<location>
-## [SECTION-IDX]. Arbejdssted og arbejdsopgaver
-
-Arbejdsstedet er Skovlyvej 14, st., 3700 Rønne.
-
-Medarbejderen skal varetage følgende opgaver:
-
-- Modtage gæster
-- Håndtere check-in og check-out
-- Besvare telefonopkald og e-mails
-- Administrative ad hoc-opgaver
-
-Virksomheden er berettiget til at ændre arbejdsopgaverne i overensstemmelse med virksomhedens behov.
-
-<title>
-Medarbejderen er ansat som Receptionist.
-</title>
-
-<trial-period>
-Der er ikke aftalt nogen prøvetid for ansættelsen.
-</trial-period>
-
-<salary>
-## [SECTION-IDX]. Løn
-
-Den årlige løn udgør kr. 324.000 brutto (før skat, pension og lovpligtige bidrag), svarende til kr. 27.000 pr. måned. Lønnen udbetales bagud den sidste hverdag i måneden til medarbejderens bankkonto.
-
-Lønnen tages op til forhandling én gang årligt.
-</salary>
-
-<pension>
-## [SECTION-IDX]. Pension
-
-Medarbejderen er omfattet af følgende pensionsordning: Pensam.  
-Virksomheden indbetaler et bidrag svarende til 6% af den faste løn, og medarbejderen indbetaler 3% af den faste løn.
-</pension>
-
-<social-security>
-## [SECTION-IDX]. Sociale sikringsbidrag
-
-Virksomheden indbetaler alle lovpligtige sociale sikringsbidrag, herunder ATP og bidrag til barselsfonden, i henhold til gældende dansk lovgivning.
-</social-security>
-
-<work-time>
-## [SECTION-IDX]. Arbejdstid
-
-Den gennemsnitlige ugentlige arbejdstid udgør 37 timer. Arbejdstiden placeres inden for virksomhedens normale åbningstid.
-
-Medarbejderen må påregne fleksibilitet, og der ydes ikke særskilt betaling for merarbejde, medmindre dette særskilt aftales med ledelsen.
-</work-time>
-
-<holiday>
-## [SECTION-IDX]. Ferie
-
-Medarbejderen optjener og afvikler ferie med løn i overensstemmelse med ferielovens regler.
-
-Det særlige ferietillæg udbetales med 1 % af den ferieberettigede løn, medmindre andet følger forskrifter i gældende overenskomst.
-</holiday>
-
-<extra-holiday>
-## [SECTION-IDX]. Feriefridage
-
-Der ydes ikke ekstra feriefridage ud over de til enhver tid gældende lovregler.
-</extra-holiday>
-
-<training>
-## [SECTION-IDX]. Efteruddannelse
-
-Medarbejderen har ret til relevant efter- og videreuddannelse efter nærmere aftale og i overensstemmelse med virksomhedens og gældende overenskomsts regler. Efteruddannelse planlægges i samråd med ledelsen.
-</training>
-
-<illness>
-## [SECTION-IDX]. Sygdom
-
-Ved sygdom skal medarbejderen give virksomheden besked hurtigst muligt.  
-Virksomheden kan forlange lægeerklæring ved sygefravær ud over 3 dage, og omkostningen hertil påhviler virksomheden.
-
-Medarbejderen oppebærer sædvanlig løn under sygdom i henhold til funktionærloven og gældende overenskomst.
-</illness>
-
-<parental-leave>
-## [SECTION-IDX]. Barsel og forældreorlov
-
-Virksomheden yder fuld løn til medarbejderen under barsel og forældreorlov på følgende vilkår:
-
-- Moder: 4 uger før forventet fødsel og 14 uger efter fødslen.
-- Fader/medmor: 2 uger efter fødslen.
-
-Orlov og løn under barsel og forældreorlov følger desuden gældende lovgivning og bestemmelserne i kollektiv overenskomst.
-
-Barnets første sygedag: Medarbejderen har ret til én fraværsdag med løn ved barns sygdom pr. barn pr. kalenderår.
-</parental-leave>
-
-<termination>
-## [SECTION-IDX]. Opsigelse
-
-Ansættelsesforholdet kan af begge parter opsiges med 14 dages varsel til enhver tid, medmindre andet følger gældende overenskomst eller lovgivning.
-
-Opsigelsen skal afgives skriftligt.
-</termination>
-
-<collective-agreement>
-## [SECTION-IDX]. Kollektiv overenskomst
-
-Ansættelsesforholdet er omfattet af Horesta-overenskomsten, herunder alle relevante løn- og arbejdsforhold reguleret af denne.
-</collective-agreement>
-
-## [SECTION-IDX]. Tavshedspligt
-
-Medarbejderen har tavshedspligt under og efter ansættelsen med hensyn til virksomhedens forretningshemmeligheder og øvrige fortrolige oplysninger.   
-Overtrædelse kan medføre ansættelsesretlige konsekvenser jf. lov om forretningshemmeligheder.
-
-## [SECTION-IDX]. Retsgrundlag
-
-Dette ansættelsesforhold er underlagt dansk ret. Hvor denne kontrakt ikke foreskriver forhold bedre end lovgivning eller overenskomst, finder funktionær- og ferielovens bestemmelser og øvrig relevant dansk lovgivning anvendelse.
-
-Erslev, den 18.05.2024
-
-Medarbejderen _____________________________________
-
-Virksomheden _____________________________________