EuroEval 16.3.0__py3-none-any.whl → 16.5.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Potentially problematic release.


This version of EuroEval might be problematic. Click here for more details.

Files changed (78) hide show
  1. euroeval/__init__.py +9 -2
  2. euroeval/benchmark_config_factory.py +51 -50
  3. euroeval/benchmark_modules/base.py +9 -21
  4. euroeval/benchmark_modules/fresh.py +2 -1
  5. euroeval/benchmark_modules/hf.py +101 -71
  6. euroeval/benchmark_modules/litellm.py +115 -53
  7. euroeval/benchmark_modules/vllm.py +107 -92
  8. euroeval/benchmarker.py +144 -121
  9. euroeval/caching_utils.py +79 -0
  10. euroeval/callbacks.py +5 -7
  11. euroeval/cli.py +86 -8
  12. euroeval/constants.py +9 -0
  13. euroeval/data_loading.py +80 -29
  14. euroeval/data_models.py +338 -330
  15. euroeval/dataset_configs/__init__.py +12 -3
  16. euroeval/dataset_configs/bulgarian.py +56 -0
  17. euroeval/dataset_configs/czech.py +75 -0
  18. euroeval/dataset_configs/danish.py +55 -93
  19. euroeval/dataset_configs/dutch.py +48 -87
  20. euroeval/dataset_configs/english.py +45 -77
  21. euroeval/dataset_configs/estonian.py +42 -34
  22. euroeval/dataset_configs/faroese.py +19 -60
  23. euroeval/dataset_configs/finnish.py +36 -69
  24. euroeval/dataset_configs/french.py +39 -75
  25. euroeval/dataset_configs/german.py +45 -82
  26. euroeval/dataset_configs/greek.py +64 -0
  27. euroeval/dataset_configs/icelandic.py +54 -91
  28. euroeval/dataset_configs/italian.py +42 -79
  29. euroeval/dataset_configs/latvian.py +28 -35
  30. euroeval/dataset_configs/lithuanian.py +28 -26
  31. euroeval/dataset_configs/norwegian.py +72 -115
  32. euroeval/dataset_configs/polish.py +33 -61
  33. euroeval/dataset_configs/portuguese.py +33 -66
  34. euroeval/dataset_configs/serbian.py +64 -0
  35. euroeval/dataset_configs/slovak.py +55 -0
  36. euroeval/dataset_configs/spanish.py +42 -77
  37. euroeval/dataset_configs/swedish.py +52 -90
  38. euroeval/dataset_configs/ukrainian.py +64 -0
  39. euroeval/exceptions.py +1 -1
  40. euroeval/finetuning.py +24 -17
  41. euroeval/generation.py +15 -14
  42. euroeval/generation_utils.py +8 -8
  43. euroeval/languages.py +395 -323
  44. euroeval/logging_utils.py +250 -0
  45. euroeval/metrics/base.py +0 -3
  46. euroeval/metrics/huggingface.py +21 -6
  47. euroeval/metrics/llm_as_a_judge.py +6 -4
  48. euroeval/metrics/pipeline.py +17 -9
  49. euroeval/metrics/speed.py +0 -3
  50. euroeval/model_cache.py +17 -19
  51. euroeval/model_config.py +4 -5
  52. euroeval/model_loading.py +3 -0
  53. euroeval/prompt_templates/__init__.py +2 -0
  54. euroeval/prompt_templates/classification.py +206 -0
  55. euroeval/prompt_templates/linguistic_acceptability.py +99 -42
  56. euroeval/prompt_templates/multiple_choice.py +102 -38
  57. euroeval/prompt_templates/named_entity_recognition.py +172 -51
  58. euroeval/prompt_templates/reading_comprehension.py +119 -42
  59. euroeval/prompt_templates/sentiment_classification.py +110 -40
  60. euroeval/prompt_templates/summarization.py +85 -40
  61. euroeval/prompt_templates/token_classification.py +279 -0
  62. euroeval/scores.py +11 -10
  63. euroeval/speed_benchmark.py +5 -6
  64. euroeval/task_group_utils/multiple_choice_classification.py +2 -4
  65. euroeval/task_group_utils/question_answering.py +24 -16
  66. euroeval/task_group_utils/sequence_classification.py +48 -35
  67. euroeval/task_group_utils/text_to_text.py +19 -9
  68. euroeval/task_group_utils/token_classification.py +21 -17
  69. euroeval/tasks.py +44 -1
  70. euroeval/tokenisation_utils.py +33 -22
  71. euroeval/types.py +10 -9
  72. euroeval/utils.py +35 -149
  73. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/METADATA +196 -39
  74. euroeval-16.5.0.dist-info/RECORD +81 -0
  75. euroeval-16.3.0.dist-info/RECORD +0 -71
  76. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/WHEEL +0 -0
  77. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/entry_points.txt +0 -0
  78. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/licenses/LICENSE +0 -0
@@ -0,0 +1,206 @@
1
+ """Templates for the classification task."""
2
+
3
+ import typing as t
4
+
5
+ from ..data_models import PromptConfig
6
+ from ..languages import (
7
+ BULGARIAN,
8
+ CZECH,
9
+ DANISH,
10
+ DUTCH,
11
+ ENGLISH,
12
+ ESTONIAN,
13
+ FAROESE,
14
+ FINNISH,
15
+ FRENCH,
16
+ GERMAN,
17
+ GREEK,
18
+ ICELANDIC,
19
+ ITALIAN,
20
+ LATVIAN,
21
+ LITHUANIAN,
22
+ NORWEGIAN,
23
+ NORWEGIAN_BOKMÅL,
24
+ NORWEGIAN_NYNORSK,
25
+ POLISH,
26
+ PORTUGUESE,
27
+ SLOVAK,
28
+ SPANISH,
29
+ SWEDISH,
30
+ UKRAINIAN,
31
+ )
32
+
33
+ if t.TYPE_CHECKING:
34
+ from ..languages import Language
35
+
36
+ CLASSIFICATION_TEMPLATES: dict["Language", PromptConfig] = {
37
+ ENGLISH: PromptConfig(
38
+ default_prompt_prefix="The following are texts and their labels.",
39
+ default_prompt_template="Text: {text}\nLabel: {label}",
40
+ default_instruction_prompt="Here is a text:\n'{text}'.\n\nClassify the text "
41
+ "into the categories {labels_str}, and reply with only the label.",
42
+ default_prompt_label_mapping="auto",
43
+ ),
44
+ BULGARIAN: PromptConfig(
45
+ default_prompt_prefix="Следват текстове и техните етикети.",
46
+ default_prompt_template="Текст: {text}\nЕтикет: {label}",
47
+ default_instruction_prompt="Ето един текст:\n'{text}'.\n\nКласифицирайте "
48
+ "текста в категориите {labels_str} и отговорете само с етикета.",
49
+ default_prompt_label_mapping="auto",
50
+ ),
51
+ CZECH: PromptConfig(
52
+ default_prompt_prefix="Následují texty a jejich štítky.",
53
+ default_prompt_template="Text: {text}\nŠtítek: {label}",
54
+ default_instruction_prompt="Zde je text:\n'{text}'.\n\nKlasifikujte text do "
55
+ "kategorií {labels_str} a odpovězte pouze štítkem.",
56
+ default_prompt_label_mapping="auto",
57
+ ),
58
+ DANISH: PromptConfig(
59
+ default_prompt_prefix="Følgende er tekster og deres etiketter.",
60
+ default_prompt_template="Tekst: {text}\nEtiket: {label}",
61
+ default_instruction_prompt="Her er en tekst:\n'{text}'.\n\nKlassificer teksten "
62
+ "i kategorierne {labels_str}, og svar kun med etiketten.",
63
+ default_prompt_label_mapping="auto",
64
+ ),
65
+ GERMAN: PromptConfig(
66
+ default_prompt_prefix="Im Folgenden sind Texte und ihre Labels aufgeführt.",
67
+ default_prompt_template="Text: {text}\nLabel: {label}",
68
+ default_instruction_prompt="Hier ist ein Text:\n'{text}'.\n\nKlassifiziere den "
69
+ "Text in die Kategorien {labels_str} und antworte nur mit dem Label.",
70
+ default_prompt_label_mapping="auto",
71
+ ),
72
+ GREEK: PromptConfig(
73
+ default_prompt_prefix="Ακολουθούν κείμενα και οι ετικέτες τους.",
74
+ default_prompt_template="Κείμενο: {text}\nΕτικέτα: {label}",
75
+ default_instruction_prompt="Εδώ είναι ένα κείμενο:\n'{text}'.\n\n"
76
+ "Κατηγοριοποιήστε το κείμενο στις κατηγορίες {labels_str} και απαντήστε μόνο "
77
+ "με την ετικέτα.",
78
+ default_prompt_label_mapping="auto",
79
+ ),
80
+ SPANISH: PromptConfig(
81
+ default_prompt_prefix="A continuación se presentan textos y sus etiquetas.",
82
+ default_prompt_template="Texto: {text}\nEtiqueta: {label}",
83
+ default_instruction_prompt="Aquí hay un texto:\n'{text}'.\n\nClasifica el "
84
+ "texto en las categorías {labels_str} y responde solo con la etiqueta.",
85
+ default_prompt_label_mapping="auto",
86
+ ),
87
+ ESTONIAN: PromptConfig(
88
+ default_prompt_prefix="Järgnevad on tekstid ja nende sildid.",
89
+ default_prompt_template="Tekst: {text}\nSilt: {label}",
90
+ default_instruction_prompt="Siin on tekst:\n'{text}'.\n\nKlassifitseeri tekst "
91
+ "kategooriatesse {labels_str} ja vasta ainult sildiga.",
92
+ default_prompt_label_mapping="auto",
93
+ ),
94
+ FINNISH: PromptConfig(
95
+ default_prompt_prefix="Seuraavassa on tekstejä ja niiden tunnisteita.",
96
+ default_prompt_template="Teksti: {text}\nTunniste: {label}",
97
+ default_instruction_prompt="Tässä on teksti:\n'{text}'.\n\nLuokittele teksti "
98
+ "kategorioihin {labels_str} ja vastaa vain tunnisteella.",
99
+ default_prompt_label_mapping="auto",
100
+ ),
101
+ FAROESE: PromptConfig(
102
+ default_prompt_prefix="Hér eru tekster og teirra etikettir.",
103
+ default_prompt_template="Tekstur: {text}\nEtikettur: {label}",
104
+ default_instruction_prompt="Her er ein tekstur:\n'{text}'.\n\nFlokka teksturin "
105
+ "í bólkar {labels_str} og svara bert við etikettinum.",
106
+ default_prompt_label_mapping="auto",
107
+ ),
108
+ FRENCH: PromptConfig(
109
+ default_prompt_prefix="Voici des textes et leurs étiquettes.",
110
+ default_prompt_template="Texte : {text}\nÉtiquette : {label}",
111
+ default_instruction_prompt="Voici un texte :\n'{text}'.\n\nClassifiez le texte "
112
+ "dans les catégories {labels_str} et répondez uniquement avec l'étiquette.",
113
+ default_prompt_label_mapping="auto",
114
+ ),
115
+ ICELANDIC: PromptConfig(
116
+ default_prompt_prefix="Hér fyrir neðan eru textar og merkingar þeirra.",
117
+ default_prompt_template="Texti: {text}\nMerking: {label}",
118
+ default_instruction_prompt="Hér er texti:\n'{text}'.\n\nFlokkaðu textann "
119
+ "í flokkana {labels_str} og svaraðu aðeins með merkingenni.",
120
+ default_prompt_label_mapping="auto",
121
+ ),
122
+ ITALIAN: PromptConfig(
123
+ default_prompt_prefix="Di seguito sono riportati testi e le loro etichette.",
124
+ default_prompt_template="Testo: {text}\nEtichetta: {label}",
125
+ default_instruction_prompt="Ecco un testo:\n'{text}'.\n\nClassifica il testo "
126
+ "nelle categorie {labels_str} e rispondi solo con l'etichetta.",
127
+ default_prompt_label_mapping="auto",
128
+ ),
129
+ LITHUANIAN: PromptConfig(
130
+ default_prompt_prefix="Toliau pateikiami tekstai ir jų etiketės.",
131
+ default_prompt_template="Tekstas: {text}\nEtiketė: {label}",
132
+ default_instruction_prompt="Štai tekstas:\n'{text}'.\n\nKlasifikuokite tekstą "
133
+ "į kategorijas {labels_str} ir atsakykite tik etiketę.",
134
+ default_prompt_label_mapping="auto",
135
+ ),
136
+ LATVIAN: PromptConfig(
137
+ default_prompt_prefix="Turpmāk ir teksti un to etiķetes.",
138
+ default_prompt_template="Teksts: {text}\nEtiķete: {label}",
139
+ default_instruction_prompt="Šeit ir teksts:\n'{text}'.\n\nKlasificējiet tekstu "
140
+ "kategorijās {labels_str} un atbildiet tikai ar etiķeti.",
141
+ default_prompt_label_mapping="auto",
142
+ ),
143
+ NORWEGIAN_BOKMÅL: PromptConfig(
144
+ default_prompt_prefix="Følgende er tekster og deres etiketter.",
145
+ default_prompt_template="Tekst: {text}\nEtikett: {label}",
146
+ default_instruction_prompt="Her er en tekst:\n'{text}'.\n\nKlassifiser teksten "
147
+ "i kategoriene {labels_str}, og svar kun med etiketten.",
148
+ default_prompt_label_mapping="auto",
149
+ ),
150
+ DUTCH: PromptConfig(
151
+ default_prompt_prefix="Hieronder volgen teksten en hun labels.",
152
+ default_prompt_template="Tekst: {text}\nLabel: {label}",
153
+ default_instruction_prompt="Hier is een tekst:\n'{text}'.\n\nClassificeer de "
154
+ "tekst in de categorieën {labels_str} en antwoord alleen met het label.",
155
+ default_prompt_label_mapping="auto",
156
+ ),
157
+ NORWEGIAN_NYNORSK: PromptConfig(
158
+ default_prompt_prefix="Følgjande er tekstar og deira etikettar.",
159
+ default_prompt_template="Tekst: {text}\nEtikett: {label}",
160
+ default_instruction_prompt="Her er ein tekst:\n'{text}'.\n\nKlassifiser "
161
+ "teksten i kategoriane {labels_str}, og svar berre med etiketten.",
162
+ default_prompt_label_mapping="auto",
163
+ ),
164
+ NORWEGIAN: PromptConfig(
165
+ default_prompt_prefix="Følgende er tekster og deres etiketter.",
166
+ default_prompt_template="Tekst: {text}\nEtikett: {label}",
167
+ default_instruction_prompt="Her er en tekst:\n'{text}'.\n\nKlassifiser teksten "
168
+ "i kategoriene {labels_str}, og svar kun med etiketten.",
169
+ default_prompt_label_mapping="auto",
170
+ ),
171
+ POLISH: PromptConfig(
172
+ default_prompt_prefix="Poniżej znajdują się teksty i ich etykiety.",
173
+ default_prompt_template="Tekst: {text}\nEtykieta: {label}",
174
+ default_instruction_prompt="Oto tekst:\n'{text}'.\n\nSklasyfikuj tekst do "
175
+ "kategorii {labels_str} i odpowiedz tylko etykietą.",
176
+ default_prompt_label_mapping="auto",
177
+ ),
178
+ PORTUGUESE: PromptConfig(
179
+ default_prompt_prefix="A seguir estão textos e seus rótulos.",
180
+ default_prompt_template="Texto: {text}\nRótulo: {label}",
181
+ default_instruction_prompt="Aqui está um texto:\n'{text}'.\n\nClassifique o "
182
+ "texto nas categorias {labels_str} e responda apenas com o rótulo.",
183
+ default_prompt_label_mapping="auto",
184
+ ),
185
+ SLOVAK: PromptConfig(
186
+ default_prompt_prefix="Nasledujú texty a ich štítky.",
187
+ default_prompt_template="Text: {text}\nŠtítok: {label}",
188
+ default_instruction_prompt="Tu je text:\n'{text}'.\n\nKlasifikujte text do "
189
+ "kategorií {labels_str} a odpovedzte iba štítkom.",
190
+ default_prompt_label_mapping="auto",
191
+ ),
192
+ SWEDISH: PromptConfig(
193
+ default_prompt_prefix="Följande är texter och deras etiketter.",
194
+ default_prompt_template="Text: {text}\nEtikett: {label}",
195
+ default_instruction_prompt="Här är en text:\n'{text}'.\n\nKlassificera texten "
196
+ "i kategorierna {labels_str} och svara endast med etiketten.",
197
+ default_prompt_label_mapping="auto",
198
+ ),
199
+ UKRAINIAN: PromptConfig(
200
+ default_prompt_prefix="Нижче наведено тексти та їхні позначки.",
201
+ default_prompt_template="Текст: {text}\nПозначка: {label}",
202
+ default_instruction_prompt="Ось текст:\n'{text}'.\n\nКласифікуйте текст у "
203
+ "категорії {labels_str} і відповідайте лише позначкою.",
204
+ default_prompt_label_mapping="auto",
205
+ ),
206
+ }
@@ -4,39 +4,59 @@ import typing as t
4
4
 
5
5
  from ..data_models import PromptConfig
6
6
  from ..languages import (
7
- DA,
8
- DE,
9
- EN,
10
- ES,
11
- ET,
12
- FI,
13
- FO,
14
- FR,
15
- IS,
16
- IT,
17
- LT,
18
- LV,
19
- NB,
20
- NL,
21
- NN,
22
- NO,
23
- PL,
24
- PT,
25
- SV,
7
+ BULGARIAN,
8
+ CZECH,
9
+ DANISH,
10
+ DUTCH,
11
+ ENGLISH,
12
+ ESTONIAN,
13
+ FAROESE,
14
+ FINNISH,
15
+ FRENCH,
16
+ GERMAN,
17
+ GREEK,
18
+ ICELANDIC,
19
+ ITALIAN,
20
+ LATVIAN,
21
+ LITHUANIAN,
22
+ NORWEGIAN,
23
+ NORWEGIAN_BOKMÅL,
24
+ NORWEGIAN_NYNORSK,
25
+ POLISH,
26
+ PORTUGUESE,
27
+ SERBIAN,
28
+ SLOVAK,
29
+ SPANISH,
30
+ SWEDISH,
31
+ UKRAINIAN,
26
32
  )
27
33
 
28
34
  if t.TYPE_CHECKING:
29
- from ..data_models import Language
35
+ from ..languages import Language
30
36
 
31
37
  LA_TEMPLATES: dict["Language", PromptConfig] = {
32
- DA: PromptConfig(
38
+ BULGARIAN: PromptConfig(
39
+ default_prompt_label_mapping=dict(correct="да", incorrect="не"),
40
+ default_prompt_prefix="Следват изречения и дали са граматически правилни.",
41
+ default_prompt_template="Изречение: {text}\nГраматически правилно: {label}",
42
+ default_instruction_prompt="Изречение: {text}\n\nОпределете дали изречението е "
43
+ "граматически правилно или не. Отговорете с {labels_str}, и нищо друго.",
44
+ ),
45
+ CZECH: PromptConfig(
46
+ default_prompt_label_mapping=dict(correct="ano", incorrect="ne"),
47
+ default_prompt_prefix="Následující jsou věty a zda jsou gramaticky správné.",
48
+ default_prompt_template="Věta: {text}\nGramaticky správná: {label}",
49
+ default_instruction_prompt="Věta: {text}\n\nUrčete, zda je věta gramaticky "
50
+ "správná nebo ne. Odpovězte {labels_str}, a nic jiné.",
51
+ ),
52
+ DANISH: PromptConfig(
33
53
  default_prompt_label_mapping=dict(correct="ja", incorrect="nej"),
34
54
  default_prompt_prefix="Følgende er sætninger og om de er grammatisk korrekte.",
35
55
  default_prompt_template="Sætning: {text}\nGrammatisk korrekt: {label}",
36
56
  default_instruction_prompt="Sætning: {text}\n\nBestem om sætningen er "
37
57
  "grammatisk korrekt eller ej. Svar kun med {labels_str}, og intet andet.",
38
58
  ),
39
- DE: PromptConfig(
59
+ GERMAN: PromptConfig(
40
60
  default_prompt_label_mapping=dict(correct="ja", incorrect="nein"),
41
61
  default_prompt_prefix="Die folgenden Sätze und ob sie grammatikalisch korrekt "
42
62
  "sind.",
@@ -45,7 +65,15 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
45
65
  "grammatikalisch korrekt ist oder nicht. Antworten Sie mit {labels_str}, und "
46
66
  "nichts anderes.",
47
67
  ),
48
- EN: PromptConfig(
68
+ GREEK: PromptConfig(
69
+ default_prompt_label_mapping=dict(correct="ναι", incorrect="όχι"),
70
+ default_prompt_prefix="Οι ακόλουθες είναι προτάσεις και εάν είναι "
71
+ "γραμματικά σωστές.",
72
+ default_prompt_template="Πρόταση: {text}\nΓραμματικά σωστή: {label}",
73
+ default_instruction_prompt="Πρόταση: {text}\n\nΠροσδιορίστε εάν η πρόταση "
74
+ "είναι γραμματικά σωστή ή όχι. Απαντήστε με {labels_str}, και τίποτα άλλο.",
75
+ ),
76
+ ENGLISH: PromptConfig(
49
77
  default_prompt_label_mapping=dict(correct="yes", incorrect="no"),
50
78
  default_prompt_prefix="The following are sentences and whether they are "
51
79
  "grammatically correct.",
@@ -53,7 +81,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
53
81
  default_instruction_prompt="Sentence: {text}\n\nDetermine whether the sentence "
54
82
  "is grammatically correct or not. Answer with {labels_str}, and nothing else.",
55
83
  ),
56
- ES: PromptConfig(
84
+ SPANISH: PromptConfig(
57
85
  default_prompt_label_mapping=dict(correct="sí", incorrect="no"),
58
86
  default_prompt_prefix="Lo siguiente son textos y si son gramaticalmente "
59
87
  "correctos.",
@@ -61,7 +89,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
61
89
  default_instruction_prompt="Texto: {text}\n\nDetermina si el texto es "
62
90
  "gramaticalmente correcto o no. Responde con {labels_str}, y nada más.",
63
91
  ),
64
- ET: PromptConfig(
92
+ ESTONIAN: PromptConfig(
65
93
  default_prompt_label_mapping=dict(correct="jah", incorrect="ei"),
66
94
  default_prompt_prefix="Järgnevad on laused ja kas need on grammatiliselt "
67
95
  "õiged.",
@@ -69,15 +97,15 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
69
97
  default_instruction_prompt="Lause: {text}\n\nOtsusta, kas lause on "
70
98
  "grammatiliselt õige või mitte. Vasta {labels_str}, ja mitte midagi muud.",
71
99
  ),
72
- PL: PromptConfig(
100
+ POLISH: PromptConfig(
73
101
  default_prompt_label_mapping=dict(correct="tak", incorrect="nie"),
74
- default_prompt_prefix="Poniżej znajdują się teksty i czy są "
102
+ default_prompt_prefix="Poniżej znajdują się teksty i informacja, czy są "
75
103
  "gramatycznie poprawne.",
76
104
  default_prompt_template="Tekst: {text}\nGramatycznie poprawny: {label}",
77
- default_instruction_prompt="Tekst: {text}\n\nOkreśl czy tekst jest "
78
- "gramatycznie poprawny czy nie. Odpowiedz {labels_str}, i nic więcej.",
105
+ default_instruction_prompt="Tekst: {text}\n\nOkreśl, czy tekst jest "
106
+ "gramatycznie poprawny. Odpowiedz używając wyłącznie {labels_str}.",
79
107
  ),
80
- PT: PromptConfig(
108
+ PORTUGUESE: PromptConfig(
81
109
  default_prompt_label_mapping=dict(correct="sim", incorrect="não"),
82
110
  default_prompt_prefix="Seguem-se abaixo textos e se são "
83
111
  "gramaticalmente correctos",
@@ -85,7 +113,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
85
113
  default_instruction_prompt="Texto: {text}\n\nDetermina se o texto é "
86
114
  "gramaticalmente correcto ou não. Responde com {labels_str}, e nada mais.",
87
115
  ),
88
- FI: PromptConfig(
116
+ FINNISH: PromptConfig(
89
117
  default_prompt_label_mapping=dict(correct="kyllä", incorrect="ei"),
90
118
  default_prompt_prefix="Seuraavat ovat lauseita ja ovatko ne "
91
119
  "kieliopillisesti oikein.",
@@ -93,7 +121,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
93
121
  default_instruction_prompt="Lause: {text}\n\nMääritä onko lause "
94
122
  "oikein vai ei. Vastaa {labels_str}, ja ei mitään muuta.",
95
123
  ),
96
- FO: PromptConfig(
124
+ FAROESE: PromptConfig(
97
125
  default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
98
126
  default_prompt_prefix="Hetta eru nakrir setningar og um teir eru mállæruliga "
99
127
  "rættir.",
@@ -101,7 +129,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
101
129
  default_instruction_prompt="Setningur: {text}\n\nGreindu hvort setningurin er "
102
130
  "mállæruliga rættur ella ikki. Svara við {labels_str}, og einki annað.",
103
131
  ),
104
- FR: PromptConfig(
132
+ FRENCH: PromptConfig(
105
133
  default_prompt_label_mapping=dict(correct="oui", incorrect="non"),
106
134
  default_prompt_prefix="Les phrases suivantes indiquent si elles sont "
107
135
  "grammaticalement correctes.",
@@ -110,7 +138,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
110
138
  default_instruction_prompt="Phrase: {text}\n\nDéterminez si la phrase est "
111
139
  "grammaticalement correcte ou non. Répondez par {labels_str}, et rien d'autre.",
112
140
  ),
113
- IS: PromptConfig(
141
+ ICELANDIC: PromptConfig(
114
142
  default_prompt_label_mapping=dict(correct="já", incorrect="nei"),
115
143
  default_prompt_prefix="Hér fyrir neðan eru setningar ásamt mati á því hvort "
116
144
  "þær eru málfræðilega réttar.",
@@ -119,7 +147,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
119
147
  "málfræðilega rétt. Svaraðu með 'já' ef setningin er rétt og 'nei' ef hún "
120
148
  "er það ekki.",
121
149
  ),
122
- IT: PromptConfig(
150
+ ITALIAN: PromptConfig(
123
151
  default_prompt_label_mapping=dict(correct="si", incorrect="no"),
124
152
  default_prompt_prefix="Di seguito sono riportate le frasi e la loro "
125
153
  "correttezza grammaticale.",
@@ -127,7 +155,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
127
155
  default_instruction_prompt="Frase: {text}\n\nStabilite se la frase è "
128
156
  "grammaticalmente corretta o meno. Rispondere con {labels_str}, e nient'altro.",
129
157
  ),
130
- LT: PromptConfig(
158
+ LITHUANIAN: PromptConfig(
131
159
  default_prompt_label_mapping=dict(correct="taip", incorrect="ne"),
132
160
  default_prompt_prefix="Toliau pateikti sakiniai ir ar jie yra gramatiškai "
133
161
  "teisingi.",
@@ -135,14 +163,14 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
135
163
  default_instruction_prompt="Sakinys: {text}\n\nNustatykite, ar sakinys yra "
136
164
  "gramatiškai teisingas, ar ne. Atsakykite su {labels_str}, ir nieko kito.",
137
165
  ),
138
- LV: PromptConfig(
166
+ LATVIAN: PromptConfig(
139
167
  default_prompt_label_mapping=dict(correct="jā", incorrect="nē"),
140
168
  default_prompt_prefix="Šie ir teikumi un to gramatiskie pareizumi.",
141
169
  default_prompt_template="Teikums: {text}\nGramatiski pareizs: {label}",
142
170
  default_instruction_prompt="Teikums: {text}\n\nNoteiciet, vai teikums ir "
143
171
  "gramatiski pareizs vai nē. Atbildiet ar {labels_str}, un neko citu.",
144
172
  ),
145
- NB: PromptConfig(
173
+ NORWEGIAN_BOKMÅL: PromptConfig(
146
174
  default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
147
175
  default_prompt_prefix="Følgende er setninger og hvorvidt de er grammatisk "
148
176
  "korrekte.",
@@ -150,7 +178,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
150
178
  default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
151
179
  "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
152
180
  ),
153
- NL: PromptConfig(
181
+ DUTCH: PromptConfig(
154
182
  default_prompt_label_mapping=dict(correct="ja", incorrect="nee"),
155
183
  default_prompt_prefix="Hieronder staan zinnen en of ze grammaticaal correct "
156
184
  "zijn.",
@@ -158,7 +186,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
158
186
  default_instruction_prompt="Zin: {text}\n\nBepaal of de zin grammaticaal "
159
187
  "correct is of niet. Antwoord met {labels_str}, en verder niets.",
160
188
  ),
161
- NN: PromptConfig(
189
+ NORWEGIAN_NYNORSK: PromptConfig(
162
190
  default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
163
191
  default_prompt_prefix="Følgende er setninger og hvorvidt de er grammatisk "
164
192
  "korrekte.",
@@ -166,7 +194,7 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
166
194
  default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
167
195
  "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
168
196
  ),
169
- NO: PromptConfig(
197
+ NORWEGIAN: PromptConfig(
170
198
  default_prompt_label_mapping=dict(correct="ja", incorrect="nei"),
171
199
  default_prompt_prefix="Følgende er setninger og hvorvidt de er grammatisk "
172
200
  "korrekte.",
@@ -174,7 +202,25 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
174
202
  default_instruction_prompt="Setning: {text}\n\nBestem om setningen er "
175
203
  "grammatisk korrekt eller ikke. Svar med {labels_str}, og ikke noe annet.",
176
204
  ),
177
- SV: PromptConfig(
205
+ SLOVAK: PromptConfig(
206
+ default_prompt_label_mapping=dict(correct="áno", incorrect="nie"),
207
+ default_prompt_prefix="Nasledujú vety a či sú gramaticky správne.",
208
+ default_prompt_template="Veta: {text}\nGramaticky správna: {label}",
209
+ default_instruction_prompt=(
210
+ "Veta: {text}\n\nUrčite, či je veta gramaticky správna alebo nie. "
211
+ "Odpovedzte so {labels_str}, a nič iné."
212
+ ),
213
+ ),
214
+ SERBIAN: PromptConfig(
215
+ default_prompt_label_mapping=dict(correct="da", incorrect="ne"),
216
+ default_prompt_prefix="U nastavku su rečenice i da li su gramatički ispravne.",
217
+ default_prompt_template="Rečenica: {text}\nGramatički ispravna: {label}",
218
+ default_instruction_prompt=(
219
+ "Rečenica: {text}\n\nOdredite da li je rečenica gramatički ispravna ili "
220
+ "ne. Odgovorite sa {labels_str}, i ništa drugo."
221
+ ),
222
+ ),
223
+ SWEDISH: PromptConfig(
178
224
  default_prompt_label_mapping=dict(correct="ja", incorrect="nej"),
179
225
  default_prompt_prefix="Följande är meningar och huruvida de är grammatiskt "
180
226
  "korrekta.",
@@ -182,4 +228,15 @@ LA_TEMPLATES: dict["Language", PromptConfig] = {
182
228
  default_instruction_prompt="Mening: {text}\n\nBestäm om meningen är "
183
229
  "grammatiskt korrekt eller inte. Svara med {labels_str}, och inget annat.",
184
230
  ),
231
+ UKRAINIAN: PromptConfig(
232
+ default_prompt_label_mapping=dict(correct="так", incorrect="ні"),
233
+ default_prompt_prefix=(
234
+ "Нижче наведені речення і їхня граматична правильність."
235
+ ),
236
+ default_prompt_template=("Речення: {text}\nГраматично правильно: {label}"),
237
+ default_instruction_prompt=(
238
+ "Речення: {text}\n\nВизначте, чи речення граматично правильне чи ні. "
239
+ "Відповідайте {labels_str}, і нічого більше."
240
+ ),
241
+ ),
185
242
  }