EuroEval 16.3.0__py3-none-any.whl → 16.5.0__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Potentially problematic release.


This version of EuroEval might be problematic. Click here for more details.

Files changed (78) hide show
  1. euroeval/__init__.py +9 -2
  2. euroeval/benchmark_config_factory.py +51 -50
  3. euroeval/benchmark_modules/base.py +9 -21
  4. euroeval/benchmark_modules/fresh.py +2 -1
  5. euroeval/benchmark_modules/hf.py +101 -71
  6. euroeval/benchmark_modules/litellm.py +115 -53
  7. euroeval/benchmark_modules/vllm.py +107 -92
  8. euroeval/benchmarker.py +144 -121
  9. euroeval/caching_utils.py +79 -0
  10. euroeval/callbacks.py +5 -7
  11. euroeval/cli.py +86 -8
  12. euroeval/constants.py +9 -0
  13. euroeval/data_loading.py +80 -29
  14. euroeval/data_models.py +338 -330
  15. euroeval/dataset_configs/__init__.py +12 -3
  16. euroeval/dataset_configs/bulgarian.py +56 -0
  17. euroeval/dataset_configs/czech.py +75 -0
  18. euroeval/dataset_configs/danish.py +55 -93
  19. euroeval/dataset_configs/dutch.py +48 -87
  20. euroeval/dataset_configs/english.py +45 -77
  21. euroeval/dataset_configs/estonian.py +42 -34
  22. euroeval/dataset_configs/faroese.py +19 -60
  23. euroeval/dataset_configs/finnish.py +36 -69
  24. euroeval/dataset_configs/french.py +39 -75
  25. euroeval/dataset_configs/german.py +45 -82
  26. euroeval/dataset_configs/greek.py +64 -0
  27. euroeval/dataset_configs/icelandic.py +54 -91
  28. euroeval/dataset_configs/italian.py +42 -79
  29. euroeval/dataset_configs/latvian.py +28 -35
  30. euroeval/dataset_configs/lithuanian.py +28 -26
  31. euroeval/dataset_configs/norwegian.py +72 -115
  32. euroeval/dataset_configs/polish.py +33 -61
  33. euroeval/dataset_configs/portuguese.py +33 -66
  34. euroeval/dataset_configs/serbian.py +64 -0
  35. euroeval/dataset_configs/slovak.py +55 -0
  36. euroeval/dataset_configs/spanish.py +42 -77
  37. euroeval/dataset_configs/swedish.py +52 -90
  38. euroeval/dataset_configs/ukrainian.py +64 -0
  39. euroeval/exceptions.py +1 -1
  40. euroeval/finetuning.py +24 -17
  41. euroeval/generation.py +15 -14
  42. euroeval/generation_utils.py +8 -8
  43. euroeval/languages.py +395 -323
  44. euroeval/logging_utils.py +250 -0
  45. euroeval/metrics/base.py +0 -3
  46. euroeval/metrics/huggingface.py +21 -6
  47. euroeval/metrics/llm_as_a_judge.py +6 -4
  48. euroeval/metrics/pipeline.py +17 -9
  49. euroeval/metrics/speed.py +0 -3
  50. euroeval/model_cache.py +17 -19
  51. euroeval/model_config.py +4 -5
  52. euroeval/model_loading.py +3 -0
  53. euroeval/prompt_templates/__init__.py +2 -0
  54. euroeval/prompt_templates/classification.py +206 -0
  55. euroeval/prompt_templates/linguistic_acceptability.py +99 -42
  56. euroeval/prompt_templates/multiple_choice.py +102 -38
  57. euroeval/prompt_templates/named_entity_recognition.py +172 -51
  58. euroeval/prompt_templates/reading_comprehension.py +119 -42
  59. euroeval/prompt_templates/sentiment_classification.py +110 -40
  60. euroeval/prompt_templates/summarization.py +85 -40
  61. euroeval/prompt_templates/token_classification.py +279 -0
  62. euroeval/scores.py +11 -10
  63. euroeval/speed_benchmark.py +5 -6
  64. euroeval/task_group_utils/multiple_choice_classification.py +2 -4
  65. euroeval/task_group_utils/question_answering.py +24 -16
  66. euroeval/task_group_utils/sequence_classification.py +48 -35
  67. euroeval/task_group_utils/text_to_text.py +19 -9
  68. euroeval/task_group_utils/token_classification.py +21 -17
  69. euroeval/tasks.py +44 -1
  70. euroeval/tokenisation_utils.py +33 -22
  71. euroeval/types.py +10 -9
  72. euroeval/utils.py +35 -149
  73. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/METADATA +196 -39
  74. euroeval-16.5.0.dist-info/RECORD +81 -0
  75. euroeval-16.3.0.dist-info/RECORD +0 -71
  76. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/WHEEL +0 -0
  77. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/entry_points.txt +0 -0
  78. {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/licenses/LICENSE +0 -0
@@ -4,39 +4,63 @@ import typing as t
4
4
 
5
5
  from ..data_models import PromptConfig
6
6
  from ..languages import (
7
- DA,
8
- DE,
9
- EN,
10
- ES,
11
- ET,
12
- FI,
13
- FR,
14
- IS,
15
- IT,
16
- LT,
17
- LV,
18
- NB,
19
- NL,
20
- NN,
21
- NO,
22
- PL,
23
- PT,
24
- SV,
7
+ BULGARIAN,
8
+ CZECH,
9
+ DANISH,
10
+ DUTCH,
11
+ ENGLISH,
12
+ ESTONIAN,
13
+ FINNISH,
14
+ FRENCH,
15
+ GERMAN,
16
+ GREEK,
17
+ ICELANDIC,
18
+ ITALIAN,
19
+ LATVIAN,
20
+ LITHUANIAN,
21
+ NORWEGIAN,
22
+ NORWEGIAN_BOKMÅL,
23
+ NORWEGIAN_NYNORSK,
24
+ POLISH,
25
+ PORTUGUESE,
26
+ SERBIAN,
27
+ SLOVAK,
28
+ SPANISH,
29
+ SWEDISH,
30
+ UKRAINIAN,
25
31
  )
26
32
 
27
33
  if t.TYPE_CHECKING:
28
- from ..data_models import Language
34
+ from ..languages import Language
29
35
 
30
36
  # TODO: Missing Faroese
31
37
  MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
32
- DA: PromptConfig(
38
+ BULGARIAN: PromptConfig(
39
+ default_prompt_prefix="Следват въпроси с множествен избор (с отговори).",
40
+ default_prompt_template="Въпрос: {text}\nОтговор: {label}",
41
+ default_instruction_prompt="Въпрос: {text}\n\nОтговорете на горния въпрос "
42
+ "като отговорите с {labels_str}, и нищо друго.",
43
+ default_prompt_label_mapping="auto",
44
+ ),
45
+ CZECH: PromptConfig(
46
+ default_prompt_prefix=(
47
+ "Následující jsou otázky s výběrem z více možností (s odpověďmi)."
48
+ ),
49
+ default_prompt_template="Otázka: {text}\nOdpověď: {label}",
50
+ default_instruction_prompt=(
51
+ "Otázka: {text}\n\nOdpovězte na výše uvedenou otázku "
52
+ "pomocí {labels_str}, a nic jiného."
53
+ ),
54
+ default_prompt_label_mapping="auto",
55
+ ),
56
+ DANISH: PromptConfig(
33
57
  default_prompt_prefix="Følgende er multiple choice spørgsmål (med svar).",
34
58
  default_prompt_template="Spørgsmål: {text}\nSvar: {label}",
35
59
  default_instruction_prompt="Spørgsmål: {text}\n\nBesvar ovenstående spørgsmål "
36
60
  "ved at svare med {labels_str}, og intet andet.",
37
61
  default_prompt_label_mapping="auto",
38
62
  ),
39
- DE: PromptConfig(
63
+ GERMAN: PromptConfig(
40
64
  default_prompt_prefix="Die folgenden Fragen sind Multiple-Choice-Fragen "
41
65
  "(mit Antworten).",
42
66
  default_prompt_template="Frage: {text}\nAntwort: {label}",
@@ -44,7 +68,15 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
44
68
  "mit {labels_str}, und nichts anderes.",
45
69
  default_prompt_label_mapping="auto",
46
70
  ),
47
- EN: PromptConfig(
71
+ GREEK: PromptConfig(
72
+ default_prompt_prefix="Ακολουθούν ερωτήσεις πολλαπλών επιλογών "
73
+ "(με απαντήσεις).",
74
+ default_prompt_template="Ερώτηση: {text}\nΑπάντηση: {label}",
75
+ default_instruction_prompt="Ερώτηση: {text}\n\nΑπαντήστε στην παραπάνω ερώτηση "
76
+ "χρησιμοποιώντας {labels_str}, και τίποτα άλλο.",
77
+ default_prompt_label_mapping="auto",
78
+ ),
79
+ ENGLISH: PromptConfig(
48
80
  default_prompt_prefix="The following are multiple choice questions (with "
49
81
  "answers).",
50
82
  default_prompt_template="Question: {text}\nAnswer: {label}",
@@ -52,7 +84,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
52
84
  "replying with {labels_str}, and nothing else.",
53
85
  default_prompt_label_mapping="auto",
54
86
  ),
55
- ES: PromptConfig(
87
+ SPANISH: PromptConfig(
56
88
  default_prompt_prefix="Las siguientes son preguntas de opción múltiple "
57
89
  "(con respuestas).",
58
90
  default_prompt_template="Pregunta: {text}\nRespuesta: {label}",
@@ -60,7 +92,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
60
92
  "usando solo {labels_str}, y nada más.",
61
93
  default_prompt_label_mapping="auto",
62
94
  ),
63
- ET: PromptConfig(
95
+ ESTONIAN: PromptConfig(
64
96
  default_prompt_prefix="Järgnevad on vastusevariantidega küsimused (koos "
65
97
  "vastustega).",
66
98
  default_prompt_template="Küsimus: {text}\nVastus: {label}",
@@ -68,7 +100,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
68
100
  "ainult {labels_str}, ja mitte millegi muuga.",
69
101
  default_prompt_label_mapping="auto",
70
102
  ),
71
- PT: PromptConfig(
103
+ PORTUGUESE: PromptConfig(
72
104
  default_prompt_prefix="As seguintes são perguntas de escolha múltipla "
73
105
  "(com respostas).",
74
106
  default_prompt_template="Pergunta: {text}\nResposta: {label}",
@@ -76,14 +108,14 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
76
108
  "acima usando só {labels_str}, e nada mais.",
77
109
  default_prompt_label_mapping="auto",
78
110
  ),
79
- FI: PromptConfig(
111
+ FINNISH: PromptConfig(
80
112
  default_prompt_prefix="Seuraavat ovat monivalintakysymyksiä (vastauksineen).",
81
113
  default_prompt_template="Kysymys: {text}\nVastaus: {label}",
82
114
  default_instruction_prompt="Kysymys: {text}\n\nVastaa yllä olevaan kysymykseen "
83
115
  "käyttämällä {labels_str}, äläkä mitään muuta.",
84
116
  default_prompt_label_mapping="auto",
85
117
  ),
86
- FR: PromptConfig(
118
+ FRENCH: PromptConfig(
87
119
  default_prompt_prefix="Les questions suivantes sont des questions à choix "
88
120
  "multiples (avec réponses).",
89
121
  default_prompt_template="Question: {text}\nRéponse: {label}",
@@ -91,14 +123,14 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
91
123
  "ci-dessus par {labels_str}, et rien d'autre.",
92
124
  default_prompt_label_mapping="auto",
93
125
  ),
94
- IS: PromptConfig(
126
+ ICELANDIC: PromptConfig(
95
127
  default_prompt_prefix="Eftirfarandi eru fjölvalsspurningar (með svörum).",
96
128
  default_prompt_template="Spurningar: {text}\nSvara: {label}",
97
129
  default_instruction_prompt="Spurningar: {text}\n\nSvaraðu eftirfarandi "
98
130
  "spurningum með {labels_str}, og engu öðru.",
99
131
  default_prompt_label_mapping="auto",
100
132
  ),
101
- IT: PromptConfig(
133
+ ITALIAN: PromptConfig(
102
134
  default_prompt_prefix="Le seguenti sono domande a scelta multipla "
103
135
  "(con relative risposte).",
104
136
  default_prompt_template="Domanda: {text}\nRisposta: {label}",
@@ -106,7 +138,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
106
138
  "precedente con {labels_str}, e nient'altro.",
107
139
  default_prompt_label_mapping="auto",
108
140
  ),
109
- LT: PromptConfig(
141
+ LITHUANIAN: PromptConfig(
110
142
  default_prompt_prefix="Toliau pateikti daugiavariančiai klausimai "
111
143
  "(su atsakymais).",
112
144
  default_prompt_template="Klausimas: {text}\nAtsakymas: {label}",
@@ -114,7 +146,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
114
146
  "pateiktą klausimą atsakydami {labels_str}, ir nieko daugiau.",
115
147
  default_prompt_label_mapping="auto",
116
148
  ),
117
- LV: PromptConfig(
149
+ LATVIAN: PromptConfig(
118
150
  default_prompt_prefix="Tālāk seko jautājumi ar vairākām atbilžu izvēlēm "
119
151
  "(ar atbildēm).",
120
152
  default_prompt_template="Jautājums: {text}\nAtbilde: {label}",
@@ -122,47 +154,79 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
122
154
  "jautājumu, atbildot ar {labels_str}, un nekas cits.",
123
155
  default_prompt_label_mapping="auto",
124
156
  ),
125
- NB: PromptConfig(
157
+ NORWEGIAN_BOKMÅL: PromptConfig(
126
158
  default_prompt_prefix="Følgende er flervalgsspørsmål (med svar).",
127
159
  default_prompt_template="Spørsmål: {text}\nSvar: {label}",
128
160
  default_instruction_prompt="Spørsmål: {text}\n\nBesvar følgende spørsmål med "
129
161
  "{labels_str}, og ikke noe annet.",
130
162
  default_prompt_label_mapping="auto",
131
163
  ),
132
- NL: PromptConfig(
164
+ DUTCH: PromptConfig(
133
165
  default_prompt_prefix="Hieronder staan meerkeuzevragen (met antwoorden).",
134
166
  default_prompt_template="Vraag: {text}\nAntwoord: {label}",
135
167
  default_instruction_prompt="Vraag: {text}\n\nBeantwoord de bovenstaande vraag "
136
168
  "met {labels_str}, en niets anders.",
137
169
  default_prompt_label_mapping="auto",
138
170
  ),
139
- NN: PromptConfig(
171
+ NORWEGIAN_NYNORSK: PromptConfig(
140
172
  default_prompt_prefix="Følgende er flervalgsspørsmål (med svar).",
141
173
  default_prompt_template="Spørsmål: {text}\nSvar: {label}",
142
174
  default_instruction_prompt="Spørsmål: {text}\n\nBesvar følgende spørsmål med "
143
175
  "{labels_str}, og ikke noe annet.",
144
176
  default_prompt_label_mapping="auto",
145
177
  ),
146
- NO: PromptConfig(
178
+ NORWEGIAN: PromptConfig(
147
179
  default_prompt_prefix="Følgende er flervalgsspørsmål (med svar).",
148
180
  default_prompt_template="Spørsmål: {text}\nSvar: {label}",
149
181
  default_instruction_prompt="Spørsmål: {text}\n\nBesvar følgende spørsmål med "
150
182
  "{labels_str}, og ikke noe annet.",
151
183
  default_prompt_label_mapping="auto",
152
184
  ),
153
- PL: PromptConfig(
185
+ POLISH: PromptConfig(
154
186
  default_prompt_prefix="Poniżej znajdują się pytania wielokrotnego wyboru "
155
187
  "(z odpowiedziami).",
156
188
  default_prompt_template="Pytanie: {text}\nOdpowiedź: {label}",
157
189
  default_instruction_prompt="Pytanie: {text}\n\nOdpowiedz na powyższe pytanie, "
158
- "odpowiadając {labels_str}, i nic więcej.",
190
+ "używając {labels_str} i niczego więcej.",
159
191
  default_prompt_label_mapping="auto",
160
192
  ),
161
- SV: PromptConfig(
193
+ SLOVAK: PromptConfig(
194
+ default_prompt_prefix=(
195
+ "Nasledujú otázky s viacerými možnosťami (s odpoveďami)."
196
+ ),
197
+ default_prompt_template="Otázka: {text}\nOdpoveď: {label}",
198
+ default_instruction_prompt=(
199
+ "Otázka: {text}\n\n"
200
+ "Odpovedzte na nasledujúcu otázku použitím {labels_str}, a nič iné."
201
+ ),
202
+ default_prompt_label_mapping="auto",
203
+ ),
204
+ SERBIAN: PromptConfig(
205
+ default_prompt_prefix=("Slede pitanja višestrukog izbora (sa odgovorima)."),
206
+ default_prompt_template="Pitanje: {text}\nOdgovor: {label}",
207
+ default_instruction_prompt=(
208
+ "Pitanje: {text}\n\n"
209
+ "Odgovorite na navedeno pitanje koristeći {labels_str}, i ništa drugo."
210
+ ),
211
+ default_prompt_label_mapping="auto",
212
+ ),
213
+ SWEDISH: PromptConfig(
162
214
  default_prompt_prefix="Följande är flervalsfrågor (med svar).",
163
215
  default_prompt_template="Fråga: {text}\nSvar: {label}",
164
216
  default_instruction_prompt="Fråga: {text}\n\nBesvara följande fråga med "
165
217
  "{labels_str}, och inget annat.",
166
218
  default_prompt_label_mapping="auto",
167
219
  ),
220
+ UKRAINIAN: PromptConfig(
221
+ default_prompt_prefix=(
222
+ "Нижче наведено питання з кількома варіантами відповідей (з відповідями)."
223
+ ),
224
+ default_prompt_template=("Питання: {text}\nВідповідь: {label}"),
225
+ default_instruction_prompt=(
226
+ "Питання: {text}\n\n"
227
+ "Дайте відповідь на наведене вище питання, використовуючи "
228
+ "{labels_str}, і нічого іншого."
229
+ ),
230
+ default_prompt_label_mapping="auto",
231
+ ),
168
232
  }
@@ -4,33 +4,77 @@ import typing as t
4
4
 
5
5
  from ..data_models import PromptConfig
6
6
  from ..languages import (
7
- DA,
8
- DE,
9
- EN,
10
- ES,
11
- ET,
12
- FI,
13
- FO,
14
- FR,
15
- IS,
16
- IT,
17
- LT,
18
- LV,
19
- NB,
20
- NL,
21
- NN,
22
- NO,
23
- PL,
24
- PT,
25
- SV,
7
+ BULGARIAN,
8
+ CZECH,
9
+ DANISH,
10
+ DUTCH,
11
+ ENGLISH,
12
+ ESTONIAN,
13
+ FAROESE,
14
+ FINNISH,
15
+ FRENCH,
16
+ GERMAN,
17
+ GREEK,
18
+ ICELANDIC,
19
+ ITALIAN,
20
+ LATVIAN,
21
+ LITHUANIAN,
22
+ NORWEGIAN,
23
+ NORWEGIAN_BOKMÅL,
24
+ NORWEGIAN_NYNORSK,
25
+ POLISH,
26
+ PORTUGUESE,
27
+ SERBIAN,
28
+ SLOVAK,
29
+ SPANISH,
30
+ SWEDISH,
31
+ UKRAINIAN,
26
32
  )
27
33
 
28
34
  if t.TYPE_CHECKING:
29
- from ..data_models import Language
35
+ from ..languages import Language
30
36
 
31
37
 
32
38
  NER_TEMPLATES: dict["Language", PromptConfig] = {
33
- DA: PromptConfig(
39
+ BULGARIAN: PromptConfig(
40
+ default_prompt_label_mapping={
41
+ "b-per": "лице",
42
+ "i-per": "лице",
43
+ "b-loc": "място",
44
+ "i-loc": "място",
45
+ "b-org": "организация",
46
+ "i-org": "организация",
47
+ "b-misc": "разни",
48
+ "i-misc": "разни",
49
+ },
50
+ default_prompt_prefix="По-долу са изречения и JSON речници с именуваните "
51
+ "обекти, които се срещат в дадените изречения.",
52
+ default_prompt_template="Изречение: {text}\nИменувани обекти: {label}",
53
+ default_instruction_prompt="Изречение: {text}\n\nИдентифицирайте именуваните "
54
+ "обекти в изречението. Трябва да изведете това като JSON речник с ключовете "
55
+ "{labels_str}. Стойностите трябва да бъдат списъци на именуваните обекти от "
56
+ "този тип, точно както се появяват в изречението.",
57
+ ),
58
+ CZECH: PromptConfig(
59
+ default_prompt_label_mapping={
60
+ "b-per": "osoba",
61
+ "i-per": "osoba",
62
+ "b-loc": "místo",
63
+ "i-loc": "místo",
64
+ "b-org": "organizace",
65
+ "i-org": "organizace",
66
+ "b-misc": "různé",
67
+ "i-misc": "různé",
68
+ },
69
+ default_prompt_prefix="Následující jsou věty a JSON slovníky s pojmenovanými "
70
+ "entitami, které se v dané větě vyskytují.",
71
+ default_prompt_template="Věta: {text}\nPojmenované entity: {label}",
72
+ default_instruction_prompt="Věta: {text}\n\nIdentifikujte pojmenované entity "
73
+ "ve větě. Měli byste to vypsat jako JSON slovník s klíči {labels_str}. "
74
+ "Hodnoty by měly být seznamy pojmenovaných entit tohoto typu, přesně tak, "
75
+ "jak se objevují ve větě.",
76
+ ),
77
+ DANISH: PromptConfig(
34
78
  default_prompt_label_mapping={
35
79
  "b-per": "person",
36
80
  "i-per": "person",
@@ -49,7 +93,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
49
93
  "{labels_str}. Værdierne skal være lister over de navngivne enheder af den "
50
94
  "type, præcis som de forekommer i sætningen.",
51
95
  ),
52
- DE: PromptConfig(
96
+ GERMAN: PromptConfig(
53
97
  default_prompt_label_mapping={
54
98
  "b-per": "person",
55
99
  "i-per": "person",
@@ -68,7 +112,26 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
68
112
  "Schlüsseln {labels_str} ausgeben. Die Werte sollten Listen der "
69
113
  "benannten Entitäten dieses Typs sein, genau wie sie im Satz erscheinen.",
70
114
  ),
71
- EN: PromptConfig(
115
+ GREEK: PromptConfig(
116
+ default_prompt_label_mapping={
117
+ "b-per": "πρόσωπο",
118
+ "i-per": "πρόσωπο",
119
+ "b-loc": "τοποθεσία",
120
+ "i-loc": "τοποθεσία",
121
+ "b-org": "οργανισμός",
122
+ "i-org": "οργανισμός",
123
+ "b-misc": "διάφορα",
124
+ "i-misc": "διάφορα",
125
+ },
126
+ default_prompt_prefix="Ακολουθούν προτάσεις και λεξικά JSON με τις "
127
+ "ονομαστικές οντότητες που εμφανίζονται στην δεδομένη πρόταση.",
128
+ default_prompt_template="Πρόταση: {text}\nΟνομαστικές οντότητες: {label}",
129
+ default_instruction_prompt="Πρόταση: {text}\n\nΑναγνωρίστε τις ονομαστικές "
130
+ "οντότητες στην πρόταση. Θα πρέπει να παράγετε αυτό ως λεξικό JSON με "
131
+ "κλειδιά {labels_str}. Οι τιμές πρέπει να είναι λίστες των ονομαστικών "
132
+ "οντοτήτων αυτού του τύπου, ακριβώς όπως εμφανίζονται στην πρόταση.",
133
+ ),
134
+ ENGLISH: PromptConfig(
72
135
  default_prompt_label_mapping={
73
136
  "b-per": "person",
74
137
  "i-per": "person",
@@ -87,7 +150,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
87
150
  "{labels_str}. The values should be lists of the named entities of that "
88
151
  "type, exactly as they appear in the sentence.",
89
152
  ),
90
- ES: PromptConfig(
153
+ SPANISH: PromptConfig(
91
154
  default_prompt_label_mapping={
92
155
  "b-per": "persona",
93
156
  "i-per": "persona",
@@ -106,7 +169,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
106
169
  "claves {labels_str}. Los valores deben ser listas de las "
107
170
  "entidades nombradas de ese tipo, exactamente como aparecen en la oración.",
108
171
  ),
109
- ET: PromptConfig(
172
+ ESTONIAN: PromptConfig(
110
173
  default_prompt_label_mapping={
111
174
  "b-per": "inimene",
112
175
  "i-per": "inimene",
@@ -125,7 +188,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
125
188
  "mille võtmed on {labels_str}. Väärtused peaksid olema kindlat tüüpi nimetatud "
126
189
  "üksuste loendid, täpselt nii nagu need lauses esinevad.",
127
190
  ),
128
- PT: PromptConfig(
191
+ PORTUGUESE: PromptConfig(
129
192
  default_prompt_label_mapping={
130
193
  "b-per": "pessoa",
131
194
  "i-per": "pessoa",
@@ -144,7 +207,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
144
207
  "{labels_str}. Os valores devem ser listas contendo as entidades "
145
208
  "mencionadas desse tipo, tal como ocorrem na frase.",
146
209
  ),
147
- FI: PromptConfig(
210
+ FINNISH: PromptConfig(
148
211
  default_prompt_label_mapping={
149
212
  "b-per": "henkilö",
150
213
  "i-per": "henkilö",
@@ -163,7 +226,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
163
226
  "Arvojen tulee olla listoja kyseisen tyypin nimetyistä entiteeteistä "
164
227
  "täsmälleen siinä muodossa kuin ne esiintyvät lauseessa.",
165
228
  ),
166
- FO: PromptConfig(
229
+ FAROESE: PromptConfig(
167
230
  default_prompt_label_mapping={
168
231
  "b-per": "persónur",
169
232
  "i-per": "persónur",
@@ -182,7 +245,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
182
245
  "{labels_str}. Gildin ættu að vera listi yfir nevndu einingarnar af "
183
246
  "þeirri gerð, nákvæmlega eins og þær koma fram í setningunni.",
184
247
  ),
185
- FR: PromptConfig(
248
+ FRENCH: PromptConfig(
186
249
  default_prompt_label_mapping={
187
250
  "b-per": "personne",
188
251
  "i-per": "personne",
@@ -203,7 +266,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
203
266
  "entités nommées de ce type, exactement comme elles apparaissent dans "
204
267
  "la phrase.",
205
268
  ),
206
- IS: PromptConfig(
269
+ ICELANDIC: PromptConfig(
207
270
  default_prompt_label_mapping={
208
271
  "b-per": "einstaklingur",
209
272
  "i-per": "einstaklingur",
@@ -223,7 +286,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
223
286
  "einingarnar af þeirri gerð, nákvæmlega eins og þær koma fram í "
224
287
  "setningunni.",
225
288
  ),
226
- IT: PromptConfig(
289
+ ITALIAN: PromptConfig(
227
290
  default_prompt_label_mapping={
228
291
  "b-per": "persona",
229
292
  "i-per": "persona",
@@ -242,7 +305,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
242
305
  "{labels_str}. I valori devono essere elenchi di entità "
243
306
  "nominate di quel tipo, esattamente come appaiono nella frase.",
244
307
  ),
245
- LT: PromptConfig(
308
+ LITHUANIAN: PromptConfig(
246
309
  default_prompt_label_mapping={
247
310
  "b-per": "asmuo",
248
311
  "i-per": "asmuo",
@@ -261,7 +324,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
261
324
  "{labels_str}. Reikšmės turi būti to tipo vardinių vienetų sąrašai, "
262
325
  "tiksliai taip, kaip jie rodomi sakinyje.",
263
326
  ),
264
- LV: PromptConfig(
327
+ LATVIAN: PromptConfig(
265
328
  default_prompt_label_mapping={
266
329
  "b-per": "persona",
267
330
  "i-per": "persona",
@@ -281,7 +344,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
281
344
  "{labels_str}. Vērtībām jābūt šī tipa nosaukto objektu sarakstiem, "
282
345
  "tieši tā, kā tie parādās teikumā.",
283
346
  ),
284
- NB: PromptConfig(
347
+ NORWEGIAN_BOKMÅL: PromptConfig(
285
348
  default_prompt_label_mapping={
286
349
  "b-per": "person",
287
350
  "i-per": "person",
@@ -300,7 +363,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
300
363
  "{labels_str}. Verdiene skal være lister over de navngitte enhetene av den "
301
364
  "typen, akkurat som de vises i frasen.",
302
365
  ),
303
- NL: PromptConfig(
366
+ DUTCH: PromptConfig(
304
367
  default_prompt_label_mapping={
305
368
  "b-per": "persoon",
306
369
  "i-per": "persoon",
@@ -319,7 +382,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
319
382
  "{labels_str}. De waarden moeten lijsten zijn van de "
320
383
  "genoemde entiteiten van dat type, precies zoals ze voorkomen in de zin.",
321
384
  ),
322
- NN: PromptConfig(
385
+ NORWEGIAN_NYNORSK: PromptConfig(
323
386
  default_prompt_label_mapping={
324
387
  "b-per": "person",
325
388
  "i-per": "person",
@@ -338,7 +401,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
338
401
  "Verdiene skal være lister over de navngitte enhetene "
339
402
  "av den typen, akkurat som de vises i frasen.",
340
403
  ),
341
- NO: PromptConfig(
404
+ NORWEGIAN: PromptConfig(
342
405
  default_prompt_label_mapping={
343
406
  "b-per": "person",
344
407
  "i-per": "person",
@@ -357,26 +420,64 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
357
420
  "Verdiene skal være lister over de navngitte enhetene "
358
421
  "av den typen, akkurat som de vises i frasen.",
359
422
  ),
360
- PL: PromptConfig(
423
+ POLISH: PromptConfig(
361
424
  default_prompt_label_mapping={
362
425
  "b-per": "osoba",
363
426
  "i-per": "osoba",
364
- "b-loc": "lokalizacja",
365
- "i-loc": "lokalizacja",
427
+ "b-loc": "miejsce",
428
+ "i-loc": "miejsce",
366
429
  "b-org": "organizacja",
367
430
  "i-org": "organizacja",
368
- "b-misc": "różne",
369
- "i-misc": "różne",
431
+ "b-misc": "inne",
432
+ "i-misc": "inne",
433
+ },
434
+ default_prompt_prefix="Poniżej znajdują się zdania i słowniki JSON "
435
+ "z jednostkami nazewniczymi, które występują w danym zdaniu.",
436
+ default_prompt_template="Zdanie: {text}\nJednostki nazewnicze: {label}",
437
+ default_instruction_prompt="Zdanie: {text}\n\nZidentyfikuj jednostki "
438
+ "nazewnicze w zdaniu. Wypisz je jako słownik JSON z kluczami "
439
+ "{labels_str}. Wartości odpowiadające kluczom powinny być listami jednostek "
440
+ "nazewniczych danego typu, dokładnie tak, jak pojawiają się w zdaniu.",
441
+ ),
442
+ SLOVAK: PromptConfig(
443
+ default_prompt_label_mapping={
444
+ "b-per": "osoba",
445
+ "i-per": "osoba",
446
+ "b-loc": "miesto",
447
+ "i-loc": "miesto",
448
+ "b-org": "organizácia",
449
+ "i-org": "organizácia",
450
+ "b-misc": "rôzne",
451
+ "i-misc": "rôzne",
370
452
  },
371
- default_prompt_prefix="Poniżej znajdują się zdania i słowniki JSON z nazwanymi "
372
- "jednostkami występującymi w danym zdaniu.",
373
- default_prompt_template="Zdanie: {text}\nNazwane jednostki: {label}",
374
- default_instruction_prompt="Zdanie: {text}\n\nZidentyfikuj nazwane jednostki "
375
- "w zdaniu. Powinieneś wypisać to jako słownik JSON z kluczami "
376
- "{labels_str}. Wartości powinny być listami nazwanych jednostek "
377
- "tego typu, dokładnie tak jak pojawiają się w zdaniu.",
453
+ default_prompt_prefix="Nasledujúce vety a JSON-objekty s pomenovanými "
454
+ "entitami, ktoré sa nachádzajú v danej vete.",
455
+ default_prompt_template="Veta: {text}\nPomenované entity: {label}",
456
+ default_instruction_prompt="Veta: {text}\n\nIdentifikujte pomenované "
457
+ "entity vo vete. Výstup by mal byť vo forme JSON-objektu s kľúčmi "
458
+ "{labels_str}. Hodnoty by mali byť zoznamy pomenovaných entít danej "
459
+ "kategórie, presne tak, ako sa vyskytujú vo vete.",
378
460
  ),
379
- SV: PromptConfig(
461
+ SERBIAN: PromptConfig(
462
+ default_prompt_label_mapping={
463
+ "b-per": "osoba",
464
+ "i-per": "osoba",
465
+ "b-loc": "mesto",
466
+ "i-loc": "mesto",
467
+ "b-org": "organizacija",
468
+ "i-org": "organizacija",
469
+ "b-misc": "razno",
470
+ "i-misc": "razno",
471
+ },
472
+ default_prompt_prefix="Sledeće su rečenice i JSON rečnici sa imenovanim "
473
+ "entitetima koji se pojavljuju u datoj rečenici.",
474
+ default_prompt_template="Rečenica: {text}\nImenovani entiteti: {label}",
475
+ default_instruction_prompt="Rečenica: {text}\n\nIdentifikujte imenovane "
476
+ "entitete u rečenici. Trebalo bi da ovo ispišete kao JSON rečnik sa ključevima "
477
+ "{labels_str}. Vrednosti treba da budu liste imenovanih entiteta te "
478
+ "kategorije, tačno onako kako se pojavljuju u rečenici.",
479
+ ),
480
+ SWEDISH: PromptConfig(
380
481
  default_prompt_label_mapping={
381
482
  "b-per": "person",
382
483
  "i-per": "person",
@@ -392,7 +493,27 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
392
493
  default_prompt_template="Mening: {text}\nNamngivna entiteter: {label}",
393
494
  default_instruction_prompt="Mening: {text}\n\nIdentifiera de namngivna "
394
495
  "enheterna i meningen. Du ska outputta detta som en JSON-ordbok med nycklarna "
395
- "{labels_str}. Värdena ska vara listor över de namngivna enheter av den "
496
+ "{labels_str}. Värdena ska vara listor över de namngivna enheterna av den "
396
497
  "typen, precis som de förekommer i meningen.",
397
498
  ),
499
+ UKRAINIAN: PromptConfig(
500
+ default_prompt_label_mapping={
501
+ "b-per": "особа",
502
+ "i-per": "особа",
503
+ "b-loc": "місце",
504
+ "i-loc": "місце",
505
+ "b-org": "організація",
506
+ "i-org": "організація",
507
+ "b-misc": "різне",
508
+ "i-misc": "різне",
509
+ },
510
+ default_prompt_prefix="Нижче наведені речення та JSON-словники з іменованими "
511
+ "сутностями, які присутні у даному реченні.",
512
+ default_prompt_template="Речення: {text}\nІменовані сутності: {label}",
513
+ default_instruction_prompt="Речення: {text}\n\n"
514
+ "Ідентифікуйте іменовані сутності у "
515
+ "реченні. Ви повинні вивести це як JSON-словник з ключами {labels_str}. "
516
+ "Значення мають бути списками іменованих сутностей цього типу, точно "
517
+ "такими, як вони з'являються у реченні.",
518
+ ),
398
519
  }