EuroEval 16.3.0__py3-none-any.whl → 16.5.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Potentially problematic release.
This version of EuroEval might be problematic. Click here for more details.
- euroeval/__init__.py +9 -2
- euroeval/benchmark_config_factory.py +51 -50
- euroeval/benchmark_modules/base.py +9 -21
- euroeval/benchmark_modules/fresh.py +2 -1
- euroeval/benchmark_modules/hf.py +101 -71
- euroeval/benchmark_modules/litellm.py +115 -53
- euroeval/benchmark_modules/vllm.py +107 -92
- euroeval/benchmarker.py +144 -121
- euroeval/caching_utils.py +79 -0
- euroeval/callbacks.py +5 -7
- euroeval/cli.py +86 -8
- euroeval/constants.py +9 -0
- euroeval/data_loading.py +80 -29
- euroeval/data_models.py +338 -330
- euroeval/dataset_configs/__init__.py +12 -3
- euroeval/dataset_configs/bulgarian.py +56 -0
- euroeval/dataset_configs/czech.py +75 -0
- euroeval/dataset_configs/danish.py +55 -93
- euroeval/dataset_configs/dutch.py +48 -87
- euroeval/dataset_configs/english.py +45 -77
- euroeval/dataset_configs/estonian.py +42 -34
- euroeval/dataset_configs/faroese.py +19 -60
- euroeval/dataset_configs/finnish.py +36 -69
- euroeval/dataset_configs/french.py +39 -75
- euroeval/dataset_configs/german.py +45 -82
- euroeval/dataset_configs/greek.py +64 -0
- euroeval/dataset_configs/icelandic.py +54 -91
- euroeval/dataset_configs/italian.py +42 -79
- euroeval/dataset_configs/latvian.py +28 -35
- euroeval/dataset_configs/lithuanian.py +28 -26
- euroeval/dataset_configs/norwegian.py +72 -115
- euroeval/dataset_configs/polish.py +33 -61
- euroeval/dataset_configs/portuguese.py +33 -66
- euroeval/dataset_configs/serbian.py +64 -0
- euroeval/dataset_configs/slovak.py +55 -0
- euroeval/dataset_configs/spanish.py +42 -77
- euroeval/dataset_configs/swedish.py +52 -90
- euroeval/dataset_configs/ukrainian.py +64 -0
- euroeval/exceptions.py +1 -1
- euroeval/finetuning.py +24 -17
- euroeval/generation.py +15 -14
- euroeval/generation_utils.py +8 -8
- euroeval/languages.py +395 -323
- euroeval/logging_utils.py +250 -0
- euroeval/metrics/base.py +0 -3
- euroeval/metrics/huggingface.py +21 -6
- euroeval/metrics/llm_as_a_judge.py +6 -4
- euroeval/metrics/pipeline.py +17 -9
- euroeval/metrics/speed.py +0 -3
- euroeval/model_cache.py +17 -19
- euroeval/model_config.py +4 -5
- euroeval/model_loading.py +3 -0
- euroeval/prompt_templates/__init__.py +2 -0
- euroeval/prompt_templates/classification.py +206 -0
- euroeval/prompt_templates/linguistic_acceptability.py +99 -42
- euroeval/prompt_templates/multiple_choice.py +102 -38
- euroeval/prompt_templates/named_entity_recognition.py +172 -51
- euroeval/prompt_templates/reading_comprehension.py +119 -42
- euroeval/prompt_templates/sentiment_classification.py +110 -40
- euroeval/prompt_templates/summarization.py +85 -40
- euroeval/prompt_templates/token_classification.py +279 -0
- euroeval/scores.py +11 -10
- euroeval/speed_benchmark.py +5 -6
- euroeval/task_group_utils/multiple_choice_classification.py +2 -4
- euroeval/task_group_utils/question_answering.py +24 -16
- euroeval/task_group_utils/sequence_classification.py +48 -35
- euroeval/task_group_utils/text_to_text.py +19 -9
- euroeval/task_group_utils/token_classification.py +21 -17
- euroeval/tasks.py +44 -1
- euroeval/tokenisation_utils.py +33 -22
- euroeval/types.py +10 -9
- euroeval/utils.py +35 -149
- {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/METADATA +196 -39
- euroeval-16.5.0.dist-info/RECORD +81 -0
- euroeval-16.3.0.dist-info/RECORD +0 -71
- {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/WHEEL +0 -0
- {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/entry_points.txt +0 -0
- {euroeval-16.3.0.dist-info → euroeval-16.5.0.dist-info}/licenses/LICENSE +0 -0
|
@@ -4,39 +4,63 @@ import typing as t
|
|
|
4
4
|
|
|
5
5
|
from ..data_models import PromptConfig
|
|
6
6
|
from ..languages import (
|
|
7
|
-
|
|
8
|
-
|
|
9
|
-
|
|
10
|
-
|
|
11
|
-
|
|
12
|
-
|
|
13
|
-
|
|
14
|
-
|
|
15
|
-
|
|
16
|
-
|
|
17
|
-
|
|
18
|
-
|
|
19
|
-
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
7
|
+
BULGARIAN,
|
|
8
|
+
CZECH,
|
|
9
|
+
DANISH,
|
|
10
|
+
DUTCH,
|
|
11
|
+
ENGLISH,
|
|
12
|
+
ESTONIAN,
|
|
13
|
+
FINNISH,
|
|
14
|
+
FRENCH,
|
|
15
|
+
GERMAN,
|
|
16
|
+
GREEK,
|
|
17
|
+
ICELANDIC,
|
|
18
|
+
ITALIAN,
|
|
19
|
+
LATVIAN,
|
|
20
|
+
LITHUANIAN,
|
|
21
|
+
NORWEGIAN,
|
|
22
|
+
NORWEGIAN_BOKMÅL,
|
|
23
|
+
NORWEGIAN_NYNORSK,
|
|
24
|
+
POLISH,
|
|
25
|
+
PORTUGUESE,
|
|
26
|
+
SERBIAN,
|
|
27
|
+
SLOVAK,
|
|
28
|
+
SPANISH,
|
|
29
|
+
SWEDISH,
|
|
30
|
+
UKRAINIAN,
|
|
25
31
|
)
|
|
26
32
|
|
|
27
33
|
if t.TYPE_CHECKING:
|
|
28
|
-
from ..
|
|
34
|
+
from ..languages import Language
|
|
29
35
|
|
|
30
36
|
# TODO: Missing Faroese
|
|
31
37
|
MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
32
|
-
|
|
38
|
+
BULGARIAN: PromptConfig(
|
|
39
|
+
default_prompt_prefix="Следват въпроси с множествен избор (с отговори).",
|
|
40
|
+
default_prompt_template="Въпрос: {text}\nОтговор: {label}",
|
|
41
|
+
default_instruction_prompt="Въпрос: {text}\n\nОтговорете на горния въпрос "
|
|
42
|
+
"като отговорите с {labels_str}, и нищо друго.",
|
|
43
|
+
default_prompt_label_mapping="auto",
|
|
44
|
+
),
|
|
45
|
+
CZECH: PromptConfig(
|
|
46
|
+
default_prompt_prefix=(
|
|
47
|
+
"Následující jsou otázky s výběrem z více možností (s odpověďmi)."
|
|
48
|
+
),
|
|
49
|
+
default_prompt_template="Otázka: {text}\nOdpověď: {label}",
|
|
50
|
+
default_instruction_prompt=(
|
|
51
|
+
"Otázka: {text}\n\nOdpovězte na výše uvedenou otázku "
|
|
52
|
+
"pomocí {labels_str}, a nic jiného."
|
|
53
|
+
),
|
|
54
|
+
default_prompt_label_mapping="auto",
|
|
55
|
+
),
|
|
56
|
+
DANISH: PromptConfig(
|
|
33
57
|
default_prompt_prefix="Følgende er multiple choice spørgsmål (med svar).",
|
|
34
58
|
default_prompt_template="Spørgsmål: {text}\nSvar: {label}",
|
|
35
59
|
default_instruction_prompt="Spørgsmål: {text}\n\nBesvar ovenstående spørgsmål "
|
|
36
60
|
"ved at svare med {labels_str}, og intet andet.",
|
|
37
61
|
default_prompt_label_mapping="auto",
|
|
38
62
|
),
|
|
39
|
-
|
|
63
|
+
GERMAN: PromptConfig(
|
|
40
64
|
default_prompt_prefix="Die folgenden Fragen sind Multiple-Choice-Fragen "
|
|
41
65
|
"(mit Antworten).",
|
|
42
66
|
default_prompt_template="Frage: {text}\nAntwort: {label}",
|
|
@@ -44,7 +68,15 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
44
68
|
"mit {labels_str}, und nichts anderes.",
|
|
45
69
|
default_prompt_label_mapping="auto",
|
|
46
70
|
),
|
|
47
|
-
|
|
71
|
+
GREEK: PromptConfig(
|
|
72
|
+
default_prompt_prefix="Ακολουθούν ερωτήσεις πολλαπλών επιλογών "
|
|
73
|
+
"(με απαντήσεις).",
|
|
74
|
+
default_prompt_template="Ερώτηση: {text}\nΑπάντηση: {label}",
|
|
75
|
+
default_instruction_prompt="Ερώτηση: {text}\n\nΑπαντήστε στην παραπάνω ερώτηση "
|
|
76
|
+
"χρησιμοποιώντας {labels_str}, και τίποτα άλλο.",
|
|
77
|
+
default_prompt_label_mapping="auto",
|
|
78
|
+
),
|
|
79
|
+
ENGLISH: PromptConfig(
|
|
48
80
|
default_prompt_prefix="The following are multiple choice questions (with "
|
|
49
81
|
"answers).",
|
|
50
82
|
default_prompt_template="Question: {text}\nAnswer: {label}",
|
|
@@ -52,7 +84,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
52
84
|
"replying with {labels_str}, and nothing else.",
|
|
53
85
|
default_prompt_label_mapping="auto",
|
|
54
86
|
),
|
|
55
|
-
|
|
87
|
+
SPANISH: PromptConfig(
|
|
56
88
|
default_prompt_prefix="Las siguientes son preguntas de opción múltiple "
|
|
57
89
|
"(con respuestas).",
|
|
58
90
|
default_prompt_template="Pregunta: {text}\nRespuesta: {label}",
|
|
@@ -60,7 +92,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
60
92
|
"usando solo {labels_str}, y nada más.",
|
|
61
93
|
default_prompt_label_mapping="auto",
|
|
62
94
|
),
|
|
63
|
-
|
|
95
|
+
ESTONIAN: PromptConfig(
|
|
64
96
|
default_prompt_prefix="Järgnevad on vastusevariantidega küsimused (koos "
|
|
65
97
|
"vastustega).",
|
|
66
98
|
default_prompt_template="Küsimus: {text}\nVastus: {label}",
|
|
@@ -68,7 +100,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
68
100
|
"ainult {labels_str}, ja mitte millegi muuga.",
|
|
69
101
|
default_prompt_label_mapping="auto",
|
|
70
102
|
),
|
|
71
|
-
|
|
103
|
+
PORTUGUESE: PromptConfig(
|
|
72
104
|
default_prompt_prefix="As seguintes são perguntas de escolha múltipla "
|
|
73
105
|
"(com respostas).",
|
|
74
106
|
default_prompt_template="Pergunta: {text}\nResposta: {label}",
|
|
@@ -76,14 +108,14 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
76
108
|
"acima usando só {labels_str}, e nada mais.",
|
|
77
109
|
default_prompt_label_mapping="auto",
|
|
78
110
|
),
|
|
79
|
-
|
|
111
|
+
FINNISH: PromptConfig(
|
|
80
112
|
default_prompt_prefix="Seuraavat ovat monivalintakysymyksiä (vastauksineen).",
|
|
81
113
|
default_prompt_template="Kysymys: {text}\nVastaus: {label}",
|
|
82
114
|
default_instruction_prompt="Kysymys: {text}\n\nVastaa yllä olevaan kysymykseen "
|
|
83
115
|
"käyttämällä {labels_str}, äläkä mitään muuta.",
|
|
84
116
|
default_prompt_label_mapping="auto",
|
|
85
117
|
),
|
|
86
|
-
|
|
118
|
+
FRENCH: PromptConfig(
|
|
87
119
|
default_prompt_prefix="Les questions suivantes sont des questions à choix "
|
|
88
120
|
"multiples (avec réponses).",
|
|
89
121
|
default_prompt_template="Question: {text}\nRéponse: {label}",
|
|
@@ -91,14 +123,14 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
91
123
|
"ci-dessus par {labels_str}, et rien d'autre.",
|
|
92
124
|
default_prompt_label_mapping="auto",
|
|
93
125
|
),
|
|
94
|
-
|
|
126
|
+
ICELANDIC: PromptConfig(
|
|
95
127
|
default_prompt_prefix="Eftirfarandi eru fjölvalsspurningar (með svörum).",
|
|
96
128
|
default_prompt_template="Spurningar: {text}\nSvara: {label}",
|
|
97
129
|
default_instruction_prompt="Spurningar: {text}\n\nSvaraðu eftirfarandi "
|
|
98
130
|
"spurningum með {labels_str}, og engu öðru.",
|
|
99
131
|
default_prompt_label_mapping="auto",
|
|
100
132
|
),
|
|
101
|
-
|
|
133
|
+
ITALIAN: PromptConfig(
|
|
102
134
|
default_prompt_prefix="Le seguenti sono domande a scelta multipla "
|
|
103
135
|
"(con relative risposte).",
|
|
104
136
|
default_prompt_template="Domanda: {text}\nRisposta: {label}",
|
|
@@ -106,7 +138,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
106
138
|
"precedente con {labels_str}, e nient'altro.",
|
|
107
139
|
default_prompt_label_mapping="auto",
|
|
108
140
|
),
|
|
109
|
-
|
|
141
|
+
LITHUANIAN: PromptConfig(
|
|
110
142
|
default_prompt_prefix="Toliau pateikti daugiavariančiai klausimai "
|
|
111
143
|
"(su atsakymais).",
|
|
112
144
|
default_prompt_template="Klausimas: {text}\nAtsakymas: {label}",
|
|
@@ -114,7 +146,7 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
114
146
|
"pateiktą klausimą atsakydami {labels_str}, ir nieko daugiau.",
|
|
115
147
|
default_prompt_label_mapping="auto",
|
|
116
148
|
),
|
|
117
|
-
|
|
149
|
+
LATVIAN: PromptConfig(
|
|
118
150
|
default_prompt_prefix="Tālāk seko jautājumi ar vairākām atbilžu izvēlēm "
|
|
119
151
|
"(ar atbildēm).",
|
|
120
152
|
default_prompt_template="Jautājums: {text}\nAtbilde: {label}",
|
|
@@ -122,47 +154,79 @@ MULTIPLE_CHOICE_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
122
154
|
"jautājumu, atbildot ar {labels_str}, un nekas cits.",
|
|
123
155
|
default_prompt_label_mapping="auto",
|
|
124
156
|
),
|
|
125
|
-
|
|
157
|
+
NORWEGIAN_BOKMÅL: PromptConfig(
|
|
126
158
|
default_prompt_prefix="Følgende er flervalgsspørsmål (med svar).",
|
|
127
159
|
default_prompt_template="Spørsmål: {text}\nSvar: {label}",
|
|
128
160
|
default_instruction_prompt="Spørsmål: {text}\n\nBesvar følgende spørsmål med "
|
|
129
161
|
"{labels_str}, og ikke noe annet.",
|
|
130
162
|
default_prompt_label_mapping="auto",
|
|
131
163
|
),
|
|
132
|
-
|
|
164
|
+
DUTCH: PromptConfig(
|
|
133
165
|
default_prompt_prefix="Hieronder staan meerkeuzevragen (met antwoorden).",
|
|
134
166
|
default_prompt_template="Vraag: {text}\nAntwoord: {label}",
|
|
135
167
|
default_instruction_prompt="Vraag: {text}\n\nBeantwoord de bovenstaande vraag "
|
|
136
168
|
"met {labels_str}, en niets anders.",
|
|
137
169
|
default_prompt_label_mapping="auto",
|
|
138
170
|
),
|
|
139
|
-
|
|
171
|
+
NORWEGIAN_NYNORSK: PromptConfig(
|
|
140
172
|
default_prompt_prefix="Følgende er flervalgsspørsmål (med svar).",
|
|
141
173
|
default_prompt_template="Spørsmål: {text}\nSvar: {label}",
|
|
142
174
|
default_instruction_prompt="Spørsmål: {text}\n\nBesvar følgende spørsmål med "
|
|
143
175
|
"{labels_str}, og ikke noe annet.",
|
|
144
176
|
default_prompt_label_mapping="auto",
|
|
145
177
|
),
|
|
146
|
-
|
|
178
|
+
NORWEGIAN: PromptConfig(
|
|
147
179
|
default_prompt_prefix="Følgende er flervalgsspørsmål (med svar).",
|
|
148
180
|
default_prompt_template="Spørsmål: {text}\nSvar: {label}",
|
|
149
181
|
default_instruction_prompt="Spørsmål: {text}\n\nBesvar følgende spørsmål med "
|
|
150
182
|
"{labels_str}, og ikke noe annet.",
|
|
151
183
|
default_prompt_label_mapping="auto",
|
|
152
184
|
),
|
|
153
|
-
|
|
185
|
+
POLISH: PromptConfig(
|
|
154
186
|
default_prompt_prefix="Poniżej znajdują się pytania wielokrotnego wyboru "
|
|
155
187
|
"(z odpowiedziami).",
|
|
156
188
|
default_prompt_template="Pytanie: {text}\nOdpowiedź: {label}",
|
|
157
189
|
default_instruction_prompt="Pytanie: {text}\n\nOdpowiedz na powyższe pytanie, "
|
|
158
|
-
"
|
|
190
|
+
"używając {labels_str} i niczego więcej.",
|
|
159
191
|
default_prompt_label_mapping="auto",
|
|
160
192
|
),
|
|
161
|
-
|
|
193
|
+
SLOVAK: PromptConfig(
|
|
194
|
+
default_prompt_prefix=(
|
|
195
|
+
"Nasledujú otázky s viacerými možnosťami (s odpoveďami)."
|
|
196
|
+
),
|
|
197
|
+
default_prompt_template="Otázka: {text}\nOdpoveď: {label}",
|
|
198
|
+
default_instruction_prompt=(
|
|
199
|
+
"Otázka: {text}\n\n"
|
|
200
|
+
"Odpovedzte na nasledujúcu otázku použitím {labels_str}, a nič iné."
|
|
201
|
+
),
|
|
202
|
+
default_prompt_label_mapping="auto",
|
|
203
|
+
),
|
|
204
|
+
SERBIAN: PromptConfig(
|
|
205
|
+
default_prompt_prefix=("Slede pitanja višestrukog izbora (sa odgovorima)."),
|
|
206
|
+
default_prompt_template="Pitanje: {text}\nOdgovor: {label}",
|
|
207
|
+
default_instruction_prompt=(
|
|
208
|
+
"Pitanje: {text}\n\n"
|
|
209
|
+
"Odgovorite na navedeno pitanje koristeći {labels_str}, i ništa drugo."
|
|
210
|
+
),
|
|
211
|
+
default_prompt_label_mapping="auto",
|
|
212
|
+
),
|
|
213
|
+
SWEDISH: PromptConfig(
|
|
162
214
|
default_prompt_prefix="Följande är flervalsfrågor (med svar).",
|
|
163
215
|
default_prompt_template="Fråga: {text}\nSvar: {label}",
|
|
164
216
|
default_instruction_prompt="Fråga: {text}\n\nBesvara följande fråga med "
|
|
165
217
|
"{labels_str}, och inget annat.",
|
|
166
218
|
default_prompt_label_mapping="auto",
|
|
167
219
|
),
|
|
220
|
+
UKRAINIAN: PromptConfig(
|
|
221
|
+
default_prompt_prefix=(
|
|
222
|
+
"Нижче наведено питання з кількома варіантами відповідей (з відповідями)."
|
|
223
|
+
),
|
|
224
|
+
default_prompt_template=("Питання: {text}\nВідповідь: {label}"),
|
|
225
|
+
default_instruction_prompt=(
|
|
226
|
+
"Питання: {text}\n\n"
|
|
227
|
+
"Дайте відповідь на наведене вище питання, використовуючи "
|
|
228
|
+
"{labels_str}, і нічого іншого."
|
|
229
|
+
),
|
|
230
|
+
default_prompt_label_mapping="auto",
|
|
231
|
+
),
|
|
168
232
|
}
|
|
@@ -4,33 +4,77 @@ import typing as t
|
|
|
4
4
|
|
|
5
5
|
from ..data_models import PromptConfig
|
|
6
6
|
from ..languages import (
|
|
7
|
-
|
|
8
|
-
|
|
9
|
-
|
|
10
|
-
|
|
11
|
-
|
|
12
|
-
|
|
13
|
-
|
|
14
|
-
|
|
15
|
-
|
|
16
|
-
|
|
17
|
-
|
|
18
|
-
|
|
19
|
-
|
|
20
|
-
|
|
21
|
-
|
|
22
|
-
|
|
23
|
-
|
|
24
|
-
|
|
25
|
-
|
|
7
|
+
BULGARIAN,
|
|
8
|
+
CZECH,
|
|
9
|
+
DANISH,
|
|
10
|
+
DUTCH,
|
|
11
|
+
ENGLISH,
|
|
12
|
+
ESTONIAN,
|
|
13
|
+
FAROESE,
|
|
14
|
+
FINNISH,
|
|
15
|
+
FRENCH,
|
|
16
|
+
GERMAN,
|
|
17
|
+
GREEK,
|
|
18
|
+
ICELANDIC,
|
|
19
|
+
ITALIAN,
|
|
20
|
+
LATVIAN,
|
|
21
|
+
LITHUANIAN,
|
|
22
|
+
NORWEGIAN,
|
|
23
|
+
NORWEGIAN_BOKMÅL,
|
|
24
|
+
NORWEGIAN_NYNORSK,
|
|
25
|
+
POLISH,
|
|
26
|
+
PORTUGUESE,
|
|
27
|
+
SERBIAN,
|
|
28
|
+
SLOVAK,
|
|
29
|
+
SPANISH,
|
|
30
|
+
SWEDISH,
|
|
31
|
+
UKRAINIAN,
|
|
26
32
|
)
|
|
27
33
|
|
|
28
34
|
if t.TYPE_CHECKING:
|
|
29
|
-
from ..
|
|
35
|
+
from ..languages import Language
|
|
30
36
|
|
|
31
37
|
|
|
32
38
|
NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
33
|
-
|
|
39
|
+
BULGARIAN: PromptConfig(
|
|
40
|
+
default_prompt_label_mapping={
|
|
41
|
+
"b-per": "лице",
|
|
42
|
+
"i-per": "лице",
|
|
43
|
+
"b-loc": "място",
|
|
44
|
+
"i-loc": "място",
|
|
45
|
+
"b-org": "организация",
|
|
46
|
+
"i-org": "организация",
|
|
47
|
+
"b-misc": "разни",
|
|
48
|
+
"i-misc": "разни",
|
|
49
|
+
},
|
|
50
|
+
default_prompt_prefix="По-долу са изречения и JSON речници с именуваните "
|
|
51
|
+
"обекти, които се срещат в дадените изречения.",
|
|
52
|
+
default_prompt_template="Изречение: {text}\nИменувани обекти: {label}",
|
|
53
|
+
default_instruction_prompt="Изречение: {text}\n\nИдентифицирайте именуваните "
|
|
54
|
+
"обекти в изречението. Трябва да изведете това като JSON речник с ключовете "
|
|
55
|
+
"{labels_str}. Стойностите трябва да бъдат списъци на именуваните обекти от "
|
|
56
|
+
"този тип, точно както се появяват в изречението.",
|
|
57
|
+
),
|
|
58
|
+
CZECH: PromptConfig(
|
|
59
|
+
default_prompt_label_mapping={
|
|
60
|
+
"b-per": "osoba",
|
|
61
|
+
"i-per": "osoba",
|
|
62
|
+
"b-loc": "místo",
|
|
63
|
+
"i-loc": "místo",
|
|
64
|
+
"b-org": "organizace",
|
|
65
|
+
"i-org": "organizace",
|
|
66
|
+
"b-misc": "různé",
|
|
67
|
+
"i-misc": "různé",
|
|
68
|
+
},
|
|
69
|
+
default_prompt_prefix="Následující jsou věty a JSON slovníky s pojmenovanými "
|
|
70
|
+
"entitami, které se v dané větě vyskytují.",
|
|
71
|
+
default_prompt_template="Věta: {text}\nPojmenované entity: {label}",
|
|
72
|
+
default_instruction_prompt="Věta: {text}\n\nIdentifikujte pojmenované entity "
|
|
73
|
+
"ve větě. Měli byste to vypsat jako JSON slovník s klíči {labels_str}. "
|
|
74
|
+
"Hodnoty by měly být seznamy pojmenovaných entit tohoto typu, přesně tak, "
|
|
75
|
+
"jak se objevují ve větě.",
|
|
76
|
+
),
|
|
77
|
+
DANISH: PromptConfig(
|
|
34
78
|
default_prompt_label_mapping={
|
|
35
79
|
"b-per": "person",
|
|
36
80
|
"i-per": "person",
|
|
@@ -49,7 +93,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
49
93
|
"{labels_str}. Værdierne skal være lister over de navngivne enheder af den "
|
|
50
94
|
"type, præcis som de forekommer i sætningen.",
|
|
51
95
|
),
|
|
52
|
-
|
|
96
|
+
GERMAN: PromptConfig(
|
|
53
97
|
default_prompt_label_mapping={
|
|
54
98
|
"b-per": "person",
|
|
55
99
|
"i-per": "person",
|
|
@@ -68,7 +112,26 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
68
112
|
"Schlüsseln {labels_str} ausgeben. Die Werte sollten Listen der "
|
|
69
113
|
"benannten Entitäten dieses Typs sein, genau wie sie im Satz erscheinen.",
|
|
70
114
|
),
|
|
71
|
-
|
|
115
|
+
GREEK: PromptConfig(
|
|
116
|
+
default_prompt_label_mapping={
|
|
117
|
+
"b-per": "πρόσωπο",
|
|
118
|
+
"i-per": "πρόσωπο",
|
|
119
|
+
"b-loc": "τοποθεσία",
|
|
120
|
+
"i-loc": "τοποθεσία",
|
|
121
|
+
"b-org": "οργανισμός",
|
|
122
|
+
"i-org": "οργανισμός",
|
|
123
|
+
"b-misc": "διάφορα",
|
|
124
|
+
"i-misc": "διάφορα",
|
|
125
|
+
},
|
|
126
|
+
default_prompt_prefix="Ακολουθούν προτάσεις και λεξικά JSON με τις "
|
|
127
|
+
"ονομαστικές οντότητες που εμφανίζονται στην δεδομένη πρόταση.",
|
|
128
|
+
default_prompt_template="Πρόταση: {text}\nΟνομαστικές οντότητες: {label}",
|
|
129
|
+
default_instruction_prompt="Πρόταση: {text}\n\nΑναγνωρίστε τις ονομαστικές "
|
|
130
|
+
"οντότητες στην πρόταση. Θα πρέπει να παράγετε αυτό ως λεξικό JSON με "
|
|
131
|
+
"κλειδιά {labels_str}. Οι τιμές πρέπει να είναι λίστες των ονομαστικών "
|
|
132
|
+
"οντοτήτων αυτού του τύπου, ακριβώς όπως εμφανίζονται στην πρόταση.",
|
|
133
|
+
),
|
|
134
|
+
ENGLISH: PromptConfig(
|
|
72
135
|
default_prompt_label_mapping={
|
|
73
136
|
"b-per": "person",
|
|
74
137
|
"i-per": "person",
|
|
@@ -87,7 +150,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
87
150
|
"{labels_str}. The values should be lists of the named entities of that "
|
|
88
151
|
"type, exactly as they appear in the sentence.",
|
|
89
152
|
),
|
|
90
|
-
|
|
153
|
+
SPANISH: PromptConfig(
|
|
91
154
|
default_prompt_label_mapping={
|
|
92
155
|
"b-per": "persona",
|
|
93
156
|
"i-per": "persona",
|
|
@@ -106,7 +169,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
106
169
|
"claves {labels_str}. Los valores deben ser listas de las "
|
|
107
170
|
"entidades nombradas de ese tipo, exactamente como aparecen en la oración.",
|
|
108
171
|
),
|
|
109
|
-
|
|
172
|
+
ESTONIAN: PromptConfig(
|
|
110
173
|
default_prompt_label_mapping={
|
|
111
174
|
"b-per": "inimene",
|
|
112
175
|
"i-per": "inimene",
|
|
@@ -125,7 +188,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
125
188
|
"mille võtmed on {labels_str}. Väärtused peaksid olema kindlat tüüpi nimetatud "
|
|
126
189
|
"üksuste loendid, täpselt nii nagu need lauses esinevad.",
|
|
127
190
|
),
|
|
128
|
-
|
|
191
|
+
PORTUGUESE: PromptConfig(
|
|
129
192
|
default_prompt_label_mapping={
|
|
130
193
|
"b-per": "pessoa",
|
|
131
194
|
"i-per": "pessoa",
|
|
@@ -144,7 +207,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
144
207
|
"{labels_str}. Os valores devem ser listas contendo as entidades "
|
|
145
208
|
"mencionadas desse tipo, tal como ocorrem na frase.",
|
|
146
209
|
),
|
|
147
|
-
|
|
210
|
+
FINNISH: PromptConfig(
|
|
148
211
|
default_prompt_label_mapping={
|
|
149
212
|
"b-per": "henkilö",
|
|
150
213
|
"i-per": "henkilö",
|
|
@@ -163,7 +226,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
163
226
|
"Arvojen tulee olla listoja kyseisen tyypin nimetyistä entiteeteistä "
|
|
164
227
|
"täsmälleen siinä muodossa kuin ne esiintyvät lauseessa.",
|
|
165
228
|
),
|
|
166
|
-
|
|
229
|
+
FAROESE: PromptConfig(
|
|
167
230
|
default_prompt_label_mapping={
|
|
168
231
|
"b-per": "persónur",
|
|
169
232
|
"i-per": "persónur",
|
|
@@ -182,7 +245,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
182
245
|
"{labels_str}. Gildin ættu að vera listi yfir nevndu einingarnar af "
|
|
183
246
|
"þeirri gerð, nákvæmlega eins og þær koma fram í setningunni.",
|
|
184
247
|
),
|
|
185
|
-
|
|
248
|
+
FRENCH: PromptConfig(
|
|
186
249
|
default_prompt_label_mapping={
|
|
187
250
|
"b-per": "personne",
|
|
188
251
|
"i-per": "personne",
|
|
@@ -203,7 +266,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
203
266
|
"entités nommées de ce type, exactement comme elles apparaissent dans "
|
|
204
267
|
"la phrase.",
|
|
205
268
|
),
|
|
206
|
-
|
|
269
|
+
ICELANDIC: PromptConfig(
|
|
207
270
|
default_prompt_label_mapping={
|
|
208
271
|
"b-per": "einstaklingur",
|
|
209
272
|
"i-per": "einstaklingur",
|
|
@@ -223,7 +286,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
223
286
|
"einingarnar af þeirri gerð, nákvæmlega eins og þær koma fram í "
|
|
224
287
|
"setningunni.",
|
|
225
288
|
),
|
|
226
|
-
|
|
289
|
+
ITALIAN: PromptConfig(
|
|
227
290
|
default_prompt_label_mapping={
|
|
228
291
|
"b-per": "persona",
|
|
229
292
|
"i-per": "persona",
|
|
@@ -242,7 +305,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
242
305
|
"{labels_str}. I valori devono essere elenchi di entità "
|
|
243
306
|
"nominate di quel tipo, esattamente come appaiono nella frase.",
|
|
244
307
|
),
|
|
245
|
-
|
|
308
|
+
LITHUANIAN: PromptConfig(
|
|
246
309
|
default_prompt_label_mapping={
|
|
247
310
|
"b-per": "asmuo",
|
|
248
311
|
"i-per": "asmuo",
|
|
@@ -261,7 +324,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
261
324
|
"{labels_str}. Reikšmės turi būti to tipo vardinių vienetų sąrašai, "
|
|
262
325
|
"tiksliai taip, kaip jie rodomi sakinyje.",
|
|
263
326
|
),
|
|
264
|
-
|
|
327
|
+
LATVIAN: PromptConfig(
|
|
265
328
|
default_prompt_label_mapping={
|
|
266
329
|
"b-per": "persona",
|
|
267
330
|
"i-per": "persona",
|
|
@@ -281,7 +344,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
281
344
|
"{labels_str}. Vērtībām jābūt šī tipa nosaukto objektu sarakstiem, "
|
|
282
345
|
"tieši tā, kā tie parādās teikumā.",
|
|
283
346
|
),
|
|
284
|
-
|
|
347
|
+
NORWEGIAN_BOKMÅL: PromptConfig(
|
|
285
348
|
default_prompt_label_mapping={
|
|
286
349
|
"b-per": "person",
|
|
287
350
|
"i-per": "person",
|
|
@@ -300,7 +363,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
300
363
|
"{labels_str}. Verdiene skal være lister over de navngitte enhetene av den "
|
|
301
364
|
"typen, akkurat som de vises i frasen.",
|
|
302
365
|
),
|
|
303
|
-
|
|
366
|
+
DUTCH: PromptConfig(
|
|
304
367
|
default_prompt_label_mapping={
|
|
305
368
|
"b-per": "persoon",
|
|
306
369
|
"i-per": "persoon",
|
|
@@ -319,7 +382,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
319
382
|
"{labels_str}. De waarden moeten lijsten zijn van de "
|
|
320
383
|
"genoemde entiteiten van dat type, precies zoals ze voorkomen in de zin.",
|
|
321
384
|
),
|
|
322
|
-
|
|
385
|
+
NORWEGIAN_NYNORSK: PromptConfig(
|
|
323
386
|
default_prompt_label_mapping={
|
|
324
387
|
"b-per": "person",
|
|
325
388
|
"i-per": "person",
|
|
@@ -338,7 +401,7 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
338
401
|
"Verdiene skal være lister over de navngitte enhetene "
|
|
339
402
|
"av den typen, akkurat som de vises i frasen.",
|
|
340
403
|
),
|
|
341
|
-
|
|
404
|
+
NORWEGIAN: PromptConfig(
|
|
342
405
|
default_prompt_label_mapping={
|
|
343
406
|
"b-per": "person",
|
|
344
407
|
"i-per": "person",
|
|
@@ -357,26 +420,64 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
357
420
|
"Verdiene skal være lister over de navngitte enhetene "
|
|
358
421
|
"av den typen, akkurat som de vises i frasen.",
|
|
359
422
|
),
|
|
360
|
-
|
|
423
|
+
POLISH: PromptConfig(
|
|
361
424
|
default_prompt_label_mapping={
|
|
362
425
|
"b-per": "osoba",
|
|
363
426
|
"i-per": "osoba",
|
|
364
|
-
"b-loc": "
|
|
365
|
-
"i-loc": "
|
|
427
|
+
"b-loc": "miejsce",
|
|
428
|
+
"i-loc": "miejsce",
|
|
366
429
|
"b-org": "organizacja",
|
|
367
430
|
"i-org": "organizacja",
|
|
368
|
-
"b-misc": "
|
|
369
|
-
"i-misc": "
|
|
431
|
+
"b-misc": "inne",
|
|
432
|
+
"i-misc": "inne",
|
|
433
|
+
},
|
|
434
|
+
default_prompt_prefix="Poniżej znajdują się zdania i słowniki JSON "
|
|
435
|
+
"z jednostkami nazewniczymi, które występują w danym zdaniu.",
|
|
436
|
+
default_prompt_template="Zdanie: {text}\nJednostki nazewnicze: {label}",
|
|
437
|
+
default_instruction_prompt="Zdanie: {text}\n\nZidentyfikuj jednostki "
|
|
438
|
+
"nazewnicze w zdaniu. Wypisz je jako słownik JSON z kluczami "
|
|
439
|
+
"{labels_str}. Wartości odpowiadające kluczom powinny być listami jednostek "
|
|
440
|
+
"nazewniczych danego typu, dokładnie tak, jak pojawiają się w zdaniu.",
|
|
441
|
+
),
|
|
442
|
+
SLOVAK: PromptConfig(
|
|
443
|
+
default_prompt_label_mapping={
|
|
444
|
+
"b-per": "osoba",
|
|
445
|
+
"i-per": "osoba",
|
|
446
|
+
"b-loc": "miesto",
|
|
447
|
+
"i-loc": "miesto",
|
|
448
|
+
"b-org": "organizácia",
|
|
449
|
+
"i-org": "organizácia",
|
|
450
|
+
"b-misc": "rôzne",
|
|
451
|
+
"i-misc": "rôzne",
|
|
370
452
|
},
|
|
371
|
-
default_prompt_prefix="
|
|
372
|
-
"
|
|
373
|
-
default_prompt_template="
|
|
374
|
-
default_instruction_prompt="
|
|
375
|
-
"
|
|
376
|
-
"{labels_str}.
|
|
377
|
-
"
|
|
453
|
+
default_prompt_prefix="Nasledujúce sú vety a JSON-objekty s pomenovanými "
|
|
454
|
+
"entitami, ktoré sa nachádzajú v danej vete.",
|
|
455
|
+
default_prompt_template="Veta: {text}\nPomenované entity: {label}",
|
|
456
|
+
default_instruction_prompt="Veta: {text}\n\nIdentifikujte pomenované "
|
|
457
|
+
"entity vo vete. Výstup by mal byť vo forme JSON-objektu s kľúčmi "
|
|
458
|
+
"{labels_str}. Hodnoty by mali byť zoznamy pomenovaných entít danej "
|
|
459
|
+
"kategórie, presne tak, ako sa vyskytujú vo vete.",
|
|
378
460
|
),
|
|
379
|
-
|
|
461
|
+
SERBIAN: PromptConfig(
|
|
462
|
+
default_prompt_label_mapping={
|
|
463
|
+
"b-per": "osoba",
|
|
464
|
+
"i-per": "osoba",
|
|
465
|
+
"b-loc": "mesto",
|
|
466
|
+
"i-loc": "mesto",
|
|
467
|
+
"b-org": "organizacija",
|
|
468
|
+
"i-org": "organizacija",
|
|
469
|
+
"b-misc": "razno",
|
|
470
|
+
"i-misc": "razno",
|
|
471
|
+
},
|
|
472
|
+
default_prompt_prefix="Sledeće su rečenice i JSON rečnici sa imenovanim "
|
|
473
|
+
"entitetima koji se pojavljuju u datoj rečenici.",
|
|
474
|
+
default_prompt_template="Rečenica: {text}\nImenovani entiteti: {label}",
|
|
475
|
+
default_instruction_prompt="Rečenica: {text}\n\nIdentifikujte imenovane "
|
|
476
|
+
"entitete u rečenici. Trebalo bi da ovo ispišete kao JSON rečnik sa ključevima "
|
|
477
|
+
"{labels_str}. Vrednosti treba da budu liste imenovanih entiteta te "
|
|
478
|
+
"kategorije, tačno onako kako se pojavljuju u rečenici.",
|
|
479
|
+
),
|
|
480
|
+
SWEDISH: PromptConfig(
|
|
380
481
|
default_prompt_label_mapping={
|
|
381
482
|
"b-per": "person",
|
|
382
483
|
"i-per": "person",
|
|
@@ -392,7 +493,27 @@ NER_TEMPLATES: dict["Language", PromptConfig] = {
|
|
|
392
493
|
default_prompt_template="Mening: {text}\nNamngivna entiteter: {label}",
|
|
393
494
|
default_instruction_prompt="Mening: {text}\n\nIdentifiera de namngivna "
|
|
394
495
|
"enheterna i meningen. Du ska outputta detta som en JSON-ordbok med nycklarna "
|
|
395
|
-
"{labels_str}. Värdena ska vara listor över de namngivna
|
|
496
|
+
"{labels_str}. Värdena ska vara listor över de namngivna enheterna av den "
|
|
396
497
|
"typen, precis som de förekommer i meningen.",
|
|
397
498
|
),
|
|
499
|
+
UKRAINIAN: PromptConfig(
|
|
500
|
+
default_prompt_label_mapping={
|
|
501
|
+
"b-per": "особа",
|
|
502
|
+
"i-per": "особа",
|
|
503
|
+
"b-loc": "місце",
|
|
504
|
+
"i-loc": "місце",
|
|
505
|
+
"b-org": "організація",
|
|
506
|
+
"i-org": "організація",
|
|
507
|
+
"b-misc": "різне",
|
|
508
|
+
"i-misc": "різне",
|
|
509
|
+
},
|
|
510
|
+
default_prompt_prefix="Нижче наведені речення та JSON-словники з іменованими "
|
|
511
|
+
"сутностями, які присутні у даному реченні.",
|
|
512
|
+
default_prompt_template="Речення: {text}\nІменовані сутності: {label}",
|
|
513
|
+
default_instruction_prompt="Речення: {text}\n\n"
|
|
514
|
+
"Ідентифікуйте іменовані сутності у "
|
|
515
|
+
"реченні. Ви повинні вивести це як JSON-словник з ключами {labels_str}. "
|
|
516
|
+
"Значення мають бути списками іменованих сутностей цього типу, точно "
|
|
517
|
+
"такими, як вони з'являються у реченні.",
|
|
518
|
+
),
|
|
398
519
|
}
|