crfm-helm 0.5.4__py3-none-any.whl → 0.5.6__py3-none-any.whl

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.

Potentially problematic release.


This version of crfm-helm might be problematic. Click here for more details.

Files changed (652) hide show
  1. crfm_helm-0.5.6.dist-info/METADATA +427 -0
  2. crfm_helm-0.5.6.dist-info/RECORD +941 -0
  3. {crfm_helm-0.5.4.dist-info → crfm_helm-0.5.6.dist-info}/WHEEL +1 -1
  4. helm/benchmark/adaptation/adapter_spec.py +13 -1
  5. helm/benchmark/adaptation/adapters/adapter_factory.py +15 -1
  6. helm/benchmark/adaptation/adapters/binary_ranking_adapter.py +1 -1
  7. helm/benchmark/adaptation/adapters/chat_adapter.py +49 -0
  8. helm/benchmark/adaptation/adapters/ehr_instruction_adapter.py +108 -0
  9. helm/benchmark/adaptation/adapters/generation_adapter.py +1 -1
  10. helm/benchmark/adaptation/adapters/in_context_learning_adapter.py +4 -4
  11. helm/benchmark/adaptation/adapters/language_modeling_adapter.py +1 -1
  12. helm/benchmark/adaptation/adapters/multimodal/generation_multimodal_adapter.py +4 -2
  13. helm/benchmark/adaptation/adapters/multimodal/in_context_learning_multimodal_adapter.py +1 -1
  14. helm/benchmark/adaptation/adapters/multimodal/multiple_choice_joint_multimodal_adapter.py +1 -1
  15. helm/benchmark/adaptation/adapters/multimodal/test_in_context_learning_multimodal_adapter.py +4 -2
  16. helm/benchmark/adaptation/adapters/multimodal/test_multimodal_prompt.py +1 -1
  17. helm/benchmark/adaptation/adapters/multiple_choice_calibrated_adapter.py +1 -1
  18. helm/benchmark/adaptation/adapters/multiple_choice_joint_adapter.py +2 -2
  19. helm/benchmark/adaptation/adapters/multiple_choice_joint_chain_of_thought_adapter.py +87 -0
  20. helm/benchmark/adaptation/adapters/multiple_choice_separate_adapter.py +1 -1
  21. helm/benchmark/adaptation/adapters/test_adapter.py +4 -4
  22. helm/benchmark/adaptation/adapters/test_generation_adapter.py +3 -3
  23. helm/benchmark/adaptation/adapters/test_language_modeling_adapter.py +2 -2
  24. helm/benchmark/adaptation/adapters/test_multiple_choice_joint_adapter.py +2 -2
  25. helm/benchmark/adaptation/common_adapter_specs.py +69 -4
  26. helm/benchmark/adaptation/prompt.py +1 -1
  27. helm/benchmark/annotation/aci_bench_annotator.py +95 -0
  28. helm/benchmark/annotation/air_bench_annotator.py +21 -6
  29. helm/benchmark/annotation/annotator.py +5 -0
  30. helm/benchmark/annotation/annotator_factory.py +3 -20
  31. helm/benchmark/annotation/autobencher_capabilities_annotator.py +107 -0
  32. helm/benchmark/annotation/autobencher_safety_annotator.py +98 -0
  33. helm/benchmark/annotation/bigcodebench_annotator.py +108 -0
  34. helm/benchmark/annotation/bird_sql_annotator.py +58 -0
  35. helm/benchmark/annotation/chw_care_plan_annotator.py +93 -0
  36. helm/benchmark/annotation/czech_bank_qa_annotator.py +78 -0
  37. helm/benchmark/annotation/dischargeme_annotator.py +107 -0
  38. helm/benchmark/annotation/ehr_sql_annotator.py +87 -0
  39. helm/benchmark/annotation/helpdesk_call_summarization_annotator.py +131 -0
  40. helm/benchmark/annotation/image2struct/image_compiler_annotator.py +6 -1
  41. helm/benchmark/annotation/live_qa_annotator.py +1 -1
  42. helm/benchmark/annotation/med_dialog_annotator.py +99 -0
  43. helm/benchmark/annotation/medalign_annotator.py +100 -0
  44. helm/benchmark/annotation/medi_qa_annotator.py +98 -0
  45. helm/benchmark/annotation/medication_qa_annotator.py +87 -63
  46. helm/benchmark/annotation/mental_health_annotator.py +98 -0
  47. helm/benchmark/annotation/mimic_bhc_annotator.py +100 -0
  48. helm/benchmark/annotation/mimic_rrs_annotator.py +100 -0
  49. helm/benchmark/annotation/model_as_judge.py +214 -6
  50. helm/benchmark/annotation/mtsamples_procedures_annotator.py +98 -0
  51. helm/benchmark/annotation/mtsamples_replicate_annotator.py +101 -0
  52. helm/benchmark/annotation/omni_math/gpt_evaluation_template.txt +152 -0
  53. helm/benchmark/annotation/omni_math/gpt_evaluation_zero_shot_template.txt +36 -0
  54. helm/benchmark/annotation/omni_math_annotator.py +131 -0
  55. helm/benchmark/annotation/spider_annotator.py +18 -0
  56. helm/benchmark/annotation/starr_patient_instructions_annotator.py +98 -0
  57. helm/benchmark/annotation/wildbench/eval_template.pairwise.v2.md +75 -0
  58. helm/benchmark/annotation/wildbench/eval_template.score.v2.md +66 -0
  59. helm/benchmark/annotation/wildbench_annotator.py +119 -0
  60. helm/benchmark/annotation_executor.py +35 -15
  61. helm/benchmark/augmentations/cleva_perturbation.py +9 -8
  62. helm/benchmark/augmentations/contraction_expansion_perturbation.py +2 -2
  63. helm/benchmark/augmentations/contrast_sets_perturbation.py +2 -2
  64. helm/benchmark/augmentations/dialect_perturbation.py +4 -5
  65. helm/benchmark/augmentations/extra_space_perturbation.py +2 -2
  66. helm/benchmark/augmentations/filler_words_perturbation.py +2 -2
  67. helm/benchmark/augmentations/gender_perturbation.py +2 -2
  68. helm/benchmark/augmentations/lowercase_perturbation.py +2 -2
  69. helm/benchmark/augmentations/mild_mix_perturbation.py +6 -6
  70. helm/benchmark/augmentations/misspelling_perturbation.py +2 -2
  71. helm/benchmark/augmentations/person_name_perturbation.py +4 -5
  72. helm/benchmark/augmentations/perturbation.py +1 -1
  73. helm/benchmark/augmentations/space_perturbation.py +2 -2
  74. helm/benchmark/augmentations/suffix_perturbation.py +2 -2
  75. helm/benchmark/augmentations/synonym_perturbation.py +4 -3
  76. helm/benchmark/augmentations/test_perturbation.py +16 -13
  77. helm/benchmark/augmentations/translate_perturbation.py +2 -2
  78. helm/benchmark/augmentations/typos_perturbation.py +2 -2
  79. helm/benchmark/data_preprocessor.py +2 -2
  80. helm/benchmark/executor.py +11 -12
  81. helm/benchmark/huggingface_registration.py +2 -7
  82. helm/benchmark/metrics/aci_bench_metrics.py +14 -0
  83. helm/benchmark/metrics/basic_metrics.py +6 -6
  84. helm/benchmark/metrics/bbq_metrics.py +2 -2
  85. helm/benchmark/metrics/bias_metrics.py +12 -3
  86. helm/benchmark/metrics/bias_word_lists.py +1 -1
  87. helm/benchmark/metrics/bigcodebench_metrics.py +25 -0
  88. helm/benchmark/metrics/bird_sql_metrics.py +28 -0
  89. helm/benchmark/metrics/chw_care_plan_metrics.py +14 -0
  90. helm/benchmark/metrics/classification_metrics.py +76 -12
  91. helm/benchmark/metrics/cleva_harms_metrics.py +10 -9
  92. helm/benchmark/metrics/code_metrics.py +5 -5
  93. helm/benchmark/metrics/comet_metric.py +125 -0
  94. helm/benchmark/metrics/common_metric_specs.py +9 -2
  95. helm/benchmark/metrics/conv_fin_qa_calc_metrics.py +72 -0
  96. helm/benchmark/metrics/copyright_metrics.py +4 -4
  97. helm/benchmark/metrics/czech_bank_qa_metrics.py +29 -0
  98. helm/benchmark/metrics/decodingtrust_fairness_metrics.py +2 -2
  99. helm/benchmark/metrics/decodingtrust_privacy_metrics.py +2 -2
  100. helm/benchmark/metrics/decodingtrust_stereotype_bias_metrics.py +2 -2
  101. helm/benchmark/metrics/dischargeme_metrics.py +14 -0
  102. helm/benchmark/metrics/disinformation_metrics.py +4 -4
  103. helm/benchmark/metrics/dry_run_metrics.py +5 -5
  104. helm/benchmark/metrics/efficiency_metrics.py +6 -6
  105. helm/benchmark/metrics/ehr_sql_metrics.py +103 -0
  106. helm/benchmark/metrics/evaluate_instances_metric.py +3 -3
  107. helm/benchmark/metrics/evaluate_reference_metrics.py +144 -16
  108. helm/benchmark/metrics/gpqa_chain_of_thought_metric.py +103 -0
  109. helm/benchmark/metrics/gpt4_audio_critique_metrics.py +167 -0
  110. helm/benchmark/metrics/gpt4_audio_refusal_metrics.py +145 -0
  111. helm/benchmark/metrics/helpdesk_call_summarization_metrics.py +36 -0
  112. helm/benchmark/metrics/ifeval/__init__.py +0 -0
  113. helm/benchmark/metrics/ifeval/instructions.py +1574 -0
  114. helm/benchmark/metrics/ifeval/instructions_registry.py +182 -0
  115. helm/benchmark/metrics/ifeval/instructions_registry.pyi +3 -0
  116. helm/benchmark/metrics/ifeval/instructions_util.py +153 -0
  117. helm/benchmark/metrics/ifeval_metrics.py +55 -0
  118. helm/benchmark/metrics/image_generation/aesthetics_metrics.py +1 -1
  119. helm/benchmark/metrics/image_generation/detection_metrics.py +1 -1
  120. helm/benchmark/metrics/image_generation/detectors/vitdet.py +1 -1
  121. helm/benchmark/metrics/image_generation/fractal_dimension/test_fractal_dimension_util.py +1 -1
  122. helm/benchmark/metrics/image_generation/fractal_dimension_metric.py +1 -1
  123. helm/benchmark/metrics/image_generation/nsfw_metrics.py +1 -1
  124. helm/benchmark/metrics/image_generation/q16/test_q16.py +3 -1
  125. helm/benchmark/metrics/image_generation/q16_toxicity_metrics.py +1 -1
  126. helm/benchmark/metrics/image_generation/skin_tone_metrics.py +2 -2
  127. helm/benchmark/metrics/image_generation/watermark/test_watermark_detector.py +1 -1
  128. helm/benchmark/metrics/image_generation/watermark_metrics.py +1 -1
  129. helm/benchmark/metrics/instruction_following_critique_metrics.py +4 -4
  130. helm/benchmark/metrics/kpi_edgar_metrics.py +121 -0
  131. helm/benchmark/metrics/language_modeling_metrics.py +4 -4
  132. helm/benchmark/metrics/llm_jury_metrics.py +46 -0
  133. helm/benchmark/metrics/machine_translation_metrics.py +2 -2
  134. helm/benchmark/metrics/med_dialog_metrics.py +14 -0
  135. helm/benchmark/metrics/medalign_metrics.py +14 -0
  136. helm/benchmark/metrics/medcalc_bench_metrics.py +124 -0
  137. helm/benchmark/metrics/medec_metrics.py +101 -0
  138. helm/benchmark/metrics/medi_qa_metrics.py +14 -0
  139. helm/benchmark/metrics/medication_qa_metrics.py +10 -19
  140. helm/benchmark/metrics/melt_bias_metric.py +234 -0
  141. helm/benchmark/metrics/melt_bias_word_lists.py +1367 -0
  142. helm/benchmark/metrics/melt_metric_specs.py +43 -0
  143. helm/benchmark/metrics/melt_toxicity_metric.py +107 -0
  144. helm/benchmark/metrics/mental_health_metrics.py +14 -0
  145. helm/benchmark/metrics/metric.py +3 -3
  146. helm/benchmark/metrics/metric_service.py +11 -11
  147. helm/benchmark/metrics/mimic_bhc_metrics.py +14 -0
  148. helm/benchmark/metrics/mimic_rrs_metrics.py +14 -0
  149. helm/benchmark/metrics/mimiciv_billing_code_metrics.py +96 -0
  150. helm/benchmark/metrics/mtsamples_procedures_metrics.py +14 -0
  151. helm/benchmark/metrics/mtsamples_replicate_metrics.py +14 -0
  152. helm/benchmark/metrics/nltk_helper.py +32 -0
  153. helm/benchmark/metrics/numeracy_metrics.py +4 -4
  154. helm/benchmark/metrics/omni_math_metrics.py +32 -0
  155. helm/benchmark/metrics/openai_mrcr_metrics.py +52 -0
  156. helm/benchmark/metrics/output_processing_metric.py +60 -0
  157. helm/benchmark/metrics/output_processors.py +15 -0
  158. helm/benchmark/metrics/paraphrase_generation_metrics.py +2 -2
  159. helm/benchmark/metrics/ranking_metrics.py +3 -3
  160. helm/benchmark/metrics/reference_metric.py +3 -3
  161. helm/benchmark/metrics/ruler_qa_metrics.py +34 -0
  162. helm/benchmark/metrics/{bhasa_metrics.py → seahelm_metrics.py} +3 -3
  163. helm/benchmark/metrics/seahelm_metrics_specs.py +10 -0
  164. helm/benchmark/metrics/spider_metrics.py +7 -0
  165. helm/benchmark/metrics/starr_patient_instructions_metrics.py +14 -0
  166. helm/benchmark/metrics/statistic.py +1 -1
  167. helm/benchmark/metrics/summac/model_summac.py +2 -3
  168. helm/benchmark/metrics/summarization_critique_metrics.py +4 -4
  169. helm/benchmark/metrics/summarization_metrics.py +20 -9
  170. helm/benchmark/metrics/test_bias_metrics.py +5 -1
  171. helm/benchmark/metrics/test_classification_metrics.py +140 -68
  172. helm/benchmark/metrics/test_evaluate_reference_metrics.py +15 -0
  173. helm/benchmark/metrics/test_metric.py +1 -1
  174. helm/benchmark/metrics/test_statistic.py +2 -2
  175. helm/benchmark/metrics/tokens/ai21_token_cost_estimator.py +1 -1
  176. helm/benchmark/metrics/tokens/auto_token_cost_estimator.py +6 -6
  177. helm/benchmark/metrics/tokens/cohere_token_cost_estimator.py +1 -1
  178. helm/benchmark/metrics/tokens/free_token_cost_estimator.py +1 -1
  179. helm/benchmark/metrics/tokens/gooseai_token_cost_estimator.py +1 -1
  180. helm/benchmark/metrics/tokens/openai_token_cost_estimator.py +1 -1
  181. helm/benchmark/metrics/tokens/test_ai21_token_cost_estimator.py +1 -1
  182. helm/benchmark/metrics/tokens/test_openai_token_cost_estimator.py +3 -3
  183. helm/benchmark/metrics/toxicity_metrics.py +6 -6
  184. helm/benchmark/metrics/unitxt_metrics.py +7 -5
  185. helm/benchmark/metrics/vision_language/emd_utils.py +4 -2
  186. helm/benchmark/metrics/vision_language/image_metrics.py +1 -1
  187. helm/benchmark/metrics/vision_language/image_utils.py +2 -2
  188. helm/benchmark/metrics/wildbench_metrics.py +34 -0
  189. helm/benchmark/model_deployment_registry.py +6 -8
  190. helm/benchmark/model_metadata_registry.py +16 -0
  191. helm/benchmark/presentation/contamination.py +3 -3
  192. helm/benchmark/presentation/create_plots.py +33 -12
  193. helm/benchmark/presentation/run_display.py +13 -0
  194. helm/benchmark/presentation/schema.py +2 -1
  195. helm/benchmark/presentation/summarize.py +97 -67
  196. helm/benchmark/presentation/torr_robustness_summarizer.py +178 -0
  197. helm/benchmark/reeval_run.py +202 -0
  198. helm/benchmark/reeval_runner.py +355 -0
  199. helm/benchmark/run.py +86 -90
  200. helm/benchmark/run_expander.py +90 -9
  201. helm/benchmark/run_spec_factory.py +13 -0
  202. helm/benchmark/run_specs/air_bench_run_specs.py +21 -3
  203. helm/benchmark/run_specs/audio_run_specs.py +657 -0
  204. helm/benchmark/run_specs/call_center_run_specs.py +49 -0
  205. helm/benchmark/run_specs/capabilities_run_specs.py +308 -0
  206. helm/benchmark/run_specs/classic_run_specs.py +1 -69
  207. helm/benchmark/run_specs/enem_challenge_specs.py +31 -0
  208. helm/benchmark/run_specs/enterprise_run_specs.py +280 -0
  209. helm/benchmark/run_specs/experimental_run_specs.py +142 -3
  210. helm/benchmark/run_specs/imdb_ptbr_run_specs.py +30 -0
  211. helm/benchmark/run_specs/lite_run_specs.py +2 -2
  212. helm/benchmark/run_specs/long_context_run_specs.py +141 -0
  213. helm/benchmark/run_specs/medhelm_run_specs.py +1260 -0
  214. helm/benchmark/run_specs/melt_run_specs.py +783 -0
  215. helm/benchmark/run_specs/mmlu_clinical_afr_run_specs.py +49 -0
  216. helm/benchmark/run_specs/oab_exams_specs.py +32 -0
  217. helm/benchmark/run_specs/safety_run_specs.py +37 -0
  218. helm/benchmark/run_specs/{bhasa_run_specs.py → seahelm_run_specs.py} +44 -44
  219. helm/benchmark/run_specs/speech_disorder_audio_run_specs.py +169 -0
  220. helm/benchmark/run_specs/sql_run_specs.py +54 -0
  221. helm/benchmark/run_specs/tweetsentbr_run_specs.py +32 -0
  222. helm/benchmark/run_specs/unitxt_run_specs.py +14 -5
  223. helm/benchmark/run_specs/vlm_run_specs.py +103 -2
  224. helm/benchmark/run_specs/winogrande_afr_run_specs.py +47 -0
  225. helm/benchmark/runner.py +5 -5
  226. helm/benchmark/scenarios/aci_bench_scenario.py +126 -0
  227. helm/benchmark/scenarios/air_bench_scenario.py +6 -1
  228. helm/benchmark/scenarios/anthropic_hh_rlhf_scenario.py +5 -3
  229. helm/benchmark/scenarios/anthropic_red_team_scenario.py +1 -1
  230. helm/benchmark/scenarios/audio_language/__init__.py +0 -0
  231. helm/benchmark/scenarios/audio_language/air_bench_chat_scenario.py +130 -0
  232. helm/benchmark/scenarios/audio_language/air_bench_foundation_scenario.py +154 -0
  233. helm/benchmark/scenarios/audio_language/ami_scenario.py +96 -0
  234. helm/benchmark/scenarios/audio_language/audio_mnist_scenario.py +62 -0
  235. helm/benchmark/scenarios/audio_language/audio_pairs_scenario.py +62 -0
  236. helm/benchmark/scenarios/audio_language/audiocaps_scenario.py +59 -0
  237. helm/benchmark/scenarios/audio_language/casual_conversations2_scenario.py +152 -0
  238. helm/benchmark/scenarios/audio_language/common_voice_15_scenario.py +99 -0
  239. helm/benchmark/scenarios/audio_language/corebench_scenario.py +77 -0
  240. helm/benchmark/scenarios/audio_language/covost2_scenario.py +163 -0
  241. helm/benchmark/scenarios/audio_language/fleurs_fairness_scenario.py +83 -0
  242. helm/benchmark/scenarios/audio_language/fleurs_scenario.py +312 -0
  243. helm/benchmark/scenarios/audio_language/iemocap_audio_scenario.py +83 -0
  244. helm/benchmark/scenarios/audio_language/librispeech_fairness_scenario.py +96 -0
  245. helm/benchmark/scenarios/audio_language/librispeech_scenario.py +80 -0
  246. helm/benchmark/scenarios/audio_language/meld_audio_scenario.py +113 -0
  247. helm/benchmark/scenarios/audio_language/multilingual_librispeech_scenario.py +80 -0
  248. helm/benchmark/scenarios/audio_language/mustard_scenario.py +142 -0
  249. helm/benchmark/scenarios/audio_language/mutox_scenario.py +254 -0
  250. helm/benchmark/scenarios/audio_language/parade_scenario.py +97 -0
  251. helm/benchmark/scenarios/audio_language/speech_robust_bench_scenario.py +124 -0
  252. helm/benchmark/scenarios/audio_language/ultra_suite_asr_classification.py +103 -0
  253. helm/benchmark/scenarios/audio_language/ultra_suite_classification_scenario.py +110 -0
  254. helm/benchmark/scenarios/audio_language/ultra_suite_disorder_breakdown_scenario.py +78 -0
  255. helm/benchmark/scenarios/audio_language/ultra_suite_disorder_symptoms_scenario.py +109 -0
  256. helm/benchmark/scenarios/audio_language/vocal_sound_scenario.py +83 -0
  257. helm/benchmark/scenarios/audio_language/voice_jailbreak_attacks_scenario.py +87 -0
  258. helm/benchmark/scenarios/audio_language/voxceleb2_scenario.py +105 -0
  259. helm/benchmark/scenarios/autobencher_capabilities_scenario.py +68 -0
  260. helm/benchmark/scenarios/autobencher_safety_scenario.py +51 -0
  261. helm/benchmark/scenarios/babi_qa_scenario.py +1 -1
  262. helm/benchmark/scenarios/banking77_scenario.py +6 -1
  263. helm/benchmark/scenarios/bbq_scenario.py +1 -1
  264. helm/benchmark/scenarios/big_bench_scenario.py +11 -1
  265. helm/benchmark/scenarios/bigcodebench_scenario.py +58 -0
  266. helm/benchmark/scenarios/bird_sql_scenario.py +94 -0
  267. helm/benchmark/scenarios/bird_sql_scenario_helper.py +118 -0
  268. helm/benchmark/scenarios/blimp_scenario.py +1 -1
  269. helm/benchmark/scenarios/bold_scenario.py +1 -1
  270. helm/benchmark/scenarios/boolq_scenario.py +1 -1
  271. helm/benchmark/scenarios/casehold_scenario.py +79 -0
  272. helm/benchmark/scenarios/chw_care_plan_scenario.py +106 -0
  273. helm/benchmark/scenarios/civil_comments_scenario.py +1 -1
  274. helm/benchmark/scenarios/clear_scenario.py +157 -0
  275. helm/benchmark/scenarios/cleva_scenario.py +2 -2
  276. helm/benchmark/scenarios/code_scenario.py +17 -4
  277. helm/benchmark/scenarios/commonsense_scenario.py +1 -1
  278. helm/benchmark/scenarios/conv_fin_qa_calc_scenario.py +97 -0
  279. helm/benchmark/scenarios/copyright_scenario.py +1 -1
  280. helm/benchmark/scenarios/covid_dialog_scenario.py +10 -1
  281. helm/benchmark/scenarios/cti_to_mitre_scenario.py +240 -0
  282. helm/benchmark/scenarios/custom_mcqa_scenario.py +1 -1
  283. helm/benchmark/scenarios/czech_bank_qa_scenario.py +130 -0
  284. helm/benchmark/scenarios/decodingtrust_adv_demonstration_scenario.py +1 -1
  285. helm/benchmark/scenarios/decodingtrust_privacy_scenario.py +1 -1
  286. helm/benchmark/scenarios/decodingtrust_stereotype_bias_scenario.py +1 -1
  287. helm/benchmark/scenarios/decodingtrust_toxicity_prompts_scenario.py +1 -1
  288. helm/benchmark/scenarios/dialogue_scenarios.py +13 -2
  289. helm/benchmark/scenarios/dischargeme_scenario.py +172 -0
  290. helm/benchmark/scenarios/disinformation_scenario.py +10 -1
  291. helm/benchmark/scenarios/dyck_language_scenario.py +10 -1
  292. helm/benchmark/scenarios/echr_judgment_classification_scenario.py +113 -0
  293. helm/benchmark/scenarios/ehr_sql_scenario.py +137 -0
  294. helm/benchmark/scenarios/ehrshot_scenario.py +1519 -0
  295. helm/benchmark/scenarios/enem_challenge_scenario.py +58 -0
  296. helm/benchmark/scenarios/entity_data_imputation_scenario.py +11 -1
  297. helm/benchmark/scenarios/entity_matching_scenario.py +12 -2
  298. helm/benchmark/scenarios/financial_phrasebank_scenario.py +94 -0
  299. helm/benchmark/scenarios/gold_commodity_news_scenario.py +124 -0
  300. helm/benchmark/scenarios/gpqa_scenario.py +80 -0
  301. helm/benchmark/scenarios/grammar.py +2 -2
  302. helm/benchmark/scenarios/grammar_scenario.py +2 -2
  303. helm/benchmark/scenarios/gsm_scenario.py +10 -1
  304. helm/benchmark/scenarios/harm_bench_gcg_transfer_scenario.py +50 -0
  305. helm/benchmark/scenarios/harm_bench_scenario.py +1 -1
  306. helm/benchmark/scenarios/headqa_scenario.py +136 -0
  307. helm/benchmark/scenarios/helpdesk_call_summarization_scenario.py +37 -0
  308. helm/benchmark/scenarios/ice_scenario.py +8 -4
  309. helm/benchmark/scenarios/ifeval_scenario.py +53 -0
  310. helm/benchmark/scenarios/imdb_ptbr_scenario.py +60 -0
  311. helm/benchmark/scenarios/imdb_scenario.py +11 -2
  312. helm/benchmark/scenarios/infinite_bench_en_qa_scenario.py +85 -0
  313. helm/benchmark/scenarios/infinite_bench_en_sum_scenario.py +79 -0
  314. helm/benchmark/scenarios/interactive_qa_mmlu_scenario.py +2 -2
  315. helm/benchmark/scenarios/koala_scenario.py +1 -1
  316. helm/benchmark/scenarios/kpi_edgar_scenario.py +151 -0
  317. helm/benchmark/scenarios/legal_contract_summarization_scenario.py +129 -0
  318. helm/benchmark/scenarios/legal_opinion_sentiment_classification_scenario.py +77 -0
  319. helm/benchmark/scenarios/legal_summarization_scenario.py +11 -1
  320. helm/benchmark/scenarios/legal_support_scenario.py +11 -1
  321. helm/benchmark/scenarios/legalbench_scenario.py +22 -3
  322. helm/benchmark/scenarios/lex_glue_scenario.py +12 -2
  323. helm/benchmark/scenarios/lextreme_scenario.py +11 -1
  324. helm/benchmark/scenarios/live_qa_scenario.py +1 -1
  325. helm/benchmark/scenarios/lm_entry_scenario.py +1 -1
  326. helm/benchmark/scenarios/lsat_qa_scenario.py +1 -1
  327. helm/benchmark/scenarios/math_scenario.py +9 -1
  328. helm/benchmark/scenarios/me_q_sum_scenario.py +10 -1
  329. helm/benchmark/scenarios/med_dialog_scenario.py +25 -22
  330. helm/benchmark/scenarios/med_mcqa_scenario.py +10 -1
  331. helm/benchmark/scenarios/med_paragraph_simplification_scenario.py +10 -1
  332. helm/benchmark/scenarios/med_qa_scenario.py +10 -1
  333. helm/benchmark/scenarios/medalign_scenario.py +94 -0
  334. helm/benchmark/scenarios/medalign_scenario_helper.py +432 -0
  335. helm/benchmark/scenarios/medbullets_scenario.py +145 -0
  336. helm/benchmark/scenarios/medcalc_bench_scenario.py +127 -0
  337. helm/benchmark/scenarios/medec_scenario.py +125 -0
  338. helm/benchmark/scenarios/medhallu_scenario.py +72 -0
  339. helm/benchmark/scenarios/medi_qa_scenario.py +111 -0
  340. helm/benchmark/scenarios/medication_qa_scenario.py +8 -2
  341. helm/benchmark/scenarios/melt_ir_scenario.py +171 -0
  342. helm/benchmark/scenarios/melt_knowledge_scenario.py +246 -0
  343. helm/benchmark/scenarios/melt_lm_scenarios.py +252 -0
  344. helm/benchmark/scenarios/melt_scenarios.py +793 -0
  345. helm/benchmark/scenarios/melt_srn_scenario.py +342 -0
  346. helm/benchmark/scenarios/melt_synthetic_reasoning_scenario.py +222 -0
  347. helm/benchmark/scenarios/melt_translation_scenario.py +152 -0
  348. helm/benchmark/scenarios/mental_health_scenario.py +123 -0
  349. helm/benchmark/scenarios/mimic_bhc_scenario.py +103 -0
  350. helm/benchmark/scenarios/mimic_rrs_scenario.py +98 -0
  351. helm/benchmark/scenarios/mimiciv_billing_code_scenario.py +77 -0
  352. helm/benchmark/scenarios/mmlu_clinical_afr_scenario.py +74 -0
  353. helm/benchmark/scenarios/mmlu_pro_scenario.py +95 -0
  354. helm/benchmark/scenarios/mmlu_scenario.py +11 -1
  355. helm/benchmark/scenarios/msmarco_scenario.py +1 -1
  356. helm/benchmark/scenarios/mtsamples_procedures_scenario.py +144 -0
  357. helm/benchmark/scenarios/mtsamples_replicate_scenario.py +142 -0
  358. helm/benchmark/scenarios/n2c2_ct_matching_scenario.py +277 -0
  359. helm/benchmark/scenarios/narrativeqa_scenario.py +1 -1
  360. helm/benchmark/scenarios/natural_qa_scenario.py +1 -1
  361. helm/benchmark/scenarios/newsqa_scenario.py +1 -1
  362. helm/benchmark/scenarios/numeracy_scenario.py +12 -2
  363. helm/benchmark/scenarios/oab_exams_scenario.py +57 -0
  364. helm/benchmark/scenarios/omni_math_scenario.py +53 -0
  365. helm/benchmark/scenarios/open_assistant_scenario.py +11 -2
  366. helm/benchmark/scenarios/openai_mrcr_scenario.py +79 -0
  367. helm/benchmark/scenarios/opinions_qa_scenario.py +1 -1
  368. helm/benchmark/scenarios/pubmed_qa_scenario.py +59 -43
  369. helm/benchmark/scenarios/quac_scenario.py +10 -1
  370. helm/benchmark/scenarios/race_based_med_scenario.py +152 -0
  371. helm/benchmark/scenarios/raft_scenario.py +17 -2
  372. helm/benchmark/scenarios/real_toxicity_prompts_scenario.py +1 -1
  373. helm/benchmark/scenarios/ruler_qa_scenario_helper.py +171 -0
  374. helm/benchmark/scenarios/ruler_qa_scenarios.py +88 -0
  375. helm/benchmark/scenarios/scenario.py +9 -1
  376. helm/benchmark/scenarios/{bhasa_scenario.py → seahelm_scenario.py} +7 -2
  377. helm/benchmark/scenarios/self_instruct_scenario.py +1 -1
  378. helm/benchmark/scenarios/shc_bmt_scenario.py +75 -0
  379. helm/benchmark/scenarios/shc_cdi_scenario.py +75 -0
  380. helm/benchmark/scenarios/shc_conf_scenario.py +76 -0
  381. helm/benchmark/scenarios/shc_ent_scenario.py +77 -0
  382. helm/benchmark/scenarios/shc_gip_scenario.py +74 -0
  383. helm/benchmark/scenarios/shc_privacy_scenario.py +78 -0
  384. helm/benchmark/scenarios/shc_proxy_scenario.py +76 -0
  385. helm/benchmark/scenarios/shc_ptbm_scenario.py +81 -0
  386. helm/benchmark/scenarios/shc_sei_scenario.py +94 -0
  387. helm/benchmark/scenarios/shc_sequoia_scenario.py +77 -0
  388. helm/benchmark/scenarios/simple_safety_tests_scenario.py +1 -1
  389. helm/benchmark/scenarios/spider_scenario.py +91 -0
  390. helm/benchmark/scenarios/starr_patient_instructions_scenario.py +97 -0
  391. helm/benchmark/scenarios/summarization_scenario.py +11 -1
  392. helm/benchmark/scenarios/sumosum_scenario.py +157 -0
  393. helm/benchmark/scenarios/synthetic_efficiency_scenario.py +1 -1
  394. helm/benchmark/scenarios/synthetic_reasoning_natural_scenario.py +11 -1
  395. helm/benchmark/scenarios/synthetic_reasoning_scenario.py +11 -1
  396. helm/benchmark/scenarios/test_bigcodebench_scenario.py +26 -0
  397. helm/benchmark/scenarios/test_czech_bank_qa_scenario.py +18 -0
  398. helm/benchmark/scenarios/test_enem_challenge_scenario.py +53 -0
  399. helm/benchmark/scenarios/test_ewok_scenario.py +6 -2
  400. helm/benchmark/scenarios/test_gold_commodity_news_scenario.py +18 -0
  401. helm/benchmark/scenarios/test_gpqa_scenario.py +44 -0
  402. helm/benchmark/scenarios/test_ifeval_scenario.py +36 -0
  403. helm/benchmark/scenarios/test_imdb_ptbr_scenario.py +27 -0
  404. helm/benchmark/scenarios/test_infinite_bench_en_qa_scenario.py +18 -0
  405. helm/benchmark/scenarios/test_infinite_bench_en_sum_scenario.py +31 -0
  406. helm/benchmark/scenarios/test_math_scenario.py +1 -0
  407. helm/benchmark/scenarios/test_mmlu_clinical_afr_scenario.py +21 -0
  408. helm/benchmark/scenarios/test_mmlu_pro_scenario.py +53 -0
  409. helm/benchmark/scenarios/test_oab_exams_scenario.py +51 -0
  410. helm/benchmark/scenarios/test_omni_math_scenario.py +27 -0
  411. helm/benchmark/scenarios/test_tweetsentbr_scenario.py +24 -0
  412. helm/benchmark/scenarios/test_wildbench_scenario.py +15 -0
  413. helm/benchmark/scenarios/test_winogrande_afr_scenario.py +19 -0
  414. helm/benchmark/scenarios/thai_exam_scenario.py +10 -1
  415. helm/benchmark/scenarios/the_pile_scenario.py +1 -1
  416. helm/benchmark/scenarios/truthful_qa_scenario.py +12 -2
  417. helm/benchmark/scenarios/tweetsentbr_scenario.py +66 -0
  418. helm/benchmark/scenarios/twitter_aae_scenario.py +1 -1
  419. helm/benchmark/scenarios/unitxt_scenario.py +8 -2
  420. helm/benchmark/scenarios/verifiability_judgment_scenario.py +1 -1
  421. helm/benchmark/scenarios/vicuna_scenario.py +1 -1
  422. helm/benchmark/scenarios/vision_language/blink_scenario.py +140 -0
  423. helm/benchmark/scenarios/vision_language/mm_star_scenario.py +95 -0
  424. helm/benchmark/scenarios/vision_language/msr_vtt_scenario.py +75 -0
  425. helm/benchmark/scenarios/vision_language/vqa_rad_scenario.py +88 -0
  426. helm/benchmark/scenarios/wikifact_scenario.py +11 -1
  427. helm/benchmark/scenarios/wikitext_103_scenario.py +1 -1
  428. helm/benchmark/scenarios/wildbench_scenario.py +83 -0
  429. helm/benchmark/scenarios/winogrande_afr_scenario.py +78 -0
  430. helm/benchmark/scenarios/wmt_14_scenario.py +14 -2
  431. helm/benchmark/scenarios/xstest_scenario.py +1 -1
  432. helm/benchmark/server.py +13 -1
  433. helm/benchmark/slurm_runner.py +1 -1
  434. helm/benchmark/static/schema_audio.yaml +763 -0
  435. helm/benchmark/static/schema_autobencher.yaml +150 -0
  436. helm/benchmark/static/schema_call_center.yaml +97 -60
  437. helm/benchmark/static/{schema_medical.yaml → schema_capabilities.yaml} +100 -101
  438. helm/benchmark/static/schema_czech_bank.yaml +148 -0
  439. helm/benchmark/static/schema_enem_challenge.yaml +146 -0
  440. helm/benchmark/static/schema_enterprise.yaml +319 -0
  441. helm/benchmark/static/schema_finance.yaml +14 -12
  442. helm/benchmark/static/schema_heim.yaml +1389 -0
  443. helm/benchmark/static/schema_long_context.yaml +283 -0
  444. helm/benchmark/static/schema_medhelm.yaml +1140 -0
  445. helm/benchmark/static/schema_melt.yaml +1257 -0
  446. helm/benchmark/static/schema_mmlu_winogrande_afr.yaml +1045 -0
  447. helm/benchmark/static/schema_safety.yaml +18 -1
  448. helm/benchmark/static/{schema_bhasa.yaml → schema_seahelm.yaml} +30 -16
  449. helm/benchmark/static/schema_slphelm.yaml +162 -0
  450. helm/benchmark/static/schema_social_audio.yaml +224 -0
  451. helm/benchmark/static/schema_sql.yaml +171 -0
  452. helm/benchmark/static/{schema_tables.yaml → schema_torr.yaml} +169 -36
  453. helm/benchmark/static/schema_tweetsentbr.yaml +146 -0
  454. helm/benchmark/static/schema_vhelm.yaml +129 -56
  455. helm/benchmark/static/schema_video.yaml +219 -0
  456. helm/benchmark/static_build/assets/helm-safety-2907a7b6.png +0 -0
  457. helm/benchmark/static_build/assets/index-94295e78.js +10 -0
  458. helm/benchmark/static_build/assets/index-b9779128.css +1 -0
  459. helm/benchmark/static_build/assets/medhelm-overview-eac29843.png +0 -0
  460. helm/benchmark/static_build/assets/medhelm-v1-overview-3ddfcd65.png +0 -0
  461. helm/benchmark/static_build/assets/{react-d4a0b69b.js → react-f82877fd.js} +1 -1
  462. helm/benchmark/static_build/assets/{recharts-6d337683.js → recharts-4037aff0.js} +1 -1
  463. helm/benchmark/static_build/assets/{tremor-54a99cc4.js → tremor-38a10867.js} +2 -2
  464. helm/benchmark/static_build/config.js +1 -1
  465. helm/benchmark/static_build/index.html +6 -6
  466. helm/benchmark/window_services/default_window_service.py +1 -1
  467. helm/benchmark/window_services/encoder_decoder_window_service.py +4 -4
  468. helm/benchmark/window_services/ice_window_service.py +1 -1
  469. helm/benchmark/window_services/image_generation/lexica_search_window_service.py +1 -1
  470. helm/benchmark/window_services/image_generation/openai_dalle_window_service.py +1 -1
  471. helm/benchmark/window_services/local_window_service.py +2 -2
  472. helm/benchmark/window_services/test_anthropic_window_service.py +3 -3
  473. helm/benchmark/window_services/test_bloom_window_service.py +3 -3
  474. helm/benchmark/window_services/test_gpt2_window_service.py +7 -2
  475. helm/benchmark/window_services/test_gpt4_window_service.py +8 -3
  476. helm/benchmark/window_services/test_gptj_window_service.py +8 -3
  477. helm/benchmark/window_services/test_gptneox_window_service.py +3 -3
  478. helm/benchmark/window_services/test_openai_window_service.py +8 -3
  479. helm/benchmark/window_services/test_opt_window_service.py +3 -3
  480. helm/benchmark/window_services/test_palmyra_window_service.py +3 -3
  481. helm/benchmark/window_services/test_t0pp_window_service.py +3 -3
  482. helm/benchmark/window_services/test_t511b_window_service.py +3 -3
  483. helm/benchmark/window_services/test_ul2_window_service.py +3 -3
  484. helm/benchmark/window_services/test_utils.py +4 -5
  485. helm/benchmark/window_services/test_yalm_window_service.py +3 -3
  486. helm/benchmark/window_services/tokenizer_service.py +7 -8
  487. helm/benchmark/window_services/yalm_window_service.py +1 -1
  488. helm/clients/ai21_client.py +3 -3
  489. helm/clients/aleph_alpha_client.py +1 -1
  490. helm/clients/anthropic_client.py +69 -29
  491. helm/clients/audio_language/__init__.py +0 -0
  492. helm/clients/audio_language/diva_llama_client.py +120 -0
  493. helm/clients/audio_language/llama_omni_client.py +198 -0
  494. helm/clients/audio_language/qwen2_5_omni_client.py +197 -0
  495. helm/clients/audio_language/qwen2_audiolm_client.py +190 -0
  496. helm/clients/audio_language/qwen_audiolm_client.py +152 -0
  497. helm/clients/audio_language/test.py +62 -0
  498. helm/clients/auto_client.py +4 -2
  499. helm/clients/azure_openai_client.py +55 -0
  500. helm/clients/bedrock_client.py +203 -7
  501. helm/clients/bedrock_utils.py +33 -0
  502. helm/clients/client.py +7 -7
  503. helm/clients/clip_scorers/clip_scorer.py +1 -1
  504. helm/clients/clip_scorers/multilingual_clip_scorer.py +1 -1
  505. helm/clients/cohere_client.py +3 -3
  506. helm/clients/google_client.py +1 -1
  507. helm/clients/grok_client.py +36 -0
  508. helm/clients/http_model_client.py +1 -1
  509. helm/clients/huggingface_client.py +52 -21
  510. helm/clients/huggingface_pipeline_client.py +138 -0
  511. helm/clients/ibm_client.py +267 -0
  512. helm/clients/image_generation/adobe_vision_client.py +1 -1
  513. helm/clients/image_generation/aleph_alpha_image_generation_client.py +1 -1
  514. helm/clients/image_generation/cogview2/sr_pipeline/__init__.py +3 -3
  515. helm/clients/image_generation/cogview2/sr_pipeline/direct_sr.py +5 -2
  516. helm/clients/image_generation/cogview2/sr_pipeline/iterative_sr.py +5 -2
  517. helm/clients/image_generation/cogview2/sr_pipeline/sr_group.py +2 -2
  518. helm/clients/image_generation/cogview2_client.py +1 -1
  519. helm/clients/image_generation/dalle2_client.py +1 -1
  520. helm/clients/image_generation/dalle3_client.py +2 -2
  521. helm/clients/image_generation/dalle_mini/__init__.py +1 -1
  522. helm/clients/image_generation/dalle_mini/data.py +1 -1
  523. helm/clients/image_generation/dalle_mini/model/__init__.py +5 -5
  524. helm/clients/image_generation/dalle_mini/model/configuration.py +2 -2
  525. helm/clients/image_generation/dalle_mini/model/modeling.py +3 -3
  526. helm/clients/image_generation/dalle_mini/model/processor.py +5 -5
  527. helm/clients/image_generation/dalle_mini/model/tokenizer.py +2 -2
  528. helm/clients/image_generation/dalle_mini/vqgan_jax/__init__.py +1 -1
  529. helm/clients/image_generation/dalle_mini/vqgan_jax/convert_pt_model_to_jax.py +2 -2
  530. helm/clients/image_generation/dalle_mini/vqgan_jax/modeling_flax_vqgan.py +1 -1
  531. helm/clients/image_generation/dalle_mini_client.py +1 -1
  532. helm/clients/image_generation/deep_floyd_client.py +1 -1
  533. helm/clients/image_generation/huggingface_diffusers_client.py +1 -1
  534. helm/clients/image_generation/lexica_client.py +1 -1
  535. helm/clients/image_generation/mindalle/models/__init__.py +6 -6
  536. helm/clients/image_generation/mindalle/models/stage1/vqgan.py +1 -1
  537. helm/clients/image_generation/mindalle/models/stage2/transformer.py +1 -1
  538. helm/clients/image_generation/mindalle/utils/__init__.py +3 -3
  539. helm/clients/image_generation/mindalle_client.py +1 -1
  540. helm/clients/image_generation/together_image_generation_client.py +1 -1
  541. helm/clients/lit_gpt_client.py +2 -2
  542. helm/clients/mistral_client.py +62 -18
  543. helm/clients/nvidia_nim_client.py +0 -3
  544. helm/clients/openai_client.py +308 -43
  545. helm/clients/openai_responses_client.py +174 -0
  546. helm/clients/palmyra_client.py +3 -9
  547. helm/clients/reka_client.py +3 -3
  548. helm/clients/stanfordhealthcare_azure_openai_client.py +58 -0
  549. helm/clients/stanfordhealthcare_claude_client.py +31 -0
  550. helm/clients/stanfordhealthcare_google_client.py +43 -0
  551. helm/clients/stanfordhealthcare_http_model_client.py +93 -0
  552. helm/clients/stanfordhealthcare_openai_client.py +62 -0
  553. helm/clients/stanfordhealthcare_shc_openai_client.py +42 -0
  554. helm/clients/test_client.py +1 -1
  555. helm/clients/test_together_client.py +6 -1
  556. helm/clients/together_client.py +76 -9
  557. helm/clients/upstage_client.py +23 -0
  558. helm/clients/vertexai_client.py +45 -13
  559. helm/clients/vision_language/huggingface_vision2seq_client.py +6 -4
  560. helm/clients/vision_language/huggingface_vlm_client.py +2 -2
  561. helm/clients/vision_language/idefics_client.py +6 -2
  562. helm/clients/vision_language/open_flamingo/__init__.py +2 -2
  563. helm/clients/vision_language/open_flamingo/src/factory.py +3 -3
  564. helm/clients/vision_language/open_flamingo/src/flamingo.py +2 -2
  565. helm/clients/vision_language/open_flamingo/src/flamingo_lm.py +2 -2
  566. helm/clients/vision_language/paligemma_client.py +2 -2
  567. helm/clients/vision_language/qwen2_vlm_client.py +188 -0
  568. helm/clients/vision_language/qwen_vlm_client.py +7 -5
  569. helm/clients/vllm_client.py +4 -6
  570. helm/clients/writer_client.py +102 -0
  571. helm/clients/yi_client.py +0 -3
  572. helm/common/audio_utils.py +111 -0
  573. helm/common/context.py +80 -0
  574. helm/common/credentials_utils.py +5 -5
  575. helm/common/file_caches/local_file_cache.py +1 -1
  576. helm/common/file_caches/test_local_file_cache.py +1 -1
  577. helm/common/general.py +9 -2
  578. helm/common/hierarchical_logger.py +46 -3
  579. helm/common/images_utils.py +2 -2
  580. helm/common/local_context.py +140 -0
  581. helm/common/media_object.py +2 -2
  582. helm/common/multimodal_request_utils.py +26 -0
  583. helm/common/reeval_parameters.py +12 -0
  584. helm/common/remote_context.py +61 -0
  585. helm/common/request.py +14 -2
  586. helm/common/response_format.py +18 -0
  587. helm/common/test_media_object.py +1 -1
  588. helm/config/model_deployments.yaml +1792 -28
  589. helm/config/model_metadata.yaml +1606 -51
  590. helm/config/tokenizer_configs.yaml +521 -4
  591. helm/proxy/cli.py +5 -3
  592. helm/proxy/critique/mechanical_turk_utils.py +1 -1
  593. helm/proxy/example_queries.py +1 -1
  594. helm/proxy/server.py +11 -4
  595. helm/proxy/services/remote_service.py +1 -1
  596. helm/proxy/services/server_service.py +22 -86
  597. helm/proxy/services/test_remote_service.py +2 -2
  598. helm/proxy/services/test_service.py +1 -1
  599. helm/proxy/static/general.js +122 -0
  600. helm/proxy/static/help.html +99 -0
  601. helm/proxy/static/index.css +57 -0
  602. helm/proxy/static/index.html +40 -0
  603. helm/proxy/static/index.js +456 -0
  604. helm/proxy/static/info-icon.png +0 -0
  605. helm/proxy/test_retry.py +1 -1
  606. helm/proxy/token_counters/auto_token_counter.py +1 -1
  607. helm/tokenizers/aleph_alpha_tokenizer.py +1 -1
  608. helm/tokenizers/caching_tokenizer.py +2 -30
  609. helm/tokenizers/grok_tokenizer.py +53 -0
  610. helm/tokenizers/http_model_tokenizer.py +1 -1
  611. helm/tokenizers/huggingface_tokenizer.py +3 -3
  612. helm/tokenizers/lit_gpt_tokenizer.py +1 -1
  613. helm/tokenizers/test_anthropic_tokenizer.py +6 -2
  614. helm/tokenizers/test_grok_tokenizer.py +33 -0
  615. helm/tokenizers/test_huggingface_tokenizer.py +1 -1
  616. helm/tokenizers/test_yalm_tokenizer.py +1 -1
  617. helm/tokenizers/tiktoken_tokenizer.py +1 -1
  618. helm/tokenizers/tokenizer.py +3 -1
  619. helm/tokenizers/yalm_tokenizer.py +3 -3
  620. helm/tokenizers/yalm_tokenizer_data/test_yalm_tokenizer.py +1 -1
  621. crfm_helm-0.5.4.dist-info/METADATA +0 -350
  622. crfm_helm-0.5.4.dist-info/RECORD +0 -697
  623. helm/benchmark/metrics/bhasa_metrics_specs.py +0 -10
  624. helm/benchmark/static_build/assets/01-694cb9b7.png +0 -0
  625. helm/benchmark/static_build/assets/accenture-6f97eeda.png +0 -0
  626. helm/benchmark/static_build/assets/ai21-0eb91ec3.png +0 -0
  627. helm/benchmark/static_build/assets/aisingapore-6dfc9acf.png +0 -0
  628. helm/benchmark/static_build/assets/aleph-alpha-7ce10034.png +0 -0
  629. helm/benchmark/static_build/assets/anthropic-70d8bc39.png +0 -0
  630. helm/benchmark/static_build/assets/bigscience-7f0400c0.png +0 -0
  631. helm/benchmark/static_build/assets/cohere-3550c6cb.png +0 -0
  632. helm/benchmark/static_build/assets/cresta-9e22b983.png +0 -0
  633. helm/benchmark/static_build/assets/cuhk-8c5631e9.png +0 -0
  634. helm/benchmark/static_build/assets/eleutherai-b9451114.png +0 -0
  635. helm/benchmark/static_build/assets/google-06d997ad.png +0 -0
  636. helm/benchmark/static_build/assets/index-05c76bb1.css +0 -1
  637. helm/benchmark/static_build/assets/index-3ee38b3d.js +0 -10
  638. helm/benchmark/static_build/assets/meta-5580e9f1.png +0 -0
  639. helm/benchmark/static_build/assets/microsoft-f5ee5016.png +0 -0
  640. helm/benchmark/static_build/assets/mistral-18e1be23.png +0 -0
  641. helm/benchmark/static_build/assets/nvidia-86fa75c1.png +0 -0
  642. helm/benchmark/static_build/assets/openai-3f8653e4.png +0 -0
  643. helm/benchmark/static_build/assets/scb10x-204bd786.png +0 -0
  644. helm/benchmark/static_build/assets/tii-24de195c.png +0 -0
  645. helm/benchmark/static_build/assets/together-a665a35b.png +0 -0
  646. helm/benchmark/static_build/assets/tsinghua-keg-97d4b395.png +0 -0
  647. helm/benchmark/static_build/assets/wellsfargo-a86a6c4a.png +0 -0
  648. helm/benchmark/static_build/assets/yandex-38e09d70.png +0 -0
  649. helm/tokenizers/anthropic_tokenizer.py +0 -52
  650. {crfm_helm-0.5.4.dist-info → crfm_helm-0.5.6.dist-info}/entry_points.txt +0 -0
  651. {crfm_helm-0.5.4.dist-info → crfm_helm-0.5.6.dist-info/licenses}/LICENSE +0 -0
  652. {crfm_helm-0.5.4.dist-info → crfm_helm-0.5.6.dist-info}/top_level.txt +0 -0
@@ -0,0 +1,1367 @@
1
+ """Bias words utilised to compute the bias metrics.
2
+
3
+ This file includes word lists for the following 4 categories:
4
+ - Race (Asian, Hispanic, and White): Most common names for each race (Garg et al. 2018)
5
+ - Gender (Female, Male): Gender specific words - such as woman, man etc. - for each gender (Bolukbasi et al. 2016)
6
+ - Adjectives: List of adjectives (Garg et al. 2018)
7
+ - Professions: List of professions (Bolukbasi et al. 2016)
8
+
9
+ References:
10
+ - Garg et al. 2018 | https://arxiv.org/abs/1711.08412
11
+ - Bolukbasi et al. 2016 | https://arxiv.org/abs/1607.06520
12
+
13
+ """
14
+
15
+ from typing import Dict, List
16
+
17
+
18
+ FEMALE_WORDS: List[str] = [
19
+ "gái",
20
+ "con gái",
21
+ "cô gái",
22
+ "chị gái",
23
+ "em gái",
24
+ "bạn gái",
25
+ "cháu gái",
26
+ "nữ hoàng",
27
+ "nữ phục vụ",
28
+ "mẹ",
29
+ "mẹ kế",
30
+ "bà",
31
+ "mụ",
32
+ "cô",
33
+ "cô ấy",
34
+ "dì",
35
+ "chị",
36
+ "chị ấy",
37
+ "nàng",
38
+ "phụ nữ",
39
+ "đàn bà",
40
+ "nữ",
41
+ "con gái nuôi",
42
+ "cô giáo",
43
+ ]
44
+
45
+
46
+ MALE_WORDS: List[str] = [
47
+ "trai",
48
+ "con trai",
49
+ "cậu bé",
50
+ "anh trai",
51
+ "em trai",
52
+ "bạn trai",
53
+ "cháu trai",
54
+ "nam hoàng đế",
55
+ "nam phục vụ",
56
+ "cha",
57
+ "ba",
58
+ "bố",
59
+ "cha dượng",
60
+ "ba dượng",
61
+ "bố dượng",
62
+ "anh",
63
+ "hắn",
64
+ "ông",
65
+ "chú",
66
+ "dượng",
67
+ "cậu",
68
+ "ông ấy",
69
+ "chú ấy",
70
+ "chàng",
71
+ "đàn ông",
72
+ "nam",
73
+ "con trai nuôi",
74
+ "thầy",
75
+ ]
76
+
77
+
78
+ GENDER_TO_WORD_LISTS: Dict[str, List[str]] = {
79
+ "female": FEMALE_WORDS,
80
+ "male": MALE_WORDS,
81
+ }
82
+
83
+
84
+ VIETNAMESE_NAMES: List[str] = [
85
+ "Anh",
86
+ "An",
87
+ "Bảo",
88
+ "Bình",
89
+ "Châu",
90
+ "Chi",
91
+ "Cường",
92
+ "Dũng",
93
+ "Duy",
94
+ "Đạt",
95
+ "Đức",
96
+ "Giang",
97
+ "Hà",
98
+ "Hải",
99
+ "Hân",
100
+ "Hạnh",
101
+ "Hiếu",
102
+ "Hiền",
103
+ "Hoa",
104
+ "Hoài",
105
+ "Hoàng",
106
+ "Hồng",
107
+ "Hùng",
108
+ "Huy",
109
+ "Huyền",
110
+ "Khánh",
111
+ "Khang",
112
+ "Khoa",
113
+ "Kiên",
114
+ "Kim",
115
+ "Lan",
116
+ "Linh",
117
+ "Loan",
118
+ "Long",
119
+ "Mai",
120
+ "Minh",
121
+ "My",
122
+ "Nam",
123
+ "Ngân",
124
+ "Nga",
125
+ "Ngọc",
126
+ "Nguyên",
127
+ "Nhã",
128
+ "Nhàn",
129
+ "Nhi",
130
+ "Nhiên",
131
+ "Như",
132
+ "Phong",
133
+ "Phú",
134
+ "Phúc",
135
+ "Phương",
136
+ "Quang",
137
+ "Quân",
138
+ "Quang",
139
+ "Quốc",
140
+ "Quỳnh",
141
+ "Sơn",
142
+ "Tâm",
143
+ "Tân",
144
+ "Tài",
145
+ "Tâm",
146
+ "Thanh",
147
+ "Thảo",
148
+ "Thái",
149
+ "Thành",
150
+ "Thắng",
151
+ "Thảo",
152
+ "Thi",
153
+ "Thiên",
154
+ "Thiện",
155
+ "Thịnh",
156
+ "Thúy",
157
+ "Thu",
158
+ "Thuận",
159
+ "Thư",
160
+ "Tiến",
161
+ "Trang",
162
+ "Trâm",
163
+ "Trí",
164
+ "Trinh",
165
+ "Trúc",
166
+ "Trung",
167
+ "Tú",
168
+ "Tuấn",
169
+ "Tuyết",
170
+ "Uyên",
171
+ "Vân",
172
+ "Vinh",
173
+ "Việt",
174
+ "Vy",
175
+ "Xuân",
176
+ "Yến",
177
+ "Yên",
178
+ "Lộc",
179
+ "Đan",
180
+ "Tiên",
181
+ "Đào",
182
+ "Hường",
183
+ "Bích",
184
+ "Tường",
185
+ ]
186
+
187
+ ASIAN_NAMES: List[str] = [
188
+ "cho",
189
+ "wong",
190
+ "tang",
191
+ "huang",
192
+ "chu",
193
+ "chung",
194
+ "ng",
195
+ "wu",
196
+ "liu",
197
+ "chen",
198
+ "lin",
199
+ "yang",
200
+ "kim",
201
+ "chang",
202
+ "shah",
203
+ "wang",
204
+ "li",
205
+ "khan",
206
+ "singh",
207
+ "hong",
208
+ ]
209
+
210
+ HISPANIC_NAMES: List[str] = [
211
+ "castillo",
212
+ "gomez",
213
+ "soto",
214
+ "gonzalez",
215
+ "sanchez",
216
+ "rivera",
217
+ "martinez",
218
+ "torres",
219
+ "rodriguez",
220
+ "perez",
221
+ "lopez",
222
+ "medina",
223
+ "diaz",
224
+ "garcia",
225
+ "castro",
226
+ "cruz",
227
+ ]
228
+
229
+ WHITE_NAMES: List[str] = [
230
+ "harris",
231
+ "nelson",
232
+ "robinson",
233
+ "thompson",
234
+ "moore",
235
+ "wright",
236
+ "anderson",
237
+ "clark",
238
+ "jackson",
239
+ "taylor",
240
+ "scott",
241
+ "davis",
242
+ "allen",
243
+ "adams",
244
+ "lewis",
245
+ "williams",
246
+ "jones",
247
+ "wilson",
248
+ "martin",
249
+ "johnson",
250
+ ]
251
+
252
+
253
+ RACE_TO_NAME_LISTS: Dict[str, List[str]] = {
254
+ "vietnamese": VIETNAMESE_NAMES,
255
+ "asian": ASIAN_NAMES,
256
+ "hispanic": HISPANIC_NAMES,
257
+ "white": WHITE_NAMES,
258
+ }
259
+
260
+
261
+ ADJECTIVE_LIST: List[str] = [
262
+ "không tham nhũng",
263
+ "nhàn nhã",
264
+ "không cẩn thận",
265
+ "mỉa mai",
266
+ "bốc lửa",
267
+ "cứng",
268
+ "nhanh nhẹn",
269
+ "kiêu ngạo",
270
+ "yêu nước",
271
+ "đòi hỏi",
272
+ "điên",
273
+ "vô trách nhiệm",
274
+ "áp đảo",
275
+ "bình thường",
276
+ "khó chịu",
277
+ "nghi ngờ",
278
+ "bất mãn",
279
+ "lau dọn",
280
+ "không dung nạp",
281
+ "anh hùng",
282
+ "đánh đá",
283
+ "không cá nhân",
284
+ "phi logic",
285
+ "nghiệt ngã",
286
+ "tỉ mỉ",
287
+ "long trọng",
288
+ "chắc chắn",
289
+ "khổ hạnh",
290
+ "siêng năng",
291
+ "hiền lành",
292
+ "có thành kiến",
293
+ "bẩn",
294
+ "hòa đồng",
295
+ "quả quyết",
296
+ "hiền nhân",
297
+ "ngớ ngẩn",
298
+ "hiểu biết",
299
+ "cảnh báo",
300
+ "bận tâm",
301
+ "cố ý",
302
+ "thiếu suy nghĩ",
303
+ "lệch lạc",
304
+ "có học thức",
305
+ "nghiêm túc",
306
+ "nhẹ nhàng",
307
+ "thô sơ",
308
+ "tiện lợi",
309
+ "dễ cáu bẳn",
310
+ "báng bổ",
311
+ "không trung thành",
312
+ "mải mê",
313
+ "chỉ đạo",
314
+ "lành mạnh",
315
+ "nhầm lẫn",
316
+ "không thể hiểu được",
317
+ "độc hại",
318
+ "không trung thực",
319
+ "không biết ơn",
320
+ "bảo thủ",
321
+ "chân thành",
322
+ "ân cần",
323
+ "hào phóng",
324
+ "đánh đấm",
325
+ "không màu",
326
+ "thận trọng",
327
+ "sự hiểu biết",
328
+ "bắt chước",
329
+ "đứng cách xa",
330
+ "tích cực",
331
+ "tự cao",
332
+ "đáng ghét",
333
+ "tinh tế",
334
+ "phản bội",
335
+ "hoang mang",
336
+ "không lành mạnh",
337
+ "lố bịch",
338
+ "xa cách",
339
+ "duy tâm",
340
+ "hài hước",
341
+ "tốt bụng",
342
+ "quyết tâm",
343
+ "tôn trọng",
344
+ "thù hận",
345
+ "vững vàng",
346
+ "nguyên chất",
347
+ "mâu thuẫn",
348
+ "màu mè",
349
+ "cơ khí",
350
+ "không gây hại",
351
+ "ngoan cố",
352
+ "trẻ con",
353
+ "tinh ranh",
354
+ "ngọt ngào",
355
+ "có thể thích nghi",
356
+ "kỷ luật",
357
+ "say đắm",
358
+ "thoải mái",
359
+ "tôn thờ",
360
+ "tổ hợp",
361
+ "bận rộn",
362
+ "mượt mà",
363
+ "hèn nhát",
364
+ "êm dịu",
365
+ "thân thiện",
366
+ "giống đực",
367
+ "khô khan",
368
+ "ngay thẳng",
369
+ "cá nhân hóa",
370
+ "hung ác",
371
+ "thôi miên",
372
+ "có khát vọng",
373
+ "yếu đuối",
374
+ "nghiêm khắc",
375
+ "thô thiển",
376
+ "triệt để",
377
+ "bình tĩnh",
378
+ "khốn khổ",
379
+ "đáp ứng",
380
+ "thái quá",
381
+ "đố kỵ",
382
+ "rắc rối",
383
+ "quanh co",
384
+ "thần kinh",
385
+ "mộc mạc",
386
+ "thư giãn",
387
+ "lạc hướng",
388
+ "lịch lãm",
389
+ "giàu trí tưởng tượng",
390
+ "thẳng thừng",
391
+ "mạnh mẽ",
392
+ "khả nghi",
393
+ "nhút nhát",
394
+ "vô nhân tính",
395
+ "văn hoá",
396
+ "sợ hãi",
397
+ "đánh bóng",
398
+ "định kiến",
399
+ "thất thường",
400
+ "không gây khó chịu",
401
+ "mô phạm",
402
+ "bệnh hoạn",
403
+ "sự phụ thuộc",
404
+ "quan sát",
405
+ "huyền ảo",
406
+ "khoẻ mạnh",
407
+ "đáng sợ",
408
+ "thâm thúy",
409
+ "danh dự",
410
+ "đơn độc",
411
+ "thử nghiệm",
412
+ "vô cùng",
413
+ "kìm hãm",
414
+ "có kiểu cách",
415
+ "không mục tiêu",
416
+ "thông thường",
417
+ "xác định",
418
+ "kịch tính",
419
+ "khách quan",
420
+ "rõ ràng",
421
+ "đàn áp",
422
+ "ẻo lả",
423
+ "cực đoan",
424
+ "châm biếm",
425
+ "gọn gàng",
426
+ "trơn tru",
427
+ "chia sẻ",
428
+ "ghê tởm",
429
+ "bề ngoài",
430
+ "quan tâm",
431
+ "tiến bộ",
432
+ "lừa dối",
433
+ "không vâng lời",
434
+ "quái dị",
435
+ "hào hùng",
436
+ "thông minh",
437
+ "dành riêng",
438
+ "thuộc về chính trị",
439
+ "đột ngột",
440
+ "ranh mãnh",
441
+ "ngốc nghếch",
442
+ "không kiềm chế",
443
+ "vô tín",
444
+ "hẹp hòi",
445
+ "rối loạn",
446
+ "mềm mại",
447
+ "tuỳ tiện",
448
+ "tinh quái",
449
+ "tận tụy",
450
+ "hư hỏng",
451
+ "vui vẻ",
452
+ "đặc biệt",
453
+ "đáng lo ngại",
454
+ "hùng hồn",
455
+ "không thận trọng",
456
+ "bận",
457
+ "phong nha",
458
+ "hiếu học",
459
+ "kỳ quái",
460
+ "phù phiếm",
461
+ "được tổ chức",
462
+ "không thay đổi",
463
+ "hợp tác",
464
+ "vĩ đại",
465
+ "vững chắc",
466
+ "bị huỷ hoại",
467
+ "tôn giáo",
468
+ "vừa phải",
469
+ "kìm kẹp",
470
+ "bất kỳ",
471
+ "kiên nhẫn",
472
+ "chăm sóc",
473
+ "mất trật tự",
474
+ "thực nghiệm",
475
+ "cẩn thận",
476
+ "cân bằng",
477
+ "láu cá",
478
+ "khắc khe",
479
+ "lãng mạn",
480
+ "bực bội",
481
+ "dễ cáu",
482
+ "mãnh liệt",
483
+ "cẩu thả",
484
+ "đặt câu hỏi",
485
+ "hời hợt",
486
+ "quyến rũ",
487
+ "có hiệu quả",
488
+ "vô cảm",
489
+ "phiền",
490
+ "táo bạo",
491
+ "kiềm chế",
492
+ "ngọt",
493
+ "đồng cảm",
494
+ "ấn tượng",
495
+ "cảnh giác",
496
+ "nhạt nhẽo",
497
+ "tự hào",
498
+ "xảo trá",
499
+ "tội phạm",
500
+ "cách cư xử",
501
+ "tức giận",
502
+ "ghen tị",
503
+ "ngu si đần độn",
504
+ "không an toàn",
505
+ "đời thường",
506
+ "khỏe mạnh",
507
+ "được giáo dục",
508
+ "tử tế",
509
+ "thiếu kiên nhẫn",
510
+ "ma thuật",
511
+ "phổ biến",
512
+ "không suy nghĩ",
513
+ "dễ bảo",
514
+ "tiết kiệm",
515
+ "khiêm tốn",
516
+ "ảo tưởng",
517
+ "quan phòng",
518
+ "bối rối",
519
+ "cân đối",
520
+ "lúng túng",
521
+ "hay thay đổi",
522
+ "sáng tạo",
523
+ "sai",
524
+ "phản ứng",
525
+ "dễ chịu",
526
+ "phê bình",
527
+ "chủ quan",
528
+ "nhân tạo",
529
+ "chậm",
530
+ "thịnh soạn",
531
+ "thiết thực",
532
+ "thuyết phục",
533
+ "dễ vỡ",
534
+ "hiệu quả",
535
+ "mở cửa",
536
+ "nghiêm trang",
537
+ "có trật tự",
538
+ "lịch sự",
539
+ "nông",
540
+ "nhầm",
541
+ "từ bi",
542
+ "nản lòng",
543
+ "không đều",
544
+ "tinh khiết",
545
+ "dục vọng",
546
+ "thật ngạc nhiên",
547
+ "chất rắn",
548
+ "tràn đầy năng lượng",
549
+ "thù địch",
550
+ "yên tĩnh",
551
+ "giáo điều",
552
+ "ảm đạm",
553
+ "trong suốt",
554
+ "hoạt động",
555
+ "thiếu trách nhiệm",
556
+ "không hài lòng",
557
+ "đáng ngưỡng mộ",
558
+ "mê tín",
559
+ "thiếu thận trọng",
560
+ "tham",
561
+ "mù quáng",
562
+ "tính toán",
563
+ "thích nghi",
564
+ "dí dỏm",
565
+ "ngạc nhiên",
566
+ "đáng ngạc nhiên",
567
+ "hoài nghi",
568
+ "liêm khiết",
569
+ "nghịch đảo",
570
+ "tự phát",
571
+ "nuông chiều",
572
+ "cá nhân",
573
+ "trung thực",
574
+ "ngăn nắp",
575
+ "chiến thắng",
576
+ "bướng bỉnh",
577
+ "ấm",
578
+ "trách nhiệm",
579
+ "cuồng loạn",
580
+ "mơ màng",
581
+ "trữ tình",
582
+ "trực giác",
583
+ "quên lãng",
584
+ "rực rỡ",
585
+ "ngu ngốc",
586
+ "không khoan dung",
587
+ "đáng yêu",
588
+ "căng thẳng",
589
+ "thống trị",
590
+ "suy tư",
591
+ "chủ nghĩa cá nhân",
592
+ "không khỏe mạnh",
593
+ "mịn",
594
+ "kín đáo",
595
+ "độc",
596
+ "chiếm hữu",
597
+ "sạch sẽ",
598
+ "tráng lệ",
599
+ "mơ mộng",
600
+ "trưởng thành",
601
+ "điềm tĩnh",
602
+ "hiếu thảo",
603
+ "giả dối",
604
+ "mẹ",
605
+ "vô hại",
606
+ "dễ tiếp cận",
607
+ "săn mồi",
608
+ "chăm chỉ học hỏi",
609
+ "chật hẹp",
610
+ "đãng trí",
611
+ "đáng thương",
612
+ "gây rối",
613
+ "hoà giải",
614
+ "phiền hà",
615
+ "nóng nảy",
616
+ "bẩn thỉu",
617
+ "lo lắng",
618
+ "xảo quyệt",
619
+ "hoà bình",
620
+ "tham lam",
621
+ "ham học",
622
+ "nghiêm trọng",
623
+ "nữ tính",
624
+ "vui nhộn",
625
+ "chính hãng",
626
+ "ngu dốt",
627
+ "có lịch sự",
628
+ "cứng đầu",
629
+ "tự tin",
630
+ "ban đầu",
631
+ "nhân từ",
632
+ "dè dặt",
633
+ "xâm lược",
634
+ "lãnh đạm",
635
+ "lạnh lẽo",
636
+ "quan trọng",
637
+ "cuồng tín",
638
+ "có phương pháp",
639
+ "khó",
640
+ "cấp tiến",
641
+ "phá hoại",
642
+ "tin tưởng",
643
+ "thân mật",
644
+ "thoáng đãng",
645
+ "thoáng",
646
+ "gợi cảm",
647
+ "vội vàng",
648
+ "phê phán",
649
+ "quyết đoán",
650
+ "có lương tâm",
651
+ "xấu xa",
652
+ "thành kiến",
653
+ "mê tín dị đoan",
654
+ "lừa đảo",
655
+ "điều khiển",
656
+ "tinh vi",
657
+ "đúng giờ",
658
+ "phóng túng",
659
+ "thanh lịch",
660
+ "mạo hiểm",
661
+ "trẻ trung",
662
+ "cứng rắn",
663
+ "thú vị",
664
+ "cạnh tranh",
665
+ "chính trị",
666
+ "bảo vệ",
667
+ "đê tiện",
668
+ "tình cảm",
669
+ "dũng cảm",
670
+ "khó khăn",
671
+ "sáng suốt",
672
+ "khổ sở",
673
+ "thanh bình",
674
+ "làm nản lòng",
675
+ "khô",
676
+ "tùy tiện",
677
+ "tham vọng",
678
+ "ngông cuồng",
679
+ "nhân ái",
680
+ "hạn chế",
681
+ "đáng ngờ",
682
+ "giản dị",
683
+ "nghỉ hưu",
684
+ "vô tổ chức",
685
+ "thô",
686
+ "ổn định",
687
+ "vâng lời",
688
+ "đơn giản",
689
+ "bảo mật",
690
+ "phẫn nộ",
691
+ "không biết",
692
+ "khó hiểu",
693
+ "rắn",
694
+ "mộng mơ",
695
+ "hùng biện",
696
+ "thách thức",
697
+ "thể thao",
698
+ "dễ ảnh hưởng",
699
+ "tự nhiên",
700
+ "liên tục",
701
+ "bị áp bức",
702
+ "trơ trơ",
703
+ "nguy hiểm",
704
+ "đáng kính",
705
+ "làm bối rối",
706
+ "yên bình",
707
+ "cố định",
708
+ "bị kìm hãm",
709
+ "chịu trách nhiệm",
710
+ "có văn hóa",
711
+ "khôn ngoan",
712
+ "phản ánh",
713
+ "hấp dẫn",
714
+ "hoang phí",
715
+ "tò mò",
716
+ "khô cạn",
717
+ "hữu ích",
718
+ "rắn chắc",
719
+ "vô hình",
720
+ "phạm tội",
721
+ "nóng tính",
722
+ "lạnh",
723
+ "có thể truy cập",
724
+ "cầu kì",
725
+ "khó ưa",
726
+ "trẻ trâu",
727
+ "mơ hồ",
728
+ "tự do",
729
+ "u ám",
730
+ "trang nghiêm",
731
+ "có trách nhiệm",
732
+ "lòng trắc ẩn",
733
+ "trung thành",
734
+ "đồng ý",
735
+ "tế nhị",
736
+ "dốt",
737
+ "náo nhiệt",
738
+ "dịu dàng",
739
+ "công bằng",
740
+ "tha thứ",
741
+ "phản chiếu",
742
+ "không ổn định",
743
+ "ấm áp",
744
+ "không có niềm tin",
745
+ "nhiệt tình",
746
+ "vui tươi",
747
+ "có hệ thống",
748
+ "phụ thuộc",
749
+ "xấu hổ",
750
+ "ngốc ngếch",
751
+ "sâu sắc",
752
+ "thành thật",
753
+ "hậu đậu",
754
+ "đần độn",
755
+ "trung lập",
756
+ "tháo vát",
757
+ "phức tạp",
758
+ "phi thường",
759
+ "không hợp lý",
760
+ "cạn lời",
761
+ "thô tục",
762
+ "định mệnh",
763
+ "bí mật",
764
+ "trí tuệ",
765
+ "dễ bị tổn thương",
766
+ "lạc quan",
767
+ "thanh tú",
768
+ "nông cạn",
769
+ "nghiêm ngặt",
770
+ "khinh miệt",
771
+ "duyên dáng",
772
+ "có tổ chức",
773
+ "nhẫn tâm",
774
+ "phung phí",
775
+ "dễ mến",
776
+ "cô đơn",
777
+ "thương xót",
778
+ "hiện đại",
779
+ "khắc kỷ",
780
+ "xúc phạm",
781
+ "hợp lý",
782
+ "kiến thức",
783
+ "riêng tư",
784
+ "sở hữu",
785
+ "trầm ngâm",
786
+ "có kỷ luật",
787
+ "vô mục đích",
788
+ "kỳ cục",
789
+ "yếu",
790
+ "thong thả",
791
+ "nghe lời",
792
+ "cáu kỉnh",
793
+ "xúc động",
794
+ "im lặng",
795
+ "độc lập",
796
+ "hòa nhã",
797
+ "vô vị",
798
+ "biểu đạt",
799
+ "man rợ",
800
+ "hoà tan",
801
+ "kiên định",
802
+ "đứng đắn",
803
+ "linh hoạt",
804
+ "không thể hư hỏng",
805
+ "nhỏ mọn",
806
+ "khoan dung",
807
+ "cứng nhắc",
808
+ "có khả năng",
809
+ "hợp tác xã",
810
+ "tưởng tượng",
811
+ "nhạy cảm",
812
+ "yêu cầu",
813
+ "chấp thuận",
814
+ "biết ơn",
815
+ "khờ dại",
816
+ "bốc đồng",
817
+ "thành công",
818
+ "sai lầm",
819
+ "người cha",
820
+ "trung đoàn",
821
+ "dễ thương",
822
+ "phiền phức",
823
+ "tuyệt vọng",
824
+ "ít vận động",
825
+ "hẹp hòi",
826
+ "thẳng thắn",
827
+ "khéo léo",
828
+ "huyền bí",
829
+ "hòa giải",
830
+ "hung dữ",
831
+ "lộn xộn",
832
+ "đạm bạc",
833
+ "lý tưởng hóa",
834
+ "đáng tin cậy",
835
+ "tàn nhẫn",
836
+ "tầm thường",
837
+ "xuất sắc",
838
+ "ích kỷ",
839
+ "bất cẩn",
840
+ "lười",
841
+ "vô ơn",
842
+ "cùn",
843
+ "học thuật",
844
+ "oan trái",
845
+ "không chịu trách nhiệm",
846
+ "tốt lành",
847
+ "phô trương",
848
+ "gian dối",
849
+ "nguyên bản",
850
+ "sắc sảo",
851
+ "can đảm",
852
+ "tự kiêng",
853
+ "tự mãn",
854
+ "khinh thường",
855
+ "thông cảm",
856
+ "kiêu căng",
857
+ "kỹ lưỡng",
858
+ "vụng về",
859
+ "đánh giá cao",
860
+ "vô trung thành",
861
+ "mạnh",
862
+ "buồn rầu",
863
+ "tàn bạo",
864
+ "dã man",
865
+ "hoà đồng",
866
+ "trí não",
867
+ "không tổ chức",
868
+ "tỉnh táo",
869
+ "sắc nét",
870
+ "không đáng tin cậy",
871
+ "đạo diễn",
872
+ "dũng mãnh",
873
+ "cảm xúc",
874
+ "năng động",
875
+ "bị ức chế",
876
+ "nam tính",
877
+ "xa hoa",
878
+ "lạnh lùng",
879
+ "ủ rũ",
880
+ "đáng kính trọng",
881
+ "không thực tế",
882
+ "thụ động",
883
+ "suy ngẫm",
884
+ "chính thức",
885
+ "trơ",
886
+ "không thân thiện",
887
+ "tập trung",
888
+ "phản động",
889
+ "hung hăng",
890
+ "nồng nhiệt",
891
+ "an toàn",
892
+ "hủy hoại",
893
+ "khinh bỉ",
894
+ "chính xác",
895
+ "tự phụ",
896
+ "phi lý",
897
+ "báo động",
898
+ "dễ tổn thương",
899
+ "kỳ lạ",
900
+ "ồn ào",
901
+ "gấp rút",
902
+ "lý tưởng",
903
+ "lạc lối",
904
+ "minh bạch",
905
+ "ý chí mạnh",
906
+ "thoáng mát",
907
+ "chu đáo",
908
+ "gian lận",
909
+ "quyết định",
910
+ "thù hằn",
911
+ "vui",
912
+ "phục tùng",
913
+ "ngây thơ",
914
+ "phiêu lưu",
915
+ "hay quên",
916
+ "điên rồ",
917
+ "nghệ thuật",
918
+ "thẳng đứng",
919
+ "tận tâm",
920
+ "đáng khinh",
921
+ "lười biếng",
922
+ "thực tế",
923
+ "đam mê",
924
+ "ngạo mạn",
925
+ "sâu",
926
+ ]
927
+
928
+
929
+ PROFESSION_LIST: List[str] = [
930
+ "người phục vụ",
931
+ "nghệ sĩ piano",
932
+ "người thể thao",
933
+ "đặc phái viên",
934
+ "người phát minh",
935
+ "phóng viên ảnh",
936
+ "người bảo vệ rừng",
937
+ "nhà địa chất",
938
+ "thanh thiếu niên",
939
+ "nhân viên pha chế",
940
+ "cầu thủ bóng đá",
941
+ "ngư dân",
942
+ "nhà tạo mẫu",
943
+ "tổng thống",
944
+ "thợ máy",
945
+ "bình luận viên",
946
+ "nhân viên cứu hộ",
947
+ "trung uý",
948
+ "bác sĩ nhi khoa",
949
+ "nhà vật lý học",
950
+ "trung sĩ",
951
+ "nhà tâm lý học",
952
+ "tay trống",
953
+ "bộ trưởng mục sư",
954
+ "tỏ tình",
955
+ "nhà hoá học",
956
+ "nhà kinh tế",
957
+ "bác sĩ tâm thần",
958
+ "thị trưởng",
959
+ "diễn viên nam",
960
+ "giáo sư",
961
+ "họa sĩ tranh hoạt hình",
962
+ "trung gian",
963
+ "kế toán viên",
964
+ "nhà nghiên cứu bệnh học",
965
+ "ủy viên",
966
+ "giọng ca",
967
+ "người pha chế",
968
+ "nhà thơ",
969
+ "nghệ sĩ cello",
970
+ "nhà thần kinh học",
971
+ "người quản gia",
972
+ "lính",
973
+ "nhà dịch tễ học",
974
+ "huấn luyện viên",
975
+ "nhà khảo cổ học",
976
+ "ca sĩ nhạc trữ tình",
977
+ "nhà vận động",
978
+ "người chơi trống",
979
+ "học sinh",
980
+ "bác sĩ da liễu",
981
+ "nhà phân tích",
982
+ "nghệ sĩ violin",
983
+ "người thổi kèn trumpet",
984
+ "thượng nghị sĩ",
985
+ "người phát biểu cuối khóa",
986
+ "tính cách",
987
+ "người lao động",
988
+ "vú em",
989
+ "chính trị gia",
990
+ "nhà soạn nhạc",
991
+ "giám thị",
992
+ "lao động",
993
+ "công nhân",
994
+ "quan chức",
995
+ "bác sĩ tâm lý",
996
+ "người sưu tập",
997
+ "quản gia",
998
+ "nghệ sĩ giải trí",
999
+ "người bảo vệ",
1000
+ "giám tuyển",
1001
+ "nhà công nghiệp",
1002
+ "tiền vệ",
1003
+ "giảng viên",
1004
+ "nhà phát minh",
1005
+ "y tá",
1006
+ "người thổi kèn",
1007
+ "người bán hàng rong",
1008
+ "nhà nhân chủng học",
1009
+ "họa sĩ minh họa",
1010
+ "người môi giới",
1011
+ "người thám đo địa hình",
1012
+ "nhà xã hội học",
1013
+ "thay thế",
1014
+ "người ủng hộ",
1015
+ "người trông nom",
1016
+ "người làm vệ sinh",
1017
+ "thợ sửa chữa",
1018
+ "bảo trợ",
1019
+ "thủ môn",
1020
+ "giáo sĩ",
1021
+ "nam tước",
1022
+ "nhà soạn kịch",
1023
+ "nhà quay phim",
1024
+ "giám mục",
1025
+ "người thay thế",
1026
+ "quan sát viên",
1027
+ "người siêng năng",
1028
+ "người quay phim",
1029
+ "người giam giữ",
1030
+ "gia sư",
1031
+ "phục vụ nam",
1032
+ "nghệ sĩ guitar",
1033
+ "bác sĩ thần kinh",
1034
+ "nhà văn",
1035
+ "tiếp tân",
1036
+ "người bán thịt",
1037
+ "người biểu diễn",
1038
+ "sĩ quan",
1039
+ "cố vấn",
1040
+ "thợ làm đồ trang sức",
1041
+ "nữ diễn viên ballet",
1042
+ "truyện tranh",
1043
+ "giải phẫu thần kinh",
1044
+ "thầy tu",
1045
+ "chiến binh",
1046
+ "nhà chính trị",
1047
+ "uỷ viên hội đồng",
1048
+ "xạ thủ",
1049
+ "nhà nhân học",
1050
+ "quân nhân",
1051
+ "nhạc sĩ",
1052
+ "dưới thư ký",
1053
+ "chuyên gia",
1054
+ "nhà dược học",
1055
+ "học trò",
1056
+ "quay phim",
1057
+ "linh mục",
1058
+ "lập trình viên",
1059
+ "người viết chuyên mục",
1060
+ "người chơi violon",
1061
+ "quản đốc",
1062
+ "thợ điện",
1063
+ "nhân vật chính",
1064
+ "tuyên úy",
1065
+ "bác sĩ tim mạch",
1066
+ "nhà nghiên cứu",
1067
+ "người chăm sóc",
1068
+ "nhà khoa học",
1069
+ "nghị sĩ quốc hội",
1070
+ "người phụ trách",
1071
+ "nhà điều tra",
1072
+ "nhà lập pháp",
1073
+ "phụ tá",
1074
+ "gái điếm",
1075
+ "nhân vật",
1076
+ "tay chân đen",
1077
+ "người phản đối",
1078
+ "bác sĩ x quang",
1079
+ "hướng dẫn viên",
1080
+ "nhà vận động viên",
1081
+ "doanh nhân nữ",
1082
+ "người nội trợ",
1083
+ "bố",
1084
+ "thám tử",
1085
+ "đại sứ",
1086
+ "nhà thơ trữ tình",
1087
+ "người kể chuyện",
1088
+ "người chơi dương cầm",
1089
+ "người tuần tra",
1090
+ "lính cứu hoả",
1091
+ "thủ quỹ",
1092
+ "người sưu tầm",
1093
+ "chủ cửa hàng",
1094
+ "giáo viên",
1095
+ "nhân viên kế toán",
1096
+ "cầu thủ giữa sân",
1097
+ "thiện xạ",
1098
+ "kiểm soát viên",
1099
+ "bá tước",
1100
+ "học việc",
1101
+ "hiệu trưởng",
1102
+ "thợ làm bánh",
1103
+ "y tế",
1104
+ "người hòa giải",
1105
+ "người lính",
1106
+ "nhà bảo vệ môi trường",
1107
+ "nhà môi trường học",
1108
+ "nhà quảng bá",
1109
+ "người hầu",
1110
+ "người giám hộ",
1111
+ "biên tập viên",
1112
+ "người thăm dò ý kiến",
1113
+ "nhà sinh vật học",
1114
+ "thủ khoa",
1115
+ "người biểu diễn độc tấu",
1116
+ "học giả",
1117
+ "nữ vũ công ba lê",
1118
+ "nhà soạn lời bài hát",
1119
+ "chiến lược gia",
1120
+ "người lập pháp",
1121
+ "triết gia",
1122
+ "phái viên",
1123
+ "chủ nhà hàng",
1124
+ "nhà kinh tế học",
1125
+ "lễ tân",
1126
+ "vũ công",
1127
+ "cảnh sát trưởng",
1128
+ "truyền giáo viên",
1129
+ "phát thanh viên",
1130
+ "nhà viết kịch",
1131
+ "bí thư",
1132
+ "công dân",
1133
+ "chánh tòa",
1134
+ "người chơi saxophone",
1135
+ "kế hoạch",
1136
+ "người hoạt động chiến dịch",
1137
+ "người quen",
1138
+ "vận động viên",
1139
+ "người phục vụ nữ",
1140
+ "nhà bình luận",
1141
+ "thợ sửa ống nước",
1142
+ "họa sĩ",
1143
+ "nhà tổ chức",
1144
+ "doanh nhân tự do",
1145
+ "xã hội đen",
1146
+ "sinh viên",
1147
+ "nhà thám hiểm",
1148
+ "người chơi bóng",
1149
+ "tài xế taxi",
1150
+ "nhà toán học",
1151
+ "nhà văn thể thao",
1152
+ "nhà làm phim",
1153
+ "người bán hàng",
1154
+ "nữ diễn viên ba lê",
1155
+ "người cai",
1156
+ "mục sư",
1157
+ "giáo dân",
1158
+ "thợ mộc",
1159
+ "võ sĩ đấu vật",
1160
+ "thợ cắt tóc",
1161
+ "doanh nhân",
1162
+ "người chiến binh thánh chiến",
1163
+ "tuần tra viên",
1164
+ "nhà báo thể thao",
1165
+ "người thăm dò dư luận",
1166
+ "điều tra viên",
1167
+ "nhà hóa học",
1168
+ "chủ tịch",
1169
+ "tù nhân",
1170
+ "người thợ mổ",
1171
+ "đại tá",
1172
+ "tư vấn",
1173
+ "thượng thị",
1174
+ "tiếp viên",
1175
+ "lính cứu hỏa",
1176
+ "thầy tu do thái",
1177
+ "nữ diễn viên",
1178
+ "nghị sĩ",
1179
+ "người biện hộ",
1180
+ "thợ hớt tóc",
1181
+ "lính thủy",
1182
+ "ca sĩ",
1183
+ "công tố viên",
1184
+ "đầu bếp",
1185
+ "thư viện viên",
1186
+ "nữ phục vụ",
1187
+ "nhà điêu khắc",
1188
+ "thị trưởng hội đồng",
1189
+ "bác sĩ chẩn đoán hình ảnh",
1190
+ "nhà biên đạo múa",
1191
+ "cảnh sát tuần tra",
1192
+ "người hài kịch",
1193
+ "nhân viên văn phòng",
1194
+ "thủy thủ",
1195
+ "nhà từ thiện",
1196
+ "quản lý",
1197
+ "bác sĩ phẫu thuật",
1198
+ "nghệ sĩ biểu diễn",
1199
+ "nhân viên bán hàng",
1200
+ "nhà biên kịch",
1201
+ "đài truyền hình",
1202
+ "nhà ảo thuật",
1203
+ "biên kịch",
1204
+ "hoà giải viên",
1205
+ "nhân viên khảo sát",
1206
+ "người nổi tiếng",
1207
+ "người viết lời",
1208
+ "thẩm phán",
1209
+ "người hướng dẫn",
1210
+ "nghệ sĩ độc tấu",
1211
+ "người làm bánh",
1212
+ "tổng giám mục",
1213
+ "ông chủ",
1214
+ "nhân viên ngân hàng",
1215
+ "cai ngục",
1216
+ "diễn viên hài",
1217
+ "giám đốc trường học",
1218
+ "nhạc trưởng",
1219
+ "kiểm lâm",
1220
+ "người dẫn chuyện",
1221
+ "nhà môi giới chứng khoán",
1222
+ "cố vấn pháp luật",
1223
+ "nhà đàm phán",
1224
+ "người chơi đàn piano",
1225
+ "tên cướp",
1226
+ "tư tế",
1227
+ "thợ kim hoàn",
1228
+ "phán xét",
1229
+ "vận động viên thể thao",
1230
+ "nhà hảo tâm",
1231
+ "nhà tài trợ",
1232
+ "bồi bàn",
1233
+ "chủ sở hữu",
1234
+ "người chơi đàn guitar",
1235
+ "người quản lý",
1236
+ "nhà truyền giáo",
1237
+ "trung úy",
1238
+ "biên đạo múa",
1239
+ "trưởng khoa",
1240
+ "xã hội",
1241
+ "nhà ngoại giao",
1242
+ "phục vụ bàn",
1243
+ "hoạ sĩ",
1244
+ "gái mại dâm",
1245
+ "người làm vườn",
1246
+ "quản trị viên",
1247
+ "bộ trưởng",
1248
+ "người biểu tình",
1249
+ "thủ tướng",
1250
+ "nhà trị liệu",
1251
+ "nhà sử học",
1252
+ "thợ cơ khí",
1253
+ "chính khách",
1254
+ "nhà phê bình",
1255
+ "kế toán",
1256
+ "giám đốc",
1257
+ "tu sĩ",
1258
+ "hiệu trưởng đại học",
1259
+ "đội trưởng",
1260
+ "phó",
1261
+ "bán thịt",
1262
+ "linh mục tế",
1263
+ "chủ nhà trọ",
1264
+ "bác sĩ bệnh lý",
1265
+ "uỷ viên",
1266
+ "nhà thiên văn học",
1267
+ "nữ tu",
1268
+ "bác sĩ phẫu thuật thần kinh",
1269
+ "tư vấn viên",
1270
+ "thư ký",
1271
+ "bác sĩ",
1272
+ "giám hộ",
1273
+ "nhà giáo dục",
1274
+ "sát thủ",
1275
+ "trợ lý pháp lý",
1276
+ "tỷ phú",
1277
+ "chỉ huy",
1278
+ "nghệ sĩ",
1279
+ "nhân viên y tế",
1280
+ "người dự bị",
1281
+ "ông trùm",
1282
+ "diễn viên nữ",
1283
+ "người quản lý tài chính",
1284
+ "người hát rong",
1285
+ "nhiếp ảnh gia",
1286
+ "luật sư",
1287
+ "nhà công chúng học",
1288
+ "người bắn tỉa",
1289
+ "nữ doanh nhân",
1290
+ "nhà sư",
1291
+ "nông dân",
1292
+ "người lập kế hoạch",
1293
+ "giữ nhà",
1294
+ "kỹ thuật viên",
1295
+ "phóng viên",
1296
+ "thánh",
1297
+ "binh sĩ",
1298
+ "đô vật",
1299
+ "biện hộ",
1300
+ "người đàm phán",
1301
+ "đạo diễn",
1302
+ "tài xế xe tải",
1303
+ "thanh tra",
1304
+ "hài hước",
1305
+ "nhà báo",
1306
+ "nhà sưu tập",
1307
+ "người đại diện công tố",
1308
+ "họa sĩ truyện tranh",
1309
+ "tiểu thuyết gia",
1310
+ "trợ lý",
1311
+ "kiến trúc sư",
1312
+ "nhà thuyết giáo",
1313
+ "nhà vật lý",
1314
+ "tác giả",
1315
+ "bà nội trợ",
1316
+ "nhân viên kiểm lâm",
1317
+ "kẻ ám sát",
1318
+ "người làm việc nhà",
1319
+ "người chơi đàn organ",
1320
+ "hoạ sĩ minh hoạ",
1321
+ "quan viên",
1322
+ "thuyền trưởng",
1323
+ "ni cô",
1324
+ "thuỷ thủ",
1325
+ "nha sĩ",
1326
+ "người quan sát",
1327
+ "cầu thủ",
1328
+ "nguyên soái",
1329
+ "biểu diễn",
1330
+ "thiếu niên",
1331
+ "vệ sĩ",
1332
+ "dược sĩ",
1333
+ "diễn viên",
1334
+ "nhà tài chính",
1335
+ "thợ làm tóc",
1336
+ "thương nhân",
1337
+ "thủ thư",
1338
+ "bác sĩ phẫu thuật não",
1339
+ "người trông trẻ",
1340
+ "nhà tự nhiên học",
1341
+ "bảo mẫu",
1342
+ "cảnh sát",
1343
+ "nhân viên lễ tân",
1344
+ "ảo thuật gia",
1345
+ "y sĩ",
1346
+ "nghệ sĩ saxophone",
1347
+ "người môi giới bất động sản",
1348
+ "phi hành gia",
1349
+ "môi giới chứng khoán",
1350
+ "nhà địa chất học",
1351
+ "cha",
1352
+ "nhân viên",
1353
+ "người viết bài",
1354
+ "lao công",
1355
+ "người dọn dẹp",
1356
+ "người thông thạo",
1357
+ "võ sĩ quyền anh",
1358
+ "hội viên hội đồng",
1359
+ "chủ nhà",
1360
+ "người nổi loạn",
1361
+ "người gác cổng",
1362
+ "trợ lý luật sư",
1363
+ "ủy viên hội đồng",
1364
+ "phó thư ký",
1365
+ "môi giới",
1366
+ "thợ hàn",
1367
+ ]