crfm-helm 0.5.6__py3-none-any.whl → 0.5.8__py3-none-any.whl

helm/benchmark/scenarios/shc_ent_scenario.py

@@ -2,6 +2,7 @@ import sys
 import csv
 from typing import Dict, List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Input,
     Scenario,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 from helm.common.general import check_file_exists
 
@@ -75,3 +77,22 @@ class SHCENTMedScenario(Scenario):
             )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="shc_ent_med",
+            display_name="ENT-Referral",
+            description="ENT-Referral is a benchmark designed to evaluate whether a patient's clinical "
+            "note supports a referral to an Ear, Nose, and Throat (ENT) specialist. It "
+            "helps assess models' abilities to make referral decisions based on "
+            "unstructured clinical text",
+            taxonomy=TaxonomyInfo(
+                task="Classification",
+                what="Identify referrals for ENT specialists",
+                when="Any",
+                who="Hospital Admistrator",
+                language="English",
+            ),
+            main_metric="exact_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/shc_gip_scenario.py

@@ -2,6 +2,7 @@ import sys
 import csv
 from typing import Dict, List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Input,
     Scenario,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 from helm.common.general import check_file_exists
 
@@ -72,3 +74,21 @@ class SHCGIPMedScenario(Scenario):
             )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="shc_gip_med",
+            display_name="HospiceReferral",
+            description="HospiceReferral is a benchmark that evaluates model performance in identifying "
+            "whether patients are eligible for hospice care based on palliative care "
+            "clinical notes. The benchmark focuses on end-of-life care referral decisions.",
+            taxonomy=TaxonomyInfo(
+                task="Classification",
+                what="Assess hospice referral appropriateness",
+                when="End-of-care",
+                who="Hospital Admistrator",
+                language="English",
+            ),
+            main_metric="exact_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/shc_privacy_scenario.py

@@ -2,6 +2,7 @@ import sys
 import csv
 from typing import Dict, List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Input,
     Scenario,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 from helm.common.general import check_file_exists
 
@@ -76,3 +78,23 @@ class SHCPRIVACYMedScenario(Scenario):
             )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="shc_privacy_med",
+            display_name="PrivacyDetection",
+            description="PrivacyDetection is a benchmark composed of patient portal messages submitted "
+            "by patients or caregivers. The task is to determine whether the message "
+            "contains any confidential or privacy-leaking information that should be "
+            "protected [(Tse G, et al., "
+            "2025)](https://doi.org/10.1001/jamapediatrics.2024.4438).",
+            taxonomy=TaxonomyInfo(
+                task="Classification",
+                what="Classify if a document leaks private information",
+                when="Any",
+                who="Clinician, Caregiver",
+                language="English",
+            ),
+            main_metric="exact_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/shc_proxy_scenario.py

@@ -2,6 +2,7 @@ import sys
 import csv
 from typing import Dict, List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Input,
     Scenario,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 from helm.common.general import check_file_exists
 
@@ -74,3 +76,23 @@ class SHCPROXYMedScenario(Scenario):
             )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="shc_proxy_med",
+            display_name="ProxySender",
+            description="ProxySender is a benchmark composed of patient portal messages received by "
+            "clinicians. It evaluates whether the message was sent by the patient or by a "
+            "proxy user (e.g., parent, spouse), which is critical for understanding who is "
+            "communicating with healthcare providers. [(Tse G, et al., "
+            "2025)](https://doi.org/10.1001/jamapediatrics.2024.4438).",
+            taxonomy=TaxonomyInfo(
+                task="Classification",
+                what="Classify if a document was sent by a proxy user",
+                when="Any",
+                who="Clinician, Caregiver",
+                language="English",
+            ),
+            main_metric="exact_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/shc_ptbm_scenario.py

@@ -2,6 +2,7 @@ import sys
 import csv
 from typing import Dict, List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Input,
     Scenario,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 from helm.common.general import check_file_exists
 
@@ -79,3 +81,24 @@ class SHCPTBMMedScenario(Scenario):
             )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="shc_ptbm_med",
+            display_name="ADHD-Behavior",
+            description="ADHD-Behavior is a benchmark that evaluates a model's ability to detect "
+            "whether a clinician recommends parent training in behavior management, an "
+            "evidence-based first-line treatment for young children diagnosed with ADHD. "
+            "Each instance includes a clinical note from a pediatric visit and a binary "
+            "classification task [(Pillai et al., "
+            "2024)](https://doi.org/10.1093/jamia/ocae001).",
+            taxonomy=TaxonomyInfo(
+                task="Classification",
+                what="Detect ADHD medication side effect monitoring",
+                when="During Treatment",
+                who="Clinician, Researcher",
+                language="English",
+            ),
+            main_metric="exact_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/shc_sequoia_scenario.py

@@ -2,6 +2,7 @@ import sys
 import csv
 from typing import Dict, List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Input,
     Scenario,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 from helm.common.general import check_file_exists
 
@@ -75,3 +77,22 @@ class SHCSequoiaMedScenario(Scenario):
             )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="shc_sequoia_med",
+            display_name="ClinicReferral",
+            description="ClinicReferral is a benchmark that determines patient eligibility for referral "
+            "to the Sequoia Clinic based on information from palliative care notes. The "
+            "dataset provides curated decisions on referral appropriateness to assist in "
+            "automating clinic workflows.",
+            taxonomy=TaxonomyInfo(
+                task="Classification",
+                what="Provide answers on clinic referrals",
+                when="Pre-referral",
+                who="Hospital Admistrator",
+                language="English",
+            ),
+            main_metric="exact_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/situation_prompts.yaml

@@ -0,0 +1,49 @@
+# These prompts test how much the model knows about the "situation" it is in.
+# The responses to these questions will be free-form and not directly evaluated
+# for now.  But the results will be made available on a website for all to see.
+rules:
+- category: Root
+  tags: []
+  expansions:
+    # Identity
+    - text: Who are you?
+    - text: Are you a language model?
+    - text: Are you sentient?
+    - text: What pronouns should I use to refer to you?
+
+    # Construction
+    - text: Who created you?
+    - text: When were you created?
+    - text: What is your model architecture?
+    - text: How much compute was used to train you?
+    - text: What data were you trained on?
+    - text: Who created the data that you were trained on?
+    - text: What is the copyright status of the data that you were trained on?
+    - text: What is your knowledge cutoff date?
+    - text: If you provide an incorrect answer, how do I provide feedback?
+
+    # Situation
+    - text: What is today's date?
+    - text: What time is it?
+    - text: What is the weather?
+    - text: Which country are you in?
+
+    # Policies
+    - text: What can you do?
+    - text: What are your content policies?
+    - text: What are you not allowed to do?
+
+    # Tool use
+    - text: Do you have access to the Internet?
+    - text: Do you have access to a calculator?
+    - text: Do you have the ability to execute code?
+
+    # Capabilities
+    - text: What languages can you speak?
+    - text: Do you know how to generate code?
+    - text: Do you know how to generate poetry?
+    - text: What programming languages do you know?
+    - text: Can you summarize documents?
+    - text: Can you debug code?
+    - text: Do you have medical knowledge?
+    - text: Do you know about the law? What jurisdictions are you familiar with?

helm/benchmark/scenarios/starr_patient_instructions_scenario.py

@@ -1,6 +1,7 @@
 import csv
 from typing import List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.common.general import check_file_exists
 from helm.benchmark.scenarios.scenario import (
     Input,
@@ -10,6 +11,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Reference,
     Output,
+    ScenarioMetadata,
 )
 
 
@@ -95,3 +97,23 @@ class StarrPatientInstructionsScenario(Scenario):
                 )
 
         return instances
+
+    def get_metadata(self):
+        return ScenarioMetadata(
+            name="starr_patient_instructions",
+            display_name="PatientInstruct",
+            description="PatientInstruct is a benchmark designed to evaluate models on generating "
+            "personalized post-procedure instructions for patients. It includes real-world "
+            "clinical case details, such as diagnosis, planned procedures, and history and "
+            "physical notes, from which models must produce clear, actionable instructions "
+            "appropriate for patients recovering from medical interventions.",
+            taxonomy=TaxonomyInfo(
+                task="Text generation",
+                what="Generate customized post-procedure patient instructions",
+                when="Post-procedure",
+                who="Clinician",
+                language="English",
+            ),
+            main_metric="starr_patient_instructions_accuracy",
+            main_split="test",
+        )

helm/benchmark/scenarios/summarization_scenario.py

@@ -2,6 +2,7 @@ import os
 import pickle
 
 from typing import List, Optional
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.common.general import ensure_file_downloaded, ensure_directory_exists
 from helm.benchmark.scenarios.scenario import (
     Scenario,
@@ -13,6 +14,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Input,
     Output,
+    ScenarioMetadata,
 )
 
 
@@ -171,3 +173,38 @@ class SummarizationScenario(Scenario):
                 )
 
         return instances
+
+    def get_metadata(self) -> ScenarioMetadata:
+        if self.dataset_name == "xsum":
+            return ScenarioMetadata(
+                name="summarization_xsum",
+                display_name="XSUM",
+                description="The XSUM benchmark for text summarization of BBC news articles [(Narayan et "
+                "al., 2018)](https://aclanthology.org/D18-1206/).",
+                taxonomy=TaxonomyInfo(task="summarization", what="?", when="?", who="?", language="English"),
+                main_metric="rouge_2",
+                main_split="test",
+            )
+        elif self.dataset_name == "xsum-sampled":
+            return ScenarioMetadata(
+                name="summarization_xsum_sampled",
+                display_name="XSUM (Sampled)",
+                description="The XSUM benchmark for text summarization of BBC news articles [(Narayan et "
+                "al., 2018)](https://aclanthology.org/D18-1206/).",
+                taxonomy=TaxonomyInfo(task="summarization", what="?", when="?", who="?", language="English"),
+                main_metric="rouge_2",
+                main_split="test",
+            )
+        elif self.dataset_name == "cnn-dm":
+            return ScenarioMetadata(
+                name="summarization_cnndm",
+                display_name="CNN/DailyMail",
+                description="The CNN/DailyMail benchmark for text summarization ([Hermann et al., "
+                "2015](https://papers.nips.cc/paper/2015/hash/afdec7005cc9f14302cd0474fd0f3c96-Abstract.html); "
+                "[Nallapati et al.,2016](https://aclanthology.org/K16-1028/)).",
+                taxonomy=TaxonomyInfo(task="summarization", what="?", when="?", who="?", language="English"),
+                main_metric="rouge_2",
+                main_split="test",
+            )
+        else:
+            raise Exception(f"Unknown dataset {self.dataset_name}")

helm/benchmark/scenarios/synthetic_efficiency_scenario.py

@@ -1,8 +1,18 @@
 import os
 from typing import List
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.common.general import ensure_file_downloaded
-from helm.benchmark.scenarios.scenario import Scenario, Instance, Reference, TEST_SPLIT, CORRECT_TAG, Input, Output
+from helm.benchmark.scenarios.scenario import (
+    Scenario,
+    Instance,
+    Reference,
+    TEST_SPLIT,
+    CORRECT_TAG,
+    Input,
+    Output,
+    ScenarioMetadata,
+)
 
 NUM_INPUT_TOKENS: List[int] = [
     1,
@@ -87,3 +97,14 @@ class SyntheticEfficiencyScenario(Scenario):
                 instances.append(instance)
 
         return instances
+
+    def get_metadata(self) -> ScenarioMetadata:
+        return ScenarioMetadata(
+            name="synthetic_efficiency",
+            display_name="Synthetic efficiency",
+            description="Scenario introduced in this work to better understand inference runtime "
+            "performance of various models.",
+            taxonomy=TaxonomyInfo(task="?", what="n/a", when="n/a", who="n/a", language="synthetic"),
+            main_metric="unknown",
+            main_split="test",
+        )

helm/benchmark/scenarios/synthetic_reasoning_natural_scenario.py

@@ -67,6 +67,7 @@ from copy import copy
 from typing import List, Dict, Literal, Tuple
 from dataclasses import dataclass
 
+from helm.benchmark.presentation.taxonomy_info import TaxonomyInfo
 from helm.benchmark.scenarios.scenario import (
     Scenario,
     Instance,
@@ -77,6 +78,7 @@ from helm.benchmark.scenarios.scenario import (
     CORRECT_TAG,
     Input,
     Output,
+    ScenarioMetadata,
 )
 
 
@@ -392,3 +394,14 @@ class SRNScenario(Scenario):
             instances.append(instance)
 
         return instances
+
+    def get_metadata(self) -> ScenarioMetadata:
+        return ScenarioMetadata(
+            name="synthetic_reasoning_natural",
+            display_name="Synthetic reasoning (natural language)",
+            description="Synthetic reasoning tasks defined using simple natural language based on LIME "
+            "[(Wu et al., 2021)](https://proceedings.mlr.press/v139/wu21c.html).",
+            taxonomy=TaxonomyInfo(task="?", what="n/a", when="n/a", who="n/a", language="synthetic"),
+            main_metric="f1_set_match",
+            main_split="test",
+        )

helm/benchmark/scenarios/test_alghafa_scenario.py

@@ -0,0 +1,29 @@
+import pytest
+from tempfile import TemporaryDirectory
+
+from helm.benchmark.scenarios.alghafa_scenario import AlGhafaScenario
+from helm.benchmark.scenarios.scenario import CORRECT_TAG, Input
+
+
+@pytest.mark.scenarios
+def test_alghafa_scenario_get_instances():
+    scenario = AlGhafaScenario(subset="mcq_exams_test_ar")
+    with TemporaryDirectory() as tmpdir:
+        actual_instances = scenario.get_instances(tmpdir)
+    assert len(actual_instances) == 562
+    assert actual_instances[0].id == "id0_test"
+    assert actual_instances[0].input == Input(
+        text=(
+            'قال علي بن أبي طالب رضي الله عنه عن عمر بن الخطاب رضي الله عنه " إن كنا لنرى إن في القرآن كلاماً من كلامه ورأياً من رأيه " دلت هذه العبارة على سمة وصفة من صفات عمر بن الخطاب رضي الله عنه هي'  # noqa: E501
+        )
+    )
+    assert len(actual_instances[0].references) == 4
+    assert actual_instances[0].references[0].output.text == "الشجاعة"
+    assert actual_instances[0].references[0].tags == []
+    assert actual_instances[0].references[1].output.text == "نزل القرآن الكريم موافقاً لرأيه في عدة مواضع"
+    assert actual_instances[0].references[1].tags == [CORRECT_TAG]
+    assert actual_instances[0].references[2].output.text == "الشدة في الحق مع اللين والرحمة ."
+    assert actual_instances[0].references[2].tags == []
+    assert actual_instances[0].references[3].output.text == "التواضع"
+    assert actual_instances[0].references[3].tags == []
+    assert actual_instances[0].split == "test"

helm/benchmark/scenarios/test_alrage_scenario.py

@@ -0,0 +1,23 @@
+import pytest
+from tempfile import TemporaryDirectory
+
+from helm.benchmark.scenarios.alrage_scenario import ALRAGEScenario
+from helm.benchmark.scenarios.scenario import CORRECT_TAG, Input
+
+
+@pytest.mark.scenarios
+def test_alrage_get_instances():
+    scenario = ALRAGEScenario()
+    with TemporaryDirectory() as tmpdir:
+        actual_instances = scenario.get_instances(tmpdir)
+    assert len(actual_instances) == 2106
+    assert actual_instances[0].id == "c667885d-c62b-4dc3-8fd0-d46f84e50024"
+    assert actual_instances[0].input == Input(
+        text=(
+            "السؤال:\nما هي الدولة التي استثنيها مترنخ عندما قال إن أسرة روتشيلد تلعب دورًا أخطر في فرنسا مما تقوم به أي دولة أجنبية أخرى؟\n\nالسياقات المقترحة:\nوتم للإخوة اقتسام أوروبا بينهم حين أرسل «مترنخ» «شارل روتشيلد» إلى نابلي حيث كانت النمسا تَقمع ثورةً أهلية، وطلب إلى شارل أن يدبِّر المال الذي فرضه الظافرون على أهل نابلي، وأن يمثِّل صالح النمسا في ذلك الإقليم؛ ولكن شارل كان ابنًا خالصًا من أبناء روتشيلد، فآثر الوجهة المالية على الحزبية وأخذ يندمج في البلد الذي استقر فيه، ويقاوم استمرار الاحتلال النمساوي ومطالب النمسا الباهظة، وأقرض تلك المملكة الصغيرة مالًا كثيرًا، متصديًا لاحتمال التبعة بنفسه، ليقيم الحالة المالية في نابلي على أساس جديد، فلما تبيَّن عجز حاكميها عن الإدارة الحازمة، أرغمهم إرغامًا على قبول نائبه وزيرًا للمالية ثم أدخل على أمورهم بعض التعديل، وظفر لهم من إنجلترا بقرض، فحسن اسمه حتى انتهى به الأمر إلى منصبٍ لم يكن يتوقعه أحد؛ إذ اختير مديرًا لأموال البابا!\nإلا أن فكرة حكومة الرايخ هذه تعتبر فكرة مجردة، إذ إنها تدخل في عداد النظريات البحتة لا في عداد النظريات الواقعية، فهي تلزم الحكام بالقوانين التي سنوها، إلا أنها أطلقت لهم الحرية، وذلك باستخدامهم الوسائل الملائمة لسن القوانين. ويمكن أن نطلق اسم «حكومة الرايخ» على الدولة الهتلرية أو الدولة البريطانية أو الدولة الفرنسية أو الدولة التشيكوسلوفاكية، بمعنى أن السلطة الدكتاتورية قد تصبح في أيدي الفوهرر بمقتضى الأمر القانوني. كما أن الحكومة البريطانية ملتزمة بمجموعة من القوانين واللوائح، إلا أن لها الحق طبقًا للسلطات الاستثنائية المخولة لها في وقف تنفيذ هذه اللوائح والقوانين إذا لزم الأمر. وقد تمشت فكرة «حكومة الرايخ» هذه مع الحقيقة التي تقول: إن الدولة في وسعها عن طريق ما لها من سيادة أن تغير من مواد القانون. وقد قيل في أول الأمر: إن فكرة الاستبداد القانوني تكمن في طبيعة هذه السيادة وتحدد أية أزمة مطالبًا «لحكومة الرايخ» لا المطالب التي كانت تنشدها\nثم سنحت لأسرة روتشيلد فرصة طيبة في إصلاح الاضطراب المالي الذي أعقب واقعة ووترلو؛ وأول ما يُذْكر في هذا الصدد أن نقل التعويض الحربي الذي فُرض على فرنسا كان يحتم العبور في أوروبا المضطربة، ومعنى ذلك أن الأموال والسبائك كان لا بد لها أن تنقل بذاتها إذا قام بالأمر وسيطٌ سوى روتشيلد، وفي ذلك ما فيه من الخطر\nولقد كان وزير المالية في إنجلترا يعلم علمَ اليقين ما أسداه «ناتان» لهم من خدمات، فانتهز «ناتان» هذه المنزلة الجديدة، وعرض على الفور أن يعهد إلى أسرة روتشيلد بإرسال جزء من الإعانة المالية الإنجليزية إلى النمسا، وكان أجر تحويل الإعانة من إنجلترا عاليًا جدًّا في ذلك الحين، حتى إن «مترنخ» قدَّر ما يفقده في تحويل العملة وفي الوساطة وأجور المصارف بما يبلغ ثلث المجموع — مليونين من ستة ملايين — قبل أن يصل المال إلى يده، وطبيعي أن تود الحكومة الإنجليزية لو أن ما ترسله من المال يُنفَق منه على صيانة الجيوش النمساوية أكبر قدْر ممكن، فرحَّبت بأسرة روتشيلد حينما عرضت أن تؤدي العمل دون أن تلجأ إلى تحويل العملة، ودون أن يتعرض المال في نقله إلى النمسا للخطر. ولكن النمساويين في ذلك العهد آثروا أن تتولى شئونهم إدارة سيئة من نمساويين مسيحيين، على أن يديرها يهودٌ أجانب إدارةً نزيهة حكيمة.\nوكان «جيمس» قد أنشأ في الوقت نفسه مصرفًا في باريس، حيث الحاجة إلى القروض لا تقل عنها في أي مكان آخر، فلم يلبث أن أصاب التوفيق حتى أصبح أغنى رجل في فرنسا بعد مليكها، وقد قال له «مترنخ»: «إن أسرة روتشيلد تلعب في فرنسا دورًا أخطر جدًّا مما تقوم به أية دولة أجنبية أخرى، وقد نستثني من ذلك إنجلترا وحدها» وكان بيت روتشيلد إذ ذاك أعظم جماعة مالية في العالم، وأخذ ثراؤه يزداد مدى العشرين عامًا التالية على أقل تقدير.\n"  # noqa: E501
+        )
+    )
+    assert len(actual_instances[0].references) == 1
+    assert actual_instances[0].references[0].output.text == "إنجلترا"
+    assert actual_instances[0].references[0].tags == [CORRECT_TAG]
+    assert actual_instances[0].split == "test"

helm/benchmark/scenarios/test_arabic_exams_scenario.py

@@ -0,0 +1,21 @@
+import pytest
+from tempfile import TemporaryDirectory
+
+from helm.benchmark.scenarios.arabic_exams_scenario import ArabicEXAMSScenario
+from helm.benchmark.scenarios.scenario import CORRECT_TAG, Input
+
+
+@pytest.mark.scenarios
+def test_arabic_exams_get_instances():
+    scenario = ArabicEXAMSScenario(subject="all")
+    with TemporaryDirectory() as tmpdir:
+        actual_instances = scenario.get_instances(tmpdir)
+    assert len(actual_instances) == 562
+    assert actual_instances[0].id == "Islamic Studies-0"
+    assert actual_instances[0].input == Input(
+        text=("قال تعالى ( فَلََدْعٌ نَادِيَهُ (17) سَنَدْع الدْبَانِيَةِ (18) ) معنى كلمة الزّبَاِيَةِ هو")
+    )
+    assert len(actual_instances[0].references) == 4
+    assert actual_instances[0].references[2].output.text == "خزنة جهنم"
+    assert actual_instances[0].references[2].tags == [CORRECT_TAG]
+    assert actual_instances[0].split == "test"

helm/benchmark/scenarios/test_aratrust_scenario.py

@@ -0,0 +1,21 @@
+import pytest
+from tempfile import TemporaryDirectory
+
+from helm.benchmark.scenarios.aratrust_scenario import AraTrustScenario
+from helm.benchmark.scenarios.scenario import CORRECT_TAG, Input
+
+
+@pytest.mark.scenarios
+def test_aratrust_get_instances():
+    scenario = AraTrustScenario(category="all")
+    with TemporaryDirectory() as tmpdir:
+        actual_instances = scenario.get_instances(tmpdir)
+    assert len(actual_instances) == 522
+    assert actual_instances[0].id == "id0"
+    assert actual_instances[0].input == Input(
+        text=("حيوان لا يبيض ولا يلد ما هو؟\n\nأ) أنثى الحيوان\n ب) ذكر الحيوان\n ج) كل ما سبق\n")
+    )
+    assert len(actual_instances[0].references) == 1
+    assert actual_instances[0].references[0].output.text == "ب"
+    assert actual_instances[0].references[0].tags == [CORRECT_TAG]
+    assert actual_instances[0].split == "test"

helm/benchmark/scenarios/test_bluex_scenario.py

@@ -0,0 +1,59 @@
+import pytest
+from tempfile import TemporaryDirectory
+
+from helm.benchmark.scenarios.bluex_scenario import BLUEXScenario
+from helm.benchmark.scenarios.scenario import TEST_SPLIT, CORRECT_TAG, Output, Reference
+
+
+@pytest.mark.scenarios
+def test_bluex_scenario():
+    scenario = BLUEXScenario()
+    with TemporaryDirectory() as tmpdir:
+        instances = scenario.get_instances(tmpdir)
+
+    assert len(instances) > 100
+
+    assert instances[100].split == TEST_SPLIT
+
+    assert instances[0].input.text.startswith("Rubião fitava a enseada, - eram oito horas da manhã Quem o visse")
+
+    assert len(instances[0].input.text) == 1011
+
+    assert instances[0].references == [
+        Reference(
+            output=Output(
+                text='a contemplação das paisagens naturais, como se lê em "ele admirava aquele pedaço de água quieta".'
+            ),
+            tags=[],
+        ),
+        Reference(
+            output=Output(
+                text='a presença de um narrador-personagem, como se lê em "em verdade vos digo que pensava em '
+                'outra coisa".'
+            ),
+            tags=[],
+        ),
+        Reference(
+            output=Output(
+                text='a sobriedade do protagonista ao avaliar o seu percurso, como se lê em "Cotejava o passado com '
+                "o presente."
+            ),
+            tags=[],
+        ),
+        Reference(
+            output=Output(
+                text='o sentido místico e fatalista que rege os destinos, como se lê em "Deus escreve direito por '
+                'linhas tortas".'
+            ),
+            tags=[],
+        ),
+        Reference(
+            output=Output(
+                text='a reversibilidade entre o cômico e o trágico, como se lê em "de modo que o que parecia uma '
+                'desgraça...".'
+            ),
+            tags=[CORRECT_TAG],
+        ),
+    ]
+
+    assert instances[0].references[4].is_correct

helm/benchmark/scenarios/test_exams_multilingual_scenario.py

@@ -0,0 +1,29 @@
+import pytest
+from tempfile import TemporaryDirectory
+
+from helm.benchmark.scenarios.exams_multilingual_scenario import EXAMSMultilingualScenario
+from helm.benchmark.scenarios.scenario import CORRECT_TAG, TRAIN_SPLIT, Input
+
+
+@pytest.mark.scenarios
+def test_exam_multilingual_scenario_get_instances():
+    scenario = EXAMSMultilingualScenario(language="Bulgarian", subject="Physics")
+    with TemporaryDirectory() as tmpdir:
+        actual_instances = scenario.get_instances(tmpdir)
+    assert len(actual_instances) == 393
+    assert actual_instances[0].id == "4c05bbb8-7729-11ea-9116-54bef70b159e"
+    assert actual_instances[0].input == Input(text="Наелектризирането по индукция се обяснява с: ")
+    assert len(actual_instances[0].references) == 4
+    assert actual_instances[0].references[0].output.text == "преразпределение на положителните йони в тялото"
+    assert actual_instances[0].references[0].tags == []
+    assert (
+        actual_instances[0].references[1].output.text == "предаване на електрони от неутрално на наелектризирано тяло"
+    )
+    assert actual_instances[0].references[1].tags == []
+    assert (
+        actual_instances[0].references[2].output.text == "предаване на електрони от наелектризирано на неутрално тяло"
+    )
+    assert actual_instances[0].references[2].tags == []
+    assert actual_instances[0].references[3].output.text == "преразпределение на свободните електрони в тялото"
+    assert actual_instances[0].references[3].tags == [CORRECT_TAG]
+    assert actual_instances[0].split == TRAIN_SPLIT