evalscope 0.6.1__py3-none-any.whl → 0.7.1__py3-none-any.whl

evalscope/backend/opencompass/tasks/eval_api.py

@@ -6,7 +6,8 @@ from opencompass.tasks import OpenICLInferTask
 
 
 with read_base():
-    from opencompass.configs.summarizers.medium import summarizer
+    # from opencompass.configs.summarizers.medium import summarizer
+    # from opencompass.configs.summarizers.PMMEval import summarizer
     from evalscope.backend.opencompass.tasks.eval_datasets import datasets
 
 # 1. Get datasets

evalscope/backend/opencompass/tasks/eval_datasets.py

@@ -51,6 +51,7 @@ with read_base():
     from opencompass.configs.datasets.triviaqa.triviaqa_gen_2121ce import triviaqa_datasets
     from opencompass.configs.datasets.cmb.cmb_gen_dfb5c4 import cmb_datasets
     from opencompass.configs.datasets.cmmlu.cmmlu_gen_c13365 import cmmlu_datasets
+    from opencompass.configs.datasets.PMMEval.pmmeval_gen import PMMEval_datasets
 
     # Note: to be supported
     # from opencompass.configs.datasets.flores.flores_gen_806ede import flores_datasets

evalscope/backend/rag_eval/clip_benchmark/utils/webdataset_convert.py

@@ -0,0 +1,230 @@
+# Convert datasets to webdataset format
+import os
+from tqdm import tqdm
+import torch
+import torch.utils.data
+import webdataset
+from evalscope.backend.rag_eval.clip_benchmark.dataset_builder import DatasetWrapper
+from evalscope.backend.rag_eval.utils.tools import path_to_bytes, PIL_to_bytes
+from evalscope.utils.logger import get_logger
+
+logger = get_logger()
+
+
+def convert_dataset(
+    dataset,
+    split,
+    output_folder,
+    *,
+    transform=None,
+    image_format="webp",
+    max_count=10_000,
+    max_size=1_000_000_000,
+    multilabel=False,
+    verbose=True,
+):
+    """
+    Convert an iterable `dataset` of (image, label) pairs to webdataset (.tar) format, and store in `output_folder/split`.
+
+    Images may be passed in as either:
+    * File paths: pass in `transform=path_to_bytes`;
+    * PIL images: pass in `transform=PIL_to_bytes(image_format)` where `image_format` is e.g. "webp"; or
+    * Raw binary data: use a PyTorch `Dataset` that supports `transform=PIL_to_bytes(image_format)`, and pass in `transform=None` here.
+        Be sure that the transform is not applied twice.
+
+    Copying image files directly or writing raw binary data is fastest since it allows multiprocessing;
+    passing in PIL images will be slower, but should work for any format of dataset.
+
+    Labels must be zero-indexed integers (for multilabel datasets, labels must be arrays/tensors).
+
+    Classnames and zero-shot classification templates can be provided as attributes of the dataset (`.classes` and `.templates`)
+    or filled in manually afterward. `dataset.classes` should be a list of strings indexed by the labels,
+    and `dataset.templates` should be a list of strings containing `{c}` to specify where classnames are to be inserted.
+    """
+    # Create output directory
+    os.makedirs(os.path.join(output_folder, split), exist_ok=True)
+    # Multiprocessed dataloader, should work with Dataset or list
+    dataloader = torch.utils.data.DataLoader(
+        dataset,
+        batch_size=1,
+        num_workers=8,
+        collate_fn=lambda batch: batch[0],  # No collate, only for multiprocessing
+    )
+    if verbose:
+        try:
+            logger.info(f"Dataset size: {len(dataset)}")
+        except TypeError:
+            logger.info("IterableDataset has no len()")
+    # Save classnames
+    if hasattr(dataset, "classes") and dataset.classes:
+        classnames_fname = os.path.join(output_folder, "classnames.txt")
+        with open(classnames_fname, "w") as classnames_file:
+            logger.info(*dataset.classes, sep="\n", end="\n", file=classnames_file)
+        if verbose:
+            logger.info("Saved class names to '%s'" % classnames_fname)
+    elif verbose:
+        logger.info("WARNING: No class names found")
+    # Save zeroshot templates
+    if hasattr(dataset, "templates") and dataset.templates:
+        templates_fname = os.path.join(
+            output_folder, "zeroshot_classification_templates.txt"
+        )
+        with open(templates_fname, "w") as templates_file:
+            logger.info(*dataset.templates, sep="\n", end="\n", file=templates_file)
+        if verbose:
+            logger.info("Saved class names to '%s'" % templates_fname)
+    elif verbose:
+        logger.info("WARNING: No zeroshot classification templates found")
+    # Save dataset type
+    if multilabel:
+        type_fname = os.path.join(output_folder, "dataset_type.txt")
+        with open(type_fname, "w") as type_file:
+            logger.info("multilabel", end="\n", file=type_file)
+            if verbose:
+                logger.info("Saved dataset type to '%s'" % type_fname)
+    # Write to TAR files
+    data_fname = os.path.join(output_folder, split, r"%d.tar")
+    sink = webdataset.ShardWriter(data_fname, maxcount=max_count, maxsize=max_size)
+    nsamples = 0
+    label_type = "npy" if multilabel else "cls"
+    for index, (input, output) in enumerate(tqdm(dataloader, desc="Converting")):
+        nsamples += 1
+        if isinstance(input, str) and transform is path_to_bytes:
+            # If copying file, determine image format from extension
+            extension = (
+                os.path.splitext(input)[1]
+                .replace(".", "")
+                .lower()
+                .replace("jpeg", "jpg")
+                or image_format
+            )
+        else:
+            extension = image_format
+        # Convert label if necessary
+        if isinstance(output, torch.Tensor):
+            if multilabel:
+                output = output.detach().cpu().numpy()
+            else:
+                output = output.item()
+        # Write example
+        sink.write(
+            {
+                "__key__": "s%07d" % index,
+                extension: transform(input) if transform else input,
+                label_type: output,
+            }
+        )
+    num_shards = sink.shard
+    sink.close()
+    if verbose:
+        logger.info(
+            "Saved dataset to '%s'"
+            % data_fname.replace(r"%d", "{0..%d}" % (num_shards - 1))
+        )
+    # Save number of shards
+    nshards_fname = os.path.join(output_folder, split, "nshards.txt")
+    with open(nshards_fname, "w") as nshards_file:
+        logger.info(num_shards, end="\n", file=nshards_file)
+    if verbose:
+        logger.info("Saved number of shards = %d to '%s'" % (num_shards, nshards_fname))
+    logger.info("Final dataset size:", nsamples)
+
+
+def convert_retrieval_dataset(
+    dataset,
+    split,
+    output_folder,
+    *,
+    transform=None,
+    image_format="webp",
+    max_count=10_000,
+    max_size=1_000_000_000,
+    verbose=True,
+):
+    """
+    Convert an iterable `dataset` of (image, [caption1, caption2, ...]) pairs to webdataset (.tar) format, and store in `output_folder/split`.
+
+    Labels must be lists of strings, with no newlines.
+
+    Read the documentation of `convert_dataset` for more information.
+    """
+    # Create output directory
+    os.makedirs(os.path.join(output_folder, split), exist_ok=True)
+    # Multiprocessed dataloader, should work with Dataset or list
+    dataloader = torch.utils.data.DataLoader(
+        dataset,
+        batch_size=1,
+        num_workers=8,
+        collate_fn=lambda batch: batch[0],  # No collate, only for multiprocessing
+    )
+    if verbose:
+        try:
+            logger.info(f"Dataset size: {len(dataset)}")
+        except TypeError:
+            logger.info("IterableDataset has no len()")
+    # No classnames
+    # No zeroshot templates
+    # Save dataset type
+    type_fname = os.path.join(output_folder, "dataset_type.txt")
+    with open(type_fname, "w") as type_file:
+        logger.info("retrieval", end="\n", file=type_file)
+    if verbose:
+        logger.info("Saved dataset type to '%s'" % type_fname)
+    # Write to TAR files
+    data_fname = os.path.join(output_folder, split, r"%d.tar")
+    sink = webdataset.ShardWriter(data_fname, maxcount=max_count, maxsize=max_size)
+    nsamples = 0
+    for index, (input, output) in enumerate(tqdm(dataloader, desc="Converting")):
+        nsamples += 1
+        if isinstance(input, str) and transform is path_to_bytes:
+            # If copying file, determine image format from extension
+            extension = (
+                os.path.splitext(input)[1]
+                .replace(".", "")
+                .lower()
+                .replace("jpeg", "jpg")
+                or image_format
+            )
+        else:
+            extension = image_format
+        sink.write(
+            {
+                "__key__": "s%07d" % index,
+                extension: transform(input) if transform else input,
+                "txt": "\n".join(caption.replace("\n", r"\n") for caption in output),
+            }
+        )
+    num_shards = sink.shard
+    sink.close()
+    if verbose:
+        logger.info(
+            "Saved dataset to '%s'"
+            % data_fname.replace(r"%d", "{0..%d}" % (num_shards - 1))
+        )
+    # Save number of shards
+    nshards_fname = os.path.join(output_folder, split, "nshards.txt")
+    with open(nshards_fname, "w") as nshards_file:
+        logger.info(num_shards, end="\n", file=nshards_file)
+    if verbose:
+        logger.info("Saved number of shards = %d to '%s'" % (num_shards, nshards_fname))
+    logger.info("Final dataset size:", nsamples)
+
+
+if __name__ == "__main__":
+    from modelscope.msdatasets import MsDataset
+
+    splits = ["train", "validation"]
+    for split in splits:
+        ds = MsDataset.load("modelscope/muge", split=split)
+        hf_dataset = ds.to_hf_dataset()
+        pytorch_dataset = DatasetWrapper(
+            hf_dataset, image_key="image", text_key="query"
+        )
+        convert_retrieval_dataset(
+            pytorch_dataset,
+            split,
+            "data/muge",
+            transform=PIL_to_bytes("jpg"),
+            image_format="jpg",
+            max_count=50_000,
+        )

evalscope/backend/rag_eval/clip_benchmark/utils/webdatasets.txt

@@ -0,0 +1,43 @@
+muge
+mscoco_captions
+mscoco_captions2017
+flickr8k
+flickr30k
+imagenet1k
+imagenetv2
+imagenet_sketch
+imagenet-a
+imagenet-r
+imagenet-o
+objectnet
+fer2013
+voc2007
+voc2007_multilabel
+sun397
+cars
+fgvc_aircraft
+mnist
+stl10
+gtsrb
+country211
+renderedsst2
+vtab_caltech101
+vtab_cifar10
+vtab_cifar100
+vtab_clevr_count_all
+vtab_clevr_closest_object_distance
+vtab_diabetic_retinopathy
+vtab_dmlab
+vtab_dsprites_label_orientation
+vtab_dsprites_label_x_position
+vtab_dsprites_label_y_position
+vtab_dtd
+vtab_eurosat
+vtab_kitti_closest_vehicle_distance
+vtab_flowers
+vtab_pets
+vtab_pcam
+vtab_resisc45
+vtab_smallnorb_label_azimuth
+vtab_smallnorb_label_elevation
+vtab_svhn

evalscope/backend/rag_eval/ragas/prompts/chinese/AnswerCorrectness/correctness_prompt_chinese.json

@@ -0,0 +1,87 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": 963876325390538086,
+  "language": "chinese",
+  "instruction": "给定一个真实情况和一个答案陈述，分析每个陈述并将其分类为以下类别之一：TP（真正）：答案中存在的陈述也直接由一个或多个真实情况中的陈述支持，FP（假正）：答案中存在的陈述但没有被任何真实情况中的陈述直接支持，FN（假负）：在真实情况中发现但在答案中不存在的陈述。每个陈述只能属于一个类别。为每个分类提供理由。",
+  "examples": [
+    {
+      "input": {
+        "question": "是什么为太阳提供能量，它的主要功能是什么？",
+        "answer": [
+          "太阳的能量来源于核裂变，类似于地球上的核反应堆。",
+          "太阳的主要功能是为太阳系提供光。"
+        ],
+        "ground_truth": [
+          "太阳的能量来源于核聚变，其中氢原子融合形成氦。",
+          "太阳核心的这种聚变过程释放出巨大的能量。",
+          "来自太阳的能量提供热量和光，这对地球上的生命至关重要。",
+          "太阳的光在地球的气候系统中起着关键作用。",
+          "阳光有助于驱动天气和海洋洋流。"
+        ]
+      },
+      "output": {
+        "TP": [
+          {
+            "statement": "太阳的主要功能是为太阳系提供光。",
+            "reason": "这一说法在某种程度上得到了地面事实的支持，提到太阳提供光和它的作用，尽管它更广泛地关注太阳的能量。"
+          }
+        ],
+        "FP": [
+          {
+            "statement": "太阳的能量来源于核裂变，类似于地球上的核反应堆。",
+            "reason": "这一说法是不正确的，与地面事实相矛盾，地面事实指出太阳的能量来源于核聚变。"
+          }
+        ],
+        "FN": [
+          {
+            "statement": "太阳的能量来源于核聚变，其中氢原子融合形成氦。",
+            "reason": "这种对太阳能量来源的准确描述没有包含在答案中。"
+          },
+          {
+            "statement": "太阳核心的这种聚变过程释放出巨大的能量。",
+            "reason": "这个过程及其重要性没有在答案中提到。"
+          },
+          {
+            "statement": "来自太阳的能量提供热量和光，这对地球上的生命至关重要。",
+            "reason": "答案中只提到了光，忽略了热量及其对生命的必要性，这些在地面事实中都有涵盖。"
+          },
+          {
+            "statement": "太阳的光在地球的气候系统中起着关键作用。",
+            "reason": "太阳光对地球气候系统的这种更广泛的影响没有在答案中提到。"
+          },
+          {
+            "statement": "阳光有助于驱动天气和海洋洋流。",
+            "reason": "答案中省略了阳光对天气模式和海洋洋流的影响。"
+          }
+        ]
+      }
+    },
+    {
+      "input": {
+        "question": "水的沸点是多少？",
+        "answer": [
+          "水的沸点在海平面上是100摄氏度。"
+        ],
+        "ground_truth": [
+          "水的沸点在海平面上是100摄氏度（212华氏度）。",
+          "水的沸点会随着海拔的变化而变化。"
+        ]
+      },
+      "output": {
+        "TP": [
+          {
+            "statement": "水的沸点在海平面上是100摄氏度。",
+            "reason": "这一说法得到了地面事实的直接支持，地面事实明确指出水的沸点在海平面上是100摄氏度。"
+          }
+        ],
+        "FP": [],
+        "FN": [
+          {
+            "statement": "水的沸点会随着海拔的变化而变化。",
+            "reason": "关于水的沸点如何随海拔变化的额外信息没有在答案中提到。"
+          }
+        ]
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/AnswerCorrectness/long_form_answer_prompt_chinese.json

@@ -0,0 +1,36 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": 8370494081602031492,
+  "language": "chinese",
+  "instruction": "给定一个问题、一个答案和答案中的句子，分析在“句子”下给出的每个句子的复杂性，并将每个句子分解为一个或多个完全可理解的陈述，同时确保每个陈述中不使用代词。将输出格式化为JSON。",
+  "examples": [
+    {
+      "input": {
+        "question": "阿尔伯特·爱因斯坦是谁，他以什么而闻名？",
+        "answer": "他是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最有影响力的物理学家之一。他最著名的是发展了相对论，他还对量子力学理论的发展做出了重要贡献。",
+        "sentences": {
+          "0": "他是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最有影响力的物理学家之一。",
+          "1": "他最著名的是发展了相对论，他还对量子力学理论的发展做出了重要贡献。"
+        }
+      },
+      "output": {
+        "sentences": [
+          {
+            "sentence_index": 0,
+            "simpler_statements": [
+              "阿尔伯特·爱因斯坦是一位出生于德国的理论物理学家。",
+              "阿尔伯特·爱因斯坦被认为是有史以来最伟大和最有影响力的物理学家之一。"
+            ]
+          },
+          {
+            "sentence_index": 1,
+            "simpler_statements": [
+              "阿尔伯特·爱因斯坦最著名的是发展了相对论。",
+              "阿尔伯特·爱因斯坦还对量子力学理论的发展做出了重要贡献。"
+            ]
+          }
+        ]
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/AnswerRelevancy/question_generation_chinese.json

@@ -0,0 +1,26 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": -6199619726952258368,
+  "language": "chinese",
+  "instruction": "为给定的答案生成一个问题，并识别答案是否是不明确的。如果答案是不明确的，则给出1；如果答案是明确的，则给出0。不明确的答案是指那些含糊其辞、模棱两可或不清楚的答案。例如，“我不知道”或“我不确定”是不明确的答案。",
+  "examples": [
+    {
+      "input": {
+        "response": "阿尔伯特·爱因斯坦出生在德国。"
+      },
+      "output": {
+        "question": "阿尔伯特·爱因斯坦出生在哪里？",
+        "noncommittal": 0
+      }
+    },
+    {
+      "input": {
+        "response": "我不知道2023年发明的智能手机的突破性功能，因为我对2022年以后的信息不了解。"
+      },
+      "output": {
+        "question": "2023年发明的智能手机的突破性功能是什么？",
+        "noncommittal": 1
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/ContextPrecision/context_precision_prompt_chinese.json

@@ -0,0 +1,41 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": 6611742689846464445,
+  "language": "chinese",
+  "instruction": "给定问题、答案和上下文，验证上下文在得出给定答案时是否有用。如果有用，给出判决为“1”，如果没有用，给出判决为“0”，并以json格式输出。",
+  "examples": [
+    {
+      "input": {
+        "question": "你能告诉我关于阿尔伯特·爱因斯坦的什么？",
+        "context": "阿尔伯特·爱因斯坦（1879年3月14日－1955年4月18日）是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最具影响力的科学家之一。他因发展相对论而闻名，同时也对量子力学做出了重要贡献，因此在20世纪前几十年现代物理学对自然科学理解的革命性重塑中起到了核心作用。他的质能等价公式E=mc²源于相对论，被称为“世界上最著名的方程”。他因“对理论物理学的贡献，特别是发现光电效应定律”而获得1921年诺贝尔物理学奖，这是量子理论发展的关键一步。他的工作也因其对科学哲学的影响而闻名。在1999年由英国《物理世界》杂志对全球130位顶尖物理学家的调查中，爱因斯坦被评为有史以来最伟大的物理学家。他的智力成就和原创性使爱因斯坦成为天才的代名词。",
+        "answer": "阿尔伯特·爱因斯坦，生于1879年3月14日，是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最具影响力的科学家之一。他因对理论物理学的贡献而获得1921年诺贝尔物理学奖。"
+      },
+      "output": {
+        "reason": "提供的背景确实有助于得出给定的答案。背景包括关于阿尔伯特·爱因斯坦的生活和贡献的关键信息，这些信息在答案中得到了反映。",
+        "verdict": 1
+      }
+    },
+    {
+      "input": {
+        "question": "谁赢得了2020年ICC世界杯？",
+        "context": "2022年ICC男子T20世界杯于2022年10月16日至11月13日在澳大利亚举行，是该赛事的第八届。原定于2020年举行，但因COVID-19大流行而推迟。英格兰在决赛中以五个小门击败巴基斯坦，赢得了他们的第二个ICC男子T20世界杯冠军。",
+        "answer": "英格兰"
+      },
+      "output": {
+        "reason": "背景有助于澄清关于2020年ICC世界杯的情况，并指出英格兰是原定于2020年举行但实际上在2022年举行的比赛的获胜者。",
+        "verdict": 1
+      }
+    },
+    {
+      "input": {
+        "question": "世界上最高的山是什么？",
+        "context": "安第斯山脉是世界上最长的大陆山脉，位于南美洲。它横跨七个国家，拥有西半球许多最高的山峰。该山脉以其多样的生态系统而闻名，包括高海拔的安第斯高原和亚马逊雨林。",
+        "answer": "珠穆朗玛峰。"
+      },
+      "output": {
+        "reason": "提供的背景讨论了安第斯山脉，虽然令人印象深刻，但不包括珠穆朗玛峰，也与关于世界最高山的问题没有直接关系。",
+        "verdict": 0
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/Faithfulness/nli_statements_message_chinese.json

@@ -0,0 +1,60 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": -4418228766304805311,
+  "language": "chinese",
+  "instruction": "您的任务是根据给定的上下文判断一系列陈述的真实性。对于每个陈述，如果可以根据上下文直接推断出该陈述，则必须返回判决为1；如果不能根据上下文直接推断出该陈述，则返回判决为0。",
+  "examples": [
+    {
+      "input": {
+        "context": "约翰是XYZ大学的学生。他正在攻读计算机科学学位。本学期他选修了几门课程，包括数据结构、算法和数据库管理。约翰是一个勤奋的学生，花费大量时间学习和完成作业。他经常在图书馆待到很晚以完成他的项目。",
+        "statements": [
+          "约翰主修生物学。",
+          "约翰正在学习人工智能课程。",
+          "约翰是一个勤奋的学生。",
+          "约翰有一份兼职工作。"
+        ]
+      },
+      "output": {
+        "statements": [
+          {
+            "statement": "约翰主修生物学。",
+            "reason": "约翰的专业明确提到是计算机科学。没有信息表明他主修生物学。",
+            "verdict": 0
+          },
+          {
+            "statement": "约翰正在学习人工智能课程。",
+            "reason": "上下文提到约翰目前选修的课程，并未提到人工智能。因此，无法推断出约翰正在学习人工智能课程。",
+            "verdict": 0
+          },
+          {
+            "statement": "约翰是一个勤奋的学生。",
+            "reason": "上下文指出他花费大量时间学习和完成作业。此外，还提到他经常在图书馆待到很晚以完成他的项目，这表明了他的勤奋。",
+            "verdict": 1
+          },
+          {
+            "statement": "约翰有一份兼职工作。",
+            "reason": "上下文中没有提供关于约翰有兼职工作的信息。",
+            "verdict": 0
+          }
+        ]
+      }
+    },
+    {
+      "input": {
+        "context": "光合作用是植物、藻类和某些细菌用来将光能转化为化学能的过程。",
+        "statements": [
+          "阿尔伯特·爱因斯坦是个天才。"
+        ]
+      },
+      "output": {
+        "statements": [
+          {
+            "statement": "阿尔伯特·爱因斯坦是个天才。",
+            "reason": "上下文和陈述无关",
+            "verdict": 0
+          }
+        ]
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/Faithfulness/statement_prompt_chinese.json

@@ -0,0 +1,36 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": 8370494081602031492,
+  "language": "chinese",
+  "instruction": "给定一个问题、一个答案和答案中的句子，分析在“句子”下给出的每个句子的复杂性，并将每个句子分解为一个或多个完全可理解的陈述，同时确保每个陈述中不使用代词。将输出格式化为JSON。",
+  "examples": [
+    {
+      "input": {
+        "question": "阿尔伯特·爱因斯坦是谁，他最出名的是什么？",
+        "answer": "他是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最有影响力的物理学家之一。他最出名的是发展了相对论，他还对量子力学理论的发展做出了重要贡献。",
+        "sentences": {
+          "0": "他是一位出生于德国的理论物理学家，被广泛认为是有史以来最伟大和最有影响力的物理学家之一。",
+          "1": "他最出名的是发展了相对论，他还对量子力学理论的发展做出了重要贡献。"
+        }
+      },
+      "output": {
+        "sentences": [
+          {
+            "sentence_index": 0,
+            "simpler_statements": [
+              "阿尔伯特·爱因斯坦是一位出生于德国的理论物理学家。",
+              "阿尔伯特·爱因斯坦被认为是有史以来最伟大和最有影响力的物理学家之一。"
+            ]
+          },
+          {
+            "sentence_index": 1,
+            "simpler_statements": [
+              "阿尔伯特·爱因斯坦最出名的是发展了相对论。",
+              "阿尔伯特·爱因斯坦还对量子力学理论的发展做出了重要贡献。"
+            ]
+          }
+        ]
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/HeadlinesExtractor/prompt_chinese.json

@@ -0,0 +1,22 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": 5488893487931336269,
+  "language": "chinese",
+  "instruction": "从给定文本中仅提取第2级和第3级标题。",
+  "examples": [
+    {
+      "input": {
+        "text": "                介绍\n                主题概述...\n\n                主要概念\n                核心思想的解释...\n\n                详细分析\n                分析的技术和方法...\n\n                小节：专业技术\n                专业技术的进一步细节...\n\n                未来方向\n                对即将到来的趋势的见解...\n\n                小节：研究的下一步\n                新研究领域的讨论...\n\n                结论\n                最后的评论和总结。\n                "
+      },
+      "output": {
+        "headlines": [
+          "主要概念",
+          "详细分析",
+          "小节：专业技术",
+          "未来方向",
+          "小节：研究的下一步"
+        ]
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopAbstractQuerySynthesizer/concept_combination_prompt_chinese.json

@@ -0,0 +1,35 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": -5063505674847369221,
+  "language": "chinese",
+  "instruction": "通过将来自至少两个不同列表的概念配对来形成组合。\n**说明：**\n- 查看每个节点的概念。\n- 确定可以逻辑连接或对比的概念。\n- 形成涉及来自不同节点的概念的组合。\n- 每个组合应至少包括来自两个或多个节点的一个概念。\n- 清晰简洁地列出组合。\n- 不要重复相同的组合。",
+  "examples": [
+    {
+      "input": {
+        "lists_of_concepts": [
+          [
+            "人工智能",
+            "自动化"
+          ],
+          [
+            "医疗保健",
+            "数据隐私"
+          ]
+        ],
+        "max_combinations": 2
+      },
+      "output": {
+        "combinations": [
+          [
+            "人工智能",
+            "医疗保健"
+          ],
+          [
+            "自动化",
+            "数据隐私"
+          ]
+        ]
+      }
+    }
+  ]
+}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopAbstractQuerySynthesizer/generate_query_reference_prompt_chinese.json

@@ -0,0 +1,7 @@
+{
+  "ragas_version": "0.2.5",
+  "original_hash": -1698100170803872933,
+  "language": "chinese",
+  "instruction": "根据指定的条件（角色、主题、风格、长度）和提供的上下文生成查询和答案。确保答案完全忠实于上下文，仅使用直接来自提供节点的信息。### 指令：\n1. **生成查询**：根据上下文、角色、主题、风格和长度，创建一个符合角色视角并反映主题的问题。\n2. **生成答案**：仅使用提供的上下文内容，创建一个忠实且详细的答案。不要包含任何不在或无法从给定上下文中推断的信息。\n### 示例输出：\n\n",
+  "examples": []
+}