evalscope 0.8.0__py3-none-any.whl → 0.8.2__py3-none-any.whl

evalscope/backend/rag_eval/ragas/prompts/chinese/HeadlinesExtractor/prompt_chinese.json

@@ -1,24 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 7972318980248949928,
-  "language": "chinese",
-  "instruction": "从给定文本中提取最重要的max_num标题，这些标题可用于将文本分成独立的部分。重点关注第2级和第3级标题。",
-  "examples": [
-    {
-      "input": {
-        "text": "                介绍\n                主题概述...\n\n                主要概念\n                核心思想的解释...\n\n                详细分析\n                分析的技术和方法...\n\n                小节：专业技术\n                专业技术的进一步细节...\n\n                未来方向\n                对即将到来的趋势的见解...\n\n                小节：研究的下一步\n                新研究领域的讨论...\n\n                结论\n                最后的评论和总结。\n                ",
-        "max_num": 6
-      },
-      "output": {
-        "headlines": [
-          "介绍",
-          "主要概念",
-          "详细分析",
-          "小节：专业技术",
-          "未来方向",
-          "结论"
-        ]
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopAbstractQuerySynthesizer/concept_combination_prompt_chinese.json

@@ -1,35 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 5035835898922847346,
-  "language": "chinese",
-  "instruction": "通过将来自至少两个不同列表的概念配对来形成组合。\n**说明：**\n- 查看每个节点的概念。\n- 确定可以逻辑连接或对比的概念。\n- 形成涉及来自不同节点的概念的组合。\n- 每个组合应至少包括来自两个或多个节点的一个概念。\n- 清晰简洁地列出组合。\n- 不要重复相同的组合。",
-  "examples": [
-    {
-      "input": {
-        "lists_of_concepts": [
-          [
-            "人工智能",
-            "自动化"
-          ],
-          [
-            "医疗保健",
-            "数据隐私"
-          ]
-        ],
-        "max_combinations": 2
-      },
-      "output": {
-        "combinations": [
-          [
-            "人工智能",
-            "医疗保健"
-          ],
-          [
-            "自动化",
-            "数据隐私"
-          ]
-        ]
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopAbstractQuerySynthesizer/generate_query_reference_prompt_chinese.json

@@ -1,30 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 5691378570114822729,
-  "language": "chinese",
-  "instruction": "根据指定的条件（角色、主题、风格、长度）和提供的上下文生成一个多跳查询和答案。主题代表从上下文中提取或生成的一组短语，这些短语突出显示了所选上下文在创建多跳查询时的适用性。确保查询明确包含这些主题。### 指导：\n1. **生成多跳查询**：使用提供的上下文片段和主题形成一个需要结合多个片段信息的查询（例如，`<1-hop>` 和 `<2-hop>`）。确保查询明确包含一个或多个主题，并反映其与上下文的相关性。\n2. **生成答案**：仅使用提供的上下文中的内容来创建查询的详细和忠实的答案。避免添加不直接存在或无法从给定上下文推断的信息。\n3. **多跳上下文标签**：\n   - 每个上下文片段标记为 `<1-hop>`、`<2-hop>` 等。\n   - 确保查询使用至少两个片段的信息并有意义地连接它们。",
-  "examples": [
-    {
-      "input": {
-        "persona": {
-          "name": "历史学家",
-          "role_description": "专注于主要科学里程碑及其全球影响。"
-        },
-        "themes": [
-          "相对论",
-          "实验验证"
-        ],
-        "query_style": "正式",
-        "query_length": "中等",
-        "context": [
-          "<1-hop> 阿尔伯特·爱因斯坦发展了相对论，引入了时空的概念。",
-          "<2-hop> 在1919年的日食期间，光线被重力弯曲的现象得到了证实，支持了爱因斯坦的理论。"
-        ]
-      },
-      "output": {
-        "query": "在1919年日食期间，相对论的实验验证是如何实现的？",
-        "answer": "在1919年日食期间，通过确认光线被重力弯曲，实现了相对论的实验验证，这支持了爱因斯坦在理论中提出的时空概念。"
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopAbstractQuerySynthesizer/theme_persona_matching_prompt_chinese.json

@@ -1,39 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 4608101540215877909,
-  "language": "chinese",
-  "instruction": "给定一个主题和角色列表，根据角色描述将每个角色与相关主题关联起来。",
-  "examples": [
-    {
-      "input": {
-        "themes": [
-          "同理心",
-          "包容性",
-          "远程工作"
-        ],
-        "personas": [
-          {
-            "name": "人力资源经理",
-            "role_description": "专注于包容性和员工支持。"
-          },
-          {
-            "name": "远程团队负责人",
-            "role_description": "管理远程团队沟通。"
-          }
-        ]
-      },
-      "output": {
-        "mapping": {
-          "HR Manager": [
-            "包容性",
-            "同理心"
-          ],
-          "Remote Team Lead": [
-            "远程工作",
-            "同理心"
-          ]
-        }
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopSpecificQuerySynthesizer/generate_query_reference_prompt_chinese.json

@@ -1,30 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 5691378570114822729,
-  "language": "chinese",
-  "instruction": "根据指定的条件（角色、主题、风格、长度）和提供的上下文生成一个多跳查询和答案。主题代表从上下文中提取或生成的一组短语，这些短语突出显示了所选上下文适合多跳查询创建的适用性。确保查询明确包含这些主题。### 指导：\n1. **生成多跳查询**：使用提供的上下文片段和主题形成一个需要结合多个片段信息的查询（例如，`<1-hop>` 和 `<2-hop>`）。确保查询明确包含一个或多个主题，并反映其与上下文的相关性。\n2. **生成答案**：仅使用提供的上下文中的内容来创建对查询的详细和忠实的答案。避免添加不直接存在或无法从给定上下文推断的信息。\n3. **多跳上下文标签**：\n   - 每个上下文片段标记为 `<1-hop>`、`<2-hop>` 等。\n   - 确保查询使用至少两个片段的信息并有意义地连接它们。",
-  "examples": [
-    {
-      "input": {
-        "persona": {
-          "name": "历史学家",
-          "role_description": "专注于重大的科学里程碑及其全球影响。"
-        },
-        "themes": [
-          "相对论",
-          "实验验证"
-        ],
-        "query_style": "正式",
-        "query_length": "中等",
-        "context": [
-          "<1-hop> 阿尔伯特·爱因斯坦发展了相对论，引入了时空的概念。",
-          "<2-hop> 在1919年的日全食期间，光线被重力弯曲的现象得到了证实，支持了爱因斯坦的理论。"
-        ]
-      },
-      "output": {
-        "query": "在1919年的日全食期间，相对论的实验验证是如何实现的？",
-        "answer": "在1919年的日全食期间，通过确认光线被重力弯曲的现象，实现了相对论的实验验证，这支持了爱因斯坦在理论中提出的时空概念。"
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiHopSpecificQuerySynthesizer/theme_persona_matching_prompt_chinese.json

@@ -1,39 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 4608101540215877909,
-  "language": "chinese",
-  "instruction": "给定一个主题和角色列表，根据角色描述将每个角色与相关主题关联起来。",
-  "examples": [
-    {
-      "input": {
-        "themes": [
-          "同理心",
-          "包容性",
-          "远程工作"
-        ],
-        "personas": [
-          {
-            "name": "人力资源经理",
-            "role_description": "专注于包容性和员工支持。"
-          },
-          {
-            "name": "远程团队负责人",
-            "role_description": "管理远程团队沟通。"
-          }
-        ]
-      },
-      "output": {
-        "mapping": {
-          "HR Manager": [
-            "包容性",
-            "同理心"
-          ],
-          "Remote Team Lead": [
-            "远程工作",
-            "同理心"
-          ]
-        }
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiModalFaithfulness/faithfulness_prompt_chinese.json

@@ -1,34 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": -1903496084584659501,
-  "language": "chinese",
-  "instruction": "请说明给定的信息是否得到视觉和文本上下文信息的支持。您需要回答“是”或“否”。如果任何图像和文本上下文支持该信息，请回答“是”。",
-  "examples": [
-    {
-      "input": {
-        "response": "苹果派通常是双层皮的。",
-        "retrieved_contexts": [
-          "苹果派是一种水果派，其主要馅料成分是苹果。",
-          "苹果派通常与奶油、冰淇淋（“苹果派 à la mode”）、蛋奶沙司或切达干酪一起食用。",
-          "它通常是双层皮的，上下都有糕点；上层皮可以是实心的或格状的（交叉条纹编织而成）。"
-        ]
-      },
-      "output": {
-        "faithful": true
-      }
-    },
-    {
-      "input": {
-        "response": "苹果派味道不好。",
-        "retrieved_contexts": [
-          "苹果派是一种水果派，其主要馅料成分是苹果。",
-          "苹果派通常与奶油、冰淇淋（“苹果派 à la mode”）、蛋奶沙司或切达干酪一起食用。",
-          "它通常是双层皮的，上下都有糕点；上层皮可以是实心的或格状的（交叉条纹编织而成）。"
-        ]
-      },
-      "output": {
-        "faithful": false
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/MultiModalRelevance/relevance_prompt_chinese.json

@@ -1,36 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": -2067734205359291291,
-  "language": "chinese",
-  "instruction": "\n您的任务是评估查询的响应是否与提供的图像和文本上下文信息一致。\n您有两个选项可以回答。要么是 True / False。\n如果查询的响应与上下文信息一致，则回答 - True，否则为 False。\n",
-  "examples": [
-    {
-      "input": {
-        "user_input": "传统玛格丽塔披萨的主要成分是什么？",
-        "response": "玛格丽塔披萨的主要成分是番茄、马苏里拉奶酪和新鲜罗勒。",
-        "retrieved_contexts": [
-          "传统的玛格丽塔披萨由薄饼皮组成。",
-          "主要的配料包括番茄、马苏里拉奶酪、新鲜罗勒、盐和橄榄油。",
-          "它是最简单和最经典的披萨类型之一。"
-        ]
-      },
-      "output": {
-        "relevance": true
-      }
-    },
-    {
-      "input": {
-        "user_input": "谁在2021年获得了奥斯卡最佳男演员奖？",
-        "response": "2021年的最佳男演员奖由莱昂纳多·迪卡普里奥获得。",
-        "retrieved_contexts": [
-          "第93届奥斯卡颁奖典礼于2021年举行。",
-          "安东尼·霍普金斯凭借在《困在时间里的父亲》中的角色获得了最佳男演员奖。",
-          "由于COVID-19的限制，这次活动具有独特性。"
-        ]
-      },
-      "output": {
-        "relevance": false
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/NERExtractor/prompt_chinese.json

@@ -1,25 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": -677862064343016555,
-  "language": "chinese",
-  "instruction": "从给定文本中提取命名实体，限制输出为顶级实体。确保实体数量不超过指定的最大值。",
-  "examples": [
-    {
-      "input": {
-        "text": "特斯拉和SpaceX的首席执行官埃隆·马斯克宣布计划将业务扩展到欧洲和亚洲的新地点。\n                此次扩展预计将创造数千个就业机会，特别是在柏林和上海等城市。",
-        "max_num": 10
-      },
-      "output": {
-        "entities": [
-          "埃隆·马斯克",
-          "特斯拉",
-          "SpaceX",
-          "欧洲",
-          "亚洲",
-          "柏林",
-          "上海"
-        ]
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/SingleHopSpecificQuerySynthesizer/generate_query_reference_prompt_chinese.json

@@ -1,24 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 3079700511467088808,
-  "language": "chinese",
-  "instruction": "根据指定的条件（角色、术语、风格、长度）和提供的上下文生成一个单跳查询和答案。确保答案完全忠实于上下文，仅使用提供的上下文中的信息。### 指导：\n1. **生成查询**：根据上下文、角色、术语、风格和长度，创建一个与角色视角一致并包含术语的问题。\n2. **生成答案**：仅使用提供的上下文中的内容，构建对查询的详细答案。不要添加上下文中未包含或无法推断的信息。\n",
-  "examples": [
-    {
-      "input": {
-        "persona": {
-          "name": "软件工程师",
-          "role_description": "专注于编码最佳实践和系统设计。"
-        },
-        "term": "微服务",
-        "query_style": "正式",
-        "query_length": "中等",
-        "context": "微服务是一种架构风格，其中应用程序被构建为一组松散耦合的服务。每个服务都是细粒度的，并专注于单一功能。"
-      },
-      "output": {
-        "query": "微服务在软件架构中的目的是什么？",
-        "answer": "微服务旨在将应用程序结构化为一组松散耦合的服务，每个服务专注于单一功能。"
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/SingleHopSpecificQuerySynthesizer/theme_persona_matching_prompt_chinese.json

@@ -1,39 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": 4608101540215877909,
-  "language": "chinese",
-  "instruction": "给定一个主题和角色列表，根据角色描述将每个角色与相关主题关联起来。",
-  "examples": [
-    {
-      "input": {
-        "themes": [
-          "同理心",
-          "包容性",
-          "远程工作"
-        ],
-        "personas": [
-          {
-            "name": "人力资源经理",
-            "role_description": "专注于包容性和员工支持。"
-          },
-          {
-            "name": "远程团队负责人",
-            "role_description": "管理远程团队沟通。"
-          }
-        ]
-      },
-      "output": {
-        "mapping": {
-          "HR Manager": [
-            "包容性",
-            "同理心"
-          ],
-          "Remote Team Lead": [
-            "远程工作",
-            "同理心"
-          ]
-        }
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/SummaryExtractor/prompt_chinese.json

@@ -1,16 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": -2203889341293275650,
-  "language": "chinese",
-  "instruction": "将给定文本总结为不超过10个句子。",
-  "examples": [
-    {
-      "input": {
-        "text": "人工智能\n\n人工智能正在通过自动化以前需要人类智能的任务来改变各个行业。从医疗保健到金融，人工智能正在被用来快速准确地分析大量数据。这项技术还推动了自动驾驶汽车和个性化推荐等领域的创新。"
-      },
-      "output": {
-        "text": "人工智能通过自动化任务、分析数据和推动自动驾驶汽车和个性化推荐等创新，正在革新各个行业。"
-      }
-    }
-  ]
-}

evalscope/backend/rag_eval/ragas/prompts/chinese/ThemesExtractor/prompt_chinese.json

@@ -1,24 +0,0 @@
-{
-  "ragas_version": "0.2.7",
-  "original_hash": -7344189172470926110,
-  "language": "chinese",
-  "instruction": "从给定的文本中提取主要主题和概念。",
-  "examples": [
-    {
-      "input": {
-        "text": "人工智能通过自动化需要人类智能的任务来改变行业。人工智能快速准确地分析大量数据，推动了自动驾驶汽车和个性化推荐等创新。",
-        "max_num": 10
-      },
-      "output": {
-        "output": [
-          "人工智能",
-          "自动化",
-          "数据分析",
-          "创新",
-          "自动驾驶汽车",
-          "个性化推荐"
-        ]
-      }
-    }
-  ]
-}

evalscope/evaluator/humaneval_evaluator.py

@@ -1,158 +0,0 @@
-import json
-import os
-import re
-from tqdm import tqdm
-from typing import List, Optional
-
-from evalscope.constants import OutputsStructure
-from evalscope.evaluator.evaluator import logger
-from evalscope.models.model_adapter import BaseModelAdapter
-from evalscope.tools.combine_reports import gen_table
-from evalscope.utils import normalize_score
-
-
-class HumanevalEvaluator(object):
-
-    def __init__(
-        self,
-        problem_file: str,
-        model_id: str,
-        model_revision: str,
-        model_adapter: BaseModelAdapter,
-        outputs: Optional[OutputsStructure] = None,
-        k: List[int] = [1, 10, 100],
-        n_workers: int = 4,
-        timeout: float = 3.0,
-    ):
-        try:
-            from human_eval.data import read_problems, write_jsonl
-            from human_eval.evaluation import evaluate_functional_correctness
-        except ImportError:
-            raise ImportError('Please install human_eval:'
-                              'https://github.com/openai/human-eval/tree/master#installation , '
-                              'Note that you need to enable the execution code in the human_eval/execution.py first.')
-
-        self.problem_file = problem_file
-        self.k = k
-        self.num_workers = n_workers
-        self.timeout = timeout
-        self.model_adapter = model_adapter
-
-        self.read_problems_func = read_problems
-        self.write_jsonl_func = write_jsonl
-        self.eval_func = evaluate_functional_correctness
-
-        # {'task_id': {'task_id': '', 'prompt': '', 'entry_point': '', 'canonical_solution': '', 'test': ''}, ...}
-        self.problems = self.read_problems_func(self.problem_file)
-
-        # Deal with the output paths
-        self.outputs_structure = OutputsStructure(outputs)
-
-    def get_answers(self, infer_cfg: dict) -> List[dict]:
-        ans_list: list = []
-        system_prompt: str = 'Complete the following python code:\n'
-        for task_id, data_d in tqdm(self.problems.items(), total=len(self.problems), desc='Predicting(problems)'):
-            prompt: str = system_prompt + data_d['prompt']
-            inputs: dict = {'data': [prompt]}
-            # pred_res: dict = self.model_adapter.predict(inputs)
-
-            pred_res: dict = self.model_adapter.predict(inputs=inputs, infer_cfg=infer_cfg)
-
-            pred_ans: str = pred_res['choices'][0]['message']['content']
-            pred_ans = self._postprocess(pred_ans)
-
-            ans_list.append({'task_id': task_id, 'completion': pred_ans})
-
-        return ans_list
-
-    def eval(self, infer_cfg: dict, **kwargs):
-
-        # predict
-        ans_list: list = self.get_answers(infer_cfg)
-        ans_out_file: str = os.path.join(self.outputs_structure.predictions_dir, 'human_eval_predictions.jsonl')
-
-        self.write_jsonl_func(filename=ans_out_file, data=ans_list)
-        # logger.info(f'** Dump predictions to {ans_out_file} successfully.')
-        logger.info('** Dump predictions successfully.')
-
-        # evaluate  results: e.g. {'pass@1': 0.333, 'pass@10': 0.111}
-        results = self.eval_func(
-            sample_file=ans_out_file,
-            k=self.k,
-            n_workers=self.num_workers,
-            timeout=self.timeout,
-            problem_file=self.problem_file)
-
-        # output: report
-        report_map: dict = self.gen_report(results=results)
-        report_dir: str = self.outputs_structure.reports_dir
-        report_file: str = os.path.join(report_dir, 'human_eval_report.json')
-
-        with open(report_file, 'w') as f:
-            f.write(json.dumps(report_map, ensure_ascii=False, indent=4))
-        # logger.info(f'** Dump report to {report_file} \n')
-        logger.info('** Dump report \n')
-
-        try:
-            # Make table
-            report_table: str = gen_table([report_dir])
-            logger.info(f'** Report table: \n {report_table} \n')
-        except Exception:
-            logger.error('Failed to generate report table.')
-
-    def gen_report(self, results: dict) -> dict:
-        """
-        Generate report from evaluation results.
-
-        Returns:
-            {
-            "name":"ARC-Challenge",
-            "metric":"WeightedAverageAccuracy",
-            "score":0.3389,
-            "category":[
-                {
-                    "name":"DEFAULT",
-                    "score":0.3389,
-                    "subset":[
-                        {
-                            "name":"ARC-Challenge",
-                            "score":0.3389
-                        },
-                    ]
-                }
-            ],
-            "total_num":100
-        }
-        """
-        results = {k: normalize_score(score=v) for k, v in results.items()}
-
-        category_d = dict(name='DEFAULT', score=results, subset=[])
-
-        res_map = dict(
-            name='HumanEval', metric='pass@k', score=results, category=[category_d], total_num=len(self.problems))
-
-        return res_map
-
-    @classmethod
-    def _postprocess(cls, text: str) -> str:
-        if '```' in text:
-            blocks = re.findall(r'```(.*?)```', text, re.DOTALL)
-            if len(blocks) == 0:
-                text = text.split('```')[1]  # fall back to default strategy
-            else:
-                text = blocks[0]  # fetch the first code block
-                if not text.startswith('\n'):  # in case starting with ```python
-                    text = text[max(text.find('\n') + 1, 0):]
-        if text.strip().startswith('from') or text.strip().startswith('import'):
-            def_idx = text.find('def')
-            if def_idx != -1:
-                text = text[max(text.find('\n', def_idx) + 1, 0):]
-        text = text.split('\n\n')[0]
-        if text.strip().startswith('def'):
-            text = '\n'.join(text.split('\n')[1:])
-        if not text.startswith('    '):
-            if text.startswith(' '):
-                text = '    ' + text.lstrip()
-            else:
-                text = '\n'.join(['    ' + line for line in text.split('\n')])
-        return text