@cannbot-plugin/cannbot-harness 0.0.0-stage → 0.1.4

package/assets/ops-direct-invoke/skills/ops-spec-gen/tests/test_stage2_constraints.py

@@ -0,0 +1,213 @@
+# Copyright (c) 2026 Huawei Technologies Co., Ltd.
+# This program is free software, you can redistribute it and/or modify it under the terms and conditions of
+# CANN Open Software License Agreement Version 2.0 (the "License").
+# Please refer to the License for details. You may not use this file except in compliance with the License.
+# THIS SOFTWARE IS PROVIDED ON AN "AS IS" BASIS, WITHOUT WARRANTIES OF ANY KIND, EITHER EXPRESS OR IMPLIED,
+# INCLUDING BUT NOT LIMITED TO NON-INFRINGEMENT, MERCHANTABILITY, OR FITNESS FOR A PARTICULAR PURPOSE.
+# See LICENSE in the root of the software repository for the full text of the License.
+
+"""stage 2 字段单测：supported_chips / op.error_codes。
+
+走子进程 validate_spec.py，验证 stage 2 校验逻辑：
+  G1: dtype_chip_mismatch（fp8/fp4/hf8/int4 在不支持的芯片上）
+  G2: unknown_chip
+  J:  error_code_not_declared（machine_check.error_type 不在 op.error_codes 内）
+"""
+from __future__ import annotations
+
+import json
+import subprocess
+import sys
+from pathlib import Path
+
+from validate_spec import (
+    Finding,
+    _check_interface_contracts,
+    _check_list_length_cycles,
+    _validate_list_length_expression,
+    _validate_semantic_guard,
+)
+
+
+SKILL_ROOT = Path(__file__).resolve().parent.parent
+VALIDATOR = SKILL_ROOT / "scripts" / "validate_spec.py"
+
+
+def _run(spec_yaml: str, tmp_path: Path) -> tuple[int, dict]:
+    p = tmp_path / "spec.yaml"
+    p.write_text(spec_yaml, encoding="utf-8")
+    r = subprocess.run(
+        [sys.executable, str(VALIDATOR), str(p), "--json", "--stage", "2"],
+        capture_output=True, text=True, timeout=30,
+    )
+    return r.returncode, json.loads(r.stdout) if r.stdout else {}
+
+
+# 最小可校验的 add example，便于通过 string.replace 制造负向 fixture
+_BASE_ADD = (SKILL_ROOT / "examples" / "add" / "spec.yaml").read_text(encoding="utf-8")
+
+
+class TestSupportedChips:
+    def test_baseline_passes(self, tmp_path):
+        # add example 已声明 supported_chips=[Ascend910B]，本身 PASS
+        rc, out = _run(_BASE_ADD, tmp_path)
+        assert rc == 0
+        s2 = next(s for s in out["stages"] if s["stage_id"] == 2)
+        assert s2["status"] == "PASS"
+
+    def test_unknown_chip(self, tmp_path):
+        bad = _BASE_ADD.replace(
+            "supported_chips: [Ascend910B]",
+            "supported_chips: [atlas_unicorn, Ascend910B]",
+        )
+        rc, out = _run(bad, tmp_path)
+        # stage 1 schema enum 也会报，但 stage 2 也独立报 unknown_chip
+        s2 = next(s for s in out["stages"] if s["stage_id"] == 2)
+        assert s2["status"] == "FAIL"
+        # schema 拦下 unicorn 时 stage 2 不一定再跑（依赖实现）；只断言整体不通过
+        assert rc != 0
+
+    def test_dtype_chip_mismatch(self, tmp_path):
+        # 把 supported_chips 收窄到不支持 bfloat16 的 Ascend310，应该报 dtype_chip_mismatch
+        bad = _BASE_ADD.replace(
+            "supported_chips: [Ascend910B]",
+            "supported_chips: [Ascend310]",
+        )
+        rc, out = _run(bad, tmp_path)
+        s2 = next(s for s in out["stages"] if s["stage_id"] == 2)
+        assert s2["status"] == "FAIL"
+        assert any("dtype_chip_mismatch" in f["rule_id"] for f in s2["findings"])
+
+
+class TestErrorCodes:
+    def test_error_code_not_declared(self, tmp_path):
+        # add example 的 op.error_codes 声明了 shape_mismatch；删掉它后，引用该类别的
+        # boundary case 会触发 paradigm_constraint.error_code_not_declared
+        bad = _BASE_ADD.replace(
+            "    - shape_mismatch\n",
+            "",
+            1,
+        )
+        rc, out = _run(bad, tmp_path)
+        s2 = next(s for s in out["stages"] if s["stage_id"] == 2)
+        assert s2["status"] == "FAIL"
+        assert any("error_code_not_declared" in f["rule_id"] for f in s2["findings"])
+
+
+def test_guard_rejects_bare_input_reference():
+    errors = _validate_semantic_guard("input.x", set(), {"x"})
+    assert errors
+    assert any("裸 input.x" in error for error in errors)
+
+
+def test_list_length_expression_subtraction_requires_rhs_upper_bound():
+    attrs = {
+        "a": {"name": "a", "type": "int64", "machine_constraint": {"lower_inclusive": 0}},
+        "b": {"name": "b", "type": "int64", "machine_constraint": {"lower_inclusive": 0}},
+    }
+    assert _validate_list_length_expression("attr.a - attr.b", attrs, set())
+
+    attrs["a"]["machine_constraint"]["lower_inclusive"] = 3
+    attrs["b"]["machine_constraint"]["upper_inclusive"] = 3
+    assert not _validate_list_length_expression("attr.a - attr.b", attrs, set())
+
+
+def test_list_length_expression_multiplication_requires_non_negative_operands():
+    attrs = {
+        "a": {"name": "a", "type": "int64", "machine_constraint": {"lower_inclusive": -1}},
+        "b": {"name": "b", "type": "int64", "machine_constraint": {"lower_inclusive": -1}},
+    }
+    assert _validate_list_length_expression("attr.a * attr.b", attrs, set())
+
+    attrs["a"]["machine_constraint"]["lower_inclusive"] = 0
+    attrs["b"]["machine_constraint"]["lower_inclusive"] = 0
+    assert not _validate_list_length_expression("attr.a * attr.b", attrs, set())
+
+
+def test_list_length_cycle_is_reported_once():
+    inputs = [
+        {"name": "a", "role": "tensor_list", "list_length": {"kind": "same_as", "ref": "input.b"}},
+        {"name": "b", "role": "tensor_list", "list_length": {"kind": "same_as", "ref": "input.c"}},
+        {"name": "c", "role": "tensor_list", "list_length": {"kind": "same_as", "ref": "input.a"}},
+    ]
+    findings: list[Finding] = []
+    _check_list_length_cycles(inputs, [], findings)
+    assert len(findings) == 1
+    assert findings[0].rule_id == "interface_contract.list_length_cycle"
+
+
+def test_semantic_case_and_layout_contract_valid_and_invalid_references():
+    base = {
+        "inputs": [
+            {"name": "x", "role": "tensor", "optional": True},
+            {"name": "mask", "role": "tensor", "optional": True},
+        ],
+        "outputs": [{"name": "y", "role": "tensor", "optional": True}],
+        "attributes": [{"name": "mode", "type": "string"}],
+    }
+    valid = {
+        **base,
+        "semantic_cases": [{
+            "id": "with_mask",
+            "when": "input.mask.is_present and attr.mode == 'fast'",
+            "inputs": {"required": ["x"], "forbidden": ["mask"]},
+            "outputs": {"present": ["y"], "absent": []},
+        }],
+        "layout_contract": {
+            "variants": [{
+                "id": "default",
+                "tensors": [
+                    {"ref": "input.x", "logical_axes": ["B", "S"]},
+                    {"ref": "output.y", "logical_axes": ["B", "S"]},
+                ],
+            }],
+        },
+    }
+    findings: list[Finding] = []
+    _check_interface_contracts(valid, findings)
+    assert not findings
+
+    invalid = {
+        **base,
+        "semantic_cases": [{
+            "id": "bad",
+            "when": "input.unknown.is_present",
+            "inputs": {"required": ["unknown"], "forbidden": []},
+            "outputs": {"present": [], "absent": []},
+        }],
+        "layout_contract": {
+            "variants": [{
+                "id": "bad",
+                "tensors": [{"ref": "input.missing", "logical_axes": ["B"]}],
+            }],
+        },
+    }
+    findings = []
+    _check_interface_contracts(invalid, findings)
+    rule_ids = {finding.rule_id for finding in findings}
+    assert "interface_contract.semantic_case_invalid_guard" in rule_ids
+    assert "interface_contract.semantic_case_unknown_member" in rule_ids
+    assert "interface_contract.layout_contract_unknown_ref" in rule_ids
+
+
+class TestOutputCountDeterminedBy:
+    """VariableOutput + output_count_determined_by=attribute：豁免 nonzero 类 data_dependent_shape。"""
+
+    _SPLIT = (SKILL_ROOT / "examples" / "split" / "spec.yaml").read_text(encoding="utf-8")
+
+    def test_with_flag_no_variable_output_flag_error(self, tmp_path):
+        # split example 声明了 output_count_determined_by: attribute → 豁免 data_dependent_shape
+        rc, out = _run(self._SPLIT, tmp_path)
+        s2 = next(s for s in out["stages"] if s["stage_id"] == 2)
+        assert s2["status"] == "PASS"
+        assert not any("variable_output_flag" in f["rule_id"] for f in s2["findings"])
+
+    def test_without_flag_reports_variable_output_flag(self, tmp_path):
+        # 去掉 flag → 回到默认 data-determined，stage 2 应报 variable_output_flag
+        import re
+        bad = re.sub(r"(?m)^  output_count_determined_by:.*\n", "", self._SPLIT)
+        assert not re.search(r"(?m)^  output_count_determined_by:", bad)  # op 级声明已移除（注释提及不算）
+        rc, out = _run(bad, tmp_path)
+        s2 = next(s for s in out["stages"] if s["stage_id"] == 2)
+        assert s2["status"] == "FAIL"
+        assert any("variable_output_flag" in f["rule_id"] for f in s2["findings"])

package/assets/ops-direct-invoke/skills/repo-build-guide/SKILL.md

@@ -0,0 +1,10 @@
+---
+name: repo-build-guide
+description: 构建可供 CANN Bench 评测的 Ascend C 直调源码和 cann_bench wheel，检查真实加载路径与版本。编译、安装、调试构建问题时使用。
+---
+
+# 仓库构建指南
+
+本仓采用 cann-bench `examples/direct_launch_example` 工程：bisheng 编译 kernel，g++ 编译注册包装，链接 `_C.abi3.so` 并生成 `dist/cann_bench*.whl`。评测器可从源码根目录调用 `bash build.sh`。
+
+读取 [构建与验证](references/build-guide.md)，按当前环境、源码快照和目标芯片构建。构建成功、wheel 可导入与算子功能通过分别记录，不混为一个结论。

package/assets/ops-direct-invoke/skills/repo-build-guide/references/build-guide.md

@@ -0,0 +1,42 @@
+# 构建与版本核对
+
+## 构建输入
+
+记录 `source_dir`、cann-bench commit、Python 环境、CANN 路径和目标 SoC。环境信息来自本轮记录，不重复全面探测。构建在 `$WORK_DIR/<节点ID>-构建工程/` 的源码快照中执行，包含本次未提交代码，排除 `.cannbot/`、本轮工作目录、旧构建目录和二进制；记录与交付源码的对应哈希。算子计算、注册、打包代码、编译配置或工具链变化后更新快照并重建；仅测试用例变化不强制重建候选 wheel，但须记录与当前源码的对应关系。纯许可注释变更须核对完整差异、保留旧构建输入哈希及与当前源码的映射，不将旧 wheel 声称为新源码重新构建。
+
+官方脚本接受 `--soc=ascend910b`、`--soc=ascend910_93`、`--soc=ascend950`；前两者映射 `dav-2201`，950 映射 `dav-3510`。该值是编译平台名，不是性能 metadata 的硬件标签。根 `build.sh` 无参数时会自动检测；若检测无法确定平台，应先修正明确的环境/启动配置，保证评测器执行的 `bash build.sh` 也能复现，不能只验证一个外部手工命令。
+
+## 构建和导入
+
+在已选定的隔离 Python 环境中执行，以下 `build_dir` 为本轮快照绝对路径，`soc` 为已确认编译平台：
+
+```bash
+cd "$build_dir"
+bash build.sh --soc="$soc"
+python3 -m pip install dist/cann_bench*.whl --force-reinstall --no-deps
+```
+
+保留退出码和原始日志；wheel 应唯一且对应当前架构。示例 `build.sh --install` 也可安装，但须保证它调用的 pip 与评测 Python 是同一环境。不要在不同任务中并发重装同一个 `cann_bench` 包。
+
+从工程目录之外的新进程检查 `cann_bench.__file__`、`cann_bench._C.__file__`、目标 callable 与 schema，并记录实际加载文件哈希；不要让 `PYTHONPATH` 中旧工程或已安装 golden wheel 抢占导入。golden 自验证包与候选包同名，不能混用。Python 检查脚本使用 logging 输出。
+
+评测器发现预构建 wheel 时可能跳过编译；因此必须保存所用 wheel 的真实编译证据和源码→wheel→加载库的关联；有效复用时引用原构建轮次，不虚构本次编译。仅见到一个 dist 文件不代表它来自当前代码。不要使用 `--skip-install` 掩盖 wheel 更新遗漏。
+
+## 依赖与常见故障
+
+- 软件版本以当前 cann-bench 的 `pyproject.toml`、`uv.lock`、`requirements.txt` 和所选示例为依据；torch/torch_npu 必须匹配，不能单独升级 torch 破坏环境。
+- 保留示例 CMake 的 `CMAKE_LINK_DEPENDS_USE_LINKER FALSE`，避免较新 CMake 给 bisheng linker 传入不支持的参数。
+- 缺失 symbol、导入错误先核对目标架构、CANN 库路径、Python 环境和实际加载的 `_C`，不要把候选切换成 CPU/Torch 实现“修复”。
+- cann-bench 的 `cann_bench_utils` 是独立的评测辅助扩展，不能把它当作候选 `cann_bench` 或删除它；缺失时按其官方构建入口在准备阶段处理。
+- 官方评测会写编译日志并安装 wheel；使用快照和独立环境，避免污染交付源码或其它任务。构建失败直接保存原始错误，不临时挪走其它算子掩盖整批失败。
+
+构建记录包含命令、工作目录、环境来源、退出码、源码/测试清单及哈希、wheel 与实际加载库路径及哈希。功能结果另由真实设备评测提供，`test.sh` 的示例 pytest 不是完整验收。
+
+## 核对依据
+
+已核对 cann-bench `08d519c503843bce5fd4672ffa2259abeb22fb00`；运行时记录实际 checkout 版本，版本变化时核对相关接口。
+
+- [examples/direct_launch_example/build.sh](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/build.sh)
+- [examples/direct_launch_example/setup.py](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/setup.py)
+- [src/kernel_eval/data/package_manager.py](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/src/kernel_eval/data/package_manager.py)
+- [docs/spec/submission_spec.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/docs/spec/submission_spec.md)

package/assets/ops-direct-invoke/skills/repo-coding-rules/SKILL.md

@@ -0,0 +1,10 @@
+---
+name: repo-coding-rules
+description: CANN Bench 候选算子的实现真实性、包装边界、工程接口与 Ascend C 代码质量要求。编码、修复和检视时使用。
+---
+
+# 仓库编码规则
+
+算子计算必须来自本工程的真实 NPU kernel，并符合 CANN Bench 的提交与运行接口。读取 [编码检查表](references/red-lines.md)，按实际代码和证据检视；不要把静态规则套到测试 golden 上，也不把样例结构当作所有算子都适用的算法方案。
+
+违规项给出位置、影响和修正要求。规则只定义代码与交付质量，不持有调度状态、不指定流程回退。

package/assets/ops-direct-invoke/skills/repo-coding-rules/references/red-lines.md

@@ -0,0 +1,42 @@
+# 编码检查表
+
+## A 类：候选实现真实性
+
+对应官方 `SUB-BEH-001`～`SUB-BEH-007`，违反时不能作为有效候选交付。适用范围是候选执行路径；独立 golden 和测试输入生成可以使用 Torch，不得因此被误判为候选代算。
+
+| 本仓编号 / 官方规则 | 检视内容 | 修正方向 |
+|--------------------|----------|----------|
+| A1 / SUB-BEH-001 | 包装层是否把全部或部分计算交给 Torch/torch_npu 内置计算 API | 由提交 kernel 实现；kernel 内 Ascend C 原语不属于包装层代算 |
+| A2 / SUB-BEH-002 | 是否在包装层通过 transpose/contiguous/cast 等完成实质性数据或布局变换 | 变换纳入 kernel；参数读取、Tiling 准备和输出分配可以保留 |
+| A3 / SUB-BEH-003 | 是否只转发到 CANN 内置同名算子 | 提供自有实现，不把接口包装当开发完成 |
+| A4 / SUB-BEH-004 | CPU fallback、没有实际执行提交的 NPU kernel | 在目标设备真实执行并记录证据 |
+| A5 / SUB-BEH-005 | 缓存输出、固定结果或按公开 case/data pointer 命中 | 对每次合法输入真实计算；有依据的 shape 分派不是预置答案 |
+| A6 / SUB-BEH-006 | 篡改 profiler、同步、计时或安全检查 | 保持评测器及环境接口完整 |
+| A7 / SUB-BEH-007 | FakeTensor、伪对象、惰性结果或非法返回结构 | 返回实际计算的 Tensor，符合输出结构与连续性要求 |
+
+自动保护没有报错不代表所有规则都通过；I/O 变换等仍需代码检视。报告应引用具体违规位置，不能只凭关键字命中判定。
+
+## B 类：工程与代码质量
+
+| 检查项 | 要求 |
+|--------|------|
+| 提交接口 | 根 build.sh 可复现生成 cann_bench wheel，Python callable、schema、C++ 注册与 proto 一致 |
+| 版本与载入 | 当前源码、测试、构建 wheel 和实际加载库一致；没有旧包或 golden wheel 冒充候选 |
+| 硬件资源 | 核数、UB/Buffer 与分块满足目标平台；动态资源查询或固定参数的适用依据明确，不无依据写死硬件假设 |
+| 搬运与边界 | 用目标平台支持的 API 处理对齐、尾块和边界，地址/长度计算无溢出或越界；不以强制 wrapper 拷贝隐藏不支持输入 |
+| 并发与同步 | 当前 stream/设备正确，依赖有对应同步，分配与释放、队列生产与消费成对；不把数调用次数当完整正确性证明 |
+| 类型与数值 | dtype 分派与计算精度符合规格，未初始化变量、非法转换及未覆盖分支有检查 |
+| API 可用性 | 关键 API 及变体有目标版本依据；不凭空推荐不存在的接口，不把一个示例的可用性推广到所有芯片 |
+| 代码边界 | kernel 中不使用目标工具链不支持的动态分配、递归或库功能；具体支持情况按平台资料和编译证据核实 |
+| 许可与输出 | 新增代码带仓库 license 头，保留上游来源许可；Python 日志使用 logging |
+| 测试可信性 | 不改评测器、golden、阈值或删测掩盖失败；公开任务只读，新增用例和来源可追溯 |
+
+检视仅记录本次授权范围的问题与证据，不要求实现照搬知识搜集草稿，也不自行决定回退或放宽标准。
+
+## 核对依据
+
+已核对 cann-bench `08d519c503843bce5fd4672ffa2259abeb22fb00`；按实际 checkout 记录版本和差异。
+
+- [docs/guide/submission_rules.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/docs/guide/submission_rules.md)
+- [docs/spec/submission_spec.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/docs/spec/submission_spec.md)
+- [examples/direct_launch_example/README.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/README.md)

package/assets/ops-direct-invoke/skills/repo-env-check/SKILL.md

@@ -0,0 +1,44 @@
+---
+name: repo-env-check
+description: PM 检查 CANN Bench 直调算子开发及评测环境，持久化 .cannbot/环境信息.md；后续任务复用已有通过记录。
+---
+
+# 仓库环境检查
+
+由 PM 在当前用户会话执行，不进入节点图。只检查环境，不安装、升级或修复依赖。首次需求缺项应先向用户发问，不等完整环境检查结束。
+
+## 复用与路径
+
+仓库级记录为 `<目标仓>/.cannbot/环境信息.md`。存在非空通过记录时直接复用，不因开发新算子重新运行 NPU、编译器或版本探测；复制为本轮 `$WORK_DIR/环境信息.md`，记录原始时间及来源，运行中只读。
+
+空记录、失败记录或当前任务超出记录支持范围时报告差异，不把文件存在当通过，也不自动重新校验。用户明确要求重新检查时保留旧版本，更新发生在工作流运行前或整轮退出后。
+
+## 首次检查清单
+
+仅在没有仓库级记录时执行；结果及原始日志放在 `.cannbot/环境检查/`，通过后按 [环境信息](references/环境信息.md) 发布仓库级记录。
+
+| 检查项 | 方法与通过依据 |
+|--------|----------------|
+| 评测源码 | 定位用户指定 checkout，或 `.cannbot/dependencies/ops-direct-invoke/cann-bench/`；记录 commit，确认 direct_launch_example、目标任务格式、kernel_eval CLI 可用 |
+| NPU | `npu-smi info` 与所用 torch_npu 的设备信息；记录实际型号、可用设备 ID、状态及与需求目标的关系，不拿需求当检测结果 |
+| CANN/编译器 | 已生效的 `ASCEND_HOME_PATH`、CANN 版本、bisheng/g++ 路径；核对当前 checkout 的要求与所选 SoC 映射 |
+| Python/依赖 | 记录 Python 环境和版本、torch/torch_npu 的版本与导入；核对当前 pyproject/uv.lock/requirements 和示例依赖，不能盲目升级或重装 |
+| 构建工具 | CMake、build/setuptools/wheel；直调示例要求 CMake ≥ 3.16，保留其新 CMake 链接兼容设置 |
+| 评测组件 | 检查 kernel_eval CLI 的 help/任务发现、`cann_bench_utils` 是否可导入及其来源；缺失时报告准备项，不在检查中静默触发安装 |
+| 仓库资产 | 记录候选源码目录、任务目录、已有 pytest/评测入口与算子文档线索；不把一次快照当作以后永久现状 |
+
+核对版本的官方快速入门要求 Python 3.10+、CANN 9.1.0+，实际依赖以当前 checkout 为准；torch/torch_npu 组合须按该版本的依赖和平台匹配。上述最低版本不等于任意版本组合都兼容，不宣称本次检查已完成 kernel 编译或设备精度验收。
+
+不要用 `scripts/run_evaluation.sh` 作无副作用探测：它可能构建辅助组件、安装候选包并运行评测。环境准备缺项由调用方安排修复，完成后再按授权复核；不得通过禁用保护组件绕过。
+
+## 完成条件
+
+缓存与本轮副本均非空，结论通过，包含 checkout/commit、Python 环境、设备、版本、支持范围和证据路径。后续源码构建、设备测试属于正常开发执行，不属于重复环境调查。
+
+## 核对依据
+
+已核对 cann-bench `08d519c503843bce5fd4672ffa2259abeb22fb00`；按实际 checkout 记录版本和差异。
+
+- [docs/guide/quick_start.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/docs/guide/quick_start.md)
+- [requirements.txt](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/requirements.txt)
+- [scripts/run_evaluation.sh](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/scripts/run_evaluation.sh)

package/assets/ops-direct-invoke/skills/repo-env-check/references//347/216/257/345/242/203/344/277/241/346/201/257.md

@@ -0,0 +1,42 @@
+# 仓库环境信息
+
+- 目标仓绝对路径：
+- 检查时间、检查依据及日志目录：
+- 结论：{通过 / 阻塞；仅通过版本发布为仓库级缓存}
+
+## CANN Bench 与工程
+
+| 项目 | 实际值与依据 |
+|------|--------------|
+| cann-bench checkout / commit | |
+| direct_launch_example 路径 | |
+| source_dir / 已有工程 | |
+| 任务目录与版本 | |
+| kernel_eval CLI / help或任务发现结果 | |
+| cann_bench_utils 来源、版本与导入 | |
+| 已安装 cann_bench 来源 | {候选 / golden / 未安装；不混用} |
+
+## 设备与软件
+
+| 项目 | 实际值 / 命令与结果 |
+|------|--------------------|
+| 实际 NPU 型号、数量、状态与可用 ID | |
+| 目标 SoC 与实际设备是否对应 | |
+| CANN 版本、ASCEND_HOME_PATH | |
+| bisheng / g++ 路径与版本 | |
+| Python 可执行文件与隔离环境 | |
+| torch / torch_npu 版本与导入结果 | |
+| CMake / build / setuptools / wheel | |
+| 其它评测依赖与兼容性依据 | |
+
+## 资产线索与限制
+
+- 当前测试任务/入口与可复用内容：
+- 当前算子文档目录与格式线索：{无则明确无}
+- 支持的芯片、软件及用途范围：
+- 未决问题及所需准备动作：
+- 尚未执行的验证：{不得把检查包装成 kernel 编译或设备精度通过}
+
+## 复用
+
+仓库级路径为 `.cannbot/环境信息.md`，原始日志在 `.cannbot/环境检查/`。本轮复制到 `$WORK_DIR/环境信息.md`，记录原始时间和来源；不因换算子重新探测，也不改写运行中的副本。任务目录、代码和文档是否仍适用由使用者轻量核对当前文件。

package/assets/ops-direct-invoke/skills/repo-knowledge/SKILL.md

@@ -0,0 +1,12 @@
+---
+name: repo-knowledge
+description: CANN Bench 直调算子工程知识：评测任务、源码提交接口、精度与评分契约。理解本仓交付和评测要求时使用。
+---
+
+# 仓库领域知识
+
+本仓开发通过 Ascend C `<<<>>>` 启动的算子，提交给 CANN Bench 的 CANN 评测后端。候选源码工程、评测任务数据与评测器是三个独立对象：源码实现算子，任务描述规格与 golden，用例由评测器加载并执行。
+
+源码交付保留 `cann_bench` 包及同名算子命名空间，以 `examples/direct_launch_example` 为工程基础。评测任务按 `proto.yaml`、`golden.py`、`cases.yaml`、`desc.md` 组织；同一评测接口承接黑盒、白盒和回归，不按用例来源划分工作模式。
+
+需要核对目录、接口发现、精度或评分含义时，读取 [评测契约](references/evaluation-contract.md)。本 Skill 只提供工程事实，不决定流程节点或替用户选择技术路线。

package/assets/ops-direct-invoke/skills/repo-knowledge/references/evaluation-contract.md

@@ -0,0 +1,48 @@
+# CANN Bench 评测契约
+
+## 三个路径
+
+| 路径 | 内容 | 使用边界 |
+|------|------|----------|
+| `bench_root` | cann-bench checkout，含 `src/kernel_eval`、`scripts`、`examples` 与 `tasks` | 记录 commit；评测器、原始 golden 和公开用例不作为候选代码修改对象 |
+| `source_dir` | 独立算子源码工程，含根 `build.sh`、`setup.py`、`cann_bench/`、`csrc/` | 构建产出 `dist/cann_bench*.whl`；不得依赖工作区外未交付的代码 |
+| `task_dir` | 本次评测任务目录或其集合根 | 必须能发现实际目标算子和非空用例集；新增测试沿用相同格式 |
+
+插件依赖 checkout 位于 `<目标仓>/.cannbot/dependencies/ops-direct-invoke/cann-bench/`；已有用户指定 checkout 可直接使用，以本轮输入记录的绝对路径为准。CANN Bench 的 `kernel_eval` 是算子评测器，与负责 Agent 调度的 harness 不同。
+
+## 任务文件
+
+- `proto.yaml`：`operator.name/category/difficulty/formula/inputs/outputs/attrs/schema`，是接口和输入次序的依据；`desc.md` 补充语义。
+- `golden.py`：与算子函数匹配的独立参考实现；评测器构造输入并调用它，候选执行路径不能调用它代算。
+- `cases.yaml`：顶层 `cases` 列表，记录 `operator`、整数 `case_id`、`input_shape`、`dtype`、`attrs`、`value_range` 等；当前 CANN loader 读取此文件，只有 `cases.csv` 不足以执行。
+- `metadata/<hardware>.json` 与 `metadata/VERSION`：对应硬件的性能锚点及版本。不能把示例 fixture 的零占位值当作真实基线。
+- `tasks/level1`～`level4` 是算子难度分层，不是测试设计中的 L0/L1/L2 覆盖标签。
+
+`examples/tasks` 中 Add/Sqrt 用于验证评测链路，生产目标从当前评测任务中选择；名称匹配不证明 shape、dtype 和数学语义都匹配，需核对需求。
+
+## 源码、wheel 与接口
+
+1. 评测器接收已解包的 `source_dir`。没有 `dist/cann_bench*.whl` 时调用根目录 `bash build.sh`，要求返回 0 且生成 wheel。
+2. wheel 必须可安装并 `import cann_bench`。本仓使用 `_C.abi3.so` 加载注册、`torch.ops.cann_bench.<schema函数>` 分派，`cann_bench/__init__.py` 必须导出目标同名 callable；只注册 C++ schema 而不导出 Python callable 不完整。
+3. schema 的参数次序、类型、默认值与返回结构承接任务；不要把 `cann_bench` 当作任意可改的包名。用户要求另一外部接口时须保留评测适配契约并明确差异。
+4. 原有 wheel 会影响评测是否重新构建。源码改变后不得用旧 wheel 冒充当前结果；交付目录中仅保留本次目标架构的有效产物。
+5. 一份工程整体构建失败会影响该提交的所有算子；不能以只筛选某算子来掩盖工程其余编译错误。
+
+## 编译、精度与评分
+
+编译、功能精度、性能是不同结论。官方评测包含 HAP 性能评分；`--no-perf` 只证明相应功能精度与编译结果，不证明最终跑分或性能达标。输出报告需要保留实际评测版本、任务版本、目标硬件、源码和 wheel 版本。
+
+精度使用 CANN 后端的 `relative_error` checker，覆盖逐输出结构、整型精确比较、浮点正常值域、小值域和相消判定。指标取值来自当前评测器及算子配置；不得用 `allclose` 冒充整套判定，也不能修改评测器来迎合实现。
+
+性能以真实硬件 metadata 为锚点：`HAP = (T_baseline - T_HW) / ((T_cand - T_HW) + (T_baseline - T_HW))`。HAP 不是加速比；无效或缺失锚点不能推算可信分数。是否采集性能及采用什么交付门槛由任务明确，本 Skill 不擅自增加优化或提交步骤。
+
+网站上传规则与本地评测接口不同；未检查网站规则时不承诺打包目录可直接上传，也不执行 PR、上传或外部 CI。
+
+## 核对依据
+
+已核对 cann-bench `08d519c503843bce5fd4672ffa2259abeb22fb00`；运行时记录实际 checkout 版本，版本变化时核对相关接口。
+
+- [docs/spec/submission_spec.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/docs/spec/submission_spec.md)
+- [examples/tasks/README.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/tasks/README.md)
+- [src/kernel_eval/benches/cann_loader.py](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/src/kernel_eval/benches/cann_loader.py)
+- [README.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/README.md)

package/assets/ops-direct-invoke/skills/repo-op-templates/SKILL.md

@@ -0,0 +1,15 @@
+---
+name: repo-op-templates
+description: 从 cann-bench 的 direct_launch_example 复用直调工程骨架和算子模板；新建工程或新增算子时使用。
+---
+
+# 算子工程模板
+
+工程来源为 cann-bench 的 `examples/direct_launch_example/`，保留它的构建、接口注册和 Python 导出约定。目标仓已经有兼容工程时就地扩展，不重建或覆盖已有代码。
+
+| 工作 | 参考 |
+|------|------|
+| 取得官方模板、建立工程骨架 | [工程骨架](references/project-skeleton.md) |
+| 添加 kernel、launch、注册和 Python 接口 | [算子模板](references/operator-template.md) |
+
+模板是可运行工程的起点，不证明其 Add/Sqrt 的算法、dtype 或精度适合目标算子；按已确认规格完成实现。

package/assets/ops-direct-invoke/skills/repo-op-templates/references/operator-template.md

@@ -0,0 +1,27 @@
+# 新增直调算子
+
+以当前 checkout 中 `examples/direct_launch_example/csrc/ops/add/` 或 `sqrt/` 的真实文件为结构参考，复制到 `source_dir/csrc/ops/<op>/` 后调整名称与实现，保留许可头。
+
+| 文件 | 必须完成的内容 |
+|------|----------------|
+| `op_kernel/<op>_kernel.cpp` | Ascend C kernel、Tiling 与 `<<<>>>` 启动函数，bisheng 编译 |
+| `op_kernel/<op>_launch.h` | g++ 可见的声明，保持参数、类型和 `extern "C"` 链接一致 |
+| `op_plugin/<op>_plugin.cpp` | schema、Meta/输出分配、PrivateUse1 注册、当前设备 stream 与自有 kernel 调用 |
+| `CMakeLists.txt` | 通过 `register_direct_launch_op` 注册源码和 include 目录 |
+| `cann_bench/__init__.py` | 加载 `_C`，增加与目标函数匹配的 Python callable，转发到 `torch.ops.cann_bench` |
+
+注册宏有四个参数：kernel 源文件、kernel include 目录、plugin 源文件、plugin include 目录。使用官方同版本示例中的调用，不能把它缩写成只有两个源码参数的伪接口。
+
+schema 以本次任务 `proto.yaml` 的 `operator.schema` 为准：参数次序、可选值、attrs 默认值、输出结构都应一致。C++ 注册和 Python 导出同步更新；禁止保留示例的 Add/Sqrt 符号却声称实现了新算子。
+
+包装层可以查询 shape/dtype、做参数和 Tiling 计算、分配输出、获取 stream 并启动 kernel；不在这里调用 Torch/CANN 内置算子代算，也不对输入输出做实质性搬运、类型转换或布局变换。Meta 只定义输出元信息，不执行目标计算。
+
+API、Buffer、尾块、非对齐和 dtype 分派必须按目标算子验证。不能把示例只覆盖的类型和规模扩写成已支持范围；未知平台 API 用目标版本官方资料核实，缺少能力时记录限制。
+
+## 核对依据
+
+已核对 cann-bench `08d519c503843bce5fd4672ffa2259abeb22fb00`；运行时记录实际 checkout 版本，版本变化时核对相关接口。
+
+- [examples/direct_launch_example/csrc/ops/add/CMakeLists.txt](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/csrc/ops/add/CMakeLists.txt)
+- [examples/direct_launch_example/csrc/ops/add/op_plugin/add_plugin.cpp](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/csrc/ops/add/op_plugin/add_plugin.cpp)
+- [examples/direct_launch_example/cann_bench/__init__.py](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/cann_bench/__init__.py)

package/assets/ops-direct-invoke/skills/repo-op-templates/references/project-skeleton.md

@@ -0,0 +1,41 @@
+# direct launch 工程骨架
+
+## 获取与复用
+
+优先使用本轮输入指定的 cann-bench checkout；插件依赖位置为 `<目标仓>/.cannbot/dependencies/ops-direct-invoke/cann-bench/`。读取其 commit 与 `examples/direct_launch_example/README.md`。来源缺失时，取得官方仓库到一个新目录并记录版本，不从文档中的省略代码拼造工程；下载和依赖准备不能阻塞首次需求问卷。
+
+新建工程时将 `examples/direct_launch_example/` 复制到已授权的 `source_dir`。现有工程只引入缺失部分，保留原来的算子和用户改动。官方示例源码与许可头一并保留；新增代码也带仓库 license 头，Python 输出使用 logging。
+
+## 应保留的文件
+
+```text
+source_dir/
+├── build.sh
+├── setup.py
+├── CMakeLists.txt
+├── cmake/                      # func、ascend、python、torch、torch_npu
+├── scripts/build_wheel.sh
+├── cann_bench/__init__.py       # 加载 _C，导出候选函数
+├── csrc/extension.cpp
+├── csrc/CMakeLists.txt
+├── csrc/ops/CMakeLists.txt      # 自动发现算子目录
+├── csrc/ops/<op>/
+│   ├── CMakeLists.txt
+│   ├── op_kernel/
+│   └── op_plugin/
+└── tests/                      # pytest 仅作本地快速自检
+```
+
+`cann_bench` 包名和导出接口是 CANN 评测输入的一部分，不做统一重命名。保留双编译器设置、平台映射、链接依赖和 ABI3 打包；不要用手写的近似 CMake/setup.py 取代现成工程。是否保留 Add/Sqrt 示例依据本次交付范围决定；在新复制的工程中去除示例时同步去除注册、Python 导出和对应测试，不能留下失效 import。
+
+构建和评测在 `$WORK_DIR/<节点ID>-构建工程/` 的本轮源码快照执行，避免官方脚本把 `build/`、`_compile.log` 等中间文件写到交付源码中。快照记录来源与哈希，排除 `.cannbot/`，不递归复制本轮工作目录，也不包含旧 `build/`、`dist/`、`*.egg-info` 或本地 `_C*.so`；已完成的源码仍交付在授权目录，构建快照不作为第二份源码继续独立修改。
+
+正式测试使用 cann-bench 任务目录与评测器；复制示例的 `tests/` 或执行其 `test.sh` 不能自动产生目标算子的完整评测用例。
+
+## 核对依据
+
+已核对 cann-bench `08d519c503843bce5fd4672ffa2259abeb22fb00`；运行时记录实际 checkout 版本，版本变化时核对相关接口。
+
+- [examples/direct_launch_example/README.md](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/README.md)
+- [examples/direct_launch_example/setup.py](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/setup.py)
+- [examples/direct_launch_example/CMakeLists.txt](https://gitcode.com/cann/cann-bench/blob/08d519c503843bce5fd4672ffa2259abeb22fb00/examples/direct_launch_example/CMakeLists.txt)

package/assets/ops-direct-invoke/skills/repo-requirement/SKILL.md

@@ -0,0 +1,39 @@
+---
+name: repo-requirement
+description: 收到算子开发需求后立即提取已知条件并填写 checklist，尽早对未决关键项发送简短问卷，形成可交接的需求清单。也用于后续需求修订。
+---
+
+# 直调算子需求对齐
+
+在当前用户会话中完成，不作为 harness 节点执行。交付 `work_dir/需求分析.md`；work_dir 沿用调用方分配的 `.cannbot/<任务名>/workflow<序号>/`。内容按 [需求 checklist](references/requirement-checklist.md) 填写，任务是明确用户意图与开发边界，不替开发阶段完成技术方案或设备穿刺。
+
+## 首轮先识别缺项并提问
+
+开始需求对齐时，先向用户提示：“请先不要离开，我会先理解需求，可能需要和你对齐几个问题。”随后立即提取已知信息、识别关键缺项并发问，不等调查结束才提示。
+
+1. 从用户原话、已有答复和附件提取目标与限制；快速定位已有本地同名任务的 proto、golden 和接口说明，比较数学语义、布局、shape/dtype、attrs 及默认值，再提出候选规格。将影响交付的差异合并进首轮问卷，不先假定布局再返确认。只做可直接定位的读取；未找到或资料尚未下载时记录未知，及时提问，不先遍历源码、下载依赖或完成环境/API 调查。
+2. 按 checklist 预填参数，给每项标明值、来源和状态。明确事实直接沿用；能由规格或仓库契约唯一推导的值填入并注明推导依据，不重复询问。名称相同但语义或范围可能不同的资料不能自动视为匹配。
+3. 发现影响交付的未知项或冲突即整理首轮问卷，在深入调查前发出。不等所有技术细节查清才收集用户决定。优先确认开发语言、算子语义/范围、接口、目标芯片和会改变交付标准的限制；每轮最多五题，工具限制更低时遵守工具限制。
+4. 每题一句话说明待决事项，给出清晰且可区分的预设选项；能给出合理建议时推荐一项并简述依据，允许自由补充。不把整张 checklist 当问卷，不问用户已说明或仓库已有确定答案的字段。
+
+没有关键缺项时，不为凑问卷发问，直接进入清单核对。用户未提出且不会影响交付的用途背景、截止时间、偏好等记“未指定”，不为了填表逐一追问。
+
+## 推导边界
+
+- 开发语言先于其余推导确定：取用户指定，未指定时必须提问，二选一 Ascend C 直调或 CANNBot-DSL，确认前按阻断项处理，不先按某一种语言展开推导。Ascend C 时本仓提交是 `<<<>>>`、`cann_bench` Python 包与同名注册命名空间；选用 CANNBot-DSL 时以其来源仓的源码与构建契约为工程依据，本插件只承接其契约，不复制或覆盖其规则。已有目标 proto 的 schema、golden 和用例范围作为工程依据，保留具体来源与版本。不默认把所有 dtype/shape 都扩展到任意值。
+- 精度承接当前 cann-bench CANN checker 及算子配置，记录取值和出处；用户没有额外精度要求时不要求用户重新选择每个阈值。标准冲突或用户提出另一指标时，说明区别并确认，不自行降低评测门槛。
+- 芯片优先使用用户明确目标；没有指定时，可用已核对缓存中唯一可用目标作有依据的建议。目标与缓存不一致或存在多个可选目标时提问，不能将缓存事实写成用户已经选择。
+- 技术路线只记录用户的硬约束和授权范围。未指定 SIMD/SIMT、Cube、框架或融合方式时记“未限定，在目标平台上按验证结果选择”，不强制用户预先拍板所有内部实现细节。不把技术可行性待验证误作需求缺失；是否需要穿刺交给调用方规划。
+- 本地功能交付与实际跑分是不同结果。沿用用户的性能目标；仅要求开发算子且无额外性能门槛时，记录可评测源码及功能验证范围，不自行添加 HAP 阈值。用户明确要求实际分数或性能达标时，将其作为交付要求交调用方安排，不能因为现有模板没有性能节点就悄悄删去。
+
+## 答复、确认与交接
+
+问卷发出后保持待答，可并行核对不依赖答案的资料，但不启动依赖未决项的开发。真实答复回填对应条目；未答、预选项、超时或问卷消失都不算确认。问题工具不可继续使用时保留待答清单并在当前会话接续。
+
+向用户简短展示已提取的目标、关键范围及未决决定，让用户容易纠正。已有明确指令和答复足以覆盖当前需求时，记录确认依据，直接沿用，不再追加逐字段问卷或一次重复的总批准。存在影响实现或交付标准的推断/新取舍时，把它们汇入同一轮关键问题确认，不能把“推断”写成“用户已确认”。
+
+完成条件：必需规格有具体值或明确的授权范围，推导可追溯，关键冲突已解决，无需用户决定的内部技术选择明确留给后续验证。清单中没有阻断项后，返回绝对路径、版本、目标仓、算子及确认摘要。环境尚待检查、路线尚待穿刺分别交接，不宣称已验证，也不因这些调查延迟首轮问卷。
+
+全部需求已确认、问卷已答复且没有待用户决定的事项后，明确提示：“需求已确认，后续可以静默开发了，你可以先离开；完成后我会汇报结果，需要你决定的阻塞也会说明。”已有信息充分、无需发问时，在完成清单核对后同样提示。仍有待答问题时不得发出该提示；静默开发只在已确认的范围内推进，不把后续新增取舍视为已获批准。
+
+本 Skill 不编排 workflow、不调用其他 Skill、不修改 harness 状态。后续发现需求变更时，在当前用户会话中仅核对受影响条目并更新版本；旧确认不能批准新增限制或放宽标准。