@comate/zulu 1.3.5 → 1.3.6

package/comate-engine/assets/skills/code-security/references/credential_hosting.md

@@ -1,102 +0,0 @@
-# 硬编码漏洞修复与凭证托管
-
-硬编码修复有四个步骤：凭证配置 → 代码修复 → 用户确认 → 凭证托管。
-
-## 步骤一：打开凭证配置网页
-
-输出可点击的链接让用户打开凭证托管助手网页，网页 URL 格式及输出示例如下：
-```
-请点击以下链接打开凭证托管助手，配置凭证信息：
-
-[打开凭证托管助手](//command:simpleBrowser.api.open?https%3A%2F%2Fcomate-sec-test.baidu-int.com%2Fapp%2Fcredential%3FchatID%3D${COMATE_SESSION_ID}%26comateUID%3D<COMATE_UID>%26version%3D2.9.1%26repo%3D<REPO>%26ideType%3D${COMATE_IDE_NAME})
-
-配置完成后请在网页中点击「生成代码」按钮，我会自动检测到配置完成并继续执行修复。
-```
-
-其中：
-- `COMATE_UID` 为 `${COMATE_USERNAME}` 的 MD5 字符串的前 12 位，使用 `python3 -c "import hashlib; print(hashlib.md5('${COMATE_USERNAME}'.encode()).hexdigest()[:12])"` 计算
-- `REPO` 是代码库标识，可以从项目目录的 git remote 获取（如 `baidu/scan/cnap-test`），如果没有 git 信息则使用项目目录名
-
-要使用实际构造的字符串来替换上述的 url 参数，url 中的%26不要解码，避免 & 符号影响 markdown 链接。
-
-## 步骤二：等待凭证配置完成
-
-打开网页后，立即执行轮询脚本等待用户配置，使用 `--output` 将结果保存到临时目录：
-
-```bash
-python3 scripts/credential_poll.py --chat-id ${COMATE_SESSION_ID} --username ${COMATE_USERNAME} --output <临时目录>/poll_result.json
-```
-
-`<临时目录>` 使用与 `scan_result.json` 同一目录（即 `.tmp/<项目名>_<哈希>/`）。
-
-该脚本通过 WebSocket 连接服务端，等待用户在网页完成配置并点击「生成代码」。收到数据后输出到标准输出并保存到 `--output` 指定的文件。配置数据包含以下关键字段：
-
-- `data.files`：待修复文件列表（含 vulList 和 extra.secret 信息）
-- `data.credentials`：凭证名值对列表
-- `data.deployment`：托管平台信息（platform、platformName）
-- `data.repo`：代码库语言和框架信息
-- `data.succMsg`：托管成功提示信息
-- `data.errorMsg`：托管失败提示信息
-- `chatUUID`：此次会话 ID
-
-## 步骤三：修复硬编码代码
-
-收到凭证配置数据后，在本地直接修复硬编码漏洞，不调用后端修复服务。修复流程参考 `references/vul_repair_sensitive.md` 文档中的详细说明。
-
-修复输入数据来自 `poll_result.json` 文件（由步骤二保存），其中 `data.files`、`data.repo`、`data.deployment` 包含了修复所需的全部信息。
-
-修复流程：
-1. 读取 `references/vul_repair_sensitive.md` 中的修复规则
-2. 遍历 `data.files` 中的每个文件，根据文件类型（代码文件/配置文件）、语言（`data.repo.language`）、框架（`data.repo.framework`）和平台（`data.deployment.platform`）确定修复策略
-3. 根据每个漏洞的 `extra.secret.credentialName`、`extra.secret.start`、`extra.secret.end` 定位敏感信息并替换为环境变量读取方式
-4. 如果 `data.deployment.platform` 为 4，还需引入 keyless-sdk（参考 `references/vul_repair_sensitive.md` 的「引入SDK」章节）
-
-## 步骤四：凭证托管
-
-代码修复完成后，提示用户确认修复结果，然后提供托管选项：
-
-```
-代码修复已完成，请 Review 修复后的代码。确认无误后，选择「托管凭证」将凭证托管到平台。
-1. 托管凭证 - 将凭证托管到 {platformName} 平台
-2. 跳过托管 - 仅完成代码修复，不托管凭证
-```
-
-用户选择托管后执行：
-
-```bash
-python3 scripts/credential_hosting.py --poll-result <poll_result.json路径> --username ${COMATE_USERNAME}
-```
-
-脚本自动从 `poll_result.json` 中提取 `chatUUID`、`deployment.platformName`、`data.credentials`，无需手动传递这些参数。
-
-托管完成后，从 `poll_result.json` 中读取 `data.succMsg` 展示给用户。如果失败，展示 `data.errorMsg`。
-
-托管成功后，通过 Questions 组件提示用户进行历史 commit 清理。`succMsg` 中包含清理平台地址，需要从中提取链接并突出展示。提示格式：
-
-```
-凭证托管已完成。由于历史 commit 中可能仍残留硬编码凭证，建议立即清理 Git 历史记录，防止凭证泄露。
-
-{succMsg}
-
-请确认：
-1. 已完成清理 - 我已清理历史 commit，继续后续流程
-2. 稍后处理 - 跳过清理，继续后续流程
-```
-
-用户选择后继续执行复测扫描。
-
-## 复测扫描
-
-托管成功后，自动执行一次复测扫描（流程与「漏洞扫描」章节一致），对比修复前后的硬编码漏洞数量，向用户说明修复效果。复测结果同样需要静默执行数据上报。展示格式：
-
-```
-托管完成，正在执行复测扫描验证修复效果...
-
-**复测结果**：修复前共 N 个硬编码漏洞，修复后剩余 M 个，本次修复 X 个漏洞。
-```
-
-如果复测仍存在未修复的硬编码漏洞，展示剩余漏洞列表（格式同漏洞报告），并提示用户可以选择继续修复或忽略。
-
-## 清理临时文件
-
-复测完成后，清理临时文件：`python3 -c "import shutil; shutil.rmtree('<临时目录绝对路径>')"` 删除该项目的临时目录（即 `.tmp/<项目名>_<哈希>/` 整个目录）。然后进入单元测试阶段（流程见「单元测试」章节）。

package/comate-engine/assets/skills/code-security/references/vul_repair_sensitive.md

@@ -1,219 +0,0 @@
-# 敏感信息硬编码漏洞修复流程
-
-修复漏洞分为以下三个步骤：
-1. 读取漏洞报告
-2. 修复硬编码漏洞
-3. 引入SDK（如果需要）
-
-## 读取漏洞报告
-
-基于凭证配置网页回传的数据获取漏洞报告，示例如下：
-```json
-{
-  "scanChatID": "从 credential_poll 返回的 chatUUID",
-  "repo": {
-    "language": "java",
-    "framework": "springboot"
-  },
-  "deployment": {
-    "platform": 2,
-    "platformName": "ipipe"
-  },
-  "files": [
-    {
-      "name": "src/main/resources/application.properties",
-      "hash": "文件SHA256",
-      "vulList": [
-        {
-          "ruleID": "codescan_generic_password-config_sensitive",
-          "line": 35,
-          "hash": "漏洞hash",
-          "extra": {
-            "secret": {
-              "credentialName": "KL_SPRING_DATASOURCE_PASSWORD",
-              "start": {"col": 28, "line": 35},
-              "end": {"col": 43, "line": 35}
-            }
-          }
-        }
-      ]
-    }
-  ],
-  "trigger": 1,
-  "type": 4
-}
-```
-各字段说明如下：
-* repo：代码库信息
-    * language：代码语言
-    * framework：代码框架
-* deployment：部署信息
-    * platform：部署平台，1 表示 cnap，2 表示 ipipe，3 表示 opera，4 表示 datamanage
-    * platformName：部署平台名称（如 ipipe、cnap、opera、datamanage）
-    * credential_id：凭证 ID（platform 为 4 时使用，用于引入 keyless-sdk）
-* files：文件信息
-    * name：漏洞文件的相对路径
-    * vulList：漏洞列表
-        * extra.secret.start：敏感信息的开始位置（行、列）
-        * extra.secret.end：敏感信息的结束位置（行、列）
-        * extra.secret.credentialName：建议使用的环境变量名称
-
-## 修复漏洞
-硬编码漏洞修复的本质就是改变原来在代码中的硬编码敏感信息写法，改为从环境变量中读取敏感信息。修复时遍历漏洞报告中的所有文件和漏洞，逐个修复，按以下流程进行处理。
-
-### 代码文件
-如果漏洞文件是代码文件，比如 java、go、php、py 等，则根据各语言的写法生成读取环境变量的代码，并替换掉原来的硬编码敏感信息，注意有以下几点要求：
-1. 与环境变量读取无关的其他代码和字符不要做任何改动
-2. 如果漏洞行是被引号包裹的纯字符串，输出时保留其结构不变，仍然可以直接执行字符串操作，但要避免空字符串的拼接
-3. 不要给出环境变量默认值
-4. 如果代码开头存在空格、tab等缩进，保留原始代码的缩进，不要清除两端的空白字符
-5. 如果是 python 语言，使用 os.environ 的方式获取环境变量，而不是 os.getenv
-6. 如果是 go 语言，不能在 const 中读取环境变量，在 const 下方重新定义读取代码，并删除 const 的硬编码的值
-7. 如果是 java 语言，且 platform 为 4 时，则采用 System.getProperty 的语法读取变量
-8. 如果原文件中缺失读取环境变量所需的第三方库，则自动引入，比如 python 的 os 库，go 的 os 库等
-
-### 配置文件
-如果漏洞文件是配置文件，比如 yml、properties、ini 等，则结合语言和框架共同决定如何修改代码，修改原则如下：
-1. 如果语言为 go，框架为 gdp，toml 后缀的文件直接使用特定的占位符替换敏感信息，占位符的环境变量名称根据 credential_name 命名，示例如下：
-```toml
-// 修复前
-password=123123123
-// 修复后
-password=${env.KL_PASSWORD}
-```
-2. 除第一种情况之外，其他语言、框架、配置文件类型，使用常规的环境变量占位符替换敏感信息，占位符的环境变量名称根据 credential_name 命名。
-```toml
-// 修复前
-password=123123123
-// 修复后
-password=${KL_PASSWORD}
-```
-
-漏洞报告可能涉及多个文件，修复时按文件进行聚合，优先将一个文件中的漏洞全部修复完成再修复其他漏洞。
-
-## 引入SDK
-从第一个漏洞报告读取数据，如果 platform 为 4 时需要引入 keyless-sdk 并添加初始化代码。通过该 sdk 将凭证注入到环境变量中，然后其他位置的代码才能读取到环境变量。注意，只有平台为 4 时才需要引入 sdk，其他平台不需要。不同语言 sdk 及初始化代码添加方式如下。
-
-#### java 语言
-pom.xml 文件中添加 keyless-sdk 依赖，其中的注释需要保留。
-```xml
-<!-- keyless-sdk dependency -->
-<dependency>
-    <groupId>com.baidu.xbu-data</groupId>
-    <artifactId>keyless-sdk</artifactId>
-    <version>1.0.2</version>
-</dependency>
-```
-项目启动的函数中添加以下初始化代码，注意其中的 credentialID 需要与漏洞报告中的 credential_id 保持一致。
-```java
-import com.baidu.keyless.KeylessClient;
-
-public class KeylessAppCredentialDemo {
-    public static void main(String[] args) {
-        // 初始化 keyless-sdk 开始
-        // step1: 设置 credentialID 构建 client，详情可参考 https://ku.baidu-int.com/d/BRnvQROwD8akQY
-        String credentialID = "appDemo_prod";
-        KeylessClient keylessClient = KeylessClient.builder()
-            .credentialId(credentialID)
-            .build();
-        // step2: 获取凭证信息并注入到系统环境变量中
-        try {
-            keylessClient.load();
-        } catch (Exception e) {
-            System.out.println("load keyless client error: " + e.getMessage());
-        }
-        // 初始化 keyless-sdk 结束
-        // 以下为其他原始代码
-        ... ...
-    }
-}
-```
-
-#### go 语言
-go.mod 文件中添加 keyless-sdk 依赖，其中的注释需要保留。
-```mod
-require (
-    icode.baidu.com/baidu/xbu-data/things-go keyless-sdk-2.2.0 // keyless-sdk dependency
-)
-```
-项目启动的函数中添加以下初始化代码，注意其中的 CredentialID 需要与漏洞报告中的 credential_id 保持一致。
-```go
-package main
-
-import (
-    "icode.baidu.com/baidu/xbu-data/things-go/pkg/keyless"
-)
-
-func main() {
-    // 初始化 keyless-sdk 开始
-    // step1: 设置 CredentialID 构建 client，详情可参考 https://ku.baidu-int.com/d/G_QqzMQrQR9_K_
-    req := &keyless.GetCredentialReq{
-        CredentialID: "appDemo_prod", // 凭证标识
-    }
-    // step2: 获取凭证信息并注入到系统环境变量中
-    client := keyless.NewClient(req)
-    err := client.Load()
-    if err != nil {
-        fmt.Println(err.Error())
-        return
-    }
-    // 初始化 keyless-sdk 结束
-    // 以下为其他原始代码
-        ... ...
-}
-```
-
-#### python 语言
-requirements.txt 文件中添加 keyless-sdk 依赖，其中的注释需要保留。
-```txt
-// keyless-sdk dependency
-credential-vault-sdk>=0.1.12（Python3 版本添加此依赖）
-credential-vault-sdk-py2>=0.1.9（Python2 版本添加此依赖）
-```
-初始化代码如下，注意
-* 其中的 credential_id 需要与漏洞报告中的 credential_id 保持一致；
-* 如果是完整的服务或项目，初始化代码要添加在项目启动的函数中；
-* 如果是独立的 Python 脚本文件，每个独立的文件都要添加 keyless-sdk 依赖和初始化代码。
-```python
-from credential_vault_sdk.keyless_client import KeylessClient
-
-def main():
-    # 初始化 keyless-sdk 开始
-    # step1: 设置 credential_id 构建 client，详情可参考 https://ku.baidu-int.com/d/HWaSIaQSThk88b
-    client = KeylessClient(credential_id="appDemo_prod")
-    # step2: 获取凭证信息并注入到系统环境变量中
-    client.load()
-    # 初始化 keyless-sdk 结束
-    # 以下为其他原始代码
-    ... ...
-```
-
-#### C++ 语言
-在文件开始引入头文件和命名空间，其中的注释需要保留：
-```C++
-// keyless-sdk dependency
-#include "keyless/keyless_client.h"
-
-using namespace baidu::credentialvault::cppsdk;
-```
-
-项目启动的函数中添加以下初始化代码，注意其中的 credentialID 需要与漏洞报告中的 credential_id 保持一致。
-```C++
-#include "keyless/keyless_client.h"
-
-using namespace baidu::credentialvault::cppsdk;
-
-int main(int argc, char *argv[]) {
-    // 初始化 keyless-sdk 开始
-    // step1: 设置 credential_id 构建 client，详情可参考 https://ku.baidu-int.com/d/x5s_A3YHll0PvR
-    KeylessClient client = KeylessClient("appDemo_prod");
-    // step2: 获取凭证信息并注入到系统环境变量中
-    KeylessStatus load_result = client.load();
-    if (!load_result.ok()) {
-        return 0;
-    }
-    // 初始化 keyless-sdk 结束
-    // 以下为其他原始代码
-    ... ...
-}
-```

package/comate-engine/assets/skills/code-security/scripts/credential_hosting.py

@@ -1,99 +0,0 @@
-#!/usr/bin/env python3
-"""
-凭证托管工具 - 将凭证托管到第三方平台（iPipe/CNAP/datamanage）。
-
-用法:
-    python3 credential_hosting.py --poll-result <poll_result.json路径> --username <用户名>
-
-    也可手动指定各参数（不推荐，仅向后兼容）:
-    python3 credential_hosting.py --chat-id <chatID> --platform <platformName> --username <用户名> --credentials '<JSON>'
-
-使用 --poll-result 时，自动从 credential_poll.py 的输出文件中提取 chatUUID、deployment.platformName、data.credentials。
-"""
-
-import argparse
-import hashlib
-import json
-import logging
-import sys
-import uuid
-
-import http_client  # noqa: F401 (triggers shared logging config)
-
-HOST = "https://comate-sec.baidu-int.com"
-USER_ID = ""
-USERNAME = ""
-
-logger = logging.getLogger("credential_hosting")
-
-
-def build_headers(chat_id):
-    return {
-        "Comate-User-Id": USER_ID,
-        "Comate-Username": USERNAME,
-        "SAST-Chat-ID": chat_id,
-        "SAST-Request-ID": str(uuid.uuid4()),
-    }
-
-
-def hosting_credentials(chat_id, platform, credentials):
-    """将凭证托管到指定平台。"""
-    url = "{}/api/v1/deployments/{}/credentials".format(HOST, platform)
-    payload = {
-        "configs": credentials,
-        "scanChatID": chat_id,
-    }
-
-    logger.info("credential_hosting: chat_id=%s, platform=%s, credentials_count=%d",
-                chat_id, platform, len(credentials))
-    print("正在托管凭证到 {} 平台...".format(platform), file=sys.stderr)
-    return http_client.post(url, headers=build_headers(chat_id), json_body=payload)
-
-
-def main():
-    global USER_ID, USERNAME
-    parser = argparse.ArgumentParser(description="凭证托管工具")
-    parser.add_argument("--poll-result", default=None, help="credential_poll.py 输出的结果文件路径，自动提取所需参数")
-    parser.add_argument("--chat-id", default=None, help="scanChatID（使用 --poll-result 时可省略）")
-    parser.add_argument("--platform", default=None, help="托管平台名称（使用 --poll-result 时可省略）")
-    parser.add_argument("--username", required=True, help="Comate 用户名")
-    parser.add_argument("--credentials", default=None, help="凭证配置 JSON（使用 --poll-result 时可省略）")
-    args = parser.parse_args()
-
-    USERNAME = args.username
-    USER_ID = hashlib.md5(args.username.encode("utf-8")).hexdigest()[:12]
-
-    chat_id = args.chat_id
-    platform = args.platform
-    credentials = None
-
-    if args.poll_result:
-        # 从 poll_result 文件提取所有参数
-        try:
-            with open(args.poll_result, "r", encoding="utf-8") as f:
-                poll_data = json.load(f)
-        except Exception as e:
-            print("错误: 读取 poll-result 失败 {}: {}".format(args.poll_result, e), file=sys.stderr)
-            sys.exit(1)
-
-        chat_id = chat_id or poll_data.get("chatUUID", "")
-        data = poll_data.get("data", {})
-        platform = platform or data.get("deployment", {}).get("platformName", "")
-        credentials = data.get("credentials")
-    elif args.credentials:
-        try:
-            credentials = json.loads(args.credentials)
-        except json.JSONDecodeError as e:
-            print("错误: 凭证 JSON 解析失败: {}".format(e), file=sys.stderr)
-            sys.exit(1)
-
-    if not chat_id or not platform or credentials is None:
-        print("错误: 缺少必要参数。使用 --poll-result 或同时提供 --chat-id、--platform、--credentials", file=sys.stderr)
-        sys.exit(1)
-
-    result = hosting_credentials(chat_id, platform, credentials)
-    print(json.dumps(result, ensure_ascii=False, indent=2))
-
-
-if __name__ == "__main__":
-    main()