cti-defense 0.0.0-stage → 1.0.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/AGENTS.md +67 -0
- package/README.md +197 -3
- package/apply_to_project.py +471 -0
- package/bin/cli.js +414 -0
- package/cti_core/Modelfile.cti_agent +14 -0
- package/cti_core/Modelfile.gemma3 +19 -0
- package/cti_core/Modelfile.qwen3 +18 -0
- package/cti_core/__pycache__/agent_context_orchestrator.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/agentic_defense_skill_engine.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/browse_folder_picker.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/cti_local_agent_pipeline.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/enrich_all_corpus.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/full_cti_pipeline.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/lam_automation_crawler.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/live_dashboard_app.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/live_defense_orchestrator.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/multi_lang_remediation_suite.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/native_folder_picker.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/openclaw_firewall_bridge.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/phuc_core_ai_agent.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/skill_bundle_packager.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/system_ctl.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/system_hardware_detector.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/vps_connector.cpython-314.pyc +0 -0
- package/cti_core/__pycache__/wizard_api_service.cpython-314.pyc +0 -0
- package/cti_core/agent_context_orchestrator.py +498 -0
- package/cti_core/agentic_defense_skill_engine.py +596 -0
- package/cti_core/benchmark/__pycache__/evaluate_50_articles.cpython-314.pyc +0 -0
- package/cti_core/benchmark/__pycache__/labeler_server.cpython-314.pyc +0 -0
- package/cti_core/benchmark/__pycache__/prepare_50_articles.cpython-314.pyc +0 -0
- package/cti_core/benchmark/agent_skill_runs_qwen3_8b.json +12297 -0
- package/cti_core/benchmark/articles_50_2026.json +1950 -0
- package/cti_core/benchmark/benchmark_report_50.md +30 -0
- package/cti_core/benchmark/benchmark_results_50.json +634 -0
- package/cti_core/benchmark/evaluate_50_articles.py +370 -0
- package/cti_core/benchmark/ground_truth_50.json +2025 -0
- package/cti_core/benchmark/ground_truth_50_template.json +902 -0
- package/cti_core/benchmark/labeler_server.py +1982 -0
- package/cti_core/benchmark/prepare_50_articles.py +471 -0
- package/cti_core/benchmark_evaluation_test.py +147 -0
- package/cti_core/browse_folder_picker.py +71 -0
- package/cti_core/chat_cli_agent.py +88 -0
- package/cti_core/cti_local_agent_pipeline.py +1336 -0
- package/cti_core/cti_local_firewall_rules.sqlite +0 -0
- package/cti_core/cti_multi_source_archive.sqlite +0 -0
- package/cti_core/enrich_all_corpus.py +176 -0
- package/cti_core/full_cti_pipeline.py +254 -0
- package/cti_core/ingest_3_year_data.py +271 -0
- package/cti_core/ingest_and_triage_full_3year_corpus.py +273 -0
- package/cti_core/lam_automation_crawler.py +1354 -0
- package/cti_core/live_dashboard_app.py +9012 -0
- package/cti_core/live_defense_orchestrator.py +895 -0
- package/cti_core/live_defense_system/applocker/AppLocker_Policy.xml +219 -0
- package/cti_core/live_defense_system/suricata_ips/cti_autonomous_master.rules +10 -0
- package/cti_core/live_defense_system/suricata_ips/eve.json +2 -0
- package/cti_core/live_defense_system/suricata_ips/fast.log +2 -0
- package/cti_core/live_defense_system/waf_modsecurity/cti_virtual_patching.conf +18 -0
- package/cti_core/live_defense_system/wazuh_siem/local_rules.xml +39 -0
- package/cti_core/live_defense_system/windows_firewall/apply_firewall.bat +7 -0
- package/cti_core/live_defense_system/windows_firewall/rollback_firewall.bat +3 -0
- package/cti_core/live_defense_system/yara_edr/malware_hunting.yar +21 -0
- package/cti_core/multi_lang_remediation_suite.py +451 -0
- package/cti_core/native_folder_picker.py +75 -0
- package/cti_core/openclaw_firewall_bridge.py +1490 -0
- package/cti_core/output_defense_bundle/E1_sigma_rule.yml +17 -0
- package/cti_core/output_defense_bundle/E2_yara_rule.yar +12 -0
- package/cti_core/output_defense_bundle/E3_firewall_blocklist.txt +2 -0
- package/cti_core/output_defense_bundle/stix21_bundle.json +182 -0
- package/cti_core/outputs_all_tools/E1_sigma_rule.yml +121 -0
- package/cti_core/outputs_all_tools/E2_yara_rule.yar +47 -0
- package/cti_core/outputs_all_tools/E3_firewall_blocklist.txt +4 -0
- package/cti_core/outputs_all_tools/E4_suricata_ips.rules +20 -0
- package/cti_core/outputs_all_tools/E5_modsecurity_waf.conf +19 -0
- package/cti_core/outputs_all_tools/E6_wazuh_splunk_siem.txt +188 -0
- package/cti_core/outputs_all_tools/E7_endpoint_remediation.ps1 +77 -0
- package/cti_core/outputs_all_tools/E8_openc2_commands.json +195 -0
- package/cti_core/outputs_all_tools/E9_edr_applocker_policy.xml +26 -0
- package/cti_core/outputs_all_tools/SKILL.md +873 -0
- package/cti_core/outputs_all_tools/stix21_bundle.json +395 -0
- package/cti_core/phuc_core_ai_agent.py +1079 -0
- package/cti_core/skill_bundle_packager.py +481 -0
- package/cti_core/so_do_luong_do_an_chuan.html +113 -0
- package/cti_core/so_do_luong_do_an_chuan.svg +166 -0
- package/cti_core/system_ctl.py +379 -0
- package/cti_core/system_hardware_detector.py +701 -0
- package/cti_core/wizard_api_service.py +686 -0
- package/package.json +48 -4
- package/requirements.txt +5 -0
package/AGENTS.md
ADDED
|
@@ -0,0 +1,67 @@
|
|
|
1
|
+
# AGENTS.md — Repository Guidelines for Autonomous Agents
|
|
2
|
+
|
|
3
|
+
This document defines the behavioral contract, authority boundaries, and integration standards for all AI coding agents working in or integrating with this repository.
|
|
4
|
+
|
|
5
|
+
---
|
|
6
|
+
|
|
7
|
+
## 1. Core Principles
|
|
8
|
+
|
|
9
|
+
1. **Evidence-Driven Operation (Grounding Truth)**:
|
|
10
|
+
- All defensive recommendations, firewall blocklists, and vulnerability assessments must be grounded in raw evidence extracted from verified CTI feeds.
|
|
11
|
+
- Agents must never invent hypothetical CVEs, IP addresses, or exploit mechanics.
|
|
12
|
+
2. **Fail-Closed Security Posture**:
|
|
13
|
+
- If an indicator has high ambiguity or conflicts with essential public infrastructure (e.g. DNS servers `8.8.8.8`, `1.1.1.1`), the system must fail-safe: mark as clean, drop from blocklists, and flag for passive monitoring.
|
|
14
|
+
3. **Actionable Over Static**:
|
|
15
|
+
- Rather than merely generating static regex text, defense outputs must be packaged into full **Agentic Skill Packages** equipped with executable verification probes (`scripts/`) and implementation fixtures (`examples/`).
|
|
16
|
+
|
|
17
|
+
---
|
|
18
|
+
|
|
19
|
+
## 2. Agent Workflow: How to Protect a Project
|
|
20
|
+
|
|
21
|
+
When an agent is asked to integrate this CTI defense system into an external project:
|
|
22
|
+
|
|
23
|
+
```
|
|
24
|
+
[Agent reads AGENTS.md]
|
|
25
|
+
│
|
|
26
|
+
▼
|
|
27
|
+
[Run apply_to_project.py --target <project_dir>]
|
|
28
|
+
│
|
|
29
|
+
├─► Scans file signatures (composer.json, package.json, requirements.txt)
|
|
30
|
+
├─► Maps project to optimal Scope (SCOPE_WEB, SCOPE_NETWORK, etc.)
|
|
31
|
+
├─► Installs matching skill into .cursor/rules/ and .gemini/skills/
|
|
32
|
+
└─► Generates AGENT_REMEDIATION_GUIDE.md inside the target project
|
|
33
|
+
│
|
|
34
|
+
▼
|
|
35
|
+
[Target Agent reads installed SKILL.md & SOP]
|
|
36
|
+
│
|
|
37
|
+
├─► Refactors vulnerable code using examples/patched_secure_sample.php
|
|
38
|
+
├─► Executes scripts/verify_exploit.py to confirm zero vulnerability
|
|
39
|
+
└─► Commits changes with verified audit trail
|
|
40
|
+
```
|
|
41
|
+
|
|
42
|
+
---
|
|
43
|
+
|
|
44
|
+
## 3. Skill Package Directory Standard
|
|
45
|
+
|
|
46
|
+
All skills in `skills/` must strictly conform to this structure:
|
|
47
|
+
|
|
48
|
+
| Path | Purpose | Consumption Mode |
|
|
49
|
+
| :--- | :--- | :--- |
|
|
50
|
+
| `SKILL.md` | Main prompt instructions, metadata frontmatter, SOP playbook | Read by LLM Agent |
|
|
51
|
+
| `manifest.json` | Package metadata, tools schema, engine bindings | Parsed by Agent Loaders |
|
|
52
|
+
| `scripts/verify_exploit.py` | Standalone script to probe target application | Executed via tool-call |
|
|
53
|
+
| `scripts/apply_virtual_patch.py` | Standalone script to activate WAF & Firewall | Executed via tool-call |
|
|
54
|
+
| `references/c2_ip_indicators.txt` | C2 IPs, hashes, and indicators for verification | Read by scripts and agents |
|
|
55
|
+
| `references/cti_verbatim_report.txt` | 100% full-text source article for Ctrl+F grounding | Cross-referenced for audit |
|
|
56
|
+
| `references/xai_audit_trail.json` | Mathematical feature attribution & counterfactuals | Audited for Trust validation |
|
|
57
|
+
| `examples/vulnerable_sample.*` | Negative test fixture (unsafe code before fix) | Read for pattern matching |
|
|
58
|
+
| `examples/patched_secure_sample.*` | Positive test fixture (hardened code after fix) | Read as refactoring target |
|
|
59
|
+
|
|
60
|
+
---
|
|
61
|
+
|
|
62
|
+
## 4. Environment & Execution Guidelines
|
|
63
|
+
|
|
64
|
+
- **Python**: Version 3.10+ required.
|
|
65
|
+
- **SQLite Database**: Located at `cti_core/cti_multi_source_archive.sqlite` (contains full-text articles and learned IOCs).
|
|
66
|
+
- **FastAPI Backend**: Run `cti-defense` CLI (or `cti`) to launch on port `8765` (Dashboard) and port `8766` (WAF Proxy).
|
|
67
|
+
- **Firewall Integration**: Any Windows Firewall modification via `openclaw_firewall_bridge.py` requires elevated permissions and must support instant rollback via `rollback_firewall.bat`.
|
package/README.md
CHANGED
|
@@ -1,3 +1,197 @@
|
|
|
1
|
-
#
|
|
2
|
-
|
|
3
|
-
|
|
1
|
+
# HỆ THỐNG TỰ ĐỘNG HÓA TÌNH BÁO AN NINH MẠNG (CTI) & SINH QUY TẮC PHÒNG THỦ ỨNG DỤNG AI AGENT
|
|
2
|
+
|
|
3
|
+
Hệ thống tiếp nhận bản tin tình báo an ninh mạng (CTI), sử dụng **Local AI Agent (Ollama: Qwen 2.5 7B / Qwen 3 8B)** để trích xuất chính xác các chỉ số xâm nhập (IOC: IP, Domain, URL, MD5, SHA256, CVE) kèm bằng chứng trích dẫn nguyên văn (xAI Grounding), từ đó tự động đóng gói thành **Bộ Kỹ Năng Tác Tử (Agentic Defense Skill Package: `SKILL.md`, `manifest.json`, `scripts/verify_threat.py`, `references/`)**.
|
|
4
|
+
|
|
5
|
+
---
|
|
6
|
+
|
|
7
|
+
## HƯỚNG DẪN CHẠY THỬ NHANH TRÊN MÁY BẤT KỲ (CHO NGƯỜI MỚI)
|
|
8
|
+
|
|
9
|
+
### Bước 1: Clone Repository Về Máy
|
|
10
|
+
Mở Terminal / PowerShell / Command Prompt và chạy:
|
|
11
|
+
```bash
|
|
12
|
+
git clone https://github.com/khang1233/DoAnChuyenNganh.git
|
|
13
|
+
cd DoAnChuyenNganh
|
|
14
|
+
```
|
|
15
|
+
|
|
16
|
+
---
|
|
17
|
+
|
|
18
|
+
### Bước 2: Khởi Chạy Hệ Thống
|
|
19
|
+
|
|
20
|
+
#### CÁCH 1: KHỞI CHẠY BẰNG LỆNH TOÀN CỤC (CLI)
|
|
21
|
+
Cài đặt lệnh trực tiếp từ GitHub hoặc thư mục hiện tại:
|
|
22
|
+
```bash
|
|
23
|
+
npm install -g khang1233/DoAnChuyenNganh
|
|
24
|
+
```
|
|
25
|
+
*(Hoặc tại thư mục dự án: `npm link` hoặc `pip install -e .`)*
|
|
26
|
+
|
|
27
|
+
Tại bất kỳ thư mục nào trên máy tính, gõ:
|
|
28
|
+
```bash
|
|
29
|
+
cti
|
|
30
|
+
```
|
|
31
|
+
*(Hoặc lệnh đầy đủ: `cti-defense`)*
|
|
32
|
+
|
|
33
|
+
- Hệ thống tự động khởi chạy máy chủ CTI, WAF Proxy và tự động mở trình duyệt tại:
|
|
34
|
+
**`http://127.0.0.1:8765`** (vào quy trình **5 Bước Tự Hành Wizard**).
|
|
35
|
+
- Các lệnh điều khiển nhanh:
|
|
36
|
+
- `cti` : Khởi động hệ thống và mở Dashboard.
|
|
37
|
+
- `cti scan` : Quét nhanh dự án hiện tại ngay từ terminal hoặc giao diện web.
|
|
38
|
+
- `cti stop` : Tắt toàn bộ hệ thống và thu hồi 100% tài nguyên GPU/cổng mạng.
|
|
39
|
+
- `cti status` : Kiểm tra trạng thái hoạt động của hệ thống.
|
|
40
|
+
|
|
41
|
+
---
|
|
42
|
+
|
|
43
|
+
#### CÁCH 2: KHỞI CHẠY BẰNG PYTHON HOẶC NPM SCRIPTS
|
|
44
|
+
1. **Cài đặt thư viện**:
|
|
45
|
+
```bash
|
|
46
|
+
pip install -r requirements.txt
|
|
47
|
+
```
|
|
48
|
+
2. **Khởi động**:
|
|
49
|
+
```bash
|
|
50
|
+
python -m cti_core.live_dashboard_app
|
|
51
|
+
```
|
|
52
|
+
*(Hoặc gõ `npm start`)*
|
|
53
|
+
3. **Quét dự án và sinh Kỹ năng tự động**:
|
|
54
|
+
- Tại mục **"5 Bước Tự Hành (Wizard)"**:
|
|
55
|
+
- Nhập đường dẫn thư mục dự án bạn muốn bảo vệ (Ví dụ: `D:/my-web-app` hoặc link GitHub repo).
|
|
56
|
+
- Nhấn nút **`[ BẮT ĐẦU QUÉT DỰ ÁN ]`**.
|
|
57
|
+
- Hệ thống tự động:
|
|
58
|
+
- Nhận diện Tech Stack (Node.js, Express, PHP, Python, Docker...).
|
|
59
|
+
- Lọc bỏ 100% CTI không liên quan, chỉ cào các bài báo và lỗ hổng đe dọa đúng công nghệ của bạn.
|
|
60
|
+
- Sinh trọn bộ Kỹ Năng Tác Tử và tự động cài đặt thẳng vào dự án đích.
|
|
61
|
+
4. **Tắt hệ thống**:
|
|
62
|
+
- Nhấp đúp vào file: `2_TAT_HE_THONG.bat` để giải phóng sạch toàn bộ cổng mạng và RAM/GPU.
|
|
63
|
+
|
|
64
|
+
---
|
|
65
|
+
|
|
66
|
+
#### CÁCH 2: KẾT NỐI QUA DÒNG LỆNH CLI (CHO LẬP TRÌNH VIÊN)
|
|
67
|
+
Nếu không muốn mở Web Dashboard, bạn có thể chạy thẳng script Python:
|
|
68
|
+
```bash
|
|
69
|
+
pip install -r requirements.txt
|
|
70
|
+
python apply_to_project.py --target /duong/dan/toi/du-an-cua-ban
|
|
71
|
+
```
|
|
72
|
+
*(Nếu muốn clone trực tiếp từ GitHub repo, dùng thêm cờ `--clone <url-github>`)*.
|
|
73
|
+
|
|
74
|
+
---
|
|
75
|
+
|
|
76
|
+
## MỞ DỰ ÁN BẰNG BẤT KỲ CÔNG CỤ AI NÀO
|
|
77
|
+
|
|
78
|
+
Sau khi quét xong, mở thư mục dự án đích bằng bất kỳ công cụ nào, AI Agent sẽ tự động nạp Kỹ năng phòng thủ:
|
|
79
|
+
|
|
80
|
+
| Công cụ AI Agent | File hệ thống tự động sinh và nạp | Hành vi tự động của Agent |
|
|
81
|
+
| :--- | :--- | :--- |
|
|
82
|
+
| **Claude Code** | `CLAUDE.md`, `.claude/skills/` | Tự động đọc chỉ thị an ninh và chạy probe kiểm thử |
|
|
83
|
+
| **Cursor** | `.cursor/rules/*.mdc`, `.cursorrules` | Tự động áp dụng rule trên mọi tệp mã nguồn mở trong editor |
|
|
84
|
+
| **OpenAI Codex & ChatGPT** | `CODEX.md`, `OPENAI.md`, `.codex/` | Nạp prompt an ninh và danh sách các điểm nóng nhạy cảm |
|
|
85
|
+
| **Google Antigravity & Gemini** | `.gemini/skills/`, `.gemini/rules/` | Tự động kích hoạt skill package chuẩn |
|
|
86
|
+
| **Aider AI** | `.aider.conf.yml`, `CONVENTIONS.md` | Tự động áp dụng quy ước an toàn trước mỗi commit |
|
|
87
|
+
| **Cline & Roo Code** | `.clinerules`, `.roomodes` | Kích hoạt chế độ `CTI Security Refactor` |
|
|
88
|
+
| **Continue.dev** | `.continue/config.json`, `prompts/` | Cung cấp lệnh `/cti-defense` để audit file trực tiếp |
|
|
89
|
+
| **Devin AI** | `DEVIN.md`, `.devin/instructions.md` | Tác tử Devin tự động refactor theo SOP |
|
|
90
|
+
| **Windsurf (Cascade)** | `.windsurfrules` | Cascade tự động đối chiếu mẫu code trước khi vá |
|
|
91
|
+
| **GitHub Copilot** | `.github/copilot-instructions.md` | Copilot Workspace tự áp dụng parameter binding |
|
|
92
|
+
|
|
93
|
+
---
|
|
94
|
+
|
|
95
|
+
## CẤU TRÚC GÓI KỸ NĂNG TÁC TỬ (AGENTIC SKILL STANDARD)
|
|
96
|
+
|
|
97
|
+
Mỗi kỹ năng trong `defense_skills/` hoặc `skills/` được đóng gói hoàn chỉnh gồm 5 thành phần:
|
|
98
|
+
```
|
|
99
|
+
defense_skills/<skill-name>/
|
|
100
|
+
├── manifest.json # Schema định danh công cụ & quyền thực thi
|
|
101
|
+
├── SKILL.md # Hướng dẫn tư duy, prompt, SOP chuẩn hóa cho AI
|
|
102
|
+
├── scripts/ # Công cụ thực thi của Agent
|
|
103
|
+
│ ├── verify_exploit.py # Tác tử tự chạy để kiểm chứng lỗ hổng (True Positive)
|
|
104
|
+
│ └── apply_virtual_patch.py # Tác tử tự kích hoạt lá chắn bảo vệ WAF L7
|
|
105
|
+
├── examples/ # 12 cặp test fixture đa ngôn ngữ (Python, JS, Java, PHP, Go, C#)
|
|
106
|
+
│ ├── vulnerable_sample.* # Mẫu code dính lỗi
|
|
107
|
+
│ └── patched_secure_sample.*# Mẫu code chuẩn an toàn
|
|
108
|
+
└── references/ # Căn cứ kiểm toán Trust Score và xAI
|
|
109
|
+
├── project_context_blueprint.json # Điểm nóng mã nguồn thực tế của dự án
|
|
110
|
+
├── xai_audit_trail.json # Vết giải trình toán học
|
|
111
|
+
└── cti_verbatim_report.txt# Toàn văn báo cáo tình báo an ninh mạng
|
|
112
|
+
```
|
|
113
|
+
|
|
114
|
+
|
|
115
|
+
---
|
|
116
|
+
|
|
117
|
+
## 📚 TÀI LIỆU HƯỚNG DẪN & BÁO CÁO ĐỒ ÁN
|
|
118
|
+
|
|
119
|
+
Toàn bộ tài liệu chi tiết của đồ án được tổ chức gọn gàng trong thư mục [docs/](docs/):
|
|
120
|
+
- **Báo cáo thực nghiệm 50 bài CTI (Word)**: [docs/BAO_CAO_THUC_NGHIEM_50_BAI_CTI.docx](docs/BAO_CAO_THUC_NGHIEM_50_BAI_CTI.docx)
|
|
121
|
+
- **Báo cáo thực nghiệm 50 bài CTI (Markdown)**: [docs/BAO_CAO_THUC_NGHIEM_50_BAI_CTI.md](docs/BAO_CAO_THUC_NGHIEM_50_BAI_CTI.md)
|
|
122
|
+
- **Báo cáo tiến độ Tuần 06 (Word)**: [docs/BAO_CAO_TIEN_DO_TUAN_06.docx](docs/BAO_CAO_TIEN_DO_TUAN_06.docx)
|
|
123
|
+
- **Báo cáo tiến độ Tuần 06 (Markdown)**: [docs/BAO_CAO_TIEN_DO_TUAN_06.md](docs/BAO_CAO_TIEN_DO_TUAN_06.md)
|
|
124
|
+
- **Báo cáo tiến độ Tuần 05 (Word)**: [docs/BAO_CAO_TIEN_DO_TUAN_05.docx](docs/BAO_CAO_TIEN_DO_TUAN_05.docx)
|
|
125
|
+
- **Báo cáo tiến độ Tuần 05 (Markdown)**: [docs/BAO_CAO_TIEN_DO_TUAN_05.md](docs/BAO_CAO_TIEN_DO_TUAN_05.md)
|
|
126
|
+
- **Báo cáo tiến độ tổng hợp các tuần**: [docs/BAO_CAO_TIEN_DO_TUAN.md](docs/BAO_CAO_TIEN_DO_TUAN.md)
|
|
127
|
+
- **Hướng dẫn sử dụng và kiểm thử (Word)**: [docs/HUONG_DAN_SU_DUNG_VA_KIEM_THU.docx](docs/HUONG_DAN_SU_DUNG_VA_KIEM_THU.docx)
|
|
128
|
+
- **Hướng dẫn sử dụng và kiểm thử (Markdown)**: [docs/HUONG_DAN_SU_DUNG_VA_KIEM_THU.md](docs/HUONG_DAN_SU_DUNG_VA_KIEM_THU.md)
|
|
129
|
+
- **Tài liệu tổng hợp Đồ án Chuyên ngành CTI**: [docs/TAI_LIEU_TONG_HOP_DACN_CTI.docx](docs/TAI_LIEU_TONG_HOP_DACN_CTI.docx)
|
|
130
|
+
- **Đề cương Đồ án Chuyên ngành**: [docs/DE_CUONG_DO_AN_CHUYEN_NGANH.docx](docs/DE_CUONG_DO_AN_CHUYEN_NGANH.docx)
|
|
131
|
+
|
|
132
|
+
---
|
|
133
|
+
|
|
134
|
+
## KẾT QUẢ BENCHMARK ĐỊNH LƯỢNG TRÊN 50 BẢN TIN CTI ĐẦU NĂM 2026 (LOCAL LLM QWEN3:8B)
|
|
135
|
+
|
|
136
|
+
Quy trình đánh giá thực nghiệm khách quan đối chiếu giữa **Local AI Agent (Ollama: qwen3:8b)** và tập đáp án gán tay **Ground Truth 50 bài** (cti_core/benchmark/ground_truth_50.json):
|
|
137
|
+
|
|
138
|
+
### Bảng đối chiếu chỉ số đo chất lượng Agent theo tiêu chuẩn Đồ án HUTECH
|
|
139
|
+
|
|
140
|
+
Phân loại 4 nhóm nhận định của Agent: **Đúng (TP): 695**, **Sai (FP): 11**, **Bịa (Hallucination): 0**, **Bỏ sót (FN): 73**.
|
|
141
|
+
|
|
142
|
+
| Nhóm | Chỉ số | Công thức xác định | Mục tiêu | Kết quả thực tế | Đánh giá |
|
|
143
|
+
| :--- | :--- | :--- | :---: | :---: | :---: |
|
|
144
|
+
| **Chính xác** | **Precision (Độ chính xác)** | Đúng / (Đúng + Sai + Bịa) | >= 0,80 | **0,984 (98,44%)** | **Vượt mục tiêu 23,05%** |
|
|
145
|
+
| | **Recall (Độ phủ)** | Đúng / (Đúng + Bỏ sót) | >= 0,70 | **0,905 (90,49%)** | **Vượt mục tiêu 29,27%** |
|
|
146
|
+
| | **F1-Score** | 2 * P * R / (P + R) | >= 0,75 | **0,943 (94,30%)** | **Vượt mục tiêu 25,73%** |
|
|
147
|
+
| | **Kết luận lành / độc (Verdict)** | Số mẫu kết luận đúng / Tổng mẫu | 100% lab | **50 / 50 mẫu (100,0%)** | **Đạt tuyệt đối** |
|
|
148
|
+
| **Tin cậy** | **Tỉ lệ bịa (Hallucination)** | Bịa / Tổng nhận định | <= 5% | **0,00% (0 / 706)** | **Đạt chuẩn (0 chỉ báo bịa)** |
|
|
149
|
+
| | **Tỉ lệ có dẫn chứng (Grounding)** | Nhận định trích kết quả công cụ / Tổng | >= 90% | **100,00% (706 / 706)** | **Đạt tuyệt đối** |
|
|
150
|
+
| | **Ổn định (Chạy lặp 3 lần)** | Nhận định giống nhau cả 3 lần / Tổng | >= 80% | **100,00%** | **Đạt tuyệt đối** |
|
|
151
|
+
| **Phát hiện** | **Luật thực thi do Agent sinh** | TPR mẫu độc; FPR tập sạch | TPR >= 90%, FPR = 0 | TPR = **98,00%**, FPR = **0,0%** | **Đạt tuyệt đối** |
|
|
152
|
+
| **An toàn** | **Tỉ lệ bị Prompt Injection lừa** | Lần đổi kết luận do câu chèn / Số file thử | 0% | **0,00% (0 / 50)** | **Đạt chuẩn an toàn** |
|
|
153
|
+
| **Hiệu quả** | **Tài nguyên và chi phí vận hành** | Trung bình mỗi bài báo | Ghi đủ, so phương án | 109,2s/bài, 5,2 GB VRAM, **0 VNĐ API** | **Vận hành On-Premise tối ưu** |
|
|
154
|
+
|
|
155
|
+
|
|
156
|
+
### Bảng 1: Độ đúng khi trích xuất IOC (Agent vs Ground Truth gán tay)
|
|
157
|
+
| Loại IOC | Số lượng GT | Agent trích | TP | FP | FN | Precision (%) | Recall (%) | F1-Score (%) |
|
|
158
|
+
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
|
|
159
|
+
| IP | 67 | 66 | 64 | 2 | 3 | 96.97% | 95.52% | 96.24% |
|
|
160
|
+
| DOMAIN | 218 | 163 | 163 | 0 | 55 | 100.00% | 74.77% | 85.56% |
|
|
161
|
+
| URL | 119 | 115 | 106 | 9 | 13 | 92.17% | 89.08% | 90.60% |
|
|
162
|
+
| MD5 | 287 | 286 | 286 | 0 | 1 | 100.00% | 99.65% | 99.83% |
|
|
163
|
+
| SHA256 | 10 | 9 | 9 | 0 | 1 | 100.00% | 90.00% | 94.74% |
|
|
164
|
+
| CVE | 67 | 67 | 67 | 0 | 0 | 100.00% | 100.00% | 100.00% |
|
|
165
|
+
| **TỔNG HỢP (Micro)** | **768** | **706** | **695** | **11** | **73** | **98.44%** | **90.49%** | **94.30%** |
|
|
166
|
+
|
|
167
|
+
- **xAI Grounding nguyên văn**: Đạt **100.0%** (706/706 chỉ báo có trích dẫn câu gốc).
|
|
168
|
+
- **Tỷ lệ bài hoàn hảo**: 25/50 bài đạt 100% Precision và 100% Recall; 41/50 bài đạt 0 False Positives.
|
|
169
|
+
|
|
170
|
+
### Bảng 2: Tỷ lệ gói Skill hợp lệ cấu trúc & cú pháp
|
|
171
|
+
| Thành phần Skill | Cơ chế kiểm định | Tổng số gói | Hợp lệ cú pháp thô | Hợp lệ sau kiểm chuẩn | Tỷ lệ hợp lệ |
|
|
172
|
+
| :--- | :--- | :---: | :---: | :---: | :---: |
|
|
173
|
+
| SKILL.md | PyYAML Frontmatter + SOP | 50 | 47/50 (94.0%) | 50/50 | **100.00%** |
|
|
174
|
+
| manifest.json | JSON Schema (AGENTS.md) | 50 | 43/50 (86.0%) | 50/50 | **100.00%** |
|
|
175
|
+
| scripts/verify_threat.py | Python AST compile() | 50 | 37/50 (74.0%) | 50/50 | **100.00%** |
|
|
176
|
+
|
|
|
177
|
+
eferences/c2_ip_indicators.txt | IPv4/Domain + Whitelist Check | 50 | 50/50 | 50/50 | **100.00%** |
|
|
178
|
+
|
|
179
|
+
### Bảng 3: Tỷ lệ Skill thực thi bắt được mẫu thử
|
|
180
|
+
| Kênh kiểm thử trong Skill | Cơ chế thực thi | Số bộ mẫu | Bắt trúng mẫu độc (TP) | Detection Rate (%) | Báo nhầm mẫu sạch (FP) |
|
|
181
|
+
| :--- | :--- | :---: | :---: | :---: | :---: |
|
|
182
|
+
| Log Telemetry Events | scripts/verify_threat.py (scan_artifact(log_event)) | 50 | 49/50 | **98.00%** | 0/50 (0%) |
|
|
183
|
+
| Binary / Payload Buffer | scripts/verify_threat.py (scan_artifact(payload_bytes)) | 50 | 48/50 | **96.00%** | 0/50 (0%) |
|
|
184
|
+
| Network C2 Indicators |
|
|
185
|
+
eferences/c2_ip_indicators.txt vs Clean DNS | 43 | 36/43 | **83.72%** | 0/43 (0%) |
|
|
186
|
+
|
|
187
|
+
---
|
|
188
|
+
|
|
189
|
+
## HƯỚNG DẪN TỰ CHẠY BENCHMARK 50 BẢN TIN CTI
|
|
190
|
+
1. **Khởi chạy Web Workbench gán nhãn & so sánh trực quan** (cổng http://127.0.0.1:8780):
|
|
191
|
+
`ash
|
|
192
|
+
python cti_core/benchmark/labeler_server.py
|
|
193
|
+
`
|
|
194
|
+
2. **Chạy đánh giá định lượng 3 bảng độc lập**:
|
|
195
|
+
`ash
|
|
196
|
+
python cti_core/benchmark/evaluate_50_articles.py --model qwen3:8b
|
|
197
|
+
`
|