Jarvis-Brain 0.1.7.12__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
@@ -0,0 +1,4 @@
1
+ .venv
2
+ .idea
3
+ call_test
4
+ dist
@@ -0,0 +1,10 @@
1
+ Metadata-Version: 2.4
2
+ Name: Jarvis_Brain
3
+ Version: 0.1.7.12
4
+ Summary: Jarvis brain mcp
5
+ Requires-Python: >=3.10
6
+ Requires-Dist: beautifulsoup4
7
+ Requires-Dist: curl-cffi
8
+ Requires-Dist: drissionpage
9
+ Requires-Dist: fastmcp
10
+ Requires-Dist: minify-html
@@ -0,0 +1,246 @@
1
+ # Jarvis Brain MCP
2
+
3
+ <div align="center">
4
+
5
+ 一个基于 FastMCP 和 DrissionPage 的浏览器自动化 MCP 服务器
6
+
7
+ [![Python Version](https://img.shields.io/badge/python-3.10+-blue.svg)](https://www.python.org/downloads/)
8
+ [![Version](https://img.shields.io/badge/version-0.1.5.7-green.svg)](https://github.com/yourusername/jarvis-mcp)
9
+
10
+ ## 📖 简介
11
+
12
+ Jarvis Brain MCP 是一个强大的浏览器自动化工具,通过 Model Context Protocol (MCP) 提供服务。它集成了 DrissionPage 浏览器控制能力,支持多浏览器实例管理、智能 WAF 检测、HTML 获取与压缩等功能,特别适用于网页爬取、自动化测试和反爬虫分析场景。
13
+
14
+ ## ✨ 核心特性
15
+
16
+ ### 🌐 浏览器管理
17
+ - **多实例浏览器池**: 使用单例模式管理多个浏览器实例,支持并发操作
18
+ - **标签页控制**: 创建、切换、关闭标签页,灵活管理浏览器标签
19
+ - **智能端口分配**: 自动分配随机端口 (9223-9934),避免端口冲突
20
+
21
+ ### 🛡️ WAF 检测
22
+ - **多维度检测**: 对比 requests、有头浏览器、无头浏览器三种方式获取的 HTML
23
+ - **Cookie 特征识别**: 自动识别瑞数、加速乐等常见 WAF 的 Cookie 特征
24
+ - **智能推荐**: 根据检测结果推荐最适合的采集方案(requests / headless / head)
25
+
26
+ ### 📄 HTML 处理
27
+ - **智能压缩**: 自动移除 style、script、meta 标签及相关属性
28
+ - **压缩比计算**: 实时计算压缩率,用于 WAF 检测判断
29
+ - **本地保存**: 将获取的 HTML 保存到本地,便于后续分析
30
+
31
+ ### 🔍 元素检测
32
+ - **CSS 选择器支持**: 检测页面中是否存在指定的 CSS 选择器元素
33
+ - **智能格式化**: 自动添加 `css:` 前缀,简化使用
34
+
35
+ ## 🚀 快速开始
36
+
37
+ ### 安装
38
+
39
+ ```bash
40
+ pip install Jarvis_Brain
41
+ ```
42
+
43
+ 或从源码安装:
44
+
45
+ ```bash
46
+ git clone https://github.com/yourusername/jarvis-mcp.git
47
+ cd jarvis-mcp
48
+ pip install -e .
49
+ ```
50
+
51
+ ## 🛠️ MCP 工具列表
52
+
53
+ ### TeamNode-Dp 模块
54
+
55
+ #### 1. visit_url
56
+ 打开指定 URL 并创建浏览器实例。
57
+
58
+ **参数:**
59
+ - `url` (str): 要访问的网页 URL
60
+
61
+ **返回:**
62
+ - `message`: 操作结果消息
63
+ - `tab_id`: 标签页 ID
64
+ - `browser_port`: 浏览器端口号
65
+
66
+ #### 2. get_html
67
+ 获取指定标签页的 HTML 源码并保存到本地。
68
+
69
+ **参数:**
70
+ - `browser_port` (int): 浏览器端口号
71
+ - `tab_id` (str): 标签页 ID
72
+
73
+ **返回:**
74
+ - `message`: 操作结果消息
75
+ - `tab_id`: 标签页 ID
76
+ - `html_local_path`: HTML 文件保存路径
77
+
78
+ #### 3. get_new_tab
79
+ 在指定浏览器中创建新标签页并打开 URL。
80
+
81
+ **参数:**
82
+ - `browser_port` (int): 浏览器端口号
83
+ - `url` (str): 要访问的 URL
84
+
85
+ **返回:**
86
+ - `message`: 操作结果消息
87
+ - `tab_id`: 新标签页 ID
88
+
89
+ #### 4. switch_tab
90
+ 切换到指定的标签页。
91
+
92
+ **参数:**
93
+ - `browser_port` (int): 浏览器端口号
94
+ - `tab_id` (str): 要切换到的标签页 ID
95
+
96
+ **返回:**
97
+ - `message`: 操作结果消息
98
+
99
+ #### 5. close_tab
100
+ 关闭指定的标签页。
101
+
102
+ **参数:**
103
+ - `browser_port` (int): 浏览器端口号
104
+ - `tab_id` (str): 要关闭的标签页 ID
105
+
106
+ **返回:**
107
+ - `message`: 操作结果消息
108
+
109
+ #### 6. check_selector
110
+ 检查标签页中是否存在指定的 CSS 选择器元素。
111
+
112
+ **参数:**
113
+ - `browser_port` (int): 浏览器端口号
114
+ - `tab_id` (str): 标签页 ID
115
+ - `css_selector` (str): CSS 选择器
116
+
117
+ **返回:**
118
+ - `message`: 操作结果消息
119
+ - `tab_id`: 标签页 ID
120
+ - `selector`: 完整的选择器
121
+ - `selector_ele_exist` (bool): 元素是否存在
122
+
123
+ ### JarvisNode 模块
124
+
125
+ #### 7. assert_waf
126
+ 智能检测网页是否使用了 WAF 及页面渲染类型。
127
+
128
+ **检测原理:**
129
+ 1. 通过 Cookie 特征识别已知 WAF(瑞数、加速乐等)
130
+ 2. 对比 requests、无头浏览器、有头浏览器获取的 HTML 压缩比
131
+ 3. 根据压缩比差异判断页面类型和推荐采集方案
132
+
133
+ **参数:**
134
+ - `browser_port` (int): 浏览器端口号
135
+ - `tab_id` (str): 标签页 ID
136
+
137
+ **返回:**
138
+ - `message`: 操作结果消息
139
+ - `tab_id`: 标签页 ID
140
+ - `recommend_team`: 推荐的采集方案
141
+ - `requests`: 静态页面,无防护
142
+ - `drissionpage_headless`: 动态页面或有 requests 防护
143
+ - `drissionpage_head`: 有无头检测或复杂 WAF
144
+ - `raw_head_rate_difference`: requests 与有头浏览器压缩比差异
145
+ - `raw_headless_rate_difference`: requests 与无头浏览器压缩比差异
146
+ - `head_headless_rate_difference`: 有头与无头浏览器压缩比差异
147
+
148
+ ## 📊 WAF 检测逻辑
149
+
150
+ ### 判定规则
151
+
152
+ | 场景 | requests vs 有头 | requests vs 无头 | 有头 vs 无头 | 推荐方案 | 说明 |
153
+ |------|------------------|------------------|--------------|----------|------|
154
+ | 静态页面无防护 | < 40% | < 40% | < 40% | `requests` | 三种方式结果一致 |
155
+ | 动态页面 / requests 防护 | > 40% | > 40% | < 30% | `drissionpage_headless` | requests 拿不到正确结果 |
156
+ | 无头检测 / 复杂 WAF | < 15% | > 40% | > 40% | `drissionpage_head` | 必须使用有头浏览器 |
157
+ | 已知 WAF (Cookie) | - | - | - | `drissionpage_head` | 检测到瑞数/加速乐等 Cookie |
158
+ | 状态码检测 | 412/521 | - | - | `drissionpage_head` | 瑞数(412)/加速乐(521) |
159
+
160
+ ### Cookie 特征库
161
+
162
+ 当前支持识别的 WAF:
163
+ - **瑞数**: Cookie name 长度为 13,value 长度为 88
164
+ - **加速乐**: Cookie name 包含 `_jsl`
165
+
166
+ ## 🏗️ 项目结构
167
+
168
+ ```
169
+ Jarvis-mcp/
170
+ ├── mcp_tools/ # MCP 工具模块
171
+ │ ├── __init__.py
172
+ │ ├── main.py # 主入口,注册 MCP 工具
173
+ │ └── dp_tools.py # DrissionPage 工具函数
174
+ ├── tools/ # 核心工具模块
175
+ │ ├── __init__.py
176
+ │ ├── browser_manager.py # 浏览器池管理(单例模式)
177
+ │ └── tools.py # HTML 处理、WAF 检测等工具函数
178
+ ├── dist/ # 打包文件
179
+ ├── pyproject.toml # 项目配置
180
+ └── README.md # 项目文档
181
+ ```
182
+
183
+ ## 🔧 技术栈
184
+
185
+ - **[FastMCP](https://github.com/jlowin/fastmcp)**: MCP 服务器框架
186
+ - **[DrissionPage](https://github.com/g1879/DrissionPage)**: 浏览器控制库
187
+ - **[htmlmin](https://github.com/mankyd/htmlmin)**: HTML 压缩
188
+ - **[BeautifulSoup4](https://www.crummy.com/software/BeautifulSoup/)**: HTML 解析
189
+ - **[curl_cffi](https://github.com/yifeikong/curl_cffi)**: HTTP 请求库
190
+
191
+ ## 📝 使用方法
192
+
193
+ ### teamNode mcp配置
194
+
195
+ ```json
196
+ "JarvisNode": {
197
+ "command": "uvx",
198
+ "args": ["--python", "3.11", "--from", "Jarvis_Brain@latest", "jarvis-mcp"],
199
+ "env": {
200
+ "MCP_MODULES": "TeamNode-Dp",
201
+ "BASE_CWD": os.getcwd(),
202
+ }
203
+ },
204
+ ```
205
+
206
+ ### JarvisNode mcp配置
207
+
208
+ ```json
209
+ "JarvisNode": {
210
+ "command": "uvx",
211
+ "args": ["--python", "3.11", "--from", "Jarvis_Brain@latest", "jarvis-mcp"],
212
+ "env": {
213
+ "MCP_MODULES": "TeamNode-Dp,JarvisNode",
214
+ "BASE_CWD": os.getcwd(),
215
+ }
216
+ },
217
+ ```
218
+
219
+ ## 🌟 应用场景
220
+
221
+ 1. **网页爬虫**: 智能选择最优采集方案,提高爬取效率
222
+ 2. **反爬虫分析**: 快速识别网站使用的 WAF 类型
223
+ 3. **自动化测试**: 多浏览器实例并发测试
224
+ 4. **数据采集**: 处理动态渲染、反爬虫网站
225
+ 5. **安全研究**: 分析网站防护策略
226
+
227
+ ## 📄 许可证
228
+
229
+ 本项目采用 MIT 许可证。
230
+
231
+ ## 🤝 贡献
232
+
233
+ 欢迎提交 Issue 和 Pull Request!
234
+
235
+ ## 📮 联系方式
236
+
237
+ 如有问题或建议,请通过以下方式联系:
238
+
239
+ - 提交 [Issue](https://github.com/yourusername/jarvis-mcp/issues)
240
+ - 邮箱: your.email@example.com
241
+
242
+ ---
243
+
244
+ <div align="center">
245
+ Made with ❤️ by Jarvis Team
246
+ </div>
File without changes
@@ -0,0 +1,206 @@
1
+ import hashlib
2
+ import json
3
+ import os
4
+ from typing import Any
5
+
6
+ from fastmcp import FastMCP
7
+
8
+ from tools.browser_manager import BrowserManager
9
+ from tools.tools import compress_html, requests_html, dp_headless_html, assert_waf_cookie, dp_mcp_message_pack
10
+ from tools.browser_proxy import DPProxyClient, DPProxyClientManager
11
+
12
+ html_source_code_local_save_path = os.path.join(os.getcwd(), "html-source-code")
13
+ waf_status_code_dict = {
14
+ 412: "瑞数",
15
+ 521: "加速乐"
16
+ }
17
+ # 一轮最大输入,以免单个html最大长度超过ai最大输入
18
+ one_turn_max_token = 20000
19
+
20
+
21
+ def register_visit_url(mcp: FastMCP, browser_manager: BrowserManager, client_manager: DPProxyClientManager):
22
+ @mcp.tool(name="visit_url",
23
+ description="使用Drissionpage打开url访问某个网站,并开始监听初始tab页的所有的XHR请求,当需要使用手机版浏览器Ua时use_mobile_user_agent为True")
24
+ async def visit_url(url: str, use_mobile_user_agent=False) -> dict[str, Any]:
25
+ mobile_user_agent = None
26
+ if use_mobile_user_agent:
27
+ mobile_user_agent = "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/143.0.0.0 Mobile Safari/537.36"
28
+ port, _browser = browser_manager.create_browser(mobile_user_agent)
29
+ tab = _browser.get_tab()
30
+ client_manager.create_client(tab)
31
+ tab.get(url)
32
+ tab_id = tab.tab_id
33
+ return dp_mcp_message_pack(
34
+ f"已在[{port}]端口创建浏览器对象,并已打开链接:{url},打开的模式是:{'手机版' if use_mobile_user_agent else '电脑版'}",
35
+ tab_id=tab_id,
36
+ browser_port=port
37
+ )
38
+
39
+
40
+ def register_get_html(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
41
+ @mcp.tool(name="get_html", description="使用Drissionpage获取某一个tab页的html")
42
+ async def get_html(browser_port: int, tab_id: str) -> dict[str, Any]:
43
+ _browser = browser_manager.get_browser(browser_port)
44
+ tab = _browser.get_tab(tab_id)
45
+ file_name_prefix = hashlib.md5(str(tab.title).encode('utf-8')).hexdigest()
46
+ if not os.path.exists(html_source_code_local_save_path):
47
+ os.makedirs(html_source_code_local_save_path)
48
+ min_html, compress_rate = compress_html(tab.html)
49
+ html_str_list = [min_html[i:i + one_turn_max_token] for i in range(0, len(min_html), one_turn_max_token)]
50
+ html_file_list = []
51
+ for index, html_str in enumerate(html_str_list):
52
+ file_name = file_name_prefix + f"_{tab_id}_segment{index}.html"
53
+ abs_path = os.path.join(html_source_code_local_save_path, file_name)
54
+ with open(abs_path, "w", encoding="utf-8") as f:
55
+ f.write(html_str)
56
+ html_file_list.append(abs_path)
57
+ message = f"已保存tab页:【{tab_id}】的html源码片段共{len(html_file_list)}个"
58
+ return dp_mcp_message_pack(message, tab_id=tab_id, htmls_local_path=html_file_list)
59
+
60
+
61
+ def register_get_new_tab(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
62
+ @mcp.tool(name="get_new_tab",
63
+ description="使用Drissionpage创建一个新的tab页,在新的tab页中打开url,并开始监听新的tab页的所有XHR请求")
64
+ async def get_new_tab(browser_port: int, url: str) -> dict[str, Any]:
65
+ _browser = browser_manager.get_browser(browser_port)
66
+ tab = _browser.new_tab()
67
+ client_manager.create_client(tab)
68
+ tab.get(url)
69
+ _browser.activate_tab(tab)
70
+ tab_id = tab.tab_id
71
+ return dp_mcp_message_pack(f"已创建新的tab页,并打开链接:{url}", tab_id=tab_id)
72
+
73
+
74
+ def register_switch_tab(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
75
+ @mcp.tool(name="switch_tab", description="根据传入的tab_id切换到对应的tab页", )
76
+ async def switch_tab(browser_port: int, tab_id: str) -> dict[str, Any]:
77
+ _browser = browser_manager.get_browser(browser_port)
78
+ _browser.activate_tab(tab_id)
79
+ return dp_mcp_message_pack(f"已将tab页:【{tab_id}】切换至最前端")
80
+
81
+
82
+ def register_close_tab(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
83
+ @mcp.tool(name="close_tab", description="根据传入的tab_id关闭tab页", )
84
+ async def close_tab(browser_port, tab_id) -> dict[str, Any]:
85
+ _browser = browser_manager.get_browser(browser_port)
86
+ _browser.close_tabs(tab_id)
87
+ return dp_mcp_message_pack(f"已将tab页:【{tab_id}】关闭")
88
+
89
+
90
+ def register_check_selector(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
91
+ @mcp.tool(name="check_selector",
92
+ description="查找tab页中是否包含元素,并返回元素attr_name所对应的值。"
93
+ "当要选择的元素包含过多元素时,需要传入offset和page_size来分批查看元素,一般不建议调整page_size,更推荐你调整offset"
94
+ "同时如果单个元素属性值太长,函数会进行截断。一般的单个元素的属性值超过300个字符的就会触发截断,截断后会在最后拼接'...'")
95
+ async def check_selector(browser_port: int, tab_id: str, css_selector: str, attr_name: str = "text",
96
+ offset: int = 0, page_size: int = 10) -> dict[
97
+ str, Any]:
98
+ _browser = browser_manager.get_browser(browser_port)
99
+ target_tab = _browser.get_tab(tab_id)
100
+ css_selector = css_selector
101
+ if "css:" not in css_selector:
102
+ css_selector = "css:" + css_selector
103
+ target_eles = target_tab.eles(css_selector)
104
+ exist_flag = False
105
+ if len(target_eles) != 0:
106
+ exist_flag = True
107
+ if len(target_eles) > page_size:
108
+ target_eles = target_eles[offset:offset + page_size]
109
+ if attr_name == "text":
110
+ ele_text_list = [i.text.replace("\n", "") for i in target_eles]
111
+ attr_output = "\n".join(ele_text_list)
112
+ else:
113
+ attr_output = json.dumps([i.attr(attr_name) for i in target_eles])
114
+ # 对attr_output逐个截断,截断的长度为:一轮最大token除以元素个数+3个点+两个引号和逗号
115
+ slice_seg = max(300, one_turn_max_token // (page_size + 6))
116
+ attr_output = [attr_str[:slice_seg] + "..." for attr_str in attr_output]
117
+ return dp_mcp_message_pack(
118
+ f"已完成tab页:【{tab_id}】对:【{css_selector}】的检查",
119
+ tab_id=tab_id,
120
+ selector=css_selector,
121
+ selector_ele_exist=exist_flag,
122
+ page_size=page_size,
123
+ offset=offset,
124
+ attr_output=attr_output
125
+ )
126
+
127
+
128
+ def register_quit_browser(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
129
+ @mcp.tool(name="quit_browser", description="退出浏览器会话,关闭浏览器")
130
+ async def quit_browser(browser_port: int) -> dict[str, Any]:
131
+ flag, _browser = browser_manager.remove_page(browser_port)
132
+ if flag:
133
+ _browser.quit()
134
+ return dp_mcp_message_pack(
135
+ f"浏览器[{browser_port}],退出会话,关闭浏览器{'成功' if flag else '失败'}",
136
+ browser_port=browser_port,
137
+ quit_flag=flag
138
+ )
139
+
140
+
141
+ def register_pop_first_packet(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
142
+ @mcp.tool(name="pop_first_packet",
143
+ description="每调用一次就会弹出传入的tab页所监听到的数据包中的第一个packet_message,当一个packet_message的response body过长时会被切分成多个包,具体一个请求是否还有下一个包,可以参考body_completed字段")
144
+ async def pop_first_packet(browser_port: int, tab_id: str) -> dict[str, Any]:
145
+ _browser = browser_manager.get_browser(browser_port)
146
+ client = client_manager.get_client(tab_id)
147
+ packet_message = client.pop_first_packet()
148
+ message = f"tab页:【{tab_id}】,暂时没有监听到XHR数据包"
149
+ if packet_message:
150
+ message = f"tab页:【{tab_id}】,监听到XHR数据包",
151
+ return dp_mcp_message_pack(
152
+ message,
153
+ browser_port=browser_port,
154
+ tab_id=tab_id,
155
+ packet_message=packet_message
156
+ )
157
+
158
+
159
+ def register_assert_waf(mcp: FastMCP, browser_manager, client_manager: DPProxyClientManager):
160
+ @mcp.tool(name="assert_waf",
161
+ description="通过对比requests、有头浏览器、无头浏览器获取到的html,判断网页是否使用了waf以及是否为动态渲染的网页")
162
+ async def assert_waf(browser_port: int, tab_id: str) -> dict[str, Any]:
163
+ _browser = browser_manager.get_browser(browser_port)
164
+ target_tab = _browser.get_tab(tab_id)
165
+ recommend_team = "drissionpage_head"
166
+ head_cookies = target_tab.cookies()
167
+ # 通过cookie判断是否有waf
168
+ waf_flag, waf_type = assert_waf_cookie(head_cookies)
169
+ head_html = target_tab.html
170
+ min_head_html, head_rate = compress_html(head_html, only_text=True)
171
+ raw_html, status_code = requests_html(target_tab.url)
172
+ min_raw_html, raw_rate = compress_html(raw_html, only_text=True)
173
+ r_h_rate_diff = abs(head_rate - raw_rate)
174
+ # 如果有已知的防火墙,则不浪费时间使用无头获取html和压缩比了
175
+ if waf_flag or status_code in waf_status_code_dict.keys():
176
+ return dp_mcp_message_pack(
177
+ f"已完成tab页:【{tab_id}】的分析,该tab页存在waf",
178
+ tab_id=tab_id,
179
+ recommend_team=recommend_team,
180
+ raw_head_rate_difference=r_h_rate_diff,
181
+ raw_headless_rate_difference=0,
182
+ head_headless_rate_difference=0
183
+ )
184
+
185
+ headless_html = dp_headless_html(target_tab.url)
186
+ min_headless_html, headless_rate = compress_html(headless_html, only_text=True)
187
+ r_hless_rate_diff = abs(raw_rate - headless_rate)
188
+ h_hless_rate_diff = abs(head_rate - headless_rate)
189
+ # 最优情况:requests,dp有头和无头拿到的结果基本一致,认定为没有防护的静态网页
190
+ if r_h_rate_diff < 40 and r_hless_rate_diff < 40 and h_hless_rate_diff < 40:
191
+ recommend_team = "requests"
192
+ # 最差情况:requests,dp有头和无头拿到的结果差距都很大,认定为有浏览器无头检测+动态网页
193
+ # if r_h_rate_diff < 40 and r_hless_rate_diff < 40 and h_hless_rate_diff < 40:
194
+ # 较差1:dp有头和无头差距很小,但是requests拿不到正确结果,认定为有requests防护 or 动态网页
195
+ elif h_hless_rate_diff < 30 and r_hless_rate_diff > 40:
196
+ recommend_team = "drissionpage_headless"
197
+ # 较差2:有头和无头差距很大,但是requests和有头拿到的结果基本一致,认定为要么有别的没有防护requests的waf,或者间歇性的瑞数【此时应该拿有头的cookie去判断其中是否有瑞数特征,上面已经做了】
198
+ # if r_h_rate_diff < 15 and h_hless_rate_diff > 40:
199
+ return dp_mcp_message_pack(
200
+ f"已完成tab页:【{tab_id}】的分析,该tab页存在waf",
201
+ tab_id=tab_id,
202
+ recommend_team=recommend_team,
203
+ raw_head_rate_difference=r_h_rate_diff,
204
+ raw_headless_rate_difference=h_hless_rate_diff,
205
+ head_headless_rate_difference=h_hless_rate_diff
206
+ )
@@ -0,0 +1,33 @@
1
+ from fastmcp import FastMCP
2
+
3
+ from mcp_tools.dp_tools import *
4
+ from tools.browser_manager import browser_manager
5
+ from tools.browser_proxy import client_manager
6
+
7
+ mcp = FastMCP("Jarvis Brain Mcp Tools")
8
+
9
+ # 根据环境变量加载模块
10
+ enabled_modules = os.getenv("MCP_MODULES", "TeamNode-Dp").split(",")
11
+ base_cwd = os.getenv("BASE_CWD", os.path.expanduser('~'))
12
+
13
+ if "TeamNode-Dp" in enabled_modules:
14
+ # 页面管理
15
+ register_close_tab(mcp, browser_manager, client_manager)
16
+ register_switch_tab(mcp, browser_manager, client_manager)
17
+ register_get_new_tab(mcp, browser_manager, client_manager)
18
+ # 功能
19
+ register_visit_url(mcp, browser_manager, client_manager)
20
+ register_get_html(mcp, browser_manager, client_manager)
21
+ register_check_selector(mcp, browser_manager, client_manager)
22
+ register_pop_first_packet(mcp, browser_manager, client_manager)
23
+
24
+ if "JarvisNode" in enabled_modules:
25
+ register_assert_waf(mcp, browser_manager, client_manager)
26
+
27
+
28
+ def main():
29
+ mcp.run(transport="stdio")
30
+
31
+
32
+ if __name__ == '__main__':
33
+ main()
@@ -0,0 +1,34 @@
1
+ [project]
2
+ name = "Jarvis_Brain" # 别人下载时用的名字,必须在 PyPI 上唯一
3
+ version = "0.1.7.12"
4
+ description = "Jarvis brain mcp"
5
+ dependencies = [
6
+ "fastmcp",
7
+ "DrissionPage",
8
+ "minify-html",
9
+ "beautifulsoup4",
10
+ "curl_cffi"
11
+ ]
12
+ requires-python = ">=3.10"
13
+
14
+ [project.scripts]
15
+ jarvis-mcp = "mcp_tools.main:main"
16
+
17
+ [build-system]
18
+ requires = ["hatchling"]
19
+ build-backend = "hatchling.build"
20
+
21
+ [tool.hatch.build.targets.wheel]
22
+ packages = ["mcp_tools", "tools"]
23
+
24
+ [tool.hatch.build]
25
+ exclude = [
26
+ "venv",
27
+ ".venv",
28
+ "env",
29
+ ".env",
30
+ ".idea",
31
+ "*.pyc",
32
+ "dist",
33
+ "call_test"
34
+ ]
File without changes
@@ -0,0 +1,52 @@
1
+ """浏览器池管理模块 - 单例模式确保状态共享"""
2
+ import random
3
+ from typing import Optional, Tuple
4
+ import os
5
+ from DrissionPage import ChromiumPage, ChromiumOptions
6
+ import platform
7
+
8
+
9
+ class BrowserManager:
10
+ """浏览器池管理器 - 使用单例模式"""
11
+ _instance = None
12
+
13
+ def __new__(cls):
14
+ if cls._instance is None:
15
+ cls._instance = super().__new__(cls)
16
+ cls._instance.browser_pool = {}
17
+ return cls._instance
18
+
19
+ def create_browser(self, user_agent: str = None) -> Tuple[int, ChromiumPage]:
20
+ """创建新的浏览器实例"""
21
+ random_port = random.randint(9223, 9934)
22
+ while random_port in self.browser_pool:
23
+ random_port = random.randint(9223, 9934)
24
+
25
+ co = ChromiumOptions().set_local_port(random_port)
26
+ if user_agent:
27
+ co.set_user_agent(user_agent)
28
+ if platform.system() != 'Windows':
29
+ co.set_argument('--no-sandbox')
30
+ custom_data_dir = os.path.join(os.path.expanduser('~'), 'DrissionPage', "userData", f"{random_port}")
31
+ co.set_user_data_path(custom_data_dir) # 设置用户数据路径
32
+ # if not os.path.exists(custom_data_dir):
33
+ # os.makedirs(custom_data_dir)
34
+ self.browser_pool[random_port] = ChromiumPage(co)
35
+ return random_port, self.browser_pool[random_port]
36
+
37
+ def get_browser(self, port: int) -> Optional[ChromiumPage]:
38
+ """根据端口获取浏览器实例"""
39
+ return self.browser_pool.get(port)
40
+
41
+ def remove_browser(self, port: int) -> Tuple[bool, Optional[ChromiumPage]]:
42
+ """根据端口移除浏览器实例"""
43
+ browser = self.browser_pool.pop(port, None)
44
+ return browser is not None, browser
45
+
46
+ def list_browsers(self) -> list[int]:
47
+ """列出所有活跃的浏览器端口"""
48
+ return list(self.browser_pool.keys())
49
+
50
+
51
+ # 创建全局单例实例
52
+ browser_manager = BrowserManager()