mcp-query-table 0.3.5__tar.gz → 0.3.7__tar.gz

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mcp_query_table
-Version: 0.3.5
+Version: 0.3.7
 Summary: query table from website, support MCP
 Author-email: wukan <wu-kan@163.com>
 License: MIT License
@@ -34,6 +34,7 @@ License-File: LICENSE
 Requires-Dist: pandas
 Requires-Dist: loguru
 Requires-Dist: playwright
+Requires-Dist: playwright-stealth
 Requires-Dist: mcp
 Dynamic: license-file
 
@@ -41,7 +42,7 @@ Dynamic: license-file
 
 1. 基于`playwright`实现的财经网页表格爬虫，支持`Model Context Protocol (MCP) `。目前可查询来源为
 
-    - [同花顺i问财](http://iwencai.com/)
+    - [同花顺问财](http://iwencai.com/)
     - [通达信问小达](https://wenda.tdx.com.cn/)
     - [东方财富条件选股](https://xuangu.eastmoney.com/)
 
@@ -70,7 +71,7 @@ from mcp_query_table import *
 
 
 async def main() -> None:
-    async with BrowserManager(cdp_endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
+    async with BrowserManager(endpoint="http://127.0.0.1:9222", executable_path=None, devtools=True) as bm:
         # 问财需要保证浏览器宽度>768，防止界面变成适应手机
         page = await bm.get_page()
         df = await query(page, '收益最好的200只ETF', query_type=QueryType.ETF, max_page=1, site=Site.THS)
@@ -128,12 +129,21 @@ if __name__ == '__main__':
 
 后期会根据不同的网站改版情况，使用更适合的方法。
 
+## 无头模式
+
+无头模式运行速度更快，但部分网站需要提前登录，所以，无头模式一定要指定`user_data_dir`，否则会出现需要登录的情况。
+
+- `endpoint=None`时，`headless=True`可无头启动新浏览器实例。指定`executable_path`和`user_data_dir`，才能确保无头模式下正常运行。
+- `endpoint`以`http://`开头，连接`CDP`模式启动的有头浏览器，参数必有`--remote-debugging-port`。`executable_path`为本地浏览器路径。
+- `endpoint`以`ws://`开头，连接远程`Playwright Server`。也是无头模式，但无法指定`user_data_dir`，所以使用受限
+    - 参考：https://playwright.dev/python/docs/docker#running-the-playwright-server
+
 ## MCP支持
 
 确保可以在控制台中执行`python -m mcp_query_table -h`。如果不能，可能要先`pip install mcp_query_table`
 
-在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`executable_path`是`Chrome`的绝对路径，`timeout`是超时时间，单位为秒。
-在各`AI`平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
+在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`timeout`是超时时间，单位为秒。 在各`AI`
+平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
 
 ### STDIO方式
 
@@ -148,7 +158,7 @@ if __name__ == '__main__':
         "mcp_query_table",
         "--format",
         "markdown",
-        "--cdp_endpoint",
+        "--endpoint",
         "http://127.0.0.1:9222",
         "--executable_path",
         "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
@@ -163,7 +173,7 @@ if __name__ == '__main__':
 先在控制台中执行如下命令，启动`MCP`服务
 
 ```commandline
-python -m mcp_query_table --format markdown --transport sse --port 8000
+python -m mcp_query_table --format markdown --transport sse --port 8000 --endpoint http://127.0.0.1:9222
 ```
 
 然后就可以连接到`MCP`服务了
@@ -182,7 +192,7 @@ python -m mcp_query_table --format markdown --transport sse --port 8000
 ## 使用`MCP Inspector`进行调试
 
 ```commandline
-npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
+npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown --endpoint http://127.0.0.1:9222
 ```
 
 打开浏览器并翻页是一个比较耗时的操作，会导致`MCP Inspector`页面超时，可以`http://localhost:5173/?timeout=300000`
@@ -212,6 +222,5 @@ npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
 ![streamlit](docs/img/streamlit.png)
 
 ## 参考
-
-- [Playwright](https://playwright.dev/python/docs/intro)
 - [Selenium webdriver无法附加到edge实例，edge的--remote-debugging-port选项无效](https://blog.csdn.net/qq_30576521/article/details/142370538)
+- https://github.com/AtuboDad/playwright_stealth/issues/31

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/README.md

@@ -2,7 +2,7 @@
 
 1. 基于`playwright`实现的财经网页表格爬虫，支持`Model Context Protocol (MCP) `。目前可查询来源为
 
-    - [同花顺i问财](http://iwencai.com/)
+    - [同花顺问财](http://iwencai.com/)
     - [通达信问小达](https://wenda.tdx.com.cn/)
     - [东方财富条件选股](https://xuangu.eastmoney.com/)
 
@@ -31,7 +31,7 @@ from mcp_query_table import *
 
 
 async def main() -> None:
-    async with BrowserManager(cdp_endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
+    async with BrowserManager(endpoint="http://127.0.0.1:9222", executable_path=None, devtools=True) as bm:
         # 问财需要保证浏览器宽度>768，防止界面变成适应手机
         page = await bm.get_page()
         df = await query(page, '收益最好的200只ETF', query_type=QueryType.ETF, max_page=1, site=Site.THS)
@@ -89,12 +89,21 @@ if __name__ == '__main__':
 
 后期会根据不同的网站改版情况，使用更适合的方法。
 
+## 无头模式
+
+无头模式运行速度更快，但部分网站需要提前登录，所以，无头模式一定要指定`user_data_dir`，否则会出现需要登录的情况。
+
+- `endpoint=None`时，`headless=True`可无头启动新浏览器实例。指定`executable_path`和`user_data_dir`，才能确保无头模式下正常运行。
+- `endpoint`以`http://`开头，连接`CDP`模式启动的有头浏览器，参数必有`--remote-debugging-port`。`executable_path`为本地浏览器路径。
+- `endpoint`以`ws://`开头，连接远程`Playwright Server`。也是无头模式，但无法指定`user_data_dir`，所以使用受限
+    - 参考：https://playwright.dev/python/docs/docker#running-the-playwright-server
+
 ## MCP支持
 
 确保可以在控制台中执行`python -m mcp_query_table -h`。如果不能，可能要先`pip install mcp_query_table`
 
-在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`executable_path`是`Chrome`的绝对路径，`timeout`是超时时间，单位为秒。
-在各`AI`平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
+在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`timeout`是超时时间，单位为秒。 在各`AI`
+平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
 
 ### STDIO方式
 
@@ -109,7 +118,7 @@ if __name__ == '__main__':
         "mcp_query_table",
         "--format",
         "markdown",
-        "--cdp_endpoint",
+        "--endpoint",
         "http://127.0.0.1:9222",
         "--executable_path",
         "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
@@ -124,7 +133,7 @@ if __name__ == '__main__':
 先在控制台中执行如下命令，启动`MCP`服务
 
 ```commandline
-python -m mcp_query_table --format markdown --transport sse --port 8000
+python -m mcp_query_table --format markdown --transport sse --port 8000 --endpoint http://127.0.0.1:9222
 ```
 
 然后就可以连接到`MCP`服务了
@@ -143,7 +152,7 @@ python -m mcp_query_table --format markdown --transport sse --port 8000
 ## 使用`MCP Inspector`进行调试
 
 ```commandline
-npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
+npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown --endpoint http://127.0.0.1:9222
 ```
 
 打开浏览器并翻页是一个比较耗时的操作，会导致`MCP Inspector`页面超时，可以`http://localhost:5173/?timeout=300000`
@@ -173,6 +182,5 @@ npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
 ![streamlit](docs/img/streamlit.png)
 
 ## 参考
-
-- [Playwright](https://playwright.dev/python/docs/intro)
-- [Selenium webdriver无法附加到edge实例，edge的--remote-debugging-port选项无效](https://blog.csdn.net/qq_30576521/article/details/142370538)
+- [Selenium webdriver无法附加到edge实例，edge的--remote-debugging-port选项无效](https://blog.csdn.net/qq_30576521/article/details/142370538)
+- https://github.com/AtuboDad/playwright_stealth/issues/31

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/__init__.py

@@ -5,3 +5,7 @@ from .tool import BrowserManager, query, chat
 
 TIMEOUT = 1000 * 60 * 3  # 3分钟，在抓取EventStream数据时等待数据返回，防止外层30秒超时
 TIMEOUT_60 = 1000 * 60  # 1分钟
+
+# TODO 临时测试
+# TIMEOUT = None
+# TIMEOUT_60 = None

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/__main__.py

@@ -1,3 +1,5 @@
+import getpass
+
 from mcp_query_table.server import serve
 
 
@@ -10,11 +12,12 @@ def main():
 
     parser.add_argument("--format", type=str, help="输出格式",
                         default='markdown', choices=['markdown', 'csv', 'json'])
-    parser.add_argument("--cdp_endpoint", type=str, help="浏览器CDP调试地址",
-                        default="http://127.0.0.1:9222")
-    parser.add_argument("--executable_path", type=str, help="浏览器类型",
-                        default=r'C:\Program Files\Google\Chrome\Application\chrome.exe')
-
+    parser.add_argument("--endpoint", type=str, help="浏览器CDP地址/WS地址",
+                        nargs="?", default=r'http://127.0.0.1:9222')
+    parser.add_argument("--executable_path", type=str, help="浏览器路径",
+                        nargs="?", default=r'C:\Program Files\Google\Chrome\Application\chrome.exe')
+    parser.add_argument("--user_data_dir", type=str, help="浏览器用户数据目录",
+                        nargs="?", default=rf'C:\Users\{getpass.getuser()}\AppData\Local\Google\Chrome\User Data')
     parser.add_argument("--transport", type=str, help="传输类型",
                         default='stdio', choices=['stdio', 'sse'])
     parser.add_argument("--host", type=str, help="MCP服务端绑定地址",
@@ -22,7 +25,8 @@ def main():
     parser.add_argument("--port", type=int, help="MCP服务端绑定端口",
                         default='8000')
     args = parser.parse_args()
-    serve(args.format, args.cdp_endpoint, args.executable_path,
+    serve(args.format, args.endpoint,
+          args.executable_path, args.user_data_dir,
           args.transport, args.host, args.port)
 
 

mcp_query_table-0.3.7/mcp_query_table/_version.py

@@ -0,0 +1 @@
+__version__ = "0.3.7"

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/enums.py

@@ -18,7 +18,7 @@ class Site(Enum):
     """站点"""
     EastMoney = '东方财富'  # 东方财富 条件选股
     TDX = '通达信'  # 通达信 问小达
-    THS = '同花顺'  # 同花顺 i问财
+    THS = '同花顺'  # 同花顺 问财
 
 
 class Provider(Enum):

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/providers/baidu.py

@@ -8,7 +8,7 @@ import json
 from playwright.async_api import Page
 
 import mcp_query_table
-from mcp_query_table.tool import GlobalVars, split_images
+from mcp_query_table.utils import split_images, GlobalVars
 
 _PAGE0_ = "https://chat.baidu.com/search"
 _PAGE1_ = "https://chat.baidu.com/aichat/api/conversation"

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/providers/n.py

@@ -3,10 +3,11 @@
 """
 import json
 
+from loguru import logger
 from playwright.async_api import Page
 
 import mcp_query_table
-from mcp_query_table.tool import GlobalVars, is_image
+from mcp_query_table.utils import is_image, GlobalVars
 
 _PAGE0_ = "https://www.n.cn"
 _PAGE1_ = "https://www.n.cn/search"
@@ -78,6 +79,8 @@ async def chat(page: Page,
     str
         回答
     """
+    logger.warning("纳米搜索。不登录可以使用。但无头模式要指定`user_data_dir`才能正常工作")
+
     if not create:
         if not page.url.startswith(_PAGE1_):
             create = True
@@ -102,6 +105,7 @@ async def chat(page: Page,
         textbox = page.get_by_role("textbox", name=name)
         await textbox.fill(prompt)
         await textbox.press("Enter")
+        # await page.screenshot(path="n.png")
     await on_response(await response_info.value)
 
     return G.get_text()

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/providers/yuanbao.py

@@ -4,10 +4,11 @@
 import json
 import re
 
+from loguru import logger
 from playwright.async_api import Page
 
 import mcp_query_table
-from mcp_query_table.tool import GlobalVars, split_images
+from mcp_query_table.utils import split_images, GlobalVars
 
 _PAGE0_ = "https://yuanbao.tencent.com/"
 _PAGE1_ = "https://yuanbao.tencent.com/api/chat"
@@ -69,6 +70,8 @@ async def chat(page: Page,
                create: bool,
                files: list[str]
                ) -> str:
+    logger.info("腾讯元宝。登录才可以使用。无头模式时要指定`user_data_dir`才能正常工作")
+
     if not page.url.startswith(_PAGE0_):
         create = True
 

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/server.py

@@ -1,4 +1,4 @@
-from typing import Annotated, Optional, List
+from typing import Annotated, List
 
 from loguru import logger
 from mcp.server.fastmcp import FastMCP
@@ -10,12 +10,17 @@ from mcp_query_table.tool import BrowserManager
 
 
 class QueryServer:
-    def __init__(self,
-                 format: str = 'markdown',
-                 cdp_endpoint: Optional[str] = 'http://127.0.0.1:9222',
-                 executable_path: Optional[str] = None) -> None:
+    def __init__(self) -> None:
+        self.format: str = "markdown"
+        self.browser = None
+
+    def start(self, format, endpoint, executable_path, user_data_dir):
         self.format: str = format
-        self.browser = BrowserManager(cdp_endpoint=cdp_endpoint, executable_path=executable_path, debug=False)
+        self.browser = BrowserManager(endpoint=endpoint,
+                                      executable_path=executable_path,
+                                      user_data_dir=user_data_dir,
+                                      devtools=False,
+                                      headless=True)
 
     async def query(self, query_input: str, query_type: QueryType, max_page: int, site: Site):
         page = await self.browser.get_page()
@@ -64,14 +69,15 @@ async def chat(
     return await qsv.chat(prompt, create, files, provider)
 
 
-def serve(format, cdp_endpoint, executable_path, transport, host, port):
-    qsv.format = format
-    qsv.cdp_endpoint = cdp_endpoint
-    qsv.executable_path = executable_path
-    logger.info(f"{format=},{transport=}")
-    logger.info(f"{cdp_endpoint=},{executable_path=}")
+def serve(format, endpoint, executable_path, user_data_dir, transport, host, port):
+    qsv.start(format, endpoint, executable_path, user_data_dir)
+    logger.info(f"{endpoint=}")
+    logger.info(f"{executable_path=}")
+    logger.info(f"{user_data_dir=}")
     if transport == 'sse':
-        logger.info(f"{host=},{port=}", transport, host, port)
+        logger.info(f"{transport=},{format=},{host=},{port=}")
+    else:
+        logger.info(f"{transport=},{format=}")
 
     mcp.settings.host = host
     mcp.settings.port = port

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/sites/iwencai.py

@@ -1,5 +1,5 @@
 """
-同花顺 i问财
+同花顺问财
 https://www.iwencai.com/
 
 1. 一定要保证浏览器宽度>768，防止界面变成适应手机
@@ -10,8 +10,10 @@ import re
 import pandas as pd
 from loguru import logger
 from playwright.async_api import Page
+from playwright_stealth import stealth_async
 
 from mcp_query_table.enums import QueryType
+from mcp_query_table.utils import FixedConfig
 
 # 初次查询页面
 _PAGE1_ = 'https://www.iwencai.com/customized/chart/get-robot-data'
@@ -152,6 +154,8 @@ async def query(page: Page,
     querytype = _querytype_.get(type_, None)
     assert querytype is not None, f"不支持的类型:{type_}"
 
+    await stealth_async(page, FixedConfig())
+
     await page.route(re.compile(r'.*\.(?:jpg|jpeg|png|gif|webp)(?:$|\?)'), lambda route: route.abort())
 
     P.reset()

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table/tool.py

@@ -1,8 +1,10 @@
+import getpass
 import subprocess
 import sys
 import time
 from pathlib import Path
-from typing import Optional, List, Tuple
+from typing import Optional
+from urllib.parse import urlparse
 
 import pandas as pd
 from loguru import logger
@@ -25,6 +27,7 @@ def create_detached_process(command):
         kwargs.update({
             'start_new_session': True  # 创建新的会话
         })
+    logger.info(f"Popen: {command}")
     return subprocess.Popen(command, **kwargs)
 
 
@@ -36,6 +39,13 @@ def is_local_url(url: str) -> bool:
     return False
 
 
+def is_cdp_url(url: str) -> bool:
+    """判断url是否是CDP地址"""
+    if url.startswith('ws://') or url.startswith('wss://'):
+        return False
+    return True
+
+
 def get_executable_path(executable_path) -> Optional[str]:
     """获取浏览器可执行文件路径"""
     browsers = {
@@ -51,6 +61,21 @@ def get_executable_path(executable_path) -> Optional[str]:
     return None
 
 
+def get_user_data_dir(user_data_dir) -> Optional[str]:
+    """获取浏览器可用户目录"""
+    browsers = {
+        "default": user_data_dir,
+        "chrome.exe": rf'C:\Users\{getpass.getuser()}\AppData\Local\Google\Chrome\User Data',
+        "msedge.exe": rf"C:\Users\{getpass.getuser()}\AppData\Local\Microsoft\Edge\User Data",
+    }
+    for k, v in browsers.items():
+        if v is None:
+            continue
+        if Path(v).exists():
+            return v
+    return None
+
+
 class BrowserManager:
     async def __aenter__(self):
         return self
@@ -59,24 +84,36 @@ class BrowserManager:
         await self.cleanup()
 
     def __init__(self,
-                 cdp_endpoint: Optional[str] = None,
+                 endpoint: Optional[str],
                  executable_path: Optional[str] = None,
-                 debug: bool = False):
+                 devtools: bool = False,
+                 headless: bool = True,
+                 user_data_dir: Optional[str] = None):
         """
 
         Parameters
         ----------
-        cdp_endpoint:str
-            浏览器CDP地址
+        endpoint:str or None
+            浏览器CDP地址/WS地址。
+            如果为None，则直接启动浏览器实例。可用无头模式。建议指定用户数据目录，否则可能无法使用某些需要登录的网站
         executable_path:str
             浏览器可执行文件路径。推荐使用chrome，因为Microsoft Edge必须在任务管理器中完全退出才能启动调试端口
-        debug:bool
+        devtools:bool
             是否显示开发者工具
+        headless:bool
+            是否无头模式启动浏览器
+        user_data_dir:str
+            浏览器用户数据目录。无头模式。强烈建议指定用户数据目录，否则可能无法使用某些需要登录的网站
 
         """
-        self.cdp_endpoint = cdp_endpoint or 'http://127.0.0.1:9222'
+        if devtools:
+            headless = False
+
+        self.endpoint = endpoint
         self.executable_path = executable_path
-        self.debug = debug
+        self.devtools = devtools
+        self.headless = headless
+        self.user_data_dir = user_data_dir
 
         self.playwright: Optional[Playwright] = None
         self.browser = None
@@ -92,34 +129,57 @@ class BrowserManager:
 
     async def _connect_to_local(self) -> None:
         """连接本地浏览器"""
-        port = self.cdp_endpoint.split(':')[-1]
+        port = urlparse(self.endpoint).port
         executable_path = get_executable_path(self.executable_path)
+        name = Path(executable_path).name
         command = [executable_path, f'--remote-debugging-port={port}', '--start-maximized']
-        if self.debug:
+        if self.devtools:
             command.append('--auto-open-devtools-for-tabs')
 
         for i in range(2):
             try:
-                self.browser = await self.playwright.chromium.connect_over_cdp(self.cdp_endpoint,
+                self.browser = await self.playwright.chromium.connect_over_cdp(self.endpoint,
                                                                                timeout=10000, slow_mo=1000)
                 break
             except:
                 if i == 0:
-                    logger.info(f"start browser:{command}")
                     create_detached_process(command)
                     time.sleep(3)
                     continue
                 if i == 1:
                     raise ConnectionError(
-                        f"已提前打开了浏览器，但未开启远程调试端口？请关闭浏览器全部进程后重试 `taskkill /f /im {Path(executable_path).name}`")
+                        f"已提前打开了浏览器，但未开启远程调试端口？请关闭浏览器全部进程后重试 `taskkill /f /im {name}`")
 
     async def _connect_to_remote(self) -> None:
         """连接远程浏览器"""
         try:
-            self.browser = await self.playwright.chromium.connect_over_cdp(self.cdp_endpoint,
-                                                                           timeout=10000, slow_mo=1000)
+            if is_cdp_url(self.endpoint):
+                self.browser = await self.playwright.chromium.connect_over_cdp(self.endpoint,
+                                                                               timeout=10000, slow_mo=1000)
+            else:
+                self.browser = await self.playwright.chromium.connect(self.endpoint,
+                                                                      timeout=10000, slow_mo=1000)
         except:
-            raise ConnectionError(f"连接远程浏览器失败，请检查CDP地址和端口是否正确。{self.cdp_endpoint}")
+            raise ConnectionError(f"连接远程浏览器失败，请检查CDP/WS地址和端口是否正确。{self.endpoint}")
+
+    async def _connect_to_launch(self) -> None:
+        logger.info("executable_path={}", self.executable_path)
+        if self.user_data_dir:
+            logger.info("user_data_dir={}", self.user_data_dir)
+            try:
+                self.context = await self.playwright.chromium.launch_persistent_context(
+                    user_data_dir=self.user_data_dir,
+                    executable_path=self.executable_path,
+                    headless=self.headless,
+                    devtools=self.devtools)
+            except:
+                raise ConnectionError(f"launch失败，可能已经有浏览器已经打开了数据目录。{self.user_data_dir}")
+        else:
+            logger.warning("未指定浏览器用户数据目录，部分需要的网站可能无法使用")
+            self.browser = await self.playwright.chromium.launch(
+                executable_path=self.executable_path,
+                headless=self.headless,
+                devtools=self.devtools)
 
     async def _launch(self) -> None:
         """启动浏览器，并连接CDP协议
@@ -130,13 +190,20 @@ class BrowserManager:
 
         """
         self.playwright = await async_playwright().start()
-
-        if is_local_url(self.cdp_endpoint):
+        if self.endpoint is None:
+            await self._connect_to_launch()
+        elif is_local_url(self.endpoint) and is_cdp_url(self.endpoint):
             await self._connect_to_local()
         else:
             await self._connect_to_remote()
 
-        self.context = self.browser.contexts[0]
+        if self.browser is None:
+            pass
+        elif len(self.browser.contexts) == 0:
+            self.context = await self.browser.new_context()
+        else:
+            self.context = self.browser.contexts[0]
+
         # 复用打开的page
         for page in self.context.pages:
             # 防止开发者工具被使用
@@ -150,15 +217,10 @@ class BrowserManager:
                 continue
             self.pages.append(page)
 
-    async def _try_launch(self) -> None:
-        if self.browser is None:
-            await self._launch()
-        if not self.browser.is_connected():
-            await self._launch()
-
     async def get_page(self) -> Page:
         """获取可用Page。无空闲标签时会打开新标签"""
-        await self._try_launch()
+        if self.context is None:
+            await self._launch()
 
         # 反复取第一个tab
         while len(self.pages) > 0:
@@ -178,19 +240,6 @@ class BrowserManager:
         self.pages.append(page)
 
 
-class GlobalVars:
-    """全局变量"""
-
-    def __init__(self):
-        self.text = ""
-
-    def set_text(self, text):
-        self.text = text
-
-    def get_text(self):
-        return self.text
-
-
 async def query(
         page: Page,
         query_input: str = "收盘价>100元",
@@ -274,22 +323,3 @@ async def chat(
         return await chat(page, prompt, create, files)
 
     raise ValueError(f"未支持的提供商:{provider}")
-
-
-def is_image(path: str) -> bool:
-    """判断是否是图片文件"""
-    img_ext = ['.jpg', '.jpeg', '.png', '.gif', '.bmp', '.webp']
-    ext = Path(path).suffix.lower()
-    return ext in img_ext
-
-
-def split_images(files: List[str]) -> Tuple[List[str], List[str]]:
-    """图片列表分成两部分"""
-    imgs = []
-    docs = []
-    for f in files:
-        if is_image(f):
-            imgs.append(f)
-        else:
-            docs.append(f)
-    return imgs, docs

mcp_query_table-0.3.7/mcp_query_table/utils.py

@@ -0,0 +1,51 @@
+import random
+import string
+from pathlib import Path
+from typing import List, Tuple
+
+from playwright_stealth import StealthConfig
+
+
+def is_image(path: str) -> bool:
+    """判断是否是图片文件"""
+    img_ext = ['.jpg', '.jpeg', '.png', '.gif', '.bmp', '.webp']
+    ext = Path(path).suffix.lower()
+    return ext in img_ext
+
+
+def split_images(files: List[str]) -> Tuple[List[str], List[str]]:
+    """图片列表分成两部分"""
+    imgs = []
+    docs = []
+    for f in files:
+        if is_image(f):
+            imgs.append(f)
+        else:
+            docs.append(f)
+    return imgs, docs
+
+
+class GlobalVars:
+    """全局变量"""
+
+    def __init__(self):
+        self.text = ""
+
+    def set_text(self, text):
+        self.text = text
+
+    def get_text(self):
+        return self.text
+
+
+# https://github.com/AtuboDad/playwright_stealth/issues/31#issuecomment-2342541305
+class FixedConfig(StealthConfig):
+
+    @property
+    def enabled_scripts(self):
+        key = "".join(random.choices(string.ascii_letters, k=10))
+        for script in super().enabled_scripts:
+            if "const opts" in script:
+                yield script.replace("const opts", f"window.{key}")
+                continue
+            yield script.replace("opts", f"window.{key}")

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mcp_query_table
-Version: 0.3.5
+Version: 0.3.7
 Summary: query table from website, support MCP
 Author-email: wukan <wu-kan@163.com>
 License: MIT License
@@ -34,6 +34,7 @@ License-File: LICENSE
 Requires-Dist: pandas
 Requires-Dist: loguru
 Requires-Dist: playwright
+Requires-Dist: playwright-stealth
 Requires-Dist: mcp
 Dynamic: license-file
 
@@ -41,7 +42,7 @@ Dynamic: license-file
 
 1. 基于`playwright`实现的财经网页表格爬虫，支持`Model Context Protocol (MCP) `。目前可查询来源为
 
-    - [同花顺i问财](http://iwencai.com/)
+    - [同花顺问财](http://iwencai.com/)
     - [通达信问小达](https://wenda.tdx.com.cn/)
     - [东方财富条件选股](https://xuangu.eastmoney.com/)
 
@@ -70,7 +71,7 @@ from mcp_query_table import *
 
 
 async def main() -> None:
-    async with BrowserManager(cdp_endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
+    async with BrowserManager(endpoint="http://127.0.0.1:9222", executable_path=None, devtools=True) as bm:
         # 问财需要保证浏览器宽度>768，防止界面变成适应手机
         page = await bm.get_page()
         df = await query(page, '收益最好的200只ETF', query_type=QueryType.ETF, max_page=1, site=Site.THS)
@@ -128,12 +129,21 @@ if __name__ == '__main__':
 
 后期会根据不同的网站改版情况，使用更适合的方法。
 
+## 无头模式
+
+无头模式运行速度更快，但部分网站需要提前登录，所以，无头模式一定要指定`user_data_dir`，否则会出现需要登录的情况。
+
+- `endpoint=None`时，`headless=True`可无头启动新浏览器实例。指定`executable_path`和`user_data_dir`，才能确保无头模式下正常运行。
+- `endpoint`以`http://`开头，连接`CDP`模式启动的有头浏览器，参数必有`--remote-debugging-port`。`executable_path`为本地浏览器路径。
+- `endpoint`以`ws://`开头，连接远程`Playwright Server`。也是无头模式，但无法指定`user_data_dir`，所以使用受限
+    - 参考：https://playwright.dev/python/docs/docker#running-the-playwright-server
+
 ## MCP支持
 
 确保可以在控制台中执行`python -m mcp_query_table -h`。如果不能，可能要先`pip install mcp_query_table`
 
-在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`executable_path`是`Chrome`的绝对路径，`timeout`是超时时间，单位为秒。
-在各`AI`平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
+在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`timeout`是超时时间，单位为秒。 在各`AI`
+平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
 
 ### STDIO方式
 
@@ -148,7 +158,7 @@ if __name__ == '__main__':
         "mcp_query_table",
         "--format",
         "markdown",
-        "--cdp_endpoint",
+        "--endpoint",
         "http://127.0.0.1:9222",
         "--executable_path",
         "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
@@ -163,7 +173,7 @@ if __name__ == '__main__':
 先在控制台中执行如下命令，启动`MCP`服务
 
 ```commandline
-python -m mcp_query_table --format markdown --transport sse --port 8000
+python -m mcp_query_table --format markdown --transport sse --port 8000 --endpoint http://127.0.0.1:9222
 ```
 
 然后就可以连接到`MCP`服务了
@@ -182,7 +192,7 @@ python -m mcp_query_table --format markdown --transport sse --port 8000
 ## 使用`MCP Inspector`进行调试
 
 ```commandline
-npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
+npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown --endpoint http://127.0.0.1:9222
 ```
 
 打开浏览器并翻页是一个比较耗时的操作，会导致`MCP Inspector`页面超时，可以`http://localhost:5173/?timeout=300000`
@@ -212,6 +222,5 @@ npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
 ![streamlit](docs/img/streamlit.png)
 
 ## 参考
-
-- [Playwright](https://playwright.dev/python/docs/intro)
 - [Selenium webdriver无法附加到edge实例，edge的--remote-debugging-port选项无效](https://blog.csdn.net/qq_30576521/article/details/142370538)
+- https://github.com/AtuboDad/playwright_stealth/issues/31

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table.egg-info/SOURCES.txt

@@ -7,6 +7,7 @@ mcp_query_table/_version.py
 mcp_query_table/enums.py
 mcp_query_table/server.py
 mcp_query_table/tool.py
+mcp_query_table/utils.py
 mcp_query_table.egg-info/PKG-INFO
 mcp_query_table.egg-info/SOURCES.txt
 mcp_query_table.egg-info/dependency_links.txt

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/mcp_query_table.egg-info/requires.txt

@@ -1,4 +1,5 @@
 pandas
 loguru
 playwright
+playwright-stealth
 mcp

{mcp_query_table-0.3.5 → mcp_query_table-0.3.7}/pyproject.toml

@@ -20,6 +20,7 @@ dependencies = [
     "pandas",
     "loguru",
     "playwright",
+    "playwright-stealth",
     "mcp",
 ]
 dynamic = ["version"]

mcp_query_table-0.3.5/mcp_query_table/_version.py

@@ -1 +0,0 @@
-__version__ = "0.3.5"