mcp-query-table 0.3.4__tar.gz → 0.3.6__tar.gz

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mcp_query_table
-Version: 0.3.4
+Version: 0.3.6
 Summary: query table from website, support MCP
 Author-email: wukan <wu-kan@163.com>
 License: MIT License
@@ -70,7 +70,7 @@ from mcp_query_table import *
 
 
 async def main() -> None:
-    async with BrowserManager(cdp_endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
+    async with BrowserManager(endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
         # 问财需要保证浏览器宽度>768，防止界面变成适应手机
         page = await bm.get_page()
         df = await query(page, '收益最好的200只ETF', query_type=QueryType.ETF, max_page=1, site=Site.THS)
@@ -135,6 +135,13 @@ if __name__ == '__main__':
 在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`executable_path`是`Chrome`的绝对路径，`timeout`是超时时间，单位为秒。
 在各`AI`平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
 
+`endpoint`支持两方式，一种是`cdp_endpoint`方式，一种是`ws_endpoint`方式。
+
+- cdp方式：通过启动时加参数`--remote-debugging-port=9222`来启动浏览器
+- ws方式：服务器上`docker run -p 3000:3000 --rm --init -it --workdir /home/pwuser --user pwuser mcr.microsoft.com/playwright:v1.51.0-noble /bin/sh -c "npx -y playwright@1.51.0 run-server --port 3000 --host 0.0.0.0"`
+
+参考：https://playwright.dev/python/docs/docker#remote-connection
+
 ### STDIO方式
 
 ```json
@@ -148,7 +155,7 @@ if __name__ == '__main__':
         "mcp_query_table",
         "--format",
         "markdown",
-        "--cdp_endpoint",
+        "--endpoint",
         "http://127.0.0.1:9222",
         "--executable_path",
         "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
@@ -205,6 +212,12 @@ npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
     - 向东方财富板块查询 “去年涨的最差的行业板块”，再查询此板块中去年涨的最好的5只股票
       > 分成两步查询，先查询板块，再查询股票。但最好不要全自动，因为第一步的结果它不理解“今日涨幅”和“区间涨幅”,需要交互修正
 
+## 支持`Streamlit`
+
+实现在同一页面中查询金融数据，并手工输入到`AI`中进行深度分析。参考`streamlit`目录下的`README.md`文件。
+
+![streamlit](docs/img/streamlit.png)
+
 ## 参考
 
 - [Playwright](https://playwright.dev/python/docs/intro)

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/README.md

@@ -31,7 +31,7 @@ from mcp_query_table import *
 
 
 async def main() -> None:
-    async with BrowserManager(cdp_endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
+    async with BrowserManager(endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
         # 问财需要保证浏览器宽度>768，防止界面变成适应手机
         page = await bm.get_page()
         df = await query(page, '收益最好的200只ETF', query_type=QueryType.ETF, max_page=1, site=Site.THS)
@@ -96,6 +96,13 @@ if __name__ == '__main__':
 在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`executable_path`是`Chrome`的绝对路径，`timeout`是超时时间，单位为秒。
 在各`AI`平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
 
+`endpoint`支持两方式，一种是`cdp_endpoint`方式，一种是`ws_endpoint`方式。
+
+- cdp方式：通过启动时加参数`--remote-debugging-port=9222`来启动浏览器
+- ws方式：服务器上`docker run -p 3000:3000 --rm --init -it --workdir /home/pwuser --user pwuser mcr.microsoft.com/playwright:v1.51.0-noble /bin/sh -c "npx -y playwright@1.51.0 run-server --port 3000 --host 0.0.0.0"`
+
+参考：https://playwright.dev/python/docs/docker#remote-connection
+
 ### STDIO方式
 
 ```json
@@ -109,7 +116,7 @@ if __name__ == '__main__':
         "mcp_query_table",
         "--format",
         "markdown",
-        "--cdp_endpoint",
+        "--endpoint",
         "http://127.0.0.1:9222",
         "--executable_path",
         "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
@@ -166,6 +173,12 @@ npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
     - 向东方财富板块查询 “去年涨的最差的行业板块”，再查询此板块中去年涨的最好的5只股票
       > 分成两步查询，先查询板块，再查询股票。但最好不要全自动，因为第一步的结果它不理解“今日涨幅”和“区间涨幅”,需要交互修正
 
+## 支持`Streamlit`
+
+实现在同一页面中查询金融数据，并手工输入到`AI`中进行深度分析。参考`streamlit`目录下的`README.md`文件。
+
+![streamlit](docs/img/streamlit.png)
+
 ## 参考
 
 - [Playwright](https://playwright.dev/python/docs/intro)

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/mcp_query_table/__main__.py

@@ -10,7 +10,7 @@ def main():
 
     parser.add_argument("--format", type=str, help="输出格式",
                         default='markdown', choices=['markdown', 'csv', 'json'])
-    parser.add_argument("--cdp_endpoint", type=str, help="浏览器CDP调试地址",
+    parser.add_argument("--endpoint", type=str, help="浏览器CDP地址/WS地址",
                         default="http://127.0.0.1:9222")
     parser.add_argument("--executable_path", type=str, help="浏览器类型",
                         default=r'C:\Program Files\Google\Chrome\Application\chrome.exe')
@@ -22,7 +22,7 @@ def main():
     parser.add_argument("--port", type=int, help="MCP服务端绑定端口",
                         default='8000')
     args = parser.parse_args()
-    serve(args.format, args.cdp_endpoint, args.executable_path,
+    serve(args.format, args.endpoint, args.executable_path,
           args.transport, args.host, args.port)
 
 

mcp_query_table-0.3.6/mcp_query_table/_version.py

@@ -0,0 +1 @@
+__version__ = "0.3.6"

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/mcp_query_table/server.py

@@ -1,4 +1,4 @@
-from typing import Annotated, Optional, List
+from typing import Annotated, List
 
 from loguru import logger
 from mcp.server.fastmcp import FastMCP
@@ -10,12 +10,13 @@ from mcp_query_table.tool import BrowserManager
 
 
 class QueryServer:
-    def __init__(self,
-                 format: str = 'markdown',
-                 cdp_endpoint: Optional[str] = 'http://127.0.0.1:9222',
-                 executable_path: Optional[str] = None) -> None:
+    def __init__(self) -> None:
+        self.format: str = "markdown"
+        self.browser = None
+
+    def start(self, format, endpoint, executable_path):
         self.format: str = format
-        self.browser = BrowserManager(cdp_endpoint=cdp_endpoint, executable_path=executable_path, debug=False)
+        self.browser = BrowserManager(endpoint=endpoint, executable_path=executable_path, debug=False)
 
     async def query(self, query_input: str, query_type: QueryType, max_page: int, site: Site):
         page = await self.browser.get_page()
@@ -64,12 +65,10 @@ async def chat(
     return await qsv.chat(prompt, create, files, provider)
 
 
-def serve(format, cdp_endpoint, executable_path, transport, host, port):
-    qsv.format = format
-    qsv.cdp_endpoint = cdp_endpoint
-    qsv.executable_path = executable_path
+def serve(format, endpoint, executable_path, transport, host, port):
+    qsv.start(format, endpoint, executable_path)
     logger.info(f"{format=},{transport=}")
-    logger.info(f"{cdp_endpoint=},{executable_path=}")
+    logger.info(f"{endpoint=},{executable_path=}")
     if transport == 'sse':
         logger.info(f"{host=},{port=}", transport, host, port)
 

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/mcp_query_table/sites/iwencai.py

@@ -140,6 +140,7 @@ json_data['answer']['components'][0]['data']['meta']['extra']['row_count']
 
 async def on_response(response):
     if response.url == _PAGE1_:
+        # TODO 不支持headless模式，需要以后解决
         P.update(*get_robot_data(await response.json()))
     if response.url == _PAGE2_:
         P.update(*getDataList(await response.json()))

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/mcp_query_table/sites/tdx.py

@@ -21,7 +21,7 @@ _queryType_ = {
     QueryType.Fund: 'JJ',
     QueryType.Index: 'ZS',
     QueryType.Info: 'ZX',
-    QueryType.Board: 'ZX',  # 板块也走指数
+    QueryType.Board: 'ZS',  # 板块也走指数
 }
 
 

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/mcp_query_table/tool.py

@@ -3,6 +3,7 @@ import sys
 import time
 from pathlib import Path
 from typing import Optional, List, Tuple
+from urllib.parse import urlparse
 
 import pandas as pd
 from loguru import logger
@@ -36,6 +37,13 @@ def is_local_url(url: str) -> bool:
     return False
 
 
+def is_cdp_url(url: str) -> bool:
+    """判断url是否是CDP地址"""
+    if url.startswith('ws://') or url.startswith('wss://'):
+        return False
+    return True
+
+
 def get_executable_path(executable_path) -> Optional[str]:
     """获取浏览器可执行文件路径"""
     browsers = {
@@ -59,22 +67,22 @@ class BrowserManager:
         await self.cleanup()
 
     def __init__(self,
-                 cdp_endpoint: Optional[str] = None,
+                 endpoint: Optional[str] = None,
                  executable_path: Optional[str] = None,
                  debug: bool = False):
         """
 
         Parameters
         ----------
-        cdp_endpoint:str
-            浏览器CDP地址
+        endpoint:str
+            浏览器CDP地址/WS地址
         executable_path:str
             浏览器可执行文件路径。推荐使用chrome，因为Microsoft Edge必须在任务管理器中完全退出才能启动调试端口
         debug:bool
             是否显示开发者工具
 
         """
-        self.cdp_endpoint = cdp_endpoint or 'http://127.0.0.1:9222'
+        self.endpoint = endpoint or 'http://127.0.0.1:9222'
         self.executable_path = executable_path
         self.debug = debug
 
@@ -92,7 +100,7 @@ class BrowserManager:
 
     async def _connect_to_local(self) -> None:
         """连接本地浏览器"""
-        port = self.cdp_endpoint.split(':')[-1]
+        port = urlparse(self.endpoint).port
         executable_path = get_executable_path(self.executable_path)
         command = [executable_path, f'--remote-debugging-port={port}', '--start-maximized']
         if self.debug:
@@ -100,7 +108,7 @@ class BrowserManager:
 
         for i in range(2):
             try:
-                self.browser = await self.playwright.chromium.connect_over_cdp(self.cdp_endpoint,
+                self.browser = await self.playwright.chromium.connect_over_cdp(self.endpoint,
                                                                                timeout=10000, slow_mo=1000)
                 break
             except:
@@ -116,10 +124,14 @@ class BrowserManager:
     async def _connect_to_remote(self) -> None:
         """连接远程浏览器"""
         try:
-            self.browser = await self.playwright.chromium.connect_over_cdp(self.cdp_endpoint,
-                                                                           timeout=10000, slow_mo=1000)
+            if is_cdp_url(self.endpoint):
+                self.browser = await self.playwright.chromium.connect_over_cdp(self.endpoint,
+                                                                               timeout=10000, slow_mo=1000)
+            else:
+                self.browser = await self.playwright.chromium.connect(self.endpoint,
+                                                                      timeout=10000, slow_mo=1000)
         except:
-            raise ConnectionError(f"连接远程浏览器失败，请检查CDP地址和端口是否正确。{self.cdp_endpoint}")
+            raise ConnectionError(f"连接远程浏览器失败，请检查CDP/WS地址和端口是否正确。{self.endpoint}")
 
     async def _launch(self) -> None:
         """启动浏览器，并连接CDP协议
@@ -131,12 +143,15 @@ class BrowserManager:
         """
         self.playwright = await async_playwright().start()
 
-        if is_local_url(self.cdp_endpoint):
+        if is_local_url(self.endpoint) and is_cdp_url(self.endpoint):
             await self._connect_to_local()
         else:
             await self._connect_to_remote()
 
-        self.context = self.browser.contexts[0]
+        if len(self.browser.contexts) == 0:
+            self.context = await self.browser.new_context()
+        else:
+            self.context = self.browser.contexts[0]
         # 复用打开的page
         for page in self.context.pages:
             # 防止开发者工具被使用

{mcp_query_table-0.3.4 → mcp_query_table-0.3.6}/mcp_query_table.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: mcp_query_table
-Version: 0.3.4
+Version: 0.3.6
 Summary: query table from website, support MCP
 Author-email: wukan <wu-kan@163.com>
 License: MIT License
@@ -70,7 +70,7 @@ from mcp_query_table import *
 
 
 async def main() -> None:
-    async with BrowserManager(cdp_endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
+    async with BrowserManager(endpoint="http://127.0.0.1:9222", executable_path=None, debug=True) as bm:
         # 问财需要保证浏览器宽度>768，防止界面变成适应手机
         page = await bm.get_page()
         df = await query(page, '收益最好的200只ETF', query_type=QueryType.ETF, max_page=1, site=Site.THS)
@@ -135,6 +135,13 @@ if __name__ == '__main__':
 在`Cline`中可以配置如下。其中`command`是`python`的绝对路径，`executable_path`是`Chrome`的绝对路径，`timeout`是超时时间，单位为秒。
 在各`AI`平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
 
+`endpoint`支持两方式，一种是`cdp_endpoint`方式，一种是`ws_endpoint`方式。
+
+- cdp方式：通过启动时加参数`--remote-debugging-port=9222`来启动浏览器
+- ws方式：服务器上`docker run -p 3000:3000 --rm --init -it --workdir /home/pwuser --user pwuser mcr.microsoft.com/playwright:v1.51.0-noble /bin/sh -c "npx -y playwright@1.51.0 run-server --port 3000 --host 0.0.0.0"`
+
+参考：https://playwright.dev/python/docs/docker#remote-connection
+
 ### STDIO方式
 
 ```json
@@ -148,7 +155,7 @@ if __name__ == '__main__':
         "mcp_query_table",
         "--format",
         "markdown",
-        "--cdp_endpoint",
+        "--endpoint",
         "http://127.0.0.1:9222",
         "--executable_path",
         "C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
@@ -205,6 +212,12 @@ npx @modelcontextprotocol/inspector python -m mcp_query_table --format markdown
     - 向东方财富板块查询 “去年涨的最差的行业板块”，再查询此板块中去年涨的最好的5只股票
       > 分成两步查询，先查询板块，再查询股票。但最好不要全自动，因为第一步的结果它不理解“今日涨幅”和“区间涨幅”,需要交互修正
 
+## 支持`Streamlit`
+
+实现在同一页面中查询金融数据，并手工输入到`AI`中进行深度分析。参考`streamlit`目录下的`README.md`文件。
+
+![streamlit](docs/img/streamlit.png)
+
 ## 参考
 
 - [Playwright](https://playwright.dev/python/docs/intro)

mcp_query_table-0.3.4/mcp_query_table/_version.py

@@ -1 +0,0 @@
-__version__ = "0.3.4"