dataify-sdk 1.0.0__tar.gz → 1.2.0__tar.gz

{dataify_sdk-1.0.0 → dataify_sdk-1.2.0}/PKG-INFO

@@ -1,6 +1,6 @@
-Metadata-Version: 2.4
+Metadata-Version: 2.5
 Name: dataify-sdk
-Version: 1.0.0
+Version: 1.2.0
 Summary: Python SDK that calls the Dataify upstream REST API directly (no MCP layer) — web scrapers and search engines.
 Project-URL: Homepage, https://dashboard.dataify.com
 Project-URL: Repository, https://github.com/dataify/dataify-sdk
@@ -31,7 +31,7 @@ Python 客户端库，**直接调用** [Dataify](https://dashboard.dataify.com)
 ## 功能
 
 - 🔍 **搜索引擎** — Google（17 种）、Bing（6 种）、Yandex、DuckDuckGo，走 `POST /request`
-- 🛒 **平台抓取器** — Amazon、YouTube、TikTok、Facebook、Instagram、Reddit、Twitter/X、LinkedIn、Glassdoor、Indeed、Walmart、Zillow、Airbnb、Booking、Crunchbase、eBay、GitHub 等 45 个采集器，走 `POST /builder?platform=1`
+- 🛒 **平台抓取器** — Amazon、YouTube、TikTok、Facebook、Instagram、Reddit、Twitter/X、LinkedIn、Glassdoor、Indeed、Walmart、Zillow、Airbnb、Booking、Crunchbase、eBay、GitHub 等 45 个采集器，先走 `POST /builder?platform=1`，再可查询任务状态并下载结果
 - 📖 **参数全暴露** — 每个工具函数把上游请求参数、类型、是否必填、中文描述都写在签名与 docstring 里；另见 `docs/api_reference.md`
 - 🐍 **零依赖** — 仅用标准库 `urllib`，同步 API
 
@@ -50,17 +50,27 @@ from dataify_sdk import DataifyClient
 from dataify_sdk.tools.amazonproduct import amazon_product_by_asin
 from dataify_sdk.tools.googlesearch import google_search
 
-# token 也可通过环境变量 DATAIFY_TOKEN 提供
+# token 也可通过环境变量 DATAIFY_API_TOKEN 提供（兼容旧版 DATAIFY_TOKEN）
 client = DataifyClient(token="YOUR_TOKEN")
 
-# 采集类：直接提交 Builder 任务
-result = amazon_product_by_asin(asin="B0BZYCJK89", client=client)
+# 采集类：先提交 Builder 任务
+task = amazon_product_by_asin(asin="B0BZYCJK89", client=client)
+task_id = task["data"]["task_id"]
+
+# 再查询任务状态
+status = client.query_scraper_task_status(task_id)
+if status["data"]["status"] == "成功":
+    result = client.download_scraper_task_result(task_id, result_type="json")
 
 # 搜索类：直接打搜索引擎接口
 result = google_search(q="pizza", client=client)
 ```
 
-也可以不传 `client`，使用默认 client（读取 `DATAIFY_TOKEN` 环境变量）：
+也可以不传 `client`，使用默认 client（优先读取 `DATAIFY_API_TOKEN`，兼容 `DATAIFY_TOKEN`）：
+
+```bash
+export DATAIFY_API_TOKEN="..."
+```
 
 ```python
 from dataify_sdk.tools.googlesearch import google_search
@@ -68,6 +78,8 @@ from dataify_sdk.tools.googlesearch import google_search
 result = google_search(q="pizza")
 ```
 
+`client.query_scraper_task_status(...)` 会返回任务状态 JSON，`data.status` 常见值为 `处理中`、`成功`、`失败`。任务成功后可用 `client.download_scraper_task_result(task_id, result_type="json")` 下载最终结果；`result_type` 支持 `json`、`csv`、`xlsx`。
+
 ## API 设计
 
 - **每个 `spider_id` = 一个独立函数**（采集类），例如 `amazon_product_by_asin()`、`amazon_product_by_url()`、`amazon_product_by_keywords()`。

dataify_sdk-1.2.0/PYPI_RELEASE.md

@@ -0,0 +1,154 @@
+# Dataify Python SDK 更新发布步骤
+
+适用于把当前 `dataify-sdk` 新版本发布到 PyPI。
+
+## 1. 更新版本号
+
+修改两个位置，版本号必须一致：
+
+```text
+pyproject.toml
+src/dataify_sdk/__init__.py
+```
+
+例如本次新增公开方法，建议改为：
+
+```text
+1.1.0
+```
+
+## 2. 检查代码状态
+
+```powershell
+git status --short
+```
+
+确认只包含本次要发布的改动。
+
+## 3. 安装开发依赖
+
+```powershell
+python -m pip install -e ".[dev]"
+```
+
+## 4. 运行测试
+
+```powershell
+python -m pytest
+python -m compileall src tests
+```
+
+测试通过后再继续。
+
+## 5. 安装发布工具
+
+```powershell
+python -m pip install --upgrade build twine
+```
+
+## 6. 清理旧构建产物
+
+```powershell
+Remove-Item -LiteralPath .\dist -Recurse -Force -ErrorAction SilentlyContinue
+Remove-Item -LiteralPath .\build -Recurse -Force -ErrorAction SilentlyContinue
+```
+
+## 7. 构建新版本
+
+```powershell
+python -m build
+```
+
+构建后检查 `dist/` 下是否生成：
+
+```text
+*.tar.gz
+*.whl
+```
+
+## 8. 检查发布包
+
+```powershell
+python -m twine check --strict dist/*
+```
+
+必须通过。
+
+## 9. 先发到 TestPyPI
+
+```powershell
+python -m twine upload --repository testpypi dist/*
+```
+
+登录时：
+
+```text
+username: __token__
+password: TestPyPI token
+```
+
+如果看到 `WARNING This environment is not supported for trusted publishing`，本机发布时可以忽略，继续用上面的 token 登录即可。
+
+如果返回 `403 Forbidden`，先执行：
+
+```powershell
+python -m twine upload --repository testpypi --verbose dist/*
+```
+
+常见原因：
+
+- 用了正式 PyPI token；TestPyPI 必须用 TestPyPI 单独创建的 token。
+- token 对应账号不是 `dataify-sdk` 在 TestPyPI 上的 owner/maintainer。
+- 项目级 token 只能上传已有项目；首次创建项目建议用 TestPyPI 账号级 token。
+- TestPyPI 账号邮箱未验证。
+- 版本号或文件已上传过，换一个新版本号后重新构建。
+
+## 10. 从 TestPyPI 安装验证
+
+```powershell
+python -m venv .venv-testpypi-check
+.\.venv-testpypi-check\Scripts\python -m pip install --upgrade pip
+.\.venv-testpypi-check\Scripts\python -m pip install --index-url https://test.pypi.org/simple/ --no-deps dataify-sdk==<版本号>
+.\.venv-testpypi-check\Scripts\python -c "import dataify_sdk; print(dataify_sdk.__version__)"
+```
+
+确认输出版本号正确。
+
+## 11. 发布到正式 PyPI
+
+```powershell
+python -m twine upload dist/*
+```
+
+登录时：
+
+```text
+username: __token__
+password: PyPI token
+```
+
+如果看到 `WARNING This environment is not supported for trusted publishing`，本机发布时可以忽略，继续用上面的 token 登录即可。
+
+## 12. 从正式 PyPI 安装验证
+
+```powershell
+python -m venv .venv-pypi-check
+.\.venv-pypi-check\Scripts\python -m pip install --upgrade pip
+.\.venv-pypi-check\Scripts\python -m pip install --no-cache-dir dataify-sdk==<版本号>
+.\.venv-pypi-check\Scripts\python -c "import dataify_sdk; print(dataify_sdk.__version__)"
+```
+
+确认输出版本号正确。
+
+## 13. 打 Git Tag
+
+```powershell
+git tag v<版本号>
+git push origin v<版本号>
+```
+
+## 注意
+
+- PyPI 已发布的同版本不能覆盖上传。
+- token 不要写进代码、README 或提交记录。
+- 如果发布后发现问题，直接修复后发下一个版本。

{dataify_sdk-1.0.0 → dataify_sdk-1.2.0}/README.md

@@ -6,7 +6,7 @@ Python 客户端库，**直接调用** [Dataify](https://dashboard.dataify.com)
 ## 功能
 
 - 🔍 **搜索引擎** — Google（17 种）、Bing（6 种）、Yandex、DuckDuckGo，走 `POST /request`
-- 🛒 **平台抓取器** — Amazon、YouTube、TikTok、Facebook、Instagram、Reddit、Twitter/X、LinkedIn、Glassdoor、Indeed、Walmart、Zillow、Airbnb、Booking、Crunchbase、eBay、GitHub 等 45 个采集器，走 `POST /builder?platform=1`
+- 🛒 **平台抓取器** — Amazon、YouTube、TikTok、Facebook、Instagram、Reddit、Twitter/X、LinkedIn、Glassdoor、Indeed、Walmart、Zillow、Airbnb、Booking、Crunchbase、eBay、GitHub 等 45 个采集器，先走 `POST /builder?platform=1`，再可查询任务状态并下载结果
 - 📖 **参数全暴露** — 每个工具函数把上游请求参数、类型、是否必填、中文描述都写在签名与 docstring 里；另见 `docs/api_reference.md`
 - 🐍 **零依赖** — 仅用标准库 `urllib`，同步 API
 
@@ -25,23 +25,35 @@ from dataify_sdk import DataifyClient
 from dataify_sdk.tools.amazonproduct import amazon_product_by_asin
 from dataify_sdk.tools.googlesearch import google_search
 
-# token 也可通过环境变量 DATAIFY_TOKEN 提供
-client = DataifyClient(token="YOUR_TOKEN")
-
-# 采集类：直接提交 Builder 任务
-result = amazon_product_by_asin(asin="B0BZYCJK89", client=client)
-
-# 搜索类：直接打搜索引擎接口
-result = google_search(q="pizza", client=client)
-```
-
-也可以不传 `client`，使用默认 client（读取 `DATAIFY_TOKEN` 环境变量）：
-
-```python
-from dataify_sdk.tools.googlesearch import google_search
-
-result = google_search(q="pizza")
-```
+# token 也可通过环境变量 DATAIFY_API_TOKEN 提供（兼容旧版 DATAIFY_TOKEN）
+client = DataifyClient(token="YOUR_TOKEN")
+
+# 采集类：先提交 Builder 任务
+task = amazon_product_by_asin(asin="B0BZYCJK89", client=client)
+task_id = task["data"]["task_id"]
+
+# 再查询任务状态
+status = client.query_scraper_task_status(task_id)
+if status["data"]["status"] == "成功":
+    result = client.download_scraper_task_result(task_id, result_type="json")
+
+# 搜索类：直接打搜索引擎接口
+result = google_search(q="pizza", client=client)
+```
+
+也可以不传 `client`，使用默认 client（优先读取 `DATAIFY_API_TOKEN`，兼容 `DATAIFY_TOKEN`）：
+
+```bash
+export DATAIFY_API_TOKEN="..."
+```
+
+```python
+from dataify_sdk.tools.googlesearch import google_search
+
+result = google_search(q="pizza")
+```
+
+`client.query_scraper_task_status(...)` 会返回任务状态 JSON，`data.status` 常见值为 `处理中`、`成功`、`失败`。任务成功后可用 `client.download_scraper_task_result(task_id, result_type="json")` 下载最终结果；`result_type` 支持 `json`、`csv`、`xlsx`。
 
 ## API 设计
 

{dataify_sdk-1.0.0 → dataify_sdk-1.2.0}/pyproject.toml

@@ -4,7 +4,7 @@ build-backend = "hatchling.build"
 
 [project]
 name = "dataify-sdk"
-version = "1.0.0"
+version = "1.2.0"
 description = "Python SDK that calls the Dataify upstream REST API directly (no MCP layer) — web scrapers and search engines."
 readme = "README.md"
 license = {text = "MIT"}

{dataify_sdk-1.0.0 → dataify_sdk-1.2.0}/scripts/codegen.py

@@ -21,5 +21,8 @@ sys.path.insert(0, str(_ROOT / "src"))
 from dataify_sdk._codegen.generate import main
 
 
+
+
+
 if __name__ == "__main__":
     raise SystemExit(main())

{dataify_sdk-1.0.0 → dataify_sdk-1.2.0}/src/dataify_sdk/__init__.py

@@ -7,11 +7,18 @@ Typical usage::
     from dataify_sdk.tools.amazonproduct import amazon_product_by_asin
 
     client = DataifyClient(token="YOUR_TOKEN")
-    result = amazon_product_by_asin(asin="B0BZYCJK89", client=client)
-
-or, using the default client (token from ``DATAIFY_TOKEN``)::
-
-    result = amazon_product_by_asin(asin="B0BZYCJK89")
+    task = amazon_product_by_asin(asin="B0BZYCJK89", client=client)
+    task_id = task["data"]["task_id"]
+    status = client.query_scraper_task_status(task_id)
+    if status["data"]["status"] == "成功":
+        result = client.download_scraper_task_result(task_id, result_type="json")
+
+or, using the default client (token from ``DATAIFY_API_TOKEN``, with
+``DATAIFY_TOKEN`` still accepted)::
+
+    task = amazon_product_by_asin(asin="B0BZYCJK89")
+    client = DataifyClient()
+    status = client.query_scraper_task_status(task["data"]["task_id"])
 """
 
 from __future__ import annotations
@@ -24,7 +31,10 @@ from dataify_sdk.errors import (
     DataifyTimeoutError,
 )
 
-__version__ = "1.0.0"
+__version__ = "1.2.0"
+
+
+
 
 __all__ = [
     "__version__",

{dataify_sdk-1.0.0 → dataify_sdk-1.2.0}/src/dataify_sdk/_codegen/generate.py

@@ -434,7 +434,10 @@ def render_scraper_function(
     ]
     for p in sig_params:
         doc.append(_doc_param_line(p, p["upstream"]))
-    doc.append("    client: 可选 DataifyClient 实例;不传则使用默认 client(读取 DATAIFY_TOKEN)。")
+    doc.append(
+        "    client: 可选 DataifyClient 实例;不传则使用默认 client("
+        "优先读取 DATAIFY_API_TOKEN, 兼容 DATAIFY_TOKEN)。"
+    )
     doc.append('    """')
     doc.append("    params_obj = {")
     doc.extend(body_assign)
@@ -492,7 +495,10 @@ def render_serp_function(
     ]
     for p in sig_params:
         doc.append(_doc_param_line(p, p["upstream"]))
-    doc.append("    client: 可选 DataifyClient 实例;不传则使用默认 client(读取 DATAIFY_TOKEN)。")
+    doc.append(
+        "    client: 可选 DataifyClient 实例;不传则使用默认 client("
+        "优先读取 DATAIFY_API_TOKEN, 兼容 DATAIFY_TOKEN)。"
+    )
     doc.append('    """')
     doc.append("    form = {")
     doc.extend(body_assign)