sdpy-kit 0.2.0__tar.gz → 0.2.1__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (48) hide show
  1. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/PKG-INFO +67 -24
  2. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/README.md +66 -23
  3. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/__init__.py +1 -1
  4. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/base_db_kit.py +108 -3
  5. sdpy_kit-0.2.1/kit/db/mysql_kit.py +280 -0
  6. sdpy_kit-0.2.1/kit/db/pg_kit.py +318 -0
  7. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/sqlite_kit.py +43 -99
  8. sdpy_kit-0.2.0/kit/db/mysql_kit.py +0 -89
  9. sdpy_kit-0.2.0/kit/db/pg_kit.py +0 -87
  10. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/.gitignore +0 -0
  11. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/__init__.py +0 -0
  12. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/base_service.py +0 -0
  13. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/chat_service.py +0 -0
  14. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/embedding_service.py +0 -0
  15. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/exceptions.py +0 -0
  16. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/failover.py +0 -0
  17. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/image_service.py +0 -0
  18. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/model_builder.py +0 -0
  19. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/model_client.py +0 -0
  20. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/pool.py +0 -0
  21. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/profiles.py +0 -0
  22. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/rerank_service.py +0 -0
  23. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/runner.py +0 -0
  24. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/ai/types.py +0 -0
  25. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/anydoc_kit.py +0 -0
  26. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/common_kit.py +0 -0
  27. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/config/__init__.py +0 -0
  28. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/config/kit_config.py +0 -0
  29. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/config/log_config.py +0 -0
  30. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/__init__.py +0 -0
  31. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/crud.py +0 -0
  32. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/engine.py +0 -0
  33. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/exceptions.py +0 -0
  34. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/models/__init__.py +0 -0
  35. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/models/base.py +0 -0
  36. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/query.py +0 -0
  37. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/session.py +0 -0
  38. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/db/transaction.py +0 -0
  39. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/docx_kit.py +0 -0
  40. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/file_kit.py +0 -0
  41. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/marker_kit.py +0 -0
  42. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/mcp_kit.py +0 -0
  43. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/md2doc_kit.py +0 -0
  44. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/mineru_kit.py +0 -0
  45. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/redis_kit.py +0 -0
  46. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/wx_article_kit.py +0 -0
  47. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/kit/zvec_kit.py +0 -0
  48. {sdpy_kit-0.2.0 → sdpy_kit-0.2.1}/pyproject.toml +0 -0
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.5
2
2
  Name: sdpy-kit
3
- Version: 0.2.0
3
+ Version: 0.2.1
4
4
  Summary: SDPY Kit——统一数据库访问层(PG/MySQL/SQLite)与 AI/MCP/Redis/文件/文档/向量工具集
5
5
  Author-email: Clark <changhongyuan@126.com>
6
6
  License-Expression: MIT
@@ -84,7 +84,7 @@ SDPY 统一工具集(Kit 体系),供 Python 项目开箱即用:
84
84
  | 模块 | 类 / 入口 | 能力 | 需要 extra |
85
85
  |------|-----------|------|-----------|
86
86
  | `kit.config` | `get_settings` / `get_default_logger` | 配置单例与统一日志 | 无 |
87
- | `kit.db` | `SQLiteKit` / `PgKit` / `MySqlKit` / `CRUDBase` | 统一 CRUD、原生 SQL、事务、表管理 | `pg` / `mysql` / `sqliteai` |
87
+ | `kit.db` | `SQLiteKit` / `PgKit` / `MySqlKit` / `CRUDBase` | 统一 CRUD、原生 SQL、原生表操作、事务、表管理 | `pg` / `mysql` / `sqliteai` |
88
88
  | `kit.ai` | `AI`(同步门面)/ 4 个原生异步 Service | 对话 / 向量化 / 重排序 / 文生图 | `ai` |
89
89
  | `kit.mcp_kit` | `McpKit` | MCP 工具发现与调用 | `mcp` |
90
90
  | `kit.redis_kit` | `RedisKit` | Redis string / hash / list / set / zset | `redis` |
@@ -110,8 +110,8 @@ uv add sdpy-kit
110
110
 
111
111
  | extra | 能力 | 安装 |
112
112
  |-------|------|------|
113
- | `pg` | PgKit(PostgreSQL 驱动) | `pip install "sdpy-kit[pg]"` |
114
- | `mysql` | MySqlKit(MySQL 驱动) | `pip install "sdpy-kit[mysql]"` |
113
+ | `pg` | PgKit(PostgreSQL 驱动;向量方法另需服务端 pgvector) | `pip install "sdpy-kit[pg]"` |
114
+ | `mysql` | MySqlKit(MySQL 驱动;向量仅存储,需 MySQL 9.x) | `pip install "sdpy-kit[mysql]"` |
115
115
  | `sqliteai` | SQLiteKit 向量方法(numpy / sqliteai-vector,SQLite 向量扩展) | `pip install "sdpy-kit[sqliteai]"` |
116
116
  | `zvec` | ZvecKit(zvec,阿里独立向量库) | `pip install "sdpy-kit[zvec]"` |
117
117
  | `redis` | RedisKit | `pip install "sdpy-kit[redis]"` |
@@ -336,7 +336,7 @@ from kit.db import session_scope, transactional, DBError # 推荐
336
336
  from kit import session_scope, transactional, DBError # 等价
337
337
  ```
338
338
 
339
- ### 1. 三个数据库 Kit(API 完全一致)
339
+ ### 1. 三个数据库 Kit(23 个共享方法 API 完全一致)
340
340
 
341
341
  | 类 | 导入 | 数据库 | extra |
342
342
  |----|------|--------|-------|
@@ -344,13 +344,14 @@ from kit import session_scope, transactional, DBError # 等价
344
344
  | `PgKit` | `from kit.db.pg_kit import PgKit` | PostgreSQL | `pg` |
345
345
  | `MySqlKit` | `from kit.db.mysql_kit import MySqlKit` | MySQL | `mysql` |
346
346
 
347
- **共有方法(19 个,全部为 classmethod,内部自动提交)**
347
+ **共有方法(23 个,全部为 classmethod,内部自动提交)**
348
348
 
349
349
  | 分组 | 方法 | 说明 |
350
350
  |------|------|------|
351
351
  | 连接 | `connect() -> bool` | 建引擎并验证连通 |
352
352
  | 连接 | `close() -> None` | 关闭引擎 |
353
353
  | 连接 | `is_connected() -> bool` | 探测当前是否可连 |
354
+ | 连接 | `raw_connection()` | 取原生 DBAPI 连接(PG=psycopg2 / MySQL=pymysql / SQLite=sqlite3);调用方负责 commit 与 close,psycopg2 / pymysql 默认不自动提交 |
354
355
  | ORM | `create(model, data) -> Model` | 插入单条 |
355
356
  | ORM | `create_multi(model, data_list) -> list[Model]` | 批量插入 |
356
357
  | ORM | `get(model, id) -> Model \| None` | 按主键查询 |
@@ -362,6 +363,9 @@ from kit import session_scope, transactional, DBError # 等价
362
363
  | ORM | `count(model) -> int` | 记录总数 |
363
364
  | 原生 SQL | `query(sql, params=None) -> list[dict]` | 原生查询,返回字典列表 |
364
365
  | 原生 SQL | `execute(sql, params=None) -> int` | 原生写入,返回影响行数 |
366
+ | 原生表 | `create_raw_table(table_name, columns, if_not_exists=True) -> None` | 按「列名 → 列定义」建普通表;⚠ 列定义须按目标库方言书写,不做方言翻译 |
367
+ | 原生表 | `raw_insert(table_name, data) -> int` | 插入一行,返回影响行数 |
368
+ | 原生表 | `raw_get_by(table_name, column, value) -> dict \| None` | 按单列等值取首行 |
365
369
  | 事务 | `transaction()` | 事务上下文管理器,`with PgKit.transaction() as session:` |
366
370
  | 表 | `list_tables() -> list[str]` | 列出全部表名 |
367
371
  | 表 | `table_exists(table_name) -> bool` | 判断表是否存在 |
@@ -369,11 +373,15 @@ from kit import session_scope, transactional, DBError # 等价
369
373
  | 表 | `get_table_info(table_name) -> list[dict]` | 获取列信息(三个 Kit 各自实现) |
370
374
 
371
375
  ```python
376
+ from sqlalchemy import BigInteger
372
377
  from sqlmodel import SQLModel, Field
378
+ from kit.common_kit import CommonKit
373
379
  from kit.db.sqlite_kit import SQLiteKit
374
380
 
375
381
  class User(SQLModel, table=True):
376
- id: int | None = Field(default=None, primary_key=True)
382
+ # 主键:64 位整数 + 雪花 ID(应用侧生成,不用数据库自增)
383
+ id: int = Field(default_factory=CommonKit.generate_snowflake_id,
384
+ primary_key=True, sa_type=BigInteger)
377
385
  name: str
378
386
 
379
387
  SQLiteKit.connect()
@@ -392,31 +400,60 @@ with SQLiteKit.transaction() as session: # 多操作原子提
392
400
  ```
393
401
 
394
402
  > 切换数据库:把 import 的 `SQLiteKit` 换成 `PgKit` / `MySqlKit` 即可,其余代码不变。
403
+ > 注意两点例外:① `create_raw_table` 的列定义文本须按目标库方言改写;② 向量能力
404
+ > **三库同名同参但能力不同**,尤其 **MySQL 侧检索不可用**(见下)。
395
405
 
396
- ### 2. SQLiteKit 独有方法
397
-
398
- 无需额外依赖:
399
-
400
- | 方法 | 说明 |
401
- |------|------|
402
- | `raw_connection()` | 取原生 DBAPI 连接(sqlite-vector 扩展已自动加载),调用方负责关闭 |
403
- | `create_raw_table(table_name, columns, if_not_exists=True) -> None` | 按「列名 → 列定义」建普通表 |
404
- | `raw_insert(table_name, data) -> int` | 插入一行,返回影响行数 |
405
- | `raw_get_by(table_name, column, value) -> dict \| None` | 按单列等值取首行 |
406
+ ### 2. 向量方法(三库同名同参,能力差异化)
406
407
 
407
- 向量方法(需 `pip install "sdpy-kit[sqliteai]"`):
408
+ > 签名在 `SQLiteKit` / `PgKit` / `MySqlKit` 上完全一致;能力按后端不同(见下表)。
409
+ > extra 前提:SQLite 需 `sdpy-kit[sqliteai]`;PG 需 `sdpy-kit[pg]` **且服务端已装 pgvector**
410
+ > (`create_vector_table` 会自动尝试 `CREATE EXTENSION`);MySQL 需 **9.x**(Community 即可存,
411
+ > 但检索需 HeatWave on OCI / MySQL AI)——建表前会校验服务端版本,低于 9.x 抛 `DBError`。
408
412
 
409
413
  | 方法 | 说明 |
410
414
  |------|------|
411
- | `create_vector_table(table_name, id_col="id", dims=384, extra_cols=None) -> None` | 建含向量列的表 |
412
- | `insert_vectors(table_name, vectors, ids=None, extra_data=None) -> int` | 批量插入向量 |
413
- | `search_vectors(table_name, query_vector, top_k=10, distance_type="COSINE", filter_sql=None) -> list[dict]` | KNN 检索,按距离升序返回 `{"id", "distance", ...}` |
414
- | `vector_version() -> str` | 向量扩展版本,不可用时返回 `"unavailable"` |
415
+ | `create_vector_table(table_name, id_col="id", dims=384, extra_cols=None) -> None` | 建含向量列的表(PG / MySQL 侧 `dims` 有约束) |
416
+ | `insert_vectors(table_name, vectors, ids=None, extra_data=None) -> int` | 批量插入向量(单事务提交);`ids=None` 时由 Kit 生成雪花 ID |
417
+ | `search_vectors(table_name, query_vector, top_k=10, distance_type="COSINE", filter_sql=None) -> list[dict]` | KNN 检索,按距离升序返回 `{"id", "distance"}`;**MySQL 侧抛 `NotImplementedError`** |
418
+ | `vector_version() -> str` | 向量后端版本;不可用时返回 `"unavailable"`(MySQL 侧为服务端版本号) |
419
+
420
+ **能力差异(跨库不可比较 `distance` 数值)**:
421
+
422
+ | 项 | `SQLiteKit`(sqlite-vector) | `PgKit`(pgvector) | `MySqlKit`(9.x 原生) |
423
+ |----|------------------------------|---------------------|------------------------|
424
+ | 支持的 `distance_type` | **仅 L2**(该形参当前不生效,取任何值结果相同) | `COSINE` / `L2` / `L1` / `DOT`(负内积) / `SQUARED_L2` | **无(检索不可用)** |
425
+ | 非法取值 | 忽略 | 抛 `ValueError` | `search_vectors` 一律抛 `NotImplementedError` |
426
+ | `distance` 口径 | int8 量化整数距离(= L2 × 255,非物理距离) | 真实距离 | — |
427
+ | 维度约束 | 无 | 强制(不匹配即报错) | 上限约束(超限报错) |
428
+ | `filter_sql` 与 `top_k` | **先取 top_k 再过滤**(可能少于 top_k) | **先过滤再取 top_k** | 不适用 |
429
+ | 索引 | 每次检索 `vector_init` + `vector_quantize` | 默认无索引(可自建 hnsw/ivfflat) | 无法建(B-Tree 拒绝向量列) |
430
+
431
+ > MySQL `DISTANCE()` / `VECTOR_DISTANCE()` 仅 HeatWave on OCI 与 MySQL AI 提供
432
+ > (Community 实测报 `1305 FUNCTION ... does not exist`);故 `MySqlKit` 只覆盖存储侧。
433
+
434
+ **主键与 id(三库统一)**:向量表主键均为 `BIGINT`(SQLite 用等价的 64 位 `INTEGER PRIMARY KEY`),
435
+ **不使用数据库自增**;`ids=None` 时由 Kit 用 `CommonKit.generate_snowflake_id()` 生成雪花 ID
436
+ (18~19 位,int64)。
437
+ ⚠ 雪花 ID 超过 `2^53`,经 JSON 传给 JavaScript 会丢精度,需按字符串传输;
438
+ 多实例部署需各自 `CommonKit.configure(datacenter_id, machine_id)`(默认 `(1,1)` 会重复)。
415
439
 
416
440
  ```python
441
+ # SQLite
442
+ from kit.db.sqlite_kit import SQLiteKit
417
443
  SQLiteKit.create_vector_table("images", dims=384)
418
444
  SQLiteKit.insert_vectors("images", [[0.1] * 384, [0.2] * 384])
419
445
  rows = SQLiteKit.search_vectors("images", [0.1] * 384, top_k=5)
446
+
447
+ # PostgreSQL(签名相同;可选 COSINE/L2/L1/DOT/SQUARED_L2)
448
+ from kit.db.pg_kit import PgKit
449
+ PgKit.create_vector_table("images", dims=384)
450
+ PgKit.insert_vectors("images", [[0.1] * 384, [0.2] * 384])
451
+ rows = PgKit.search_vectors("images", [0.1] * 384, top_k=5, distance_type="L2")
452
+
453
+ # MySQL(仅存储;search_vectors 会抛 NotImplementedError)
454
+ from kit.db.mysql_kit import MySqlKit
455
+ MySqlKit.create_vector_table("images", dims=384)
456
+ MySqlKit.insert_vectors("images", [[0.1] * 384, [0.2] * 384])
420
457
  ```
421
458
 
422
459
  ### 3. CRUDBase(配合 session_scope,不自动提交)
@@ -481,10 +518,16 @@ def transfer(session: Session, from_id: int, to_id: int, amount: float) -> None:
481
518
  ### 5. 模型混入类与查询构建器
482
519
 
483
520
  ```python
521
+ from sqlalchemy import BigInteger
522
+ from sqlmodel import Field, SQLModel
523
+
524
+ from kit.common_kit import CommonKit
484
525
  from kit.db.models import TimestampMixin, SoftDeleteMixin, AuditMixin
485
526
 
486
- class Article(TimestampMixin, SoftDeleteMixin, table=True):
487
- id: int | None = Field(default=None, primary_key=True)
527
+ class Article(TimestampMixin, SoftDeleteMixin, SQLModel, table=True):
528
+ # 主键:64 位整数 + 雪花 ID(应用侧生成,不用数据库自增)
529
+ id: int = Field(default_factory=CommonKit.generate_snowflake_id,
530
+ primary_key=True, sa_type=BigInteger)
488
531
  title: str
489
532
  ```
490
533
 
@@ -14,7 +14,7 @@ SDPY 统一工具集(Kit 体系),供 Python 项目开箱即用:
14
14
  | 模块 | 类 / 入口 | 能力 | 需要 extra |
15
15
  |------|-----------|------|-----------|
16
16
  | `kit.config` | `get_settings` / `get_default_logger` | 配置单例与统一日志 | 无 |
17
- | `kit.db` | `SQLiteKit` / `PgKit` / `MySqlKit` / `CRUDBase` | 统一 CRUD、原生 SQL、事务、表管理 | `pg` / `mysql` / `sqliteai` |
17
+ | `kit.db` | `SQLiteKit` / `PgKit` / `MySqlKit` / `CRUDBase` | 统一 CRUD、原生 SQL、原生表操作、事务、表管理 | `pg` / `mysql` / `sqliteai` |
18
18
  | `kit.ai` | `AI`(同步门面)/ 4 个原生异步 Service | 对话 / 向量化 / 重排序 / 文生图 | `ai` |
19
19
  | `kit.mcp_kit` | `McpKit` | MCP 工具发现与调用 | `mcp` |
20
20
  | `kit.redis_kit` | `RedisKit` | Redis string / hash / list / set / zset | `redis` |
@@ -40,8 +40,8 @@ uv add sdpy-kit
40
40
 
41
41
  | extra | 能力 | 安装 |
42
42
  |-------|------|------|
43
- | `pg` | PgKit(PostgreSQL 驱动) | `pip install "sdpy-kit[pg]"` |
44
- | `mysql` | MySqlKit(MySQL 驱动) | `pip install "sdpy-kit[mysql]"` |
43
+ | `pg` | PgKit(PostgreSQL 驱动;向量方法另需服务端 pgvector) | `pip install "sdpy-kit[pg]"` |
44
+ | `mysql` | MySqlKit(MySQL 驱动;向量仅存储,需 MySQL 9.x) | `pip install "sdpy-kit[mysql]"` |
45
45
  | `sqliteai` | SQLiteKit 向量方法(numpy / sqliteai-vector,SQLite 向量扩展) | `pip install "sdpy-kit[sqliteai]"` |
46
46
  | `zvec` | ZvecKit(zvec,阿里独立向量库) | `pip install "sdpy-kit[zvec]"` |
47
47
  | `redis` | RedisKit | `pip install "sdpy-kit[redis]"` |
@@ -266,7 +266,7 @@ from kit.db import session_scope, transactional, DBError # 推荐
266
266
  from kit import session_scope, transactional, DBError # 等价
267
267
  ```
268
268
 
269
- ### 1. 三个数据库 Kit(API 完全一致)
269
+ ### 1. 三个数据库 Kit(23 个共享方法 API 完全一致)
270
270
 
271
271
  | 类 | 导入 | 数据库 | extra |
272
272
  |----|------|--------|-------|
@@ -274,13 +274,14 @@ from kit import session_scope, transactional, DBError # 等价
274
274
  | `PgKit` | `from kit.db.pg_kit import PgKit` | PostgreSQL | `pg` |
275
275
  | `MySqlKit` | `from kit.db.mysql_kit import MySqlKit` | MySQL | `mysql` |
276
276
 
277
- **共有方法(19 个,全部为 classmethod,内部自动提交)**
277
+ **共有方法(23 个,全部为 classmethod,内部自动提交)**
278
278
 
279
279
  | 分组 | 方法 | 说明 |
280
280
  |------|------|------|
281
281
  | 连接 | `connect() -> bool` | 建引擎并验证连通 |
282
282
  | 连接 | `close() -> None` | 关闭引擎 |
283
283
  | 连接 | `is_connected() -> bool` | 探测当前是否可连 |
284
+ | 连接 | `raw_connection()` | 取原生 DBAPI 连接(PG=psycopg2 / MySQL=pymysql / SQLite=sqlite3);调用方负责 commit 与 close,psycopg2 / pymysql 默认不自动提交 |
284
285
  | ORM | `create(model, data) -> Model` | 插入单条 |
285
286
  | ORM | `create_multi(model, data_list) -> list[Model]` | 批量插入 |
286
287
  | ORM | `get(model, id) -> Model \| None` | 按主键查询 |
@@ -292,6 +293,9 @@ from kit import session_scope, transactional, DBError # 等价
292
293
  | ORM | `count(model) -> int` | 记录总数 |
293
294
  | 原生 SQL | `query(sql, params=None) -> list[dict]` | 原生查询,返回字典列表 |
294
295
  | 原生 SQL | `execute(sql, params=None) -> int` | 原生写入,返回影响行数 |
296
+ | 原生表 | `create_raw_table(table_name, columns, if_not_exists=True) -> None` | 按「列名 → 列定义」建普通表;⚠ 列定义须按目标库方言书写,不做方言翻译 |
297
+ | 原生表 | `raw_insert(table_name, data) -> int` | 插入一行,返回影响行数 |
298
+ | 原生表 | `raw_get_by(table_name, column, value) -> dict \| None` | 按单列等值取首行 |
295
299
  | 事务 | `transaction()` | 事务上下文管理器,`with PgKit.transaction() as session:` |
296
300
  | 表 | `list_tables() -> list[str]` | 列出全部表名 |
297
301
  | 表 | `table_exists(table_name) -> bool` | 判断表是否存在 |
@@ -299,11 +303,15 @@ from kit import session_scope, transactional, DBError # 等价
299
303
  | 表 | `get_table_info(table_name) -> list[dict]` | 获取列信息(三个 Kit 各自实现) |
300
304
 
301
305
  ```python
306
+ from sqlalchemy import BigInteger
302
307
  from sqlmodel import SQLModel, Field
308
+ from kit.common_kit import CommonKit
303
309
  from kit.db.sqlite_kit import SQLiteKit
304
310
 
305
311
  class User(SQLModel, table=True):
306
- id: int | None = Field(default=None, primary_key=True)
312
+ # 主键:64 位整数 + 雪花 ID(应用侧生成,不用数据库自增)
313
+ id: int = Field(default_factory=CommonKit.generate_snowflake_id,
314
+ primary_key=True, sa_type=BigInteger)
307
315
  name: str
308
316
 
309
317
  SQLiteKit.connect()
@@ -322,31 +330,60 @@ with SQLiteKit.transaction() as session: # 多操作原子提
322
330
  ```
323
331
 
324
332
  > 切换数据库:把 import 的 `SQLiteKit` 换成 `PgKit` / `MySqlKit` 即可,其余代码不变。
333
+ > 注意两点例外:① `create_raw_table` 的列定义文本须按目标库方言改写;② 向量能力
334
+ > **三库同名同参但能力不同**,尤其 **MySQL 侧检索不可用**(见下)。
325
335
 
326
- ### 2. SQLiteKit 独有方法
327
-
328
- 无需额外依赖:
329
-
330
- | 方法 | 说明 |
331
- |------|------|
332
- | `raw_connection()` | 取原生 DBAPI 连接(sqlite-vector 扩展已自动加载),调用方负责关闭 |
333
- | `create_raw_table(table_name, columns, if_not_exists=True) -> None` | 按「列名 → 列定义」建普通表 |
334
- | `raw_insert(table_name, data) -> int` | 插入一行,返回影响行数 |
335
- | `raw_get_by(table_name, column, value) -> dict \| None` | 按单列等值取首行 |
336
+ ### 2. 向量方法(三库同名同参,能力差异化)
336
337
 
337
- 向量方法(需 `pip install "sdpy-kit[sqliteai]"`):
338
+ > 签名在 `SQLiteKit` / `PgKit` / `MySqlKit` 上完全一致;能力按后端不同(见下表)。
339
+ > extra 前提:SQLite 需 `sdpy-kit[sqliteai]`;PG 需 `sdpy-kit[pg]` **且服务端已装 pgvector**
340
+ > (`create_vector_table` 会自动尝试 `CREATE EXTENSION`);MySQL 需 **9.x**(Community 即可存,
341
+ > 但检索需 HeatWave on OCI / MySQL AI)——建表前会校验服务端版本,低于 9.x 抛 `DBError`。
338
342
 
339
343
  | 方法 | 说明 |
340
344
  |------|------|
341
- | `create_vector_table(table_name, id_col="id", dims=384, extra_cols=None) -> None` | 建含向量列的表 |
342
- | `insert_vectors(table_name, vectors, ids=None, extra_data=None) -> int` | 批量插入向量 |
343
- | `search_vectors(table_name, query_vector, top_k=10, distance_type="COSINE", filter_sql=None) -> list[dict]` | KNN 检索,按距离升序返回 `{"id", "distance", ...}` |
344
- | `vector_version() -> str` | 向量扩展版本,不可用时返回 `"unavailable"` |
345
+ | `create_vector_table(table_name, id_col="id", dims=384, extra_cols=None) -> None` | 建含向量列的表(PG / MySQL 侧 `dims` 有约束) |
346
+ | `insert_vectors(table_name, vectors, ids=None, extra_data=None) -> int` | 批量插入向量(单事务提交);`ids=None` 时由 Kit 生成雪花 ID |
347
+ | `search_vectors(table_name, query_vector, top_k=10, distance_type="COSINE", filter_sql=None) -> list[dict]` | KNN 检索,按距离升序返回 `{"id", "distance"}`;**MySQL 侧抛 `NotImplementedError`** |
348
+ | `vector_version() -> str` | 向量后端版本;不可用时返回 `"unavailable"`(MySQL 侧为服务端版本号) |
349
+
350
+ **能力差异(跨库不可比较 `distance` 数值)**:
351
+
352
+ | 项 | `SQLiteKit`(sqlite-vector) | `PgKit`(pgvector) | `MySqlKit`(9.x 原生) |
353
+ |----|------------------------------|---------------------|------------------------|
354
+ | 支持的 `distance_type` | **仅 L2**(该形参当前不生效,取任何值结果相同) | `COSINE` / `L2` / `L1` / `DOT`(负内积) / `SQUARED_L2` | **无(检索不可用)** |
355
+ | 非法取值 | 忽略 | 抛 `ValueError` | `search_vectors` 一律抛 `NotImplementedError` |
356
+ | `distance` 口径 | int8 量化整数距离(= L2 × 255,非物理距离) | 真实距离 | — |
357
+ | 维度约束 | 无 | 强制(不匹配即报错) | 上限约束(超限报错) |
358
+ | `filter_sql` 与 `top_k` | **先取 top_k 再过滤**(可能少于 top_k) | **先过滤再取 top_k** | 不适用 |
359
+ | 索引 | 每次检索 `vector_init` + `vector_quantize` | 默认无索引(可自建 hnsw/ivfflat) | 无法建(B-Tree 拒绝向量列) |
360
+
361
+ > MySQL `DISTANCE()` / `VECTOR_DISTANCE()` 仅 HeatWave on OCI 与 MySQL AI 提供
362
+ > (Community 实测报 `1305 FUNCTION ... does not exist`);故 `MySqlKit` 只覆盖存储侧。
363
+
364
+ **主键与 id(三库统一)**:向量表主键均为 `BIGINT`(SQLite 用等价的 64 位 `INTEGER PRIMARY KEY`),
365
+ **不使用数据库自增**;`ids=None` 时由 Kit 用 `CommonKit.generate_snowflake_id()` 生成雪花 ID
366
+ (18~19 位,int64)。
367
+ ⚠ 雪花 ID 超过 `2^53`,经 JSON 传给 JavaScript 会丢精度,需按字符串传输;
368
+ 多实例部署需各自 `CommonKit.configure(datacenter_id, machine_id)`(默认 `(1,1)` 会重复)。
345
369
 
346
370
  ```python
371
+ # SQLite
372
+ from kit.db.sqlite_kit import SQLiteKit
347
373
  SQLiteKit.create_vector_table("images", dims=384)
348
374
  SQLiteKit.insert_vectors("images", [[0.1] * 384, [0.2] * 384])
349
375
  rows = SQLiteKit.search_vectors("images", [0.1] * 384, top_k=5)
376
+
377
+ # PostgreSQL(签名相同;可选 COSINE/L2/L1/DOT/SQUARED_L2)
378
+ from kit.db.pg_kit import PgKit
379
+ PgKit.create_vector_table("images", dims=384)
380
+ PgKit.insert_vectors("images", [[0.1] * 384, [0.2] * 384])
381
+ rows = PgKit.search_vectors("images", [0.1] * 384, top_k=5, distance_type="L2")
382
+
383
+ # MySQL(仅存储;search_vectors 会抛 NotImplementedError)
384
+ from kit.db.mysql_kit import MySqlKit
385
+ MySqlKit.create_vector_table("images", dims=384)
386
+ MySqlKit.insert_vectors("images", [[0.1] * 384, [0.2] * 384])
350
387
  ```
351
388
 
352
389
  ### 3. CRUDBase(配合 session_scope,不自动提交)
@@ -411,10 +448,16 @@ def transfer(session: Session, from_id: int, to_id: int, amount: float) -> None:
411
448
  ### 5. 模型混入类与查询构建器
412
449
 
413
450
  ```python
451
+ from sqlalchemy import BigInteger
452
+ from sqlmodel import Field, SQLModel
453
+
454
+ from kit.common_kit import CommonKit
414
455
  from kit.db.models import TimestampMixin, SoftDeleteMixin, AuditMixin
415
456
 
416
- class Article(TimestampMixin, SoftDeleteMixin, table=True):
417
- id: int | None = Field(default=None, primary_key=True)
457
+ class Article(TimestampMixin, SoftDeleteMixin, SQLModel, table=True):
458
+ # 主键:64 位整数 + 雪花 ID(应用侧生成,不用数据库自增)
459
+ id: int = Field(default_factory=CommonKit.generate_snowflake_id,
460
+ primary_key=True, sa_type=BigInteger)
418
461
  title: str
419
462
  ```
420
463
 
@@ -23,7 +23,7 @@ Author: Clark Chang
23
23
  数据库访问通过 kit.db 子包提供(基于 SQLModel)。
24
24
  """
25
25
 
26
- __version__ = "0.2.0"
26
+ __version__ = "0.2.1"
27
27
 
28
28
  from kit.db import (
29
29
  MYSQL,
@@ -23,9 +23,13 @@ from __future__ import annotations
23
23
  """数据库 Kit 共享基类(DRY 收敛)
24
24
 
25
25
  三个数据库 Kit(PgKit / MySqlKit / SQLiteKit)在重构前拥有约 400 行几乎
26
- 逐行相同的代码(连接管理 / ORM / 原生 SQL / 事务 / 表操作),仅 DB_TYPE
27
- 与 get_table_info 的 SQL 不同。本基类将全部共享实现收敛,子类只声明
28
- DB_TYPE 并覆写 get_table_info(SQLite 另含向量操作)。
26
+ 逐行相同的代码(连接管理 / ORM / 原生 SQL / 原生表操作 / 事务 / 表操作),
27
+ 仅 DB_TYPE 与 get_table_info 的 SQL 不同。本基类将全部共享实现收敛,子类
28
+ 只声明 DB_TYPE 并覆写 get_table_info(SQLite 另含向量操作)。
29
+
30
+ 2026-10-11:将原本仅 SQLiteKit 具备的 4 个方言无关方法(raw_connection /
31
+ create_raw_table / raw_insert / raw_get_by)上移到本基类,使三个 Kit 在该层
32
+ 的能力与签名完全一致(共享方法 19 → 23)。
29
33
 
30
34
  设计要点:
31
35
  - 所有公开方法保留原签名与语义,外部调用零影响。
@@ -46,8 +50,10 @@ from contextlib import contextmanager
46
50
  from typing import cast
47
51
 
48
52
  from sqlalchemy import text
53
+ from sqlalchemy.pool import PoolProxiedConnection
49
54
  from sqlmodel import Session, SQLModel
50
55
 
56
+ from kit.common_kit import CommonKit
51
57
  from kit.config.log_config import get_default_logger
52
58
  from kit.db.crud import CRUDBase
53
59
  from kit.db.engine import (
@@ -83,6 +89,27 @@ def _get_crud[T: SQLModel](model: type[T]) -> CRUDBase[T, T, T]:
83
89
  return cast(CRUDBase[T, T, T], crud)
84
90
 
85
91
 
92
+ def to_vector_literal(vector: builtins.list[float]) -> str:
93
+ """把 float 列表转换为向量文本字面量(如 [0.1, 0.2] → "[0.1,0.2]")
94
+
95
+ 供共享相同文本格式的数据库后端复用:PgKit(pgvector 的 vector 类型)与
96
+ MySqlKit(STRING_TO_VECTOR)。SQLiteKit 走 float32 bytes,不使用本函数。
97
+ """
98
+ return "[" + ",".join(repr(float(value)) for value in vector) + "]"
99
+
100
+
101
+ def generate_snowflake_ids(count: int) -> builtins.list[int]:
102
+ """生成 count 个雪花 ID(int64;当前 18 位,上限 19 位)
103
+
104
+ 供三个数据库 Kit 的向量方法在调用方未提供 id(``ids=None``)时兜底使用:
105
+ id 由**应用侧(kit)生成**而非数据库自增,保证三库语义一致,同时避免
106
+ PostgreSQL 序列不随显式 id 推进的问题(BIGSERIAL → 纯 BIGINT 主键)。
107
+
108
+ ⚠ 雪花 ID 超过 2^53,经 JSON 传给 JavaScript 会丢精度,需按字符串传输。
109
+ """
110
+ return [CommonKit.generate_snowflake_id() for _ in range(count)]
111
+
112
+
86
113
  class BaseDbKit(ABC):
87
114
  """数据库工具类共享基类
88
115
 
@@ -129,6 +156,19 @@ class BaseDbKit(ABC):
129
156
  except Exception:
130
157
  return False
131
158
 
159
+ @classmethod
160
+ def raw_connection(cls) -> PoolProxiedConnection:
161
+ """获取原生 DBAPI 连接(引擎侧扩展加载已由 engine.py 自动完成)
162
+
163
+ PostgreSQL 返回 psycopg2 连接、MySQL 返回 pymysql 连接、SQLite 返回
164
+ sqlite3 连接(sqlite-vector 扩展已自动加载)。用于执行驱动特有函数与
165
+ 静态 DDL。
166
+
167
+ ⚠ 调用方负责提交与关闭连接。psycopg2 / pymysql 默认**不开启自动提交**,
168
+ 与 sqlite3 的使用习惯不同:需要落库时必须显式 commit。
169
+ """
170
+ return get_engine(cls.DB_TYPE).raw_connection()
171
+
132
172
  # ==================== ORM 操作(自动管理 session) ====================
133
173
 
134
174
  @classmethod
@@ -350,6 +390,71 @@ class BaseDbKit(ABC):
350
390
  logger.info(f"✅ 执行更新 → 影响 {affected} 行")
351
391
  return affected
352
392
 
393
+ # ==================== 原生表操作 ====================
394
+
395
+ @classmethod
396
+ def create_raw_table(
397
+ cls, table_name: str, columns: dict[str, str], if_not_exists: bool = True
398
+ ) -> None:
399
+ """根据「列名 → 列定义」字典创建普通表
400
+
401
+ Args:
402
+ table_name: 表名
403
+ columns: 列定义字典,如 {"id": "BIGSERIAL PRIMARY KEY", "name": "TEXT"}
404
+ if_not_exists: 是否附加 IF NOT EXISTS(默认 True)
405
+
406
+ ⚠ 列定义须按**目标数据库方言**书写,本方法只做字符串拼接与执行,
407
+ 不做方言翻译:
408
+ PostgreSQL: {"id": "BIGSERIAL PRIMARY KEY", "name": "TEXT"}
409
+ MySQL: {"id": "INT AUTO_INCREMENT PRIMARY KEY", "name": "VARCHAR(100)"}
410
+ SQLite: {"id": "INTEGER PRIMARY KEY", "name": "TEXT"}
411
+ """
412
+ column_defs = ", ".join(
413
+ f"{name} {definition}" for name, definition in columns.items()
414
+ )
415
+ if_not_exists_sql = "IF NOT EXISTS " if if_not_exists else ""
416
+ sql = f"CREATE TABLE {if_not_exists_sql}{table_name} ({column_defs})"
417
+ with get_engine(cls.DB_TYPE).connect() as conn:
418
+ conn.execute(text(sql))
419
+ conn.commit()
420
+ logger.info(f"✅ 创建表 {table_name}")
421
+
422
+ @classmethod
423
+ def raw_insert(cls, table_name: str, data: dict[str, object]) -> int:
424
+ """向指定表插入一行数据(键为列名)
425
+
426
+ Args:
427
+ table_name: 表名
428
+ data: 列名 → 值 字典
429
+
430
+ Returns:
431
+ 受影响的行数
432
+ """
433
+ columns = ", ".join(data.keys())
434
+ placeholders = ", ".join(f":{name}" for name in data)
435
+ sql = f"INSERT INTO {table_name} ({columns}) VALUES ({placeholders})"
436
+ return cls.execute(sql, dict(data))
437
+
438
+ @classmethod
439
+ def raw_get_by(
440
+ cls, table_name: str, column: str, value: object
441
+ ) -> dict[str, object] | None:
442
+ """按单列等值查询一行
443
+
444
+ Args:
445
+ table_name: 表名
446
+ column: 列名
447
+ value: 查询值
448
+
449
+ Returns:
450
+ 匹配的第一行(字典);无匹配返回 None
451
+ """
452
+ rows = cls.query(
453
+ f"SELECT * FROM {table_name} WHERE {column} = :value LIMIT 1",
454
+ {"value": value},
455
+ )
456
+ return rows[0] if rows else None
457
+
353
458
  # ==================== 事务管理 ====================
354
459
 
355
460
  @classmethod