mdbq 4.0.8__tar.gz → 4.0.9__tar.gz

{mdbq-4.0.8 → mdbq-4.0.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.8
+Version: 4.0.9
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.0.9/mdbq/__version__.py

@@ -0,0 +1 @@
+VERSION = '4.0.9'

{mdbq-4.0.8 → mdbq-4.0.9}/mdbq/aggregation/query_data.py

@@ -119,9 +119,16 @@ def upload_data_decorator(**upload_kwargs):
                     return None
 
                 # 处理 DataFrame 结果
-                if isinstance(result, pd.DataFrame):
+                if isinstance(result, (pd.DataFrame, list, dict)):
                     if set_type is not None:
-                        result = reorder_columns(result, set_type)
+                        if isinstance(result, pd.DataFrame):
+                                result = reorder_columns(result, set_type)
+                        elif isinstance(result, list):
+                            # 如果是list，转换为DataFrame以调整列顺序
+                            result = reorder_columns(pd.DataFrame(result), set_type)
+                        elif isinstance(result, dict):
+                            # 如果是dict，转换为DataFrame以调整列顺序
+                            result = reorder_columns(pd.DataFrame([result]), set_type)
                     
                     # 合并参数
                     merged_kwargs = {
@@ -143,12 +150,19 @@ def upload_data_decorator(**upload_kwargs):
 
                     df, extra_kwargs = result[0], result[1]
                     
-                    if not isinstance(df, pd.DataFrame):
-                        logger.warning('函数返回的元组第一个元素不是DataFrame，直接返回原结果，不执行上传', {'函数': func.__name__, '库': db_name, '表': table_name})
+                    if not isinstance(df, (pd.DataFrame, list, dict)):
+                        logger.warning('函数返回的元组第一个元素不是DataFrame/list/dict，直接返回原结果，不执行上传', {'函数': func.__name__, '库': db_name, '表': table_name})
                         return result
 
                     if set_type is not None:
-                        df = reorder_columns(df, set_type)
+                        if isinstance(df, pd.DataFrame):
+                                df = reorder_columns(df, set_type)
+                        elif isinstance(df, list):
+                            # 如果是list，转换为DataFrame以调整列顺序
+                            df = reorder_columns(pd.DataFrame(df), set_type)
+                        elif isinstance(df, dict):
+                            # 如果是dict，转换为DataFrame以调整列顺序
+                            df = reorder_columns(pd.DataFrame([df]), set_type)
                         result = (df, extra_kwargs) + result[2:]
 
                     # 合并参数
@@ -2370,61 +2384,57 @@ class MysqlDatasQuery:
             '更新时间': 'timestamp',
         }
         logger.info('正在更新数据库', {'主机': f'{host}:{port}', '库': db_name, '表': table_name})
-        new_dict = {
-            '日期': '',
-            '店铺名称': '',
-            '场次信息': '',
-            '场次id': '',
-            '直播开播时间': '',
-            '开播时长': '',
-            '封面图点击率': '',
-            '观看人数': '',
-            '观看次数': '',
-            '新增粉丝数': '',
-            '流量券消耗': '',
-            '观看总时长': '',
-            '人均观看时长': '',
-            '次均观看时长': '',
-            '商品点击人数': '',
-            '商品点击次数': '',
-            '商品点击率': '',
-            '加购人数': '',
-            '加购件数': '',
-            '加购次数': '',
-            '成交金额': '',
-            '成交人数': '',
-            '成交件数': '',
-            '成交笔数': '',
-            '成交转化率': '',
-            '退款人数': '',
-            '退款笔数': '',
-            '退款件数': '',
-            '退款金额': '',
-            '预售定金支付金额': '',
-            '预售预估总金额': '',
-        }
-        _results = []
-        for dict_data in df.to_dict(orient='records'):
-            new_dict.update(dict_data)
-            _results.append(new_dict)
-        if _results:
-            return _results, {
-                'db_name': db_name,
-                'table_name': table_name,
-                'set_typ': set_typ,
-                'primary_keys': ['场次id'],  # 创建唯一主键
-                'check_duplicate': False,  # 检查重复数据
-                'duplicate_columns': [],  # 指定排重的组合键
-                'update_on_duplicate': True,  # 更新旧数据
-                'allow_null': False,  # 允许插入空值
-                'partition_by': None,  # 分表方式
-                'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
-                'indexes': [],  # 普通索引列
-                'transaction_mode': 'batch',  # 事务模式
-                'unique_keys': [['场次id']],  # 唯一约束列表
-            }
-        else:
-            return None, None
+        ordered_columns = [
+            '日期',
+            '店铺名称',
+            '场次信息',
+            '场次id',
+            '直播开播时间',
+            '开播时长',
+            '封面图点击率',
+            '观看人数',
+            '观看次数',
+            '新增粉丝数',
+            '流量券消耗',
+            '观看总时长',
+            '人均观看时长',
+            '次均观看时长',
+            '商品点击人数',
+            '商品点击次数',
+            '商品点击率',
+            '加购人数',
+            '加购件数',
+            '加购次数',
+            '成交金额',
+            '成交人数',
+            '成交件数',
+            '成交笔数',
+            '成交转化率',
+            '退款人数',
+            '退款笔数',
+            '退款件数',
+            '退款金额',
+            '预售定金支付金额',
+            '预售预估总金额',
+        ]
+        # 使用reindex重排列顺序，未定义的列会自动放在最后
+        df = df.reindex(columns=[col for col in ordered_columns if col in df.columns] + 
+                              [col for col in df.columns if col not in ordered_columns])
+        return df, {
+            'db_name': db_name,
+            'table_name': table_name,
+            'set_typ': set_typ,
+            'primary_keys': [],  # 创建唯一主键
+            'check_duplicate': False,  # 检查重复数据
+            'duplicate_columns': [],  # 指定排重的组合键
+            'update_on_duplicate': True,  # 更新旧数据
+            'allow_null': False,  # 允许插入空值
+            'partition_by': None,  # 分表方式
+            'partition_date_column': '日期',  # 用于分表的日期列名，默认为'日期'
+            'indexes': [],  # 普通索引列
+            'transaction_mode': 'batch',  # 事务模式
+            'unique_keys': [['场次id']],  # 唯一约束列表
+        }
 
     # @try_except
     @upload_data_decorator()
@@ -3685,3 +3695,14 @@ def main(months=3):
 if __name__ == '__main__':
     main(months=3)
     pass
+
+    # download_manager = s_query.QueryDatas(
+    #     username=username, 
+    #     password=password, 
+    #     host=host, 
+    #     port=port,
+    #     maxconnections=10,
+    #     )
+    # sdq = MysqlDatasQuery(download_manager=download_manager) 
+    # sdq.months = 3
+    # sdq.zb_ccfx(db_name='聚合数据', table_name='生意参谋_直播场次分析')

{mdbq-4.0.8 → mdbq-4.0.9}/mdbq/mysql/uploader.py

@@ -404,7 +404,15 @@ class MySQLUploader:
             raise ValueError('set_typ 未指定')
         # set_typ的键清洗
         set_typ = {self._normalize_col(k): v for k, v in set_typ.items()}
-        column_defs = ["`id` INT NOT NULL AUTO_INCREMENT"]
+        
+        # 处理id列和主键
+        column_defs = []
+        
+        # 添加id列（仅在没有指定主键时）
+        if not primary_keys:
+            column_defs.append("`id` INT NOT NULL AUTO_INCREMENT")
+        
+        # 添加其他列
         for col_name, col_type in set_typ.items():
             if col_name == 'id':
                 continue
@@ -413,18 +421,23 @@ class MySQLUploader:
             if not allow_null and not col_type.lower().startswith('json'):
                 col_def += " NOT NULL"
             column_defs.append(col_def)
+            
         # 主键处理逻辑调整
         def _index_col_sql(col):
             col_type = set_typ.get(col, '').lower()
             if 'varchar' in col_type or 'text' in col_type:
                 return f"`{self._normalize_col(col)}`(100)"
             return f"`{self._normalize_col(col)}`"
+            
+        # 处理主键
         if primary_keys and len(primary_keys) > 0:
+            # 如果指定了主键，直接使用指定的主键
             safe_primary_keys = [_index_col_sql(pk) for pk in primary_keys]
             primary_key_sql = f"PRIMARY KEY ({','.join(safe_primary_keys)})"
         else:
-            safe_primary_keys = [_index_col_sql('id')]
+            # 如果没有指定主键，使用id作为主键
             primary_key_sql = f"PRIMARY KEY (`id`)"
+            
         # 索引统一在CREATE TABLE中定义
         index_defs = []
         if date_column and date_column in set_typ:
@@ -435,15 +448,28 @@ class MySQLUploader:
                 if idx_col in set_typ:
                     safe_idx_col = _index_col_sql(idx_col)
                     index_defs.append(f"INDEX `idx_{self._normalize_col(idx_col)}` ({safe_idx_col})")
+                    
         # UNIQUE KEY定义
         unique_defs = []
         if unique_keys:
             for unique_cols in unique_keys:
                 if not unique_cols:
                     continue
+                # 检查唯一约束是否与主键冲突
+                if primary_keys:
+                    # 如果唯一约束的列是主键的一部分，则跳过
+                    if set(unique_cols).issubset(set(primary_keys)):
+                        logger.warning('跳过与主键冲突的唯一约束', {
+                            '库': db_name, 
+                            '表': table_name, 
+                            '唯一约束': unique_cols, 
+                            '主键': primary_keys
+                        })
+                        continue
                 safe_unique_cols = [_index_col_sql(col) for col in unique_cols]
                 unique_name = f"uniq_{'_'.join([self._normalize_col(c) for c in unique_cols])}"
                 unique_defs.append(f"UNIQUE KEY `{unique_name}` ({','.join(safe_unique_cols)})")
+                
         index_defs = list(set(index_defs))
         all_defs = column_defs + [primary_key_sql] + index_defs + unique_defs
         sql = f"""
@@ -1437,11 +1463,22 @@ class MySQLUploader:
                         try:
                             cursor.executemany(sql, values_list)
                             conn.commit()
-                            inserted = cursor.rowcount if cursor.rowcount is not None else 0
-                            total_inserted += inserted
-                            total_skipped += len(batch) - inserted
+                            # 在batch模式下，affected_rows表示实际影响的行数
+                            # 如果update_on_duplicate为True，则affected_rows包含更新的行数
+                            # 如果update_on_duplicate为False，则affected_rows只包含插入的行数
+                            affected = cursor.rowcount if cursor.rowcount is not None else 0
+                            if update_on_duplicate:
+                                # 当启用更新时，affected_rows包含插入和更新的行数
+                                # 我们需要区分插入和更新的行数
+                                # 由于无法准确区分，我们假设所有行都是插入的
+                                total_inserted += len(batch)
+                            else:
+                                # 当不启用更新时，affected_rows只包含插入的行数
+                                total_inserted += affected
+                                total_skipped += len(batch) - affected
                         except pymysql.err.IntegrityError as e:
                             conn.rollback()
+                            # 在唯一约束冲突时，所有行都被跳过
                             total_skipped += len(batch)
                             logger.debug('批量插入唯一约束冲突，全部跳过', {'库': db_name, '表': table_name, '错误': str(e)})
                         except Exception as e:
@@ -1460,10 +1497,16 @@ class MySQLUploader:
                                     values += [row.get(col) for col in dup_cols]
                                 cursor.execute(sql, values)
                                 affected = cursor.rowcount if cursor.rowcount is not None else 0
-                                if affected > 0:
+                                if update_on_duplicate:
+                                    # 当启用更新时，affected_rows包含插入和更新的行数
+                                    # 假设所有行都是插入的，因为无法区分插入和更新
                                     total_inserted += 1
                                 else:
-                                    total_skipped += 1
+                                    # 当不启用更新时，affected_rows只包含插入的行数
+                                    if affected > 0:
+                                        total_inserted += 1
+                                    else:
+                                        total_skipped += 1
                             except pymysql.err.IntegrityError as e:
                                 conn.rollback()
                                 total_skipped += 1
@@ -1482,10 +1525,16 @@ class MySQLUploader:
                                 values += [row.get(col) for col in dup_cols]
                             cursor.execute(sql, values)
                             affected = cursor.rowcount if cursor.rowcount is not None else 0
-                            if affected > 0:
+                            if update_on_duplicate:
+                                # 当启用更新时，affected_rows包含插入和更新的行数
+                                # 假设所有行都是插入的，因为无法区分插入和更新
                                 total_inserted += 1
                             else:
-                                total_skipped += 1
+                                # 当不启用更新时，affected_rows只包含插入的行数
+                                if affected > 0:
+                                    total_inserted += 1
+                                else:
+                                    total_skipped += 1
                             conn.commit()
                         except pymysql.err.IntegrityError as e:
                             conn.rollback()

{mdbq-4.0.8 → mdbq-4.0.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.2
 Name: mdbq
-Version: 4.0.8
+Version: 4.0.9
 Home-page: https://pypi.org/project/mdbq
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-4.0.8/mdbq/__version__.py

@@ -1 +0,0 @@
-VERSION = '4.0.8'