mdbq 0.1.9__tar.gz → 0.2.0__tar.gz

{mdbq-0.1.9 → mdbq-0.2.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.9
+Version: 0.2.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.9 → mdbq-0.2.0}/mdbq/aggregation/aggregation.py

@@ -942,7 +942,7 @@ def update_dtypte():
         df=df,
         db_name='生意参谋数据2',
         collection_name='店铺来源_月数据',
-        is_file_dtype=False,  # 关闭文件优先
+        is_file_dtype=True,  # 日常需开启文件优先, 正常不要让新文件修改 json 已有的类型
     )
     d.dtypes_to_file()
 

{mdbq-0.1.9 → mdbq-0.2.0}/mdbq/aggregation/query_data.py

@@ -203,6 +203,7 @@ class GroupBy:
             self.output = os.path.join('C:\\同步空间\\BaiduSyncdisk\\数据库导出')
         else:
             self.output = os.path.join('数据中心/数据库导出')
+        self.data_tgyj = {}
 
     def groupby(self, df, tabel_name, is_maximize=True):
         """
@@ -250,11 +251,27 @@ class GroupBy:
                        }
                 )
             df.insert(loc=1, column='推广渠道', value='万相台无界版')  # df中插入新列
+            df_new = df.groupby(['日期', '商品id'], as_index=False).agg(
+                    **{
+                        '花费': ('花费', np.sum),
+                        '成交笔数': ('成交笔数', np.max),
+                       '成交金额': ('成交金额', np.max),
+                       '自然流量曝光量': ('自然流量曝光量', np.max),
+                       '直接成交笔数': ('直接成交笔数', np.max),
+                       '直接成交金额': ('直接成交金额', np.max)
+                       }
+                )
+            self.data_tgyj.update(
+                {
+                    tabel_name: df_new,
+                }
+            )
             return df
         elif '宝贝指标' in tabel_name:
+            """ 聚合时不可以加商家编码，编码有些是空白，有些是 0 """
             df.fillna(0, inplace=True)
             df = df[(df['销售额'] != 0) | (df['退款额'] != 0)]
-            df = df.groupby(['日期', '宝贝id', '商家编码', '行业类目'], as_index=False).agg(
+            df = df.groupby(['日期', '宝贝id', '行业类目'], as_index=False).agg(
                 **{'销售额': ('销售额', np.min),
                    '销售量': ('销售量', np.min),
                    '订单数': ('订单数', np.min),
@@ -272,6 +289,11 @@ class GroupBy:
                 else '300+' if x >= 300
                 else '300以下'
             )
+            self.data_tgyj.update(
+                {
+                    tabel_name: df[['日期', '宝贝id', '销售额', '销售量']],
+                }
+            )
             return df
         elif '店铺来源_日数据' in tabel_name:
             return df
@@ -288,6 +310,11 @@ class GroupBy:
             df.drop('行业类目', axis=1, inplace=True)
             df.sort_values('宝贝id', ascending=False, inplace=True)
             df = df[(df['宝贝id'] != '973') & (df['宝贝id'] != '973')]
+            self.data_tgyj.update(
+                {
+                    tabel_name: df[['宝贝id', '商家编码']],
+                }
+            )
             return df
         elif '商品id图片对照表' in tabel_name:
             df['商品id'] = df['商品id'].astype('int64')
@@ -305,15 +332,45 @@ class GroupBy:
             df['商品图片'] = df['商品图片'].apply(lambda x: x if 'http' in x else None)  # 检查是否是 http 链接
             df.dropna(how='all', subset=['商品图片'], axis=0, inplace=True)  # 删除指定列含有空值的行
             df.sort_values(by='商品id', ascending=False, ignore_index=True, inplace=True)  # ascending=False 降序排列
+            self.data_tgyj.update(
+                {
+                    tabel_name: df[['商品id', '商品图片']],
+                }
+            )
             return df
         elif '商品成本' in tabel_name:
             df.sort_values(by=['款号', '日期'], ascending=[False, True], ignore_index=True, inplace=True)
             df.drop_duplicates(subset=['款号'], keep='last', inplace=True, ignore_index=True)
+            self.data_tgyj.update(
+                {
+                    tabel_name: df[['款号', '成本价']],
+                }
+            )
             return df
         else:
             print(f'<{tabel_name}>: Groupby 类尚未配置，数据为空')
             return pd.DataFrame({})
-    
+
+    def performance(self):
+         # print(self.data_tgyj)
+        tg, syj, idbm, pic, cost = (
+            self.data_tgyj['推广数据_宝贝主体报表'],
+            self.data_tgyj['天猫生意经_宝贝指标'],
+            self.data_tgyj['商品id编码表'],
+            self.data_tgyj['商品id图片对照表'],
+            self.data_tgyj['商品成本'])  # 这里不要加逗号
+        pic['商品id'] = pic['商品id'].astype(str)
+        df = pd.merge(idbm, pic, how='left', left_on='宝贝id', right_on='商品id')
+        df = df[['宝贝id', '商家编码', '商品图片']]
+        df = pd.merge(df, cost, how='left', left_on='商家编码', right_on='款号')
+        df = df[['宝贝id', '商家编码', '商品图片', '成本价']]
+        df = pd.merge(tg, df, how='left', left_on='商品id', right_on='宝贝id')
+        df.drop(labels='宝贝id', axis=1, inplace=True)
+        df = pd.merge(df, syj, how='left', left_on=['日期', '商品id'], right_on=['日期', '宝贝id'])
+        df.drop(labels='宝贝id', axis=1, inplace=True)
+        df.drop_duplicates(subset=['日期', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
+        return df
+
     def as_csv(self, df, filename, path=None, encoding='utf-8_sig',
                index=False, header=True, st_ascend=None, ascend=None, freq=None):
         """
@@ -448,6 +505,8 @@ def data_aggregation(service_databases=[{}]):
                 df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
                 # g.as_csv(df=df, filename=tabel_name + '.csv')
                 m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
+            res = g.performance()
+            m.df_to_mysql(df=res, db_name='聚合数据', tabel_name='销售盈亏')  # 3. 回传数据库
 
 
 if __name__ == '__main__':

mdbq-0.2.0/mdbq/mysql/data_types.py

@@ -0,0 +1,245 @@
+# -*- coding:utf-8 -*-
+import warnings
+import pandas as pd
+import numpy as np
+import chardet
+import zipfile
+
+from numpy import dtype
+from pandas.tseries.holiday import next_monday
+from pyzipper import PyZipFile
+import os
+import platform
+import json
+import pymysql
+from mdbq.mongo import mongo
+from mdbq.mysql import mysql
+from mdbq.mysql import s_query
+from mdbq.config import get_myconf
+from mdbq.dataframe import converter
+import datetime
+import time
+import re
+import shutil
+import getpass
+
+warnings.filterwarnings('ignore')
+"""
+1. 记录 dataframe 或者数据库的列信息(dtypes)
+2. 更新 mysql 中所有数据库的 dtypes 信息到本地 json
+"""
+
+
+class DataTypes:
+    """
+     数据简介: 记录 dataframe 或者数据库的列信息(dtypes)，可以记录其信息或者加载相关信息用于入库使用，
+     第一字段为分类(如 dataframe/mysql)，第二字段为数据库名，第三字段为集合名，第四段列名及其数据类型
+    """
+    def __init__(self):
+        self.datas = {
+            '_json统计':
+                {
+                    '分类': 0,
+                    '数据库量': 0,
+                    '集合数量': 0,
+                    '字段量': 0,
+                    '数据简介': '记录 dataframe 或者数据库的列信息(dtypes)',
+                }
+        }
+
+    def json_before(self, json_file):
+        """ 本地 json 文件的 dtypes 信息, 初始化更新给 self.datas """
+        if os.path.isfile(json_file):
+            with open(json_file, 'r', encoding='utf-8_sig') as f:
+                json_ = json.load(f)
+                self.datas.update(json_)
+
+    def df_dtypes_to_json(self, db_name, collection_name, path, df=pd.DataFrame(), is_file_dtype=True):
+        if len(df) == 0:
+            return
+        cv = converter.DataFrameConverter()
+        df = cv.convert_df_cols(df=df)  # 清理 dataframe 列名的不合规字符
+        dtypes = df.dtypes.apply(str).to_dict()
+        dtypes = {'dataframe': {db_name: {collection_name: dtypes}}}
+        self.dtypes_to_json(dtypes=dtypes, cl='dataframe', db_name=db_name, collection_name=collection_name, path=path, is_file_dtype=is_file_dtype)
+
+    def dtypes_to_json(self, cl, dtypes, db_name, collection_name, path, is_file_dtype, ):
+        """ 更新 dataframe 的 dtypes 信息到 json 文件 """
+        if not os.path.exists(path):
+            os.makedirs(path)
+        json_file = os.path.join(path, 'df_dtypes.json')
+        if os.path.isfile(json_file):
+            self.json_before(json_file=json_file)  # 更新本地json信息到 self.datas
+
+        if not os.path.isfile(json_file):  # 如果不存在本地 json 文件, 直接返回即可
+            self.datas.update(dtypes)
+            with open(json_file, 'w', encoding='utf-8_sig') as f:
+                json.dump(self.datas, f, ensure_ascii=False, sort_keys=True, indent=4)
+        else:  # 存在则读取，并更新 df 的 dtypes
+            if cl in self.datas.keys():
+                if db_name in list(self.datas[cl].keys()):  # ['京东数据2', '天猫数据2', '生意参谋数据2', '生意经2']
+                    if collection_name in list(self.datas[cl][db_name].keys()):
+                        if is_file_dtype:  # 旧数据优先
+                            # # 用 dtypes 更新, 允许手动指定 json 文件里面的数据类型
+                            dtypes[cl][db_name][collection_name].update(self.datas[cl][db_name][collection_name])
+                            # 将 dtypes 更新进去，使 self.datas 包含新旧信息
+                            self.datas[cl][db_name][collection_name].update(dtypes[cl][db_name][collection_name])
+                        else:  # 新数据优先
+                            self.datas[cl][db_name][collection_name].update(dtypes[cl][db_name][collection_name])
+                    else:
+                        if is_file_dtype:  # 旧数据优先
+                            dtypes[cl][db_name].update(self.datas[cl][db_name])
+                            self.datas[cl][db_name].update(dtypes[cl][db_name])
+                        else:
+                            self.datas[cl][db_name].update(dtypes[cl][db_name])
+                else:
+                    # dtypes.update(self.datas)  # 可以注释掉, 因为旧数据 self.datas 是空的
+                    self.datas[cl].update(dtypes[cl])
+            else:
+                self.datas.update(dtypes)
+
+        cif = 0  # 分类
+        dbs = 0  # 数据库
+        collections = 0  # 集合
+        cols = 0  # 字段
+        for k, v in self.datas.items():
+            if k == '_json统计':
+                continue  # 不统计头信息
+            cif += 1
+            for t, g in v.items():
+                dbs += 1
+                for d, j in g.items():
+                    collections += 1
+                    for t, p in j.items():
+                        cols += 1
+        tips = {'分类': cif, '数据库量': dbs, '集合数量': collections, '字段量': cols}
+        self.datas['_json统计'].update(tips)
+        with open(json_file, 'w', encoding='utf-8_sig') as f:
+            json.dump(
+                self.datas,
+                f,
+                ensure_ascii=False,  # 默认True，非ASCII字符将被转义。如为False，则非ASCII字符会以\uXXXX输出
+                sort_keys=True,  # 默认为False。如果为True，则字典的输出将按键排序。
+                indent=4,
+            )
+
+    def mysql_dtypes_to_json(self, db_name, tabel_name, path, is_file_dtype=True):
+        username, password, host, port = get_myconf.select_config_values(
+            target_service='home_lx',
+            database='mysql',
+        )
+        sq = s_query.QueryDatas(username=username, password=password, host=host, port=port)
+        name_type = sq.dtypes_to_list(db_name=db_name, tabel_name=tabel_name)
+        if name_type:
+            dtypes = {item['COLUMN_NAME']: item['COLUMN_TYPE'] for item in name_type}
+            dtypes = {'mysql': {db_name: {tabel_name: dtypes}}}
+            self.dtypes_to_json(dtypes=dtypes, cl='mysql', db_name=db_name, collection_name=tabel_name, path=path, is_file_dtype=is_file_dtype)
+        else:
+            print(f'数据库回传数据(name_type)为空')
+
+    def load_dtypes(self, db_name, collection_name, path, cl='dataframe', ):
+        if os.path.isfile(path):
+            self.json_before(json_file=path)  # 更新本地json信息到 self.datas
+        elif os.path.isdir(path):
+            json_file = os.path.join(path, 'df_dtypes.json')
+            if os.path.isfile(json_file):
+                self.json_before(json_file=json_file)
+            else:
+                print(f'不存在的文件: {json_file}')
+                return
+
+        if cl in self.datas.keys():
+            if db_name in list(self.datas[cl].keys()):
+                if collection_name in list(self.datas[cl][db_name].keys()):
+                    return self.datas[cl][db_name][collection_name]
+                else:
+                    print(f'不存在的集合名信息: {collection_name}')
+                    return {}
+            else:
+                print(f'不存在的数据库信息: {db_name}')
+                return {}
+        else:
+            print(f'不存在的数据分类: {cl}')
+            return {}
+
+
+def mysql_all_dtypes(path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'):
+    """
+    更新 mysql 中所有数据库的 dtypes 信息到本地 json
+    """
+    if not os.path.isdir(path):
+        if platform.system() == 'Darwin':
+            path = os.path.join('/Users', getpass.getuser(), '数据中心/自动0备份/py/数据更新/support')
+        elif platform.system() == 'Windows':
+            path = os.path.join('C:\\同步空间\\BaiduSyncdisk\\自动0备份\\py\\数据更新\\support')
+        else:
+            path = os.path.join('数据中心/数据库导出')
+
+    username, password, host, port = get_myconf.select_config_values(target_service='home_lx', database='mysql')
+    config = {
+        'host': host,
+        'port': port,
+        'user': username,
+        'password': password,
+        'charset': 'utf8mb4',  # utf8mb4 支持存储四字节的UTF-8字符集
+        'cursorclass': pymysql.cursors.DictCursor,
+    }
+
+    connection = pymysql.connect(**config)  # 连接数据库
+    with connection.cursor() as cursor:
+        sql = "SHOW DATABASES;"
+        cursor.execute(sql)
+        db_name_lists = cursor.fetchall()
+        db_name_lists = [item['Database'] for item in db_name_lists]
+        connection.close()
+
+    # db_name_lists = [
+    #     '京东数据2',
+    #     '天猫数据2',
+    #     '市场数据2',
+    #     '生意参谋数据2',
+    #     '生意经2',
+    #     '属性设置2',
+    #     '聚合数据',
+    # ]
+    results = []
+    for db_name in db_name_lists:
+        config.update({'database': db_name})  # 添加更新 config 字段
+        connection = pymysql.connect(**config)  # 连接数据库
+        with connection.cursor() as cursor:
+            sql = f"SELECT TABLE_NAME FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = '{db_name}';"
+            sql = "SHOW TABLES;"
+            cursor.execute(sql)
+            table_name = cursor.fetchall()
+            data = [{db_name: item['TABLE_NAME']} for item in table_name]
+            results += data
+        connection.close()
+        time.sleep(0.5)
+
+    d = DataTypes()
+    for result in results:
+        for k, v in result.items():
+            d.mysql_dtypes_to_json(db_name=k, tabel_name=v, path=path)
+
+
+
+def main():
+    """ 示例 """
+    path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
+    file = '/Users/xigua/Downloads/baobeitrans-2024-08-21.csv'
+    df = pd.read_csv(file, encoding='utf-8_sig', header=0, na_filter=False)
+    d = DataTypes()
+
+    # 更新一个文件的 dtype 信息到 json 文件
+    d.df_dtypes_to_json(path=path, df=df, db_name='生意经2', collection_name='宝贝指标' )
+
+    # 更新一个数据表的 dtype 信息到 json 文件
+    d.mysql_dtypes_to_json(db_name='生意经2', tabel_name='店铺指标', path=path)
+
+    # 从本地文件中读取 dtype 信息
+    dtypes = d.load_dtypes(cl='mysql', db_name='生意经2', collection_name='店铺指标', path=path)
+    print(dtypes)
+
+if __name__ == '__main__':
+    # main()
+    mysql_all_dtypes()

{mdbq-0.1.9 → mdbq-0.2.0}/mdbq/mysql/s_query.py

@@ -113,6 +113,24 @@ class QueryDatas:
         connection.close()
         return column_values
 
+    def dtypes_to_list(self, db_name, tabel_name) -> list:
+        """
+        获取数据表的指定列, 返回列表
+        [{'视频bv号': 'BV1Dm4y1S7BU', '下载进度': 1}, {'视频bv号': 'BV1ov411c7US', '下载进度': 1}]
+        """
+        if self.check_infos(db_name, tabel_name) == False:  # 检查传入的数据库和数据表是否存在
+            return []
+
+        self.config.update({'database': db_name})
+        connection = pymysql.connect(**self.config)  # 重新连接数据库
+        with connection.cursor() as cursor:
+            # 3. 获取数据表的所有列信息
+            sql = 'SELECT COLUMN_NAME, COLUMN_TYPE FROM information_schema.columns WHERE table_schema = %s AND table_name = %s'
+            cursor.execute(sql, (db_name, {tabel_name}))
+            column_name_and_type = cursor.fetchall()
+        connection.close()
+        return column_name_and_type
+
     def check_infos(self, db_name, tabel_name) -> bool:
         """ 检查数据库、数据表是否存在 """
         connection = pymysql.connect(**self.config)  # 连接数据库

{mdbq-0.1.9 → mdbq-0.2.0}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.1.9
+Version: 0.2.0
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.1.9 → mdbq-0.2.0}/mdbq.egg-info/SOURCES.txt

@@ -25,6 +25,7 @@ mdbq/log/mylogger.py
 mdbq/mongo/__init__.py
 mdbq/mongo/mongo.py
 mdbq/mysql/__init__.py
+mdbq/mysql/data_types.py
 mdbq/mysql/mysql.py
 mdbq/mysql/s_query.py
 mdbq/mysql/year_month_day.py

{mdbq-0.1.9 → mdbq-0.2.0}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='0.1.9',
+      version='0.2.0',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',