mdbq 0.2.5__py3-none-any.whl → 0.2.7__py3-none-any.whl

mdbq/aggregation/query_data.py

@@ -369,6 +369,9 @@ class GroupBy:
         df = pd.merge(df, syj, how='left', left_on=['日期', '商品id'], right_on=['日期', '宝贝id'])
         df.drop(labels='宝贝id', axis=1, inplace=True)
         df.drop_duplicates(subset=['日期', '商品id', '花费', '销售额'], keep='last', inplace=True, ignore_index=True)
+        df['商品成本'] = df.apply(lambda x: x['成本价'] + x['销售额']/x['销售量'] * 0.11 + 6 if x['销售量'] > 0 else 0, axis=1)
+        df['商品毛利'] = df.apply(lambda x: x['销售额'] - x['商品成本'] * x['销售量'], axis=1)
+        df['商品盈亏'] = df.apply(lambda x: x['商品毛利'] - x['花费'], axis=1)
         return df
 
     def as_csv(self, df, filename, path=None, encoding='utf-8_sig',
@@ -505,8 +508,8 @@ def data_aggregation(service_databases=[{}]):
                 df = g.groupby(df=df, tabel_name=tabel_name, is_maximize=True)  # 2. 聚合数据
                 # g.as_csv(df=df, filename=tabel_name + '.csv')
                 m.df_to_mysql(df=df, db_name=db_name, tabel_name=tabel_name)  # 3. 回传数据库
-            res = g.performance()
-            m.df_to_mysql(df=res, db_name='聚合数据', tabel_name='销售盈亏')  # 3. 回传数据库
+            res = g.performance()   # 盈亏表，依赖其他表，单独做
+            m.df_to_mysql(df=res, db_name='聚合数据', tabel_name='销售盈亏')
 
 
 if __name__ == '__main__':

mdbq/config/products.py

@@ -0,0 +1,123 @@
+# -*- coding: UTF-8 –*-
+import json
+import os
+import platform
+import getpass
+import pandas as pd
+from mdbq.mysql import mysql
+from mdbq.config import get_myconf
+""" 
+天猫货品年份基准对照
+"""
+
+
+class Products:
+    def __init__(self):
+        self.datas = []
+
+    def update_my_datas(self):
+        my_datas = [
+            {
+                '平台': '天猫', '商品id': '822020840000', '上市年份': '2024年8月'
+            },
+            {
+                '平台': '天猫', '商品id': '811000000000', '上市年份': '2024年7月'
+            },
+            {
+                '平台': '天猫', '商品id': '800000000000', '上市年份': '2024年6月'
+            },
+            {
+                '平台': '天猫', '商品id': '791359643000', '上市年份': '2024年5月'
+            },
+            {
+                '平台': '天猫', '商品id': '778971448000', '上市年份': '2024年4月'
+            },
+            {
+                '平台': '天猫', '商品id': '770576016820', '上市年份': '2024年3月'
+            },
+            {
+                '平台': '天猫', '商品id': '766115058400', '上市年份': '2024年2月'
+            },
+            {
+                '平台': '天猫', '商品id': '759478591187', '上市年份': '2024年1月'
+            },
+            {
+                '平台': '天猫', '商品id': '752770183000', '上市年份': '2023年12月'
+            },
+            {
+                '平台': '天猫', '商品id': '745123890000', '上市年份': '2023年11月'
+            },
+            {
+                '平台': '天猫', '商品id': '741000000000', '上市年份': '2023年10月'
+            },
+            {
+                '平台': '天猫', '商品id': '736841920000', '上市年份': '2023年9月'
+            },
+            {
+                '平台': '天猫', '商品id': '730800000000', '上市年份': '2023年8月'
+            },
+            {
+                '平台': '天猫', '商品id': '726939636835', '上市年份': '2023年7月'
+            },
+            {
+                '平台': '天猫', '商品id': '721366048631', '上市年份': '2023年6月'
+            },
+            {
+                '平台': '天猫', '商品id': '716130443004', '上市年份': '2023年5月'
+            },
+            {
+                '平台': '天猫', '商品id': '709824308589', '上市年份': '2023年4月'
+            },
+            {
+                '平台': '天猫', '商品id': '705440027804', '上市年份': '2023年3月'
+            },
+            {
+                '平台': '天猫', '商品id': '701096067973', '上市年份': '2023年2月'
+            },
+            {
+                '平台': '天猫', '商品id': '696017000000', '上市年份': '2023年1月'
+            },
+            {
+                '平台': '天猫', '商品id': '666510000000', '上市年份': '2022年货品'
+            },
+            {
+                '平台': '天猫', '商品id': '636010000000', '上市年份': '2021年货品'
+            },
+            {
+                '平台': '天猫', '商品id': '610485872286', '上市年份': '2020年货品'
+            },
+            {
+                '平台': '天猫', '商品id': '585066000000', '上市年份': '2019年货品'
+            },
+            {
+                '平台': '天猫', '商品id': '563237000000', '上市年份': '2018年货品'
+            },
+            {
+                '平台': '天猫', '商品id': '100', '上市年份': '历史悠久'
+            },
+        ]
+        self.datas += my_datas
+
+    def to_mysql(self,):
+        self.update_my_datas()
+        df = pd.DataFrame(self.datas)
+        username, password, host, port = get_myconf.select_config_values(
+            target_service='home_lx',
+            database='mysql',
+        )
+        m = mysql.MysqlUpload(
+            username=username,
+            password=password,
+            host=host,
+            port=port,
+        )
+        m.df_to_mysql(df=df, db_name='属性设置2', tabel_name='货品年份基准')
+
+
+def main():
+    pass
+
+
+if __name__ == '__main__':
+    p = Products()
+    p.to_mysql()

mdbq/mysql/data_types.py

@@ -252,4 +252,10 @@ def main():
 
 if __name__ == '__main__':
     # main()
-    mysql_all_dtypes()
+    # mysql_all_dtypes()
+
+    path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
+    d = DataTypes()
+    # 从本地文件中读取 dtype 信息
+    dtypes = d.load_dtypes(cl='mysql', db_name='生意经2', collection_name='店铺指标', path=path)
+    print(dtypes)

mdbq/mysql/mysql.py

@@ -13,6 +13,7 @@ import os
 import calendar
 from mdbq.config import get_myconf
 from mdbq.dataframe import converter
+from mdbq.mysql import data_types
 
 warnings.filterwarnings('ignore')
 
@@ -107,12 +108,15 @@ class MysqlUpload:
                     cursor.execute(sql)
                     print(f'创建 mysql 表: {tabel_name}')
 
-                cols = df.columns.tolist()
-                dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
-                # 转换为 mysql 的数据类型
-                dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=dtypes[col]) for col in cols})
+                # # 2. 列数据类型转换
+                # cols = df.columns.tolist()
+                # dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
+                # # 转换为 mysql 的数据类型
+                # dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=dtypes[col]) for col in cols})
+                dtypes = self.convert_dtypes(df=df, db_name=db_name, tabel_name=tabel_name)
 
-                # 2. 检查列, 不存在则添加新列
+                # 3. 检查列, 不存在则添加新列
+                cols = df.columns.tolist()
                 for col in cols:
                     sql = ('SELECT 1 FROM information_schema.columns WHERE table_schema = %s AND table_name = %s AND '
                            'column_name = %s')
@@ -134,7 +138,7 @@ class MysqlUpload:
                             cursor.execute(f"CREATE INDEX index_name ON {tabel_name}({col})")
                 connection.commit()  # 提交事务
 
-                # # 3. 移除指定日期范围内的数据, 避免重复插入
+                # # 4. 移除指定日期范围内的数据, 避免重复插入
                 # dates = df['日期'].values.tolist()
                 # start_date = pd.to_datetime(min(dates)).strftime('%Y-%m-%d')
                 # end_date = (pd.to_datetime(max(dates)) + datetime.timedelta(days=1)).strftime('%Y-%m-%d')
@@ -142,7 +146,7 @@ class MysqlUpload:
                 # cursor.execute(sql)
                 # connection.commit()
 
-                # 4. 更新插入数据
+                # 5. 更新插入数据
                 now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S ")
                 print(f'{now}正在更新 mysql ({self.host}:{self.port}) {db_name}/{tabel_name}')
                 if str(self.host) == '192.168.1.100':  # 群晖服务器
@@ -176,8 +180,40 @@ class MysqlUpload:
         finally:
             connection.close()
 
+    def convert_dtypes(self, df, db_name, tabel_name):
+        """
+        根据本地已经存在的记录着 mysql dtypes 的 json 文件转换 df 的类型为 mysql 专有的数据类型
+        允许通过 json 文件指定列的数据类型
+        以下两种情况已经兼容:
+        1. 可能不存在本地 json 文件 (利用 convert_dtype_to_sql 函数按指定规则转换全部列)
+        2. json 文件中没有或者缺失部分列信息(利用 convert_dtype_to_sql 函数按指定规则转换缺失列)
+        """
+        cols = df.columns.tolist()
+        path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
+        # json_file = os.path.join(path, 'df_dtypes.json')
+        # if os.path.isfile(json_file):
+        d = data_types.DataTypes()
+        # 从本地文件中读取 dtype 信息
+        dtypes = d.load_dtypes(cl='mysql', db_name=db_name, collection_name=tabel_name, path=path)
+        # 可能会因为没有 json 文件, 返回 None
+        if dtypes:
+            # 按照文件记录更新 dtypes
+            dtypes.update({col: dtypes[col] for col in cols if col in dtypes.keys()})
+            # 可能存在部分列不在文件记录中
+            col_not_exist = [col for col in cols if col not in dtypes.keys()]
+            # 这些列不存在于 df 中, 必须移除
+            [dtypes.pop(col) for col in list(dtypes.keys()) if col not in cols]
+        else:
+            dtypes = df.dtypes.apply(str).to_dict()  # 将 dataframe 数据类型转为字典形式
+            col_not_exist = cols
+        # 对文件不存在的列信息进行数据类型转换(按指定规则)
+        dtypes.update({col: self.convert_dtype_to_sql(df=df, col=col, dtype=df[col].dtype) for col in col_not_exist})
+        # 至此 df 中全部列类型已经转换完成
+        # 返回结果, 示例: {'上市年份': 'mediumtext', '商品id': 'mediumtext', '平台': 'mediumtext'}
+        return dtypes
+
     def convert_dtype_to_sql(self, df, col, dtype):
-        """ 转换DataFrame列的数据类型为SQL数据类型 """
+        """ 按照以下规则转换DataFrame列的数据类型为 MYSQL 专有的数据类型 """
         # 最优先处理 ID 类型, 在 mysql 里面, 有些列数字过长不能存储为 int 类型
         if 'id' in col or 'ID' in col or 'Id' in col or '摘要' in col or '商家编码' in col or '单号' in col or '款号' in col:
             return 'mediumtext'

{mdbq-0.2.5.dist-info → mdbq-0.2.7.dist-info}/METADATA

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.2.5
+Version: 0.2.7
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.2.5.dist-info → mdbq-0.2.7.dist-info}/RECORD

@@ -2,7 +2,7 @@ mdbq/__init__.py,sha256=Il5Q9ATdX8yXqVxtP_nYqUhExzxPC_qk_WXQ_4h0exg,16
 mdbq/__version__.py,sha256=y9Mp_8x0BCZSHsdLT_q5tX9wZwd5QgqrSIENLrb6vXA,62
 mdbq/aggregation/__init__.py,sha256=EeDqX2Aml6SPx8363J-v1lz0EcZtgwIBYyCJV6CcEDU,40
 mdbq/aggregation/aggregation.py,sha256=TkxyIBowTuoNrhVkrgnYNXwNQXCX_xjh7wcYXdP65-E,58496
-mdbq/aggregation/query_data.py,sha256=Xx3x_3XVsHrVM2-wOQQFu8oOBmWpqjxXSUGAyXvKTag,22819
+mdbq/aggregation/query_data.py,sha256=FGkLsN9bC9xa53cO8wR7eknqcVhRO97TiEAoPbVLUQ8,23186
 mdbq/bdup/__init__.py,sha256=AkhsGk81SkG1c8FqDH5tRq-8MZmFobVbN60DTyukYTY,28
 mdbq/bdup/bdup.py,sha256=LAV0TgnQpc-LB-YuJthxb0U42_VkPidzQzAagan46lU,4234
 mdbq/clean/__init__.py,sha256=A1d6x3L27j4NtLgiFV5TANwEkLuaDfPHDQNrPBbNWtU,41
@@ -11,6 +11,7 @@ mdbq/company/__init__.py,sha256=qz8F_GsP_pMB5PblgJAUAMjasuZbOEp3qQOCB39E8f0,21
 mdbq/company/copysh.py,sha256=G1DFkGtR02i4yKcWGOaFHZG2ZkzRPxo4cDl9x5eqHXk,15980
 mdbq/config/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
 mdbq/config/get_myconf.py,sha256=9v3xebfcS1tptxpvk3_tGxfXjAehGVCveYe4iRUzLQQ,6372
+mdbq/config/products.py,sha256=tFqSfFSXyZXcof0gAeHq0Ftn4F5i9ucoMyIqZ1H_D2Q,4260
 mdbq/config/update_conf.py,sha256=YjGjjRchu5BcrmLJkoLjHEF2TbGOmsgCWX4LroXOYWQ,3455
 mdbq/dataframe/__init__.py,sha256=2HtCN8AdRj53teXDqzysC1h8aPL-mMFy561ESmhehGQ,22
 mdbq/dataframe/converter.py,sha256=h_BDc6oNmMCVFOUzZJq4nXNGDyJFJyycpWqlyrv7U04,3089
@@ -19,8 +20,8 @@ mdbq/log/mylogger.py,sha256=oaT7Bp-Hb9jZt52seP3ISUuxVcI19s4UiqTeouScBO0,3258
 mdbq/mongo/__init__.py,sha256=SILt7xMtQIQl_m-ik9WLtJSXIVf424iYgCfE_tnQFbw,13
 mdbq/mongo/mongo.py,sha256=q0B4wXDSTtXg_vMN7MPh6zdxl6tT68tM74LmdVNQQek,31892
 mdbq/mysql/__init__.py,sha256=A_DPJyAoEvTSFojiI2e94zP0FKtCkkwKP1kYUCSyQzo,11
-mdbq/mysql/data_types.py,sha256=OERyHwG61s-agBM1aERESYY4GWwJwaZ7NtQfbe6GTgo,10732
-mdbq/mysql/mysql.py,sha256=nVrnkHWlcttr3Mx0Bdneb04oTlKtbDL9WrAUY4IEnow,31363
+mdbq/mysql/data_types.py,sha256=-miEqNaXgDKUp3z6SkBD6D4kj6_dVeWM0rCeeK0jEi4,10998
+mdbq/mysql/mysql.py,sha256=BNKICpMCFskg8Zk8iR1tmDmOTvtNbOf8_lORPgHBdWs,33570
 mdbq/mysql/s_query.py,sha256=6-8O9MHhi3-7n3isJ7t2kTCYL2mSBC_HrxSQmXM5UtI,7901
 mdbq/mysql/year_month_day.py,sha256=VgewoE2pJxK7ErjfviL_SMTN77ki8GVbTUcao3vFUCE,1523
 mdbq/other/__init__.py,sha256=jso1oHcy6cJEfa7udS_9uO5X6kZLoPBF8l3wCYmr5dM,18
@@ -31,7 +32,7 @@ mdbq/pbix/__init__.py,sha256=Trtfaynu9RjoTyLLYBN2xdRxTvm_zhCniUkVTAYwcjo,24
 mdbq/pbix/pbix_refresh.py,sha256=JUjKW3bNEyoMVfVfo77UhguvS5AWkixvVhDbw4_MHco,2396
 mdbq/pbix/refresh_all.py,sha256=wulHs4rivf4Mi0Pii2QR5Nk9-TBcvSwnCB_WH9QULKE,5939
 mdbq/spider/__init__.py,sha256=RBMFXGy_jd1HXZhngB2T2XTvJqki8P_Fr-pBcwijnew,18
-mdbq-0.2.5.dist-info/METADATA,sha256=1Yjt_WKaqm5cV5i4HM0QzNoHKMWs8NfG09sPIvgIFh4,245
-mdbq-0.2.5.dist-info/WHEEL,sha256=eOLhNAGa2EW3wWl_TU484h7q1UNgy0JXjjoqKoxAAQc,92
-mdbq-0.2.5.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
-mdbq-0.2.5.dist-info/RECORD,,
+mdbq-0.2.7.dist-info/METADATA,sha256=CC4QeA4zCHTt9DFEDHBv55Ki22hsywd4BMndbzWLyYY,245
+mdbq-0.2.7.dist-info/WHEEL,sha256=cpQTJ5IWu9CdaPViMhC9YzF8gZuS5-vlfoFihTBC86A,91
+mdbq-0.2.7.dist-info/top_level.txt,sha256=2FQ-uLnCSB-OwFiWntzmwosW3X2Xqsg0ewh1axsaylA,5
+mdbq-0.2.7.dist-info/RECORD,,

{mdbq-0.2.5.dist-info → mdbq-0.2.7.dist-info}/WHEEL

@@ -1,5 +1,5 @@
 Wheel-Version: 1.0
-Generator: bdist_wheel (0.44.0)
+Generator: setuptools (70.1.0)
 Root-Is-Purelib: true
 Tag: py3-none-any