mdbq 0.2.7__tar.gz → 0.2.9__tar.gz

{mdbq-0.2.7 → mdbq-0.2.9}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.2.7
+Version: 0.2.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

mdbq-0.2.9/mdbq/aggregation/optimize_data.py

@@ -0,0 +1,22 @@
+# -*- coding: UTF-8 –*-
+from mdbq.mysql import mysql
+from mdbq.config import get_myconf
+"""
+对指定数据库所有冗余数据进行清理
+"""
+
+
+def op_data(service_databases, days: int = 63):
+    for service_database in service_databases:
+        for service_name, database in service_database.items():
+            username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
+            s = mysql.OptimizeDatas(username=username, password=password, host=host, port=port)
+            s.db_name_lists = [
+                '聚合数据',
+            ]
+            s.days = days
+            s.optimize_list()
+
+
+if __name__ == '__main__':
+    op_data(service_databases=[{'home_lx': 'mysql'}], days=3650)

{mdbq-0.2.7 → mdbq-0.2.9}/mdbq/aggregation/query_data.py

@@ -2,6 +2,7 @@
 from mdbq.mongo import mongo
 from mdbq.mysql import mysql
 from mdbq.mysql import s_query
+from mdbq.aggregation import optimize_data
 from mdbq.config import get_myconf
 import datetime
 from dateutil.relativedelta import relativedelta
@@ -465,7 +466,7 @@ def data_aggregation(service_databases=[{}]):
     for service_database in service_databases:
         for service_name, database in service_database.items():
             sdq = MysqlDatasQuery(target_service=service_name)  # 实例化数据处理类
-            sdq.months = 0  # 设置数据周期
+            sdq.months = 1  # 设置数据周期， 1 表示近 2 个月
             g = GroupBy()  # 实例化数据聚合类
             # 实例化数据库连接
             username, password, host, port = get_myconf.select_config_values(target_service=service_name, database=database)
@@ -511,6 +512,8 @@ def data_aggregation(service_databases=[{}]):
             res = g.performance()   # 盈亏表，依赖其他表，单独做
             m.df_to_mysql(df=res, db_name='聚合数据', tabel_name='销售盈亏')
 
+    optimize_data.op_data(service_databases=service_databases, days=3650)  # 立即启动对聚合数据的清理工作
+
 
 if __name__ == '__main__':
     data_aggregation(service_databases=[{'company': 'mysql'}])

{mdbq-0.2.7 → mdbq-0.2.9}/mdbq/company/copysh.py

@@ -9,11 +9,14 @@ import datetime
 import shutil
 import time
 import re
-
+import socket
 from dateutil.utils import today
 from mdbq.bdup import bdup
 from mdbq.aggregation import aggregation
+from mdbq.aggregation import query_data
+from mdbq.aggregation import optimize_data
 from mdbq.config import update_conf
+from mdbq.config import get_myconf
 warnings.filterwarnings('ignore')
 
 
@@ -293,6 +296,33 @@ class UpdateMysql:
             return False, self.d_path
 
 
+def op_data(days: int =3650):
+
+    # 清理数据库， 除了 聚合数据
+    if socket.gethostname() == 'company':  # 公司台式机自身运行
+        # Mysql
+        username, password, host, port = get_myconf.select_config_values(
+            target_service='company',
+            database='mysql',
+        )
+        s = mysql.OptimizeDatas(username=username, password=password, host=host, port=port)
+        s.db_name_lists = [
+            '京东数据2',
+            '天猫数据2',
+            '市场数据2',
+            '生意参谋数据2',
+            '生意经2',
+            '属性设置2',
+            # '聚合数据',
+        ]
+        s.days = days
+        s.optimize_list()
+
+    # 聚合数据，并清理聚合数据
+    query_data.data_aggregation(service_databases=[{'company': 'mysql'}])
+
+
+
 def main():
     t = TbFiles()
     u = UpdateMysql()
@@ -308,10 +338,11 @@ def main():
             dp.cleaning(is_move=True)  # 公司台式机需要移除
             dp.upload_df(service_databases=[{'company': 'mysql'}])
 
-            # 此操作修改 .copysh_conf 文件，更新完成之后将 ch_record 改为 false
+            # 此操作用于修改 .copysh_conf 文件，将 ch_record 改为 false (更新完成)
             w = update_conf.UpdateConf(filename='.copysh_conf')
             w.update_config(option='ch_record', new_value='False')
             time.sleep(60)
+            op_data(days=3650)  # 数据清理和聚合
 
         t.sleep_minutes = 30  # 同步前休眠时间
         t.tb_file()

{mdbq-0.2.7 → mdbq-0.2.9}/mdbq/mysql/data_types.py

@@ -155,13 +155,13 @@ class DataTypes:
                 if collection_name in list(self.datas[cl][db_name].keys()):
                     return self.datas[cl][db_name][collection_name]
                 else:
-                    print(f'不存在的集合名信息: {collection_name}')
+                    print(f'不存在的集合名信息: {collection_name}, 文件位置: {json_file}')
                     return {}
             else:
-                print(f'不存在的数据库信息: {db_name}')
+                print(f'不存在的数据库信息: {db_name}, 文件位置: {json_file}')
                 return {}
         else:
-            print(f'不存在的数据分类: {cl}')
+            print(f'不存在的数据分类: {cl}, 文件位置: {json_file}')
             return {}
 
 
@@ -252,10 +252,10 @@ def main():
 
 if __name__ == '__main__':
     # main()
-    # mysql_all_dtypes()
+    mysql_all_dtypes()  # 更新 mysql 中所有数据库的 dtypes 信息到本地 json
 
-    path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
-    d = DataTypes()
-    # 从本地文件中读取 dtype 信息
-    dtypes = d.load_dtypes(cl='mysql', db_name='生意经2', collection_name='店铺指标', path=path)
-    print(dtypes)
+    # path = '/Users/xigua/数据中心/自动0备份/py/数据更新/support'
+    # d = DataTypes()
+    # # 从本地文件中读取 dtype 信息
+    # dtypes = d.load_dtypes(cl='mysql', db_name='生意经2', collection_name='店铺指标', path=path)
+    # print(dtypes)

{mdbq-0.2.7 → mdbq-0.2.9}/mdbq.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: mdbq
-Version: 0.2.7
+Version: 0.2.9
 Home-page: https://pypi.org/project/mdbsql
 Author: xigua, 
 Author-email: 2587125111@qq.com

{mdbq-0.2.7 → mdbq-0.2.9}/mdbq.egg-info/SOURCES.txt

@@ -8,6 +8,7 @@ mdbq.egg-info/dependency_links.txt
 mdbq.egg-info/top_level.txt
 mdbq/aggregation/__init__.py
 mdbq/aggregation/aggregation.py
+mdbq/aggregation/optimize_data.py
 mdbq/aggregation/query_data.py
 mdbq/bdup/__init__.py
 mdbq/bdup/bdup.py

{mdbq-0.2.7 → mdbq-0.2.9}/setup.py

@@ -3,7 +3,7 @@
 from setuptools import setup, find_packages
 
 setup(name='mdbq',
-      version='0.2.7',
+      version='0.2.9',
       author='xigua, ',
       author_email="2587125111@qq.com",
       url='https://pypi.org/project/mdbsql',