gjdatac-api 0.0.6__tar.gz → 0.0.7__tar.gz

{gjdatac_api-0.0.6 → gjdatac_api-0.0.7}/PKG-INFO

@@ -1,14 +1,10 @@
-Metadata-Version: 2.1
-Name: gjdatac_api
-Version: 0.0.6
-Summary: 主动管理项目第一版(部分接口)
-Home-page: UNKNOWN
-Author: yin
-Author-email: 2018209921@qq.com
-License: UNKNOWN
-Platform: UNKNOWN
-Requires-Python: >3.6
-Description-Content-Type: text/markdown
-
-第一次提交，测试是否可用
-
+Metadata-Version: 2.1
+Name: gjdatac_api
+Version: 0.0.7
+Summary: 主动管理项目第一版(部分接口)
+Author: yin
+Author-email: 2018209921@qq.com
+Requires-Python: >3.6
+Description-Content-Type: text/markdown
+
+第一次提交，测试是否可用

{gjdatac_api-0.0.6 → gjdatac_api-0.0.7}/gjdatac_api/data_api_class.py

@@ -42,7 +42,7 @@ class GJDataC:
         self.db_session.close()
 
         ''' get_price 接口相关属性 '''
-        self.get_price_data = None  # 用于存放get_price接口数据
+        # self.get_price_data = None  # 用于存放get_price接口数据
 
         ''' get_instruments 接口相关属性 '''
         self.get_instruments_data = None  # 用于存放get_instruments接口数据
@@ -319,19 +319,19 @@ class GJDataC:
 
         ''' 参数校验完成后，开始根据参数从服务器获取数据 '''
         # 此处获取数据时已经根据order_book_ids筛选过一次数据了，所以后续不需要再对该字段进行筛选
-        self.get_price_data_get_data(order_book_ids, asset_type, frequency)
+        data = self.get_price_data_get_data(order_book_ids, asset_type, frequency, start_date, end_date)
 
         ''' 数据处理 '''
         # 根据frequency进行处理
-        self.get_price_by_type_frequency(asset_type, frequency)
+        data = self.get_price_by_type_frequency(asset_type, frequency, data)
 
         # 根据start_date和end_date筛选数据
-        self.get_price_filter_by_date(start_date, end_date, order_book_ids)
+        data = self.get_price_filter_by_date(start_date, end_date, order_book_ids, data)
 
         # 对fields进行处理
-        self.get_price_validate_fields(fields)
+        data = self.get_price_validate_fields(fields, data)
 
-        return self.get_price_data
+        return data
 
     # @staticmethod
     def get_price_validate_order_book_ids(self, order_book_ids):
@@ -419,7 +419,7 @@ class GJDataC:
         else:
             return False
 
-    def get_price_filter_by_date(self, start_date, end_date, order_book_ids):
+    def get_price_filter_by_date(self, start_date, end_date, order_book_ids, data):
         """
         根据start_date和end_date筛选数据
         此处order_book_ids参数用于处理未传递start_date和end_date的情况(根据order_book_ids返回距离当前时间最近的一条数据)
@@ -431,32 +431,34 @@ class GJDataC:
         """
         # 将'date_time'列转换为datetime类型
         try:
-            if self.get_price_data['datetime'].dtype != 'datetime64[ns]':
-                self.get_price_data['datetime'] = pd.to_datetime(self.get_price_data['datetime'])
+            if data['datetime'].dtype != 'datetime64[ns]':
+                data['datetime'] = pd.to_datetime(data['datetime'])
         except ValueError:
             raise ValueError("source data's datetime format is not correct")
 
         # 如果传递了start_date 和 end_date, 则返回时间段内的数据
         if start_date and end_date:
-            self.get_price_data = self.get_price_data[
-                (self.get_price_data['datetime'] >= start_date) & (self.get_price_data['datetime'] <= end_date)]
+            data = data[
+                (data['datetime'] >= start_date) & (data['datetime'] <= end_date)]
 
         # 如果没有传递start_date 和 end_date, 则根据传入的order_book_ids返回每个合约距离当前时间最近的一条数据
         elif not start_date and not end_date:
             date_time = datetime.datetime.now()
-            self.get_price_data = self.get_price_data[
-                self.get_price_data["datetime"] <= date_time]
+            data = data[
+                data["datetime"] <= date_time]
 
             # 根据传入的order_book_ids进行处理
             if isinstance(order_book_ids, str):
-                self.get_price_data = self.get_price_data.tail(1)
+                data = data.tail(1)
             else:
                 # 将order_book_id作为分组键，并找到每个分组中距离当前时间最近的数据
-                nearest_data = self.get_price_data.groupby('order_book_ids')
+                nearest_data = data.groupby('order_book_ids')
                 # 使用 tail(1) 获取每个组的最后一条数据
-                self.get_price_data = nearest_data.apply(lambda x: x.tail(1)).reset_index(drop=True)
+                data = nearest_data.apply(lambda x: x.tail(1)).reset_index(drop=True)
+
+        return data
 
-    def get_price_validate_fields(self, fields):
+    def get_price_validate_fields(self, fields, data):
         """
         根据用户选择的字段返回数据
         :param fields: 字段列表 -- 用户传入的需要返回的字段
@@ -464,9 +466,11 @@ class GJDataC:
         :return : None
 
         """
-        self.get_price_data = self.general_validate_fields(self.get_price_data, fields)
+        data = self.general_validate_fields(data, fields)
+
+        return data
 
-    def get_price_by_type_frequency(self, asset_type, frequency):
+    def get_price_by_type_frequency(self, asset_type, frequency, data):
         """
         根据合约类型和frequency筛选数据
 
@@ -486,7 +490,9 @@ class GJDataC:
         # frequency存在再根据频率对数据做进一步处理
         else:
             bar_or_tick = get_price_frequency_dict[asset_type][suffix]  # 获取数据类型是bar还是tick，根据值处理字段
-            self.get_price_data_rename_columns(bar_or_tick)  # 重命名字段
+            data = self.get_price_data_rename_columns(bar_or_tick, data)  # 重命名字段
+
+        return data
 
     @staticmethod
     def _ends_with(variable, suffixes):
@@ -500,7 +506,7 @@ class GJDataC:
                 return True, suffix
         return False, ""
 
-    def get_price_data_rename_columns(self, bar_or_tick):
+    def get_price_data_rename_columns(self, bar_or_tick, data):
         """
         将从数据库中获取的数据列名重命名
 
@@ -509,9 +515,10 @@ class GJDataC:
         """
 
         new_columns = get_price_data_type_dict.get(bar_or_tick)
-        self.get_price_data = self.get_price_data.rename(columns=new_columns)
+        data = data.rename(columns=new_columns)
+        return data
 
-    def _get_price_get_data(self, order_book_ids, table_name, db_path):
+    def _get_price_get_data(self, order_book_ids, table_name, db_path, start_date, end_date):
         """
         用于接收数据表以及数据库，获取数据
         : params order_book_ids: 合约代码
@@ -520,6 +527,7 @@ class GJDataC:
 
         : return filtered_data: 从数据库获取并根据合约代码筛选后的数据
         """
+
         get_price_data, db_session = self.connect_db(table_name, db_path)
 
         # 使用 DolphinDB 的 where 子句筛选数据
@@ -528,9 +536,15 @@ class GJDataC:
         else:
             limit_data = get_price_data.where(f"instrument_id in {order_book_ids}")
 
+        # 将日期转换成 DolphinDB 识别的日期格式，用于筛选数据
+        format_start_date = self.get_price_format_date(start_date)
+        format_end_date = self.get_price_format_date(end_date)
+
+        # 根据日期对数据再次进行筛选，最大程度减轻数据库压力
+        limit_data = limit_data.where(f"trade_time >= {format_start_date} and trade_time <= {format_end_date}")
+
         print("开始处理数据\n")
-        if limit_data.rows > 1000000:
-            print(f"当前获取的数据量较大,总数据量为: {limit_data.rows}, 执行时间可能较久,建议调整参数范围,多次获取")
+        print("总数据量: ", limit_data.rows)
 
         # 分批处理
         filtered_data = self._get_price_get_data_todf(limit_data)
@@ -540,6 +554,18 @@ class GJDataC:
 
         return filtered_data
 
+    @staticmethod
+    def get_price_format_date(date_str):
+        """将日期字符串格式化为 'YYYY.MM.DD' 格式。
+        : params date_str: 日期字符串，例如 '2018-01-04 09:01:00'。
+        : return ：
+            格式化后的日期字符串，例如 '2018.01.04'。
+        """
+        if isinstance(date_str, str):
+            date_obj = datetime.datetime.strptime(date_str, '%Y-%m-%d %H:%M:%S')
+            return date_obj.strftime('%Y.%m.%d')
+        return date_str.strftime('%Y.%m.%d')
+
     @staticmethod
     def _get_price_get_data_todf(data):
         """
@@ -559,52 +585,7 @@ class GJDataC:
             return result
         return data.toDF()
 
-    # @staticmethod
-    # def _get_price_get_data_todf_in_batches(self, data, order_book_ids):
-    #     """
-    #     用于接收从数据库获取的数据，并分批处理，将其转换成dataframe格式的数据返回
-    #     : params data: 从数据库获取的数据
-    #     : params order_book_ids: 合约代码
-    #     : return : 转换成dataframe格式后的数据
-    #     """
-
-    #     result = pd.DataFrame()
-    #     if isinstance(order_book_ids, str):
-    #         if data.rows > 1000000:
-    #             chunk_size, start = 1000000, 0
-    #             while start < data.rows:
-    #                 limit_data = data.limit([start, chunk_size]).toDF()
-    #                 result = limit_data if result.empty else pd.concat([result, limit_data], ignore_index=True)
-    #                 start += chunk_size
-
-    #             return result
-    #         return data.toDF()
-    #     elif isinstance(order_book_ids, list):
-    #         for order_book_id in order_book_ids:
-    #             instrument_id_df = self._get_price_get_data_todf_by_instrument_id(data, order_book_id, result)
-    #             result = instrument_id_df if result.empty else pd.concat([result, instrument_id_df], ignore_index=True)
-    #         return result
-    # def _get_price_get_data_todf_by_instrument_id(self, data, order_book_id, result_df):
-    #     """
-    #     此方法用于批量获取数据(数据量过大)
-    #     :param data: 从dolphindb查询到的数据
-    #     :param order_book_ids: 合约代码列表
-    #     :param result_df: 处理后的dataframe结果集
-    #     """
-
-    #     data.where(f"instrument_id='{order_book_id}'")
-
-    #     if data.rows > 1000000:
-    #         chunk_size, start = 1000000, 0
-    #         while start < data.rows:
-    #             limit_data = data.limit([start, chunk_size]).toDF()
-    #             result_df = limit_data if result_df.empty else pd.concat([result_df, limit_data], ignore_index=True)
-    #             start += chunk_size
-
-    #         return result_df
-    #     return data.toDF()
-
-    def get_price_data_get_data(self, order_book_ids, asset_type, frequency):
+    def get_price_data_get_data(self, order_book_ids, asset_type, frequency, start_date, end_date):
         """
         根据参数获取数据库和表名，调用接口获取数据
 
@@ -636,7 +617,8 @@ class GJDataC:
         if db_table_name is None:
             raise Exception("frequency is not valid for this asset_type")
 
-        self.get_price_data = self._get_price_get_data(order_book_ids, *db_table_name)
+        data = self._get_price_get_data(order_book_ids, *db_table_name, start_date, end_date)
+        return data
 
     """ get_instruments(合约基础信息) """
 

{gjdatac_api-0.0.6 → gjdatac_api-0.0.7}/gjdatac_api.egg-info/PKG-INFO

@@ -1,14 +1,10 @@
-Metadata-Version: 2.1
-Name: gjdatac-api
-Version: 0.0.6
-Summary: 主动管理项目第一版(部分接口)
-Home-page: UNKNOWN
-Author: yin
-Author-email: 2018209921@qq.com
-License: UNKNOWN
-Platform: UNKNOWN
-Requires-Python: >3.6
-Description-Content-Type: text/markdown
-
-第一次提交，测试是否可用
-
+Metadata-Version: 2.1
+Name: gjdatac-api
+Version: 0.0.7
+Summary: 主动管理项目第一版(部分接口)
+Author: yin
+Author-email: 2018209921@qq.com
+Requires-Python: >3.6
+Description-Content-Type: text/markdown
+
+第一次提交，测试是否可用

{gjdatac_api-0.0.6 → gjdatac_api-0.0.7}/setup.cfg

@@ -1,4 +1,4 @@
-[egg_info]
-tag_build = 
-tag_date = 0
-
+[egg_info]
+tag_build = 
+tag_date = 0
+

{gjdatac_api-0.0.6 → gjdatac_api-0.0.7}/setup.py

@@ -5,7 +5,7 @@ with open('description_info.md', 'r', encoding='utf-8') as f:
 
 setup(
     name='gjdatac_api',  # 你的包名
-    version='0.0.6',  # 版本号
+    version='0.0.7',  # 版本号
     description='主动管理项目第一版(部分接口)',  # 包的简要描述
     long_description=long_description,  # 包的详细描述
     long_description_content_type='text/markdown',  # 描述文件的类型