neurostats-API 0.0.17__tar.gz → 0.0.18__tar.gz

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: neurostats_API
-Version: 0.0.17
+Version: 0.0.18
 Summary: The service of NeuroStats website
 Home-page: https://github.com/NeurowattStats/NeuroStats_API.git
 Author: JasonWang@Neurowatt
@@ -774,43 +774,48 @@ YoY_10  1.420500e-01  1.586797e-01  1.551364e-01
 }
 ```
 
+### 公司自結資料
+```Python
+from neurostats_API import FinanceReportFetcher
 
-## 版本紀錄
-## 0.0.16
-- 處理ValueFetcher的error #issue76
-
-- tej_fetcher新增 QOQ, YOY功能
-
-## 0.0.15
-- TechFetcher中新增指數條件
-
-- 新增tej_fetcher索取TEJ相關的資料
-
-- package新增depensnecy，可以安裝需要的相關package
+fetcher = FinanceReportFetcher(
+    mongo_uri = mongo_uri,
+    db_name = db_name,
+    collection_name = collection_name
+)
 
-## 0.0.14
-- 修改部分財報資料錯誤的乘以1000的問題
+data = fetcher.get(
+    ticker = "2330" # 任意的股票代碼
+    fetch_mode = fetcher.FetchMode.QOQ_NOCAL # 取得模式
+    start_date = "2005-01-01",
+    end_date = "2024-12-31",
+    report_type = "Q",
+    indexes = []
+) # -> pd.DataFrame or Dict[pd.DataFrame] 
+```
+- `ticker`: 股票代碼
 
-- 新增例外處理: 若資料庫對於季資料一部分index缺失的情況下仍會盡可能去將資料蒐集並呈現
+- `fetch_mode` : 取得模式，為`fetcher.YOY_NOCAL` 或 `fetcher.QOQ_NOCAL`
+    - `YOY_NOCAL`: 以end_date為準，取得與end_date同季的歷年資料，時間範圍以start_date為起始
+        > 例如`start_date = "2020-07-01"`, `end_date = "2024-01-01"`，會回傳2020~2024的第一季資料
 
-### 0.0.13
-- value_fetcher 新增獲得一序列評價的功能
+    - `QOQ_NOCAL`: 時間範圍內的每季資料
 
-### 0.0.12
-- 新增資券變化(margin trading)
+    - `QOQ`: 時間範圍內每季的每個index的數值以及QoQ
 
-- 修改法人買賣(institution_trading)的query方式
+    - `YoY`: 以end_date為準，取得與end_date同季的歷年資料以及成長率，時間範圍以start_date為起始
 
-### 0.0.11
-- 修復財務分析的千元計算問題
+- `start_date`: 開始日期，不設定時預設為`2005-01-01`
 
-- 籌碼面新增法人買賣(institution_trading)
+- `end_date`: 結束日期，不設定時預設為資料庫最新資料的日期
 
-- 將財報三表與月營收的資料型態與數值做轉換(%轉字串, 千元乘以1000)
-### 0.0.10
-- 更新指標的資料型態: 單位為千元乘以1000之後回傳整數
+- `report_type`: 選擇哪種報告，預設為`Q`
+    - `A`: 當年累計
+    - `Q`: 當季數值
+    - `TTM`: 移動四季 (包括當季在內，往前累計四個季度)
 
-- 處理銀行公司在finanace_overview會報錯誤的問題(未完全解決，因銀行公司財報有許多名稱不同，目前都會顯示為None)
+- `indexes`: 選擇的column，需要以TEJ提供的欄位名稱為準，不提供時或提供`[]`會回傳全部column
+   - 範例輸入: `['bp41', 'bp51']`
 
-### 0.0.9
-- 更新指標的資料型態: 單位為日, %, 倍轉為字串
+[TEJ資料集連結](https://tquant.tejwin.com/%E8%B3%87%E6%96%99%E9%9B%86/)
+請看 `公司自結數`

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/README.md

@@ -758,43 +758,48 @@ YoY_10  1.420500e-01  1.586797e-01  1.551364e-01
 }
 ```
 
+### 公司自結資料
+```Python
+from neurostats_API import FinanceReportFetcher
 
-## 版本紀錄
-## 0.0.16
-- 處理ValueFetcher的error #issue76
-
-- tej_fetcher新增 QOQ, YOY功能
-
-## 0.0.15
-- TechFetcher中新增指數條件
-
-- 新增tej_fetcher索取TEJ相關的資料
-
-- package新增depensnecy，可以安裝需要的相關package
+fetcher = FinanceReportFetcher(
+    mongo_uri = mongo_uri,
+    db_name = db_name,
+    collection_name = collection_name
+)
 
-## 0.0.14
-- 修改部分財報資料錯誤的乘以1000的問題
+data = fetcher.get(
+    ticker = "2330" # 任意的股票代碼
+    fetch_mode = fetcher.FetchMode.QOQ_NOCAL # 取得模式
+    start_date = "2005-01-01",
+    end_date = "2024-12-31",
+    report_type = "Q",
+    indexes = []
+) # -> pd.DataFrame or Dict[pd.DataFrame] 
+```
+- `ticker`: 股票代碼
 
-- 新增例外處理: 若資料庫對於季資料一部分index缺失的情況下仍會盡可能去將資料蒐集並呈現
+- `fetch_mode` : 取得模式，為`fetcher.YOY_NOCAL` 或 `fetcher.QOQ_NOCAL`
+    - `YOY_NOCAL`: 以end_date為準，取得與end_date同季的歷年資料，時間範圍以start_date為起始
+        > 例如`start_date = "2020-07-01"`, `end_date = "2024-01-01"`，會回傳2020~2024的第一季資料
 
-### 0.0.13
-- value_fetcher 新增獲得一序列評價的功能
+    - `QOQ_NOCAL`: 時間範圍內的每季資料
 
-### 0.0.12
-- 新增資券變化(margin trading)
+    - `QOQ`: 時間範圍內每季的每個index的數值以及QoQ
 
-- 修改法人買賣(institution_trading)的query方式
+    - `YoY`: 以end_date為準，取得與end_date同季的歷年資料以及成長率，時間範圍以start_date為起始
 
-### 0.0.11
-- 修復財務分析的千元計算問題
+- `start_date`: 開始日期，不設定時預設為`2005-01-01`
 
-- 籌碼面新增法人買賣(institution_trading)
+- `end_date`: 結束日期，不設定時預設為資料庫最新資料的日期
 
-- 將財報三表與月營收的資料型態與數值做轉換(%轉字串, 千元乘以1000)
-### 0.0.10
-- 更新指標的資料型態: 單位為千元乘以1000之後回傳整數
+- `report_type`: 選擇哪種報告，預設為`Q`
+    - `A`: 當年累計
+    - `Q`: 當季數值
+    - `TTM`: 移動四季 (包括當季在內，往前累計四個季度)
 
-- 處理銀行公司在finanace_overview會報錯誤的問題(未完全解決，因銀行公司財報有許多名稱不同，目前都會顯示為None)
+- `indexes`: 選擇的column，需要以TEJ提供的欄位名稱為準，不提供時或提供`[]`會回傳全部column
+   - 範例輸入: `['bp41', 'bp51']`
 
-### 0.0.9
-- 更新指標的資料型態: 單位為日, %, 倍轉為字串
+[TEJ資料集連結](https://tquant.tejwin.com/%E8%B3%87%E6%96%99%E9%9B%86/)
+請看 `公司自結數`

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/neurostats_API/__init__.py

@@ -1,4 +1,4 @@
-__version__='0.0.16'
+__version__='0.0.18'
 
 from .fetchers import (
     BalanceSheetFetcher,

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/neurostats_API/fetchers/base.py

@@ -97,7 +97,11 @@ class BaseTEJFetcher(abc.ABC):
         year_shifts = [1, 3, 5, 10]
         return_dict = {}
         for year in range(start_year, end_year + 1):
-            year_data = data_dict[f"{year}Q{season}"]
+            try:
+                year_data = data_dict[f"{year}Q{season}"].copy()
+            except KeyError as e:
+                continue
+
             year_keys = list(year_data.keys())
             for key in year_keys:
                 if (key in 'season'):
@@ -109,7 +113,7 @@ class BaseTEJFetcher(abc.ABC):
                     for shift in year_shifts:
                         this_value = year_data[key]
                         try:
-                            past_year = str(year - shift)
+                            past_year = year - shift
                             last_value = data_dict[f"{past_year}Q{season}"][key]
                             temp_dict[f"YoY_{shift}"] = YoY_Calculator.cal_growth(this_value, last_value, delta=shift)
                         except Exception as e:

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/neurostats_API/fetchers/tej_finance_report.py

@@ -5,6 +5,7 @@ import pandas as pd
 from pymongo import MongoClient
 from ..utils import StatsProcessor, YoY_Calculator
 import warnings
+import yaml
 
 
 class FinanceReportFetcher(BaseTEJFetcher):
@@ -20,18 +21,8 @@ class FinanceReportFetcher(BaseTEJFetcher):
         self.db = self.client[db_name]
         self.collection = self.db[collection_name]
 
-        # yapf: disabled
-        self.check_index = {
-            'coid', 'mdate', 'key3', 'no', 'sem', 'merg', 'curr', 'annd', 'fin_ind', 'bp11', 'bp21', 'bp22', 'bp31',
-            'bp41', 'bp51', 'bp53', 'bp61', 'bp62', 'bp63', 'bp64', 'bp65', 'bf11', 'bf12', 'bf21', 'bf22', 'bf41',
-            'bf42', 'bf43', 'bf44', 'bf45', 'bf99', 'bsca', 'bsnca', 'bsta', 'bscl', 'bsncl', 'bstl', 'bsse', 'bslse',
-            'debt', 'quick', 'ppe', 'ar', 'ip12', 'ip22', 'ip31', 'ip51', 'iv41', 'if11', 'isibt', 'isni', 'isnip',
-            'eps', 'ispsd', 'gm', 'opi', 'nri', 'ri', 'nopi', 'ebit', 'cip31', 'cscfo', 'cscfi', 'cscff', 'person',
-            'shares', 'wavg', 'taxrate', 'r104', 'r115', 'r105', 'r106', 'r107', 'r108', 'r201', 'r112', 'r401', 'r402',
-            'r403', 'r404', 'r405', 'r408', 'r409', 'r410', 'r502', 'r501', 'r205', 'r505', 'r517', 'r512', 'r509',
-            'r608', 'r616', 'r610', 'r607', 'r613', 'r612', 'r609', 'r614', 'r611', 'r307', 'r304', 'r305', 'r306',
-            'r316', 'r834'
-        }    # yapf: enabled
+        index_dict = StatsProcessor.load_yaml("tej_db_index.yaml")
+        self.check_index = set(index_dict[collection_name])
 
     def get(
             self,
@@ -59,17 +50,19 @@ class FinanceReportFetcher(BaseTEJFetcher):
             if (difference):
                 warnings.warn(f"{list(difference)} 沒有出現在資料表中，請確認column名稱是否正確", UserWarning)
 
+        if (not start_date):
+            start_date = datetime.strptime("2005-01-01", "%Y-%m-%d")
+        else:
+            start_date = datetime.strptime(start_date, "%Y-%m-%d")
+
         if (fetch_mode in {self.FetchMode.QOQ, self.FetchMode.QOQ_NOCAL}):
-            if (not start_date):
-                warnings.warn("No start_date specified, use default date = \"2005-01-01\"", UserWarning)
-                start_date = datetime.strptime("2005-01-01", "%Y-%m-%d")
+
             if (not end_date):
-                warnings.warn("No end_date specified, use default date = today", UserWarning)
                 end_date = datetime.today()
+            else:
+                end_date = datetime.strptime(end_date, "%Y-%m-%d")
 
             assert (start_date <= end_date)
-            start_date = datetime.strptime(start_date, "%Y-%m-%d")
-            end_date = datetime.strptime(end_date, "%Y-%m-%d")
 
             start_year = start_date.year
             start_season = (start_date.month - 1) // 4 + 1
@@ -94,7 +87,6 @@ class FinanceReportFetcher(BaseTEJFetcher):
             return data_df
 
         elif (fetch_mode in {self.FetchMode.YOY, self.FetchMode.YOY_NOCAL}):
-            start_date = datetime.strptime(start_date, "%Y-%m-%d")
             start_year = start_date.year
             end_date = self.get_latest_data_time(ticker)
             if (not end_date):
@@ -225,7 +217,6 @@ class FinanceReportFetcher(BaseTEJFetcher):
             ]
 
         fetched_data = self.collection.aggregate(pipeline).to_list()
-
         data_dict = StatsProcessor.list_of_dict_to_dict(
             fetched_data, keys=["year", "season"], delimeter="Q", data_key=report_type)
 

neurostats_api-0.0.18/neurostats_API/tools/tej_db_index.yaml

@@ -0,0 +1,135 @@
+TWN/AINVFQ1:
+- coid
+- mdate
+- key3
+- 'no'
+- sem
+- merg
+- curr
+- annd
+- fin_ind
+- bp11
+- bp21
+- bp22
+- bp31
+- bp41
+- bp51
+- bp53
+- bp61
+- bp62
+- bp63
+- bp64
+- bp65
+- bf11
+- bf12
+- bf21
+- bf22
+- bf41
+- bf42
+- bf43
+- bf44
+- bf45
+- bf99
+- bsca
+- bsnca
+- bsta
+- bscl
+- bsncl
+- bstl
+- bsse
+- bslse
+- debt
+- quick
+- ppe
+- ar
+- ip12
+- ip22
+- ip31
+- ip51
+- iv41
+- if11
+- isibt
+- isni
+- isnip
+- eps
+- ispsd
+- gm
+- opi
+- nri
+- ri
+- nopi
+- ebit
+- cip31
+- cscfo
+- cscfi
+- cscff
+- person
+- shares
+- wavg
+- taxrate
+- r104
+- r115
+- r105
+- r106
+- r107
+- r108
+- r201
+- r112
+- r401
+- r402
+- r403
+- r404
+- r405
+- r408
+- r409
+- r410
+- r502
+- r501
+- r205
+- r505
+- r517
+- r512
+- r509
+- r608
+- r616
+- r610
+- r607
+- r613
+- r612
+- r609
+- r614
+- r611
+- r307
+- r304
+- r305
+- r306
+- r316
+- r834
+TWN/AFESTM1:
+- coid
+- mdate
+- key3
+- 'no'
+- sem
+- merg
+- curr
+- annd
+- fin_ind
+- ip12
+- gm
+- opi
+- isibt
+- isni
+- isnip
+- r306
+- r316
+- eps
+- r105
+- r106
+- r107
+- r108
+- r401
+- r402
+- r403
+- r404
+- r405

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/neurostats_API.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: neurostats_API
-Version: 0.0.17
+Version: 0.0.18
 Summary: The service of NeuroStats website
 Home-page: https://github.com/NeurowattStats/NeuroStats_API.git
 Author: JasonWang@Neurowatt
@@ -774,43 +774,48 @@ YoY_10  1.420500e-01  1.586797e-01  1.551364e-01
 }
 ```
 
+### 公司自結資料
+```Python
+from neurostats_API import FinanceReportFetcher
 
-## 版本紀錄
-## 0.0.16
-- 處理ValueFetcher的error #issue76
-
-- tej_fetcher新增 QOQ, YOY功能
-
-## 0.0.15
-- TechFetcher中新增指數條件
-
-- 新增tej_fetcher索取TEJ相關的資料
-
-- package新增depensnecy，可以安裝需要的相關package
+fetcher = FinanceReportFetcher(
+    mongo_uri = mongo_uri,
+    db_name = db_name,
+    collection_name = collection_name
+)
 
-## 0.0.14
-- 修改部分財報資料錯誤的乘以1000的問題
+data = fetcher.get(
+    ticker = "2330" # 任意的股票代碼
+    fetch_mode = fetcher.FetchMode.QOQ_NOCAL # 取得模式
+    start_date = "2005-01-01",
+    end_date = "2024-12-31",
+    report_type = "Q",
+    indexes = []
+) # -> pd.DataFrame or Dict[pd.DataFrame] 
+```
+- `ticker`: 股票代碼
 
-- 新增例外處理: 若資料庫對於季資料一部分index缺失的情況下仍會盡可能去將資料蒐集並呈現
+- `fetch_mode` : 取得模式，為`fetcher.YOY_NOCAL` 或 `fetcher.QOQ_NOCAL`
+    - `YOY_NOCAL`: 以end_date為準，取得與end_date同季的歷年資料，時間範圍以start_date為起始
+        > 例如`start_date = "2020-07-01"`, `end_date = "2024-01-01"`，會回傳2020~2024的第一季資料
 
-### 0.0.13
-- value_fetcher 新增獲得一序列評價的功能
+    - `QOQ_NOCAL`: 時間範圍內的每季資料
 
-### 0.0.12
-- 新增資券變化(margin trading)
+    - `QOQ`: 時間範圍內每季的每個index的數值以及QoQ
 
-- 修改法人買賣(institution_trading)的query方式
+    - `YoY`: 以end_date為準，取得與end_date同季的歷年資料以及成長率，時間範圍以start_date為起始
 
-### 0.0.11
-- 修復財務分析的千元計算問題
+- `start_date`: 開始日期，不設定時預設為`2005-01-01`
 
-- 籌碼面新增法人買賣(institution_trading)
+- `end_date`: 結束日期，不設定時預設為資料庫最新資料的日期
 
-- 將財報三表與月營收的資料型態與數值做轉換(%轉字串, 千元乘以1000)
-### 0.0.10
-- 更新指標的資料型態: 單位為千元乘以1000之後回傳整數
+- `report_type`: 選擇哪種報告，預設為`Q`
+    - `A`: 當年累計
+    - `Q`: 當季數值
+    - `TTM`: 移動四季 (包括當季在內，往前累計四個季度)
 
-- 處理銀行公司在finanace_overview會報錯誤的問題(未完全解決，因銀行公司財報有許多名稱不同，目前都會顯示為None)
+- `indexes`: 選擇的column，需要以TEJ提供的欄位名稱為準，不提供時或提供`[]`會回傳全部column
+   - 範例輸入: `['bp41', 'bp51']`
 
-### 0.0.9
-- 更新指標的資料型態: 單位為日, %, 倍轉為字串
+[TEJ資料集連結](https://tquant.tejwin.com/%E8%B3%87%E6%96%99%E9%9B%86/)
+請看 `公司自結數`

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/neurostats_API.egg-info/SOURCES.txt

@@ -26,6 +26,7 @@ neurostats_API/tools/cash_flow_percentage.yaml
 neurostats_API/tools/finance_overview_dict.yaml
 neurostats_API/tools/profit_lose.yaml
 neurostats_API/tools/seasonal_data_field_dict.txt
+neurostats_API/tools/tej_db_index.yaml
 neurostats_API/utils/__init__.py
 neurostats_API/utils/calculate_value.py
 neurostats_API/utils/data_process.py

{neurostats_api-0.0.17 → neurostats_api-0.0.18}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 setup(
     name='neurostats_API',
-    version='0.0.17',
+    version='0.0.18',
     long_description=open('README.md', 'r', encoding='utf-8').read(),
     long_description_content_type='text/markdown',
     install_requires=[

neurostats_api-0.0.18/test/test_tej.py

@@ -0,0 +1,49 @@
+import pytest
+
+mongo_uri = "mongodb+srv://admin:Neurowatt456&@axonnews-mongodb.nlui1.mongodb.net/?retryWrites=true&w=majority&appName=axonnews-mongodb"
+ticker = "2330"
+collection_name = "TWN/AFESTM1"
+# collection_name = "TWN/AINVFQ1"
+
+def test_QoQ():
+
+
+    from neurostats_API import FinanceReportFetcher
+
+    fetcher = FinanceReportFetcher(mongo_uri, collection_name=collection_name)
+
+    modes = [
+        fetcher.FetchMode.QOQ,
+        fetcher.FetchMode.QOQ_NOCAL
+    ]
+
+
+    for mode in modes:
+        print(mode)
+        data = fetcher.get(
+            ticker,
+            fetch_mode = mode,
+            # start_date="2024-01-01",
+            # end_date="2024-12-31",
+            indexes = []
+        )
+
+        print(data)
+
+def test_YoY():
+    from neurostats_API import FinanceReportFetcher
+    fetcher = FinanceReportFetcher(mongo_uri, collection_name=collection_name)
+
+    modes = [
+        fetcher.FetchMode.YOY,
+        fetcher.FetchMode.YOY_NOCAL
+    ]
+
+    for mode in modes:
+        data = fetcher.get(
+            ticker,
+            mode,
+            start_date="2024-01-01",
+            end_date="2024-12-31",
+            indexes = ["ip12"])
+        print (data)

neurostats_api-0.0.17/test/test_tej.py

@@ -1,26 +0,0 @@
-import pytest
-
-mongo_uri = "mongodb+srv://admin:Neurowatt456&@axonnews-mongodb.nlui1.mongodb.net/?retryWrites=true&w=majority&appName=axonnews-mongodb"
-ticker = "2330"
-
-def test_QoQ():
-    from neurostats_API import FinanceReportFetcher
-
-    fetcher = FinanceReportFetcher(mongo_uri)
-
-    data = fetcher.get(
-        ticker,
-        fetch_mode = fetcher.FetchMode.QOQ_NOCAL,
-        start_date="2024-01-01",
-        end_date="2024-12-31",
-        indexes = ['bp41', 'bp51']
-    )
-
-    print(data)
-
-def test_YoY():
-    from neurostats_API import FinanceReportFetcher
-    fetcher = FinanceReportFetcher(mongo_uri)
-
-    data = fetcher.get(ticker, fetcher.FetchMode.YOY_NOCAL, indexes = ['bp41', 'bp51', 'arv'])
-    print (data)