utilskit 0.1.3__tar.gz → 0.2.1__tar.gz

{utilskit-0.1.3 → utilskit-0.2.1}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.4
 Name: utilskit
-Version: 0.1.3
+Version: 0.2.1
 Summary: description
 Author: Kimyh
 Author-email: kim_yh663927@naver.com
@@ -15,6 +15,7 @@ Requires-Dist: pandas==2.3.1
 Requires-Dist: PyMySQL==1.1.1
 Requires-Dist: SQLAlchemy==2.0.41
 Requires-Dist: tqdm==4.67.1
+Requires-Dist: xlrd==2.0.2
 Dynamic: author
 Dynamic: author-email
 Dynamic: classifier
@@ -24,9 +25,14 @@ Dynamic: requires-dist
 Dynamic: requires-python
 Dynamic: summary
 
-0.1.2
+# 0.2.1
+- repeatutila 에 get_section 함수 추가
+# 0.2.0 
+- 정식 최초 배포버전
+- 각 함수의 사용성 강화 및 비활성 함수 지정
+# 0.1.2
 - repeatutils 의 get_repeat_section 에서 하나의 값이 여러 구간에서 반복될때 마지막 구간만 나오는 부분 수정
 - repeatutils 의 get_repeat_section 및 get_stan_repeat_section 에서 추출되는 구간의 마지막 값이 +1 이 되는 부분 수정
-0.1.1
-repeatutils.py 추가
-utils.py 에서 repeat 관련 함수 제거
+# 0.1.1
+- repeatutils.py 추가
+- utils.py 에서 repeat 관련 함수 제거

{utilskit-0.1.3 → utilskit-0.2.1}/README.md

@@ -1,6 +1,11 @@
-0.1.2
+# 0.2.1
+- repeatutila 에 get_section 함수 추가
+# 0.2.0 
+- 정식 최초 배포버전
+- 각 함수의 사용성 강화 및 비활성 함수 지정
+# 0.1.2
 - repeatutils 의 get_repeat_section 에서 하나의 값이 여러 구간에서 반복될때 마지막 구간만 나오는 부분 수정
 - repeatutils 의 get_repeat_section 및 get_stan_repeat_section 에서 추출되는 구간의 마지막 값이 +1 이 되는 부분 수정
-0.1.1
-repeatutils.py 추가
-utils.py 에서 repeat 관련 함수 제거
+# 0.1.1
+- repeatutils.py 추가
+- utils.py 에서 repeat 관련 함수 제거

{utilskit-0.1.3 → utilskit-0.2.1}/setup.py

@@ -2,7 +2,7 @@ from setuptools import setup, find_packages
 
 setup(
     name="utilskit",  # 패키지 이름 (pip install 시 사용될 이름)
-    version="0.1.3",    # 버전
+    version="0.2.1",    # 버전
     packages=find_packages(),  # textbasic 폴더 내 모든 패키지 포함
     include_package_data=True,  # 이 설정을 통해 패키지 내 데이터 파일을 포함시킬 수 있음
     package_data={
@@ -13,7 +13,8 @@ setup(
         "pandas==2.3.1",
         "PyMySQL==1.1.1",
         "SQLAlchemy==2.0.41",
-        "tqdm==4.67.1"
+        "tqdm==4.67.1",
+        "xlrd==2.0.2"
     ],
     # install_requires=[
 	#    "pandas>=1.3.0,<2.0.0",  # 버전 범위 설정 방법

utilskit-0.2.1/test/test.py

@@ -0,0 +1,358 @@
+import sys
+import os
+# import time
+
+sys.path.append('/home/kimyh/library/utilskit')
+def main():
+    from utilskit import classificationutils as clu
+    label2id_dict = {
+        '고양이':0,
+        '개':1
+    }
+    t = ['고양이', '개', '개', '고양이', '고양이', '개']
+    p = ['개', '개', '고양이', '고양이', '고양이', '개']
+    id2label_dict = {
+        0:'고양이',
+        1:'개'
+    }
+    t = [1, 0, 0, 1, 0, 0, 1, 1, 1, 0, 1, 1, 0, 0, 1, 1, 0, 0, 0, 0, 0]
+    p = [1, 0, 0, 1, 1, 1, 1, 1, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 1, 1]
+    
+    print(type(id2label_dict))
+    cm = clu.confusion_matrix(
+        class_dict=id2label_dict,
+        true_list=t,
+        pred_list=p,
+        ignore_idx=None,
+        round_num=2,
+        percentage=True
+    )
+    print(cm)
+    cm.to_csv('cm.csv', encoding='utf-8-sig')
+
+def main2():
+    import pandas as pd
+    import numpy as np
+    from datetime import datetime, timedelta
+    from utilskit import dataframeutils as dfu
+    start_time = datetime.strptime('2025-07-22 10:05:15', '%Y-%m-%d %H:%M:%S')
+    end_time = start_time + timedelta(seconds=5)
+    time_range = pd.date_range(start=start_time, end=end_time, freq='S')
+    value_ary = np.random.randint(10, 20, len(time_range))
+    df = pd.DataFrame({
+        'time':time_range,
+        'value':value_ary
+    })
+    print(df)
+    df = dfu.utc2kor(
+        dataframe=df, 
+        column='time', 
+        extend=True
+    )
+    print(df)
+
+
+def main3():
+    import numpy as np
+    import pandas as pd
+    from utilskit import dataframeutils as dfu
+
+    value_ary1 = [1, 6, 3, 8, 5]
+    value_ary2 = [5, 7, 2, 6, 9]
+    df = pd.DataFrame({'col1':value_ary1, 'col2':value_ary2})
+    df = dfu.adnormal2nan(
+        dataframe=df,
+        column='col1',
+        max_value=7,
+        min_value=2
+    )
+    print(df)
+
+
+def main4():
+    import numpy as np
+    import pandas as pd
+    from datetime import datetime
+    from utilskit import dataframeutils as dfu
+
+    time_ary = ['2024-05-11 03:45:12', '2024-05-11 03:45:15', '2024-05-11 03:45:16']
+    value_ary = [1, 5, 6]
+    df = pd.DataFrame({
+        'time':time_ary,
+        'value':value_ary
+    })
+    print(df)
+    df = dfu.time_filling(
+        dataframe=df,
+        start='2024-05-11 03:45:10',
+        end='2024-05-11 03:45:20',
+        column='time'
+    )
+    print(df)
+    df = pd.DataFrame([1, 2, 3, 4], columns=['value'])
+    if dfu.isdfvalid(df, ['value']):
+        print('컬럼이 전부 존재합니다.')
+
+
+def main5():
+    import pandas as pd
+    import numpy as np
+    from utilskit import dataframeutils as dfu
+
+    value_ary1 = [1, np.nan, np.nan, 2, 3, np.nan, np.nan, np.nan]
+    value_ary2 = np.random.randint(0, 10, size=len(value_ary1))
+    df = pd.DataFrame({
+        'value1':value_ary1,
+        'value2':value_ary2
+    })
+    print(df)
+    df = dfu.fill_repeat_nan(
+        dataframe=df,
+        column='value1',
+        repeat=3
+    )
+    print(df)
+
+
+def main6():
+    import pandas as pd
+    import numpy as np
+    from utilskit import dataframeutils as dfu
+
+    # value_ary1 = [20, 20, 20, 20, 2, 20, 20, 20, 1, 1, 2, 1]
+    # # value_ary2 = np.random.randint(0, 10, size=len(value_ary1))
+    # df = pd.DataFrame({
+    #     'value1':value_ary1
+    # })
+    # # print(df)
+    # df = dfu.pin2nan(
+    #     dataframe=df, 
+    #     column='value1', 
+    #     max_diff=0.1,
+    #     repeat=3
+    # )
+    # print(df)
+
+    import pandas as pd
+
+    data = [19, 19, 20, 20, 1, 21, 21, 22, 1, 1, 2, 1]
+    df = pd.DataFrame({'val': data})
+
+    # 이전, 현재, 다음 값을 비교하기 위해 shift를 활용
+    df['prev'] = df['val'].shift(1)
+    df['next'] = df['val'].shift(-1)
+    print(df)
+
+    # [1]만 추출: 이전값과 다음값이 모두 1이 아니면서 현재값이 1인 경우
+    isolated_ones = df[(df['val'] == 1) & (df['prev'] != 1) & (df['next'] != 1)]
+
+    print(isolated_ones)
+
+def main7():
+    from utilskit import logutils as lu
+    log = lu.get_logger(
+        log_path='./log3',
+        log_name='whole', 
+        rollover=True
+    )
+
+    log.debug("DEBUG 메시지입니다.")
+    log.info("INFO 메시지입니다.")
+    log.warning("WARNING 메시지입니다.")
+    log.error("ERROR 메시지입니다.")
+    log.critical("CRITICAL 메시지입니다.")
+    lu.log_sort('./log3')
+
+
+def main8():
+    import numpy as np
+    from utilskit import plotutils as plu
+    np.random.seed(42)
+    x = np.arange(100)
+    data = np.random.randint(5, 20, size=100)
+    data1 = np.random.randint(5, 20, size=100)
+    data2 = np.random.randint(5, 20, size=100)
+    
+    plu.draw_plot(
+        title='whole2', 
+        x=x,
+        y=data, 
+        fig_size=(30, 8),
+        x_range=(-10, 120), 
+        y_range=(0, 25),
+        x_label='x data', 
+        y_label='y data', 
+        legend=True,
+        title_font=25, 
+        x_font=20, 
+        y_font=20,
+        x_label_font=23, 
+        y_label_font=23,
+        line_style='dash', 
+        line_size=3, 
+        marker_style='circle', 
+        marker_size=10, 
+        marker_color='white',
+        marker_border_size=2, 
+        marker_border_color='black',
+        add_x_list=[x, x],
+        add_y_list=[data1, data2],
+        add_color_list=['red', 'violet'],
+        focus_list=[(22, 27), (42, 53), (70, 76)],
+        focus_color_list=['red', 'red', 'blue'],
+        alpha_list=[0.1, 0.5, 1],
+        save_path='./image'
+    )
+
+def main9():
+    import numpy as np
+    from utilskit import plotutils as plu
+    np.random.seed(42)
+    x = np.arange(100)
+    data = np.random.randint(5, 20, size=100)
+    data1 = np.random.randint(50, 90, size=100)
+    data2 = np.random.randint(180, 190, size=100)
+    
+    plu.draw_subplot(
+        sub_title_list=['data', 'data1', 'data2'],
+        x_list=[x, x, x],
+        y_list=[data, data1, data2],
+        # sub_row_idx=3,
+        # sub_col_idx=1,
+        # fig_size=(30, 5*3),
+        # x_range_list=[(0, 100), (-10, 110), (-20, 120)],
+        # y_range_list=[(-10, 100), (-10, 100), (150, 240)],
+        # title_font=25,
+        # x_font=15,
+        # y_font=5,
+        focus_list=[(22, 27), (42, 53), (70, 76)],
+        focus_color_list=['red', 'red', 'green'],
+        alpha_list=[0.2, 0.2, 0.2],
+        save_path='./sub_image',
+        save_name='sub-focus'
+    )
+
+
+def main10():
+    import numpy as np
+    from utilskit import repeatutils as rpu
+    data = np.array(
+        [
+            1, 1, 1, 1, 1,  # 0 ~ 4
+            2, 2, 2, 2,     # 5 ~ 8
+            3, 3,           # 9 ~ 10
+            4, 4, 4,        # 11 ~ 13
+            np.nan, np.nan, np.nan, np.nan,  # 14 ~ 17
+            1, 1, 1, 1,     # 18 ~ 21
+            3, 3, 3,        # 22 ~ 24
+            np.nan, np.nan, np.nan, np.nan, np.nan, # 25 ~ 29
+            1, 1, 1, 1, 1, 1, 1,    # 30 ~ 36
+            np.nan  # 37
+        ]
+    )
+    data = ['아', '아', '아', '아', '아', '바', '바']
+    print(data)
+    repeat_section = rpu.get_repeat_section(
+        data=data,
+        repeat=4,
+        except_nan=False
+    )
+    print(repeat_section)
+
+
+def main11():
+    import numpy as np
+    from utilskit import repeatutils as rpu
+    data = np.array(
+        [
+            1, 1, 1, 1, 1,  # 0 ~ 4
+            2, 2, 2, 2,     # 5 ~ 8
+            3, 3,           # 9 ~ 10
+            4, 4, 4,        # 11 ~ 13
+            np.nan, np.nan, np.nan, np.nan,  # 14 ~ 17
+            1, 1, 1, 1,     # 18 ~ 21
+            3, 3, 3,        # 22 ~ 24
+            np.nan, np.nan, np.nan, np.nan, np.nan, # 25 ~ 29
+            1, 1, 1, 1, 1, 1, 1,    # 30 ~ 36
+            np.nan  # 37
+        ]
+    )
+    repeat_section = rpu.get_stan_repeat_section(
+        data=data,
+        value=1,
+        repeat=4,
+        mode='a',
+        reverse=True
+    )
+    print(repeat_section)
+
+
+def main12():
+    from utilskit import timeutils as tiu
+    now = tiu.get_now('년|분|시|월|초|일')
+    
+    import time
+    hh, mm, ss = tiu.time_measure(-1)
+    print(f'입력된 값은 {hh}시간 {mm}분 {ss}초 입니다.')
+
+    date_list = tiu.get_date_list(
+        year=2025,
+        mon_list=[2],
+        start_day_list=[25],
+        end_day_list=[33]
+    )
+    print(date_list)
+
+
+def main13():
+    from utilskit import utils as u
+    u.envs_setting()
+
+    a = 1
+    b = '2'
+    try:
+        c = a + b
+    except TypeError:
+        error_info = u.get_error_info()
+        print(error_info)
+    
+
+def main14():
+    import numpy as np
+    from utilskit import repeatutils as rpu
+    data = np.array(
+        [
+            1, 1, 1, 1, 1,  # 0 ~ 4
+            2, 2, 2, 2,     # 5 ~ 8
+            3, 3,           # 9 ~ 10
+            4, 4, 4,        # 11 ~ 13
+            np.nan, np.nan, np.nan, np.nan,  # 14 ~ 17
+            1, 1, 1, 1,     # 18 ~ 21
+            3, 4, 5,        # 22 ~ 24
+            np.nan, np.nan, np.nan, np.nan, np.nan, # 25 ~ 29
+            1, 1, 1, 1, 1, 1, 1,    # 30 ~ 36
+            np.nan, np.nan, np.nan  # 37 ~ 39
+        ]
+    )
+    result = rpu.get_section(
+        data, 
+        repeat=4,
+        # mode='e',   # 반복횟수 이상
+        # key='nan',  # 최대 최소 범위 지정시 무시된다.
+        max_key=3,  # 최대 3
+        min_key=2,  # 최소 2
+        # between=True,   # 사잇값
+        # max_equal=False, # 3 이하
+        # min_equal=True, # 2 이상
+        # except_nan=False,   # 최대 최소 범위 지정시 무시된다.
+        # reverse=True   # 반전 없음
+    )
+    print(result)
+
+
+if __name__ == '__main__':
+    from utilskit import logutils as lu
+    log = lu.get_logger()
+    log.info('인포메이션')
+    log.error('에러로그')
+    main14()

{utilskit-0.1.3 → utilskit-0.2.1}/utilskit/classificationutils/classificationutils.py

@@ -5,7 +5,7 @@ import sys
 import pandas as pd
 import numpy as np
 
-__all__ = ["matrix2confusion"]
+__all__ = ["confusion_matrix"]
 
 def get_max_2nd_n_reliability(pred):
     pred_min = np.expand_dims(np.min(pred, axis=1), axis=1)
@@ -79,16 +79,38 @@ def matrix2confusion(matrix, uni_label_list, round_num=4, show_percentage=True):
     
     # confusion matrix
     confusion_matrix = pd.DataFrame(matrix, index=index_list, columns=column_list)
-    confusion_matrix['accuracy'][0] = whole_accuracy
+    # confusion_matrix['accuracy'][0] = whole_accuracy
+    confusion_matrix.iloc[0, confusion_matrix.columns.get_loc('accuracy')] = whole_accuracy
     
     return confusion_matrix
 
 
-def make_confusion_matrix(mode, true_list, pred_list, ignore_idx=None, round_num=4, label2id_dict=None, id2label_dict=None, show_percentage=True):
+def confusion_matrix(class_dict, true_list, pred_list, 
+                     ignore_idx=None, round_num=2, percentage=True):
+    
+    # 모드, 데이터, dict 간 호환성 검증
+    key_list = list(class_dict.keys())
+    value_list = list(class_dict.values())
+    try:
+        _ = int(value_list[0])  # value 값이 id (정수) 인 경우
+        mode = 'label2id'
+    except ValueError:
+        try:
+            _ = int(key_list[0])
+        except ValueError:
+            raise ValueError('id 값은 정수형이어야합니다.')
+        mode = 'id2label'
+
+    t_unique_list = np.unique(true_list).tolist()
+    p_unique_list = np.unique(pred_list).tolist()
+    if not set(t_unique_list).issubset(key_list) or not set(p_unique_list).issubset(key_list):
+        raise ValueError(f'입력된 정답 데이터({t_unique_list}) 또는 예측 데이터({p_unique_list}) 가 클래스 사전의 key({key_list}) 값과 일치하지 않습니다.')
+
+
     if mode == 'label2id':
-        uni_label_list = list(label2id_dict.keys())
+        uni_label_list = key_list.copy()
     elif mode == 'id2label':
-        uni_label_list = list(id2label_dict.values())
+        uni_label_list = value_list.copy()
         
     # matrix
     matrix = []
@@ -100,8 +122,8 @@ def make_confusion_matrix(mode, true_list, pred_list, ignore_idx=None, round_num
     # count
     if mode == 'label2id':
         for t, p in zip(true_list, pred_list):
-            t_i = label2id_dict[t]
-            p_i = label2id_dict[p]
+            t_i = class_dict[t]
+            p_i = class_dict[p]
             matrix[t_i][p_i] += 1
             
     elif mode == 'id2label':
@@ -117,7 +139,7 @@ def make_confusion_matrix(mode, true_list, pred_list, ignore_idx=None, round_num
         matrix=matrix, 
         uni_label_list=uni_label_list, 
         round_num=round_num, 
-        show_percentage=show_percentage
+        show_percentage=percentage
     )
     
     return confusion_matrix

utilskit-0.2.1/utilskit/dataframeutils/__init__.py

@@ -0,0 +1 @@
+from .dataframeutils import *