vos-data-utils 1.0.8__tar.gz → 1.0.10__tar.gz

{vos_data_utils-1.0.8 → vos_data_utils-1.0.10}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: vos-data-utils
-Version: 1.0.8
+Version: 1.0.10
 Summary: description
 Author: ValueOfSpace
 Author-email: dev@valueofspace.com
@@ -143,6 +143,39 @@ vos-data-utils is a shared utility library essential for 'Value of Space' data w
 -   업데이트
     -   날짜 빈도 dictionary 경로 업데이트
 
+</details>
+<details>
+<summary><strong>Version 1.0.9 - 2025.06</strong></summary>
+
+<div style="color: gray;">
+
+-   업데이트
+    -   법정동 데이터 업데이트(행정구역 변경사항 반영)
+        -   2024년 5월 13일: '경기도 화성시 서신면 사곳리' 관련 행정구역 변경
+    -   날짜 빈도 dictionary 업데이트
+
+</details>
+<details>
+<summary><strong>Version 1.0.10 - 2025.07</strong></summary>
+
+<div style="color: gray;">
+
+-   업데이트
+    -   Window 환경 cp949 인코딩 이슈 처리
+        -   모듈 내 주소 데이터 읽어오는 부분 encoding 옵션 명시되지 않은 부분 self.encoding 으로 수정하여 default 옵션 적용 되지 않도록 변경
+    -   한자 포함 법정동명 예외 처리 이슈
+        -   법정동 데이터 생성 시 한자 표기 유지되도록 변경
+        -   평사리 특수 케이스 처리 적용
+        -   genpnu 모듈 bjd_nm 입력변수로 받는 메서드의 예외처리 업데이트
+    -   convaddr 모듈 업데이트
+        -   법정동 변경사항 보조 데이터 업데이트
+        -   입력된 문자열(한글 주소)에 변경전 법정동이 포함되어있으면 변경후 법정동명으로 교환하여 반환하는 기능 업데이트
+    -   법정동 데이터 업데이트(행정구역 변경사항 반영)
+        -   2024년 6월 30일: '경기도 화성시 서신면 대리' 관련 행정구역 변경
+    -   날짜 빈도 dictionary 업데이트
+    -   유닛 테스트 코드(`test_genpnu`) 업데이트
+        -   dummy 데이터의 base_dt 하드코딩 부분 self.instance.base_dt_print 적용
+
 </details>
 </br>
 

{vos_data_utils-1.0.8 → vos_data_utils-1.0.10}/README.md

@@ -123,6 +123,39 @@ vos-data-utils is a shared utility library essential for 'Value of Space' data w
 -   업데이트
     -   날짜 빈도 dictionary 경로 업데이트
 
+</details>
+<details>
+<summary><strong>Version 1.0.9 - 2025.06</strong></summary>
+
+<div style="color: gray;">
+
+-   업데이트
+    -   법정동 데이터 업데이트(행정구역 변경사항 반영)
+        -   2024년 5월 13일: '경기도 화성시 서신면 사곳리' 관련 행정구역 변경
+    -   날짜 빈도 dictionary 업데이트
+
+</details>
+<details>
+<summary><strong>Version 1.0.10 - 2025.07</strong></summary>
+
+<div style="color: gray;">
+
+-   업데이트
+    -   Window 환경 cp949 인코딩 이슈 처리
+        -   모듈 내 주소 데이터 읽어오는 부분 encoding 옵션 명시되지 않은 부분 self.encoding 으로 수정하여 default 옵션 적용 되지 않도록 변경
+    -   한자 포함 법정동명 예외 처리 이슈
+        -   법정동 데이터 생성 시 한자 표기 유지되도록 변경
+        -   평사리 특수 케이스 처리 적용
+        -   genpnu 모듈 bjd_nm 입력변수로 받는 메서드의 예외처리 업데이트
+    -   convaddr 모듈 업데이트
+        -   법정동 변경사항 보조 데이터 업데이트
+        -   입력된 문자열(한글 주소)에 변경전 법정동이 포함되어있으면 변경후 법정동명으로 교환하여 반환하는 기능 업데이트
+    -   법정동 데이터 업데이트(행정구역 변경사항 반영)
+        -   2024년 6월 30일: '경기도 화성시 서신면 대리' 관련 행정구역 변경
+    -   날짜 빈도 dictionary 업데이트
+    -   유닛 테스트 코드(`test_genpnu`) 업데이트
+        -   dummy 데이터의 base_dt 하드코딩 부분 self.instance.base_dt_print 적용
+
 </details>
 </br>
 

{vos_data_utils-1.0.8 → vos_data_utils-1.0.10}/vdutils/__init__.py

@@ -10,7 +10,7 @@ Correction function to align with the current legal district by reflecting chang
 Conversion function to transform address strings into Parcel Number (PNU)
 Generation function for unique transaction case IDs in ValueofSpace
 """
-version = "1.0.8" 
+version = "1.0.10" 
 author = "ValueOfSpace"
 description = "description"
 license = "MIT License"

{vos_data_utils-1.0.8 → vos_data_utils-1.0.10}/vdutils/bjd.py

@@ -205,18 +205,38 @@ class Bjd():
             return sgg_nm
 
 
+    @staticmethod
+    def _convert_bjd_nm(
+        bjd_nm: Optional[str]
+    ) -> str:
+        """
+        평사리의 한자 표기를 올바른 형태로 변환한다
+        bjd_nm is None 일 경우 ''을 반환한다
+        """
+
+        if bjd_nm is not None and bjd_nm in ['평(坪)사리', '평(平)사리']:
+            # 평사리의 한자 표기 변환 (예: 평(坪)사리 -> 평사리(坪沙), 평(平)사리 -> 평사리(平沙))
+            bjd_nm = re.sub(r'평\(坪\)사리', '평사리(坪沙)', bjd_nm)
+            bjd_nm = re.sub(r'평\(平\)사리', '평사리(平沙)', bjd_nm)
+            return bjd_nm
+        return bjd_nm
+
+
     @staticmethod
     def _clean_bjd_nm(
         bjd_nm: Optional[str]
     ) -> str:
         """
-        행정구역명에서 한글과 숫자를 제외하고 삭제하는 기능 \n
+        행정구역명에서 한글과 숫자를 제외하고 삭제하는 기능
+        한자 표기가 포함된 괄호는 유지한다
         bjd_nm is None 일 경우 ''을 반환한다
         """
 
         if bjd_nm is not None:
-            bjd_nm = re.sub(r'\([^)]*\)', '', bjd_nm)
-            bjd_nm = re.sub(r'[^ 0-9ㄱ-ㅎ가-힣]+', '', bjd_nm)
+            # 한자 표기가 포함된 괄호는 유지하고, 다른 특수문자만 제거
+            # 한자 범위: \u4e00-\u9fff (CJK Unified Ideographs)
+            bjd_nm = re.sub(r'\([^)]*[^\u4e00-\u9fff)][^)]*\)', '', bjd_nm)
+            bjd_nm = re.sub(r'[^ 0-9ㄱ-ㅎ가-힣()\u4e00-\u9fff]+', '', bjd_nm)
             return bjd_nm
         return ''
 
@@ -249,6 +269,7 @@ class Bjd():
         res_df['시군구명'] = res_df['시군구명'].apply(lambda x: self._clean_bjd_nm(x))
         res_df['읍면동명'] = res_df['읍면동명'].apply(lambda x: self._clean_bjd_nm(x))
         res_df['리명'] = res_df['리명'].apply(lambda x: self._clean_bjd_nm(x))
+        res_df['리명'] = res_df['리명'].apply(lambda x: self._convert_bjd_nm(x)) # NOTE 평사리 한자 표기 변환
         res_df['시도명'] = res_df['시도명'].apply(lambda x: x.replace(' ', ''))
         # res_df['시군구명'] = res_df['시군구명'].apply(lambda x: x.replace(' ', ''))
         res_df['읍면동명'] = res_df['읍면동명'].apply(lambda x: x.replace(' ', ''))
@@ -288,7 +309,7 @@ class Bjd():
         )
         self.logger.info("Success Saved Bjd Dataframe To Text File")
         if self.multiple_word_sgg_list is not None:
-            with open(self.file_name_multiple_word_sgg_list, 'w') as f:
+            with open(self.file_name_multiple_word_sgg_list, 'w', encoding=self.encoding) as f:
                 f.writelines('\n'.join(self.multiple_word_sgg_list))
                 f.close()
         self.logger.info("Success Saved Multiple Sigungu List To Text File")
@@ -513,7 +534,7 @@ class SmallestBjd(CurrentBjd):
     def _save_smallest_bjd(self):
         if self.smallest_bjd_list is None:
             self._create_smallest_bjd()
-        with open(self.file_name_bjd_smallest, 'w') as f:
+        with open(self.file_name_bjd_smallest, 'w', encoding=self.encoding) as f:
             f.writelines('\n'.join(self.smallest_bjd_list))
             f.close()
         self.logger.info("Success Saved Changed Smallest Bjd Name List To Text File")
@@ -544,7 +565,7 @@ class BjdFrequencyDictionary(CurrentBjd):
         if self.bjd_frequency_dictionary is None:
             self._create_bjd_frequency_dictionary()
         bjd_frequency_list = list((key, value) for key, value in self.bjd_frequency_dictionary.items())
-        with open(self.file_name_bjd_frequency_dictionary, 'w') as f:
+        with open(self.file_name_bjd_frequency_dictionary, 'w', encoding=self.encoding) as f:
             vstr = ''
             sep = ','
             for line in bjd_frequency_list:

{vos_data_utils-1.0.8 → vos_data_utils-1.0.10}/vdutils/convaddr.py

@@ -161,13 +161,13 @@ class ConvAddr():
 
     def _prepare(self):
 
-        with open(self.file_name_bjd_current, 'r') as file_bjd_current:
+        with open(self.file_name_bjd_current, 'r', encoding=self.encoding) as file_bjd_current:
             self.bjd_current_dic: Dict[str, str] = dict((line.split('\t')[2], line.split('\t')[9].replace('\n', '')) for line in file_bjd_current)
 
-        with open(self.file_name_bjd_smallest, 'r') as file_bjd_smallest:
+        with open(self.file_name_bjd_smallest, 'r', encoding=self.encoding) as file_bjd_smallest:
             self.bjd_smallest_list: List[str] = [line.strip() for line in file_bjd_smallest]
 
-        with open(self.file_name_multiple_word_sgg_list, 'r') as file_multiple_word_sgg_list:
+        with open(self.file_name_multiple_word_sgg_list, 'r', encoding=self.encoding) as file_multiple_word_sgg_list:
             self.multiple_word_sgg_list: List[str] = [line.strip() for line in file_multiple_word_sgg_list]
 
         bjd_df: pd.DataFrame = pd.read_csv(
@@ -177,7 +177,13 @@ class ConvAddr():
             encoding=self.encoding,
             dtype={
                 '과거법정동코드': str,
-                '법정동코드': str
+                '법정동코드': str,
+                '생성일자': object,
+                '삭제일자': object,
+                '시도명': str,
+                '시군구명': str,
+                '읍면동명': str,
+                '리명': str
             })
         self.bjd_df = bjd_df
         self.sido_list: List[str] = list(sido for sido in bjd_df['시도명'].unique() if isinstance(sido, str))
@@ -189,7 +195,17 @@ class ConvAddr():
             self.file_name_bjd_current,
             sep=self.sep,
             engine='python',
-            encoding=self.encoding
+            encoding=self.encoding,
+            dtype={
+                '과거법정동코드': str,
+                '법정동코드': str,
+                '생성일자': object,
+                '삭제일자': object,
+                '시도명': str,
+                '시군구명': str,
+                '읍면동명': str,
+                '리명': str
+            }
         )
         self.bjd_current_bjd_nm_list: List[str] = list(bjd_nm for bjd_nm in bjd_current_df['법정동명'] if bjd_nm is not None)
         bjd_current_df['시도시군구명'] = bjd_current_df[['시도명', '시군구명']].apply(lambda x: self._concat_sido_sgg(*x), axis=1)
@@ -207,8 +223,15 @@ class ConvAddr():
             encoding=self.encoding,
             dtype={
                 '과거법정동코드': str,
-                '법정동코드': str
+                '법정동코드': str,
+                '생성일자_변경전': object,
+                '삭제일자_변경전': object,
+                '생성일자_변경후': object,
+                '삭제일자_변경후': object,
+                '법정동명_변경전': str,
+                '법정동명_변경후': str
             })
+        self.bjd_changed_df = bjd_changed_df
         sub_bjd_changed_df = bjd_changed_df.loc[
             (bjd_changed_df['법정동명_변경후'].isnull()==False) &
             (bjd_changed_df['법정동명_변경전'].isnull()==False)
@@ -324,6 +347,21 @@ class ConvAddr():
             return changed_bjd_list
 
 
+    def check_is_current_bjd(
+        self,
+        bjd_nm: str
+    ) -> bool:
+
+        """
+        입력된 법정동명이 현재 법정동명 리스트에 포함되어있는지 확인하여 반환
+        """
+
+        if bjd_nm in self.bjd_current_bjd_nm_list:
+            return True
+        else:
+            return False
+
+
     def correct_changed_bjd(
         self,
         addr: str,
@@ -358,20 +396,36 @@ class ConvAddr():
             raise ValueError("bjd_changed_dic is None")
 
         origin_addr: str = addr
-        changed_list: List[str] = list()
-        for old_bjd_nm in self.bjd_changed_old_bjd_nm_list:
-            if old_bjd_nm in addr:
-                changed_list.append(old_bjd_nm)
+        last_changed_bjd_nm: str = None
+        max_iterations = 10  # 무한 루프 방지
+        iteration = 0
+
+        while iteration < max_iterations:
+            changed_list: List[str] = list()
+            for old_bjd_nm in self.bjd_changed_old_bjd_nm_list:
+                if old_bjd_nm in addr:
+                    changed_list.append(old_bjd_nm)
+
+            changed_list = self.union_similar_changed_bjd(changed_list)
+            if not changed_list:  # 더 이상 변경할 것이 없으면 종료
+                break
 
-        changed_list = self.union_similar_changed_bjd(changed_list)
-        if changed_list:
             for changed_bjd_nm in changed_list:
                 after_changed_bjd_nm = self.bjd_changed_dic[changed_bjd_nm]
+                last_changed_bjd_nm = after_changed_bjd_nm
                 addr = addr.replace(changed_bjd_nm, after_changed_bjd_nm)
                 if is_log:
-                    self.logger.info(f'{origin_addr}')
                     self.logger.info(f'해당 법정동명은 변경되었습니다. 변경전 : [ {changed_bjd_nm} ] 변경후 : [ {after_changed_bjd_nm} ]')
 
+            iteration += 1
+
+        if last_changed_bjd_nm is not None:
+            if self.check_is_current_bjd(bjd_nm=last_changed_bjd_nm):
+                if is_log:
+                    self.logger.info(f'해당 법정동명은 현재 법정동명입니다.')
+            else:
+                if is_log:
+                    self.logger.warning(f'해당 법정동명은 현재 법정동명이 아닙니다.')
         return addr