privyscope-ko 0.1.2__tar.gz

privyscope_ko-0.1.2/LICENSE

@@ -0,0 +1,201 @@
+                                 Apache License
+                           Version 2.0, January 2004
+                        http://www.apache.org/licenses/
+
+   TERMS AND CONDITIONS FOR USE, REPRODUCTION, AND DISTRIBUTION
+
+   1. Definitions.
+
+      "License" shall mean the terms and conditions for use, reproduction,
+      and distribution as defined by Sections 1 through 9 of this document.
+
+      "Licensor" shall mean the copyright owner or entity authorized by
+      the copyright owner that is granting the License.
+
+      "Legal Entity" shall mean the union of the acting entity and all
+      other entities that control, are controlled by, or are under common
+      control with that entity. For the purposes of this definition,
+      "control" means (i) the power, direct or indirect, to cause the
+      direction or management of such entity, whether by contract or
+      otherwise, or (ii) ownership of fifty percent (50%) or more of the
+      outstanding shares, or (iii) beneficial ownership of such entity.
+
+      "You" (or "Your") shall mean an individual or Legal Entity
+      exercising permissions granted by this License.
+
+      "Source" form shall mean the preferred form for making modifications,
+      including but not limited to software source code, documentation
+      source, and configuration files.
+
+      "Object" form shall mean any form resulting from mechanical
+      transformation or translation of a Source form, including but
+      not limited to compiled object code, generated documentation,
+      and conversions to other media types.
+
+      "Work" shall mean the work of authorship, whether in Source or
+      Object form, made available under the License, as indicated by a
+      copyright notice that is included in or attached to the work
+      (an example is provided in the Appendix below).
+
+      "Derivative Works" shall mean any work, whether in Source or Object
+      form, that is based on (or derived from) the Work and for which the
+      editorial revisions, annotations, elaborations, or other modifications
+      represent, as a whole, an original work of authorship. For the purposes
+      of this License, Derivative Works shall not include works that remain
+      separable from, or merely link (or bind by name) to the interfaces of,
+      the Work and Derivative Works thereof.
+
+      "Contribution" shall mean any work of authorship, including
+      the original version of the Work and any modifications or additions
+      to that Work or Derivative Works thereof, that is intentionally
+      submitted to Licensor for inclusion in the Work by the copyright owner
+      or by an individual or Legal Entity authorized to submit on behalf of
+      the copyright owner. For the purposes of this definition, "submitted"
+      means any form of electronic, verbal, or written communication sent
+      to the Licensor or its representatives, including but not limited to
+      communication on electronic mailing lists, source code control systems,
+      and issue tracking systems that are managed by, or on behalf of, the
+      Licensor for the purpose of discussing and improving the Work, but
+      excluding communication that is conspicuously marked or otherwise
+      designated in writing by the copyright owner as "Not a Contribution."
+
+      "Contributor" shall mean Licensor and any individual or Legal Entity
+      on behalf of whom a Contribution has been received by Licensor and
+      subsequently incorporated within the Work.
+
+   2. Grant of Copyright License. Subject to the terms and conditions of
+      this License, each Contributor hereby grants to You a perpetual,
+      worldwide, non-exclusive, no-charge, royalty-free, irrevocable
+      copyright license to reproduce, prepare Derivative Works of,
+      publicly display, publicly perform, sublicense, and distribute the
+      Work and such Derivative Works in Source or Object form.
+
+   3. Grant of Patent License. Subject to the terms and conditions of
+      this License, each Contributor hereby grants to You a perpetual,
+      worldwide, non-exclusive, no-charge, royalty-free, irrevocable
+      (except as stated in this section) patent license to make, have made,
+      use, offer to sell, sell, import, and otherwise transfer the Work,
+      where such license applies only to those patent claims licensable
+      by such Contributor that are necessarily infringed by their
+      Contribution(s) alone or by combination of their Contribution(s)
+      with the Work to which such Contribution(s) was submitted. If You
+      institute patent litigation against any entity (including a
+      cross-claim or counterclaim in a lawsuit) alleging that the Work
+      or a Contribution incorporated within the Work constitutes direct
+      or contributory patent infringement, then any patent licenses
+      granted to You under this License for that Work shall terminate
+      as of the date such litigation is filed.
+
+   4. Redistribution. You may reproduce and distribute copies of the
+      Work or Derivative Works thereof in any medium, with or without
+      modifications, and in Source or Object form, provided that You
+      meet the following conditions:
+
+      (a) You must give any other recipients of the Work or
+          Derivative Works a copy of this License; and
+
+      (b) You must cause any modified files to carry prominent notices
+          stating that You changed the files; and
+
+      (c) You must retain, in the Source form of any Derivative Works
+          that You distribute, all copyright, patent, trademark, and
+          attribution notices from the Source form of the Work,
+          excluding those notices that do not pertain to any part of
+          the Derivative Works; and
+
+      (d) If the Work includes a "NOTICE" text file as part of its
+          distribution, then any Derivative Works that You distribute must
+          include a readable copy of the attribution notices contained
+          within such NOTICE file, excluding those notices that do not
+          pertain to any part of the Derivative Works, in at least one
+          of the following places: within a NOTICE text file distributed
+          as part of the Derivative Works; within the Source form or
+          documentation, if provided along with the Derivative Works; or,
+          within a display generated by the Derivative Works, if and
+          wherever such third-party notices normally appear. The contents
+          of the NOTICE file are for informational purposes only and
+          do not modify the License. You may add Your own attribution
+          notices within Derivative Works that You distribute, alongside
+          or as an addendum to the NOTICE text from the Work, provided
+          that such additional attribution notices cannot be construed
+          as modifying the License.
+
+      You may add Your own copyright statement to Your modifications and
+      may provide additional or different license terms and conditions
+      for use, reproduction, or distribution of Your modifications, or
+      for any such Derivative Works as a whole, provided Your use,
+      reproduction, and distribution of the Work otherwise complies with
+      the conditions stated in this License.
+
+   5. Submission of Contributions. Unless You explicitly state otherwise,
+      any Contribution intentionally submitted for inclusion in the Work
+      by You to the Licensor shall be under the terms and conditions of
+      this License, without any additional terms or conditions.
+      Notwithstanding the above, nothing herein shall supersede or modify
+      the terms of any separate license agreement you may have executed
+      with Licensor regarding such Contributions.
+
+   6. Trademarks. This License does not grant permission to use the trade
+      names, trademarks, service marks, or product names of the Licensor,
+      except as required for reasonable and customary use in describing the
+      origin of the Work and reproducing the content of the NOTICE file.
+
+   7. Disclaimer of Warranty. Unless required by applicable law or
+      agreed to in writing, Licensor provides the Work (and each
+      Contributor provides its Contributions) on an "AS IS" BASIS,
+      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or
+      implied, including, without limitation, any warranties or conditions
+      of TITLE, NON-INFRINGEMENT, MERCHANTABILITY, or FITNESS FOR A
+      PARTICULAR PURPOSE. You are solely responsible for determining the
+      appropriateness of using or redistributing the Work and assume any
+      risks associated with Your exercise of permissions under this License.
+
+   8. Limitation of Liability. In no event and under no legal theory,
+      whether in tort (including negligence), contract, or otherwise,
+      unless required by applicable law (such as deliberate and grossly
+      negligent acts) or agreed to in writing, shall any Contributor be
+      liable to You for damages, including any direct, indirect, special,
+      incidental, or consequential damages of any character arising as a
+      result of this License or out of the use or inability to use the
+      Work (including but not limited to damages for loss of goodwill,
+      work stoppage, computer failure or malfunction, or any and all
+      other commercial damages or losses), even if such Contributor
+      has been advised of the possibility of such damages.
+
+   9. Accepting Warranty or Additional Liability. While redistributing
+      the Work or Derivative Works thereof, You may choose to offer,
+      and charge a fee for, acceptance of support, warranty, indemnity,
+      or other liability obligations and/or rights consistent with this
+      License. However, in accepting such obligations, You may act only
+      on Your own behalf and on Your sole responsibility, not on behalf
+      of any other Contributor, and only if You agree to indemnify,
+      defend, and hold each Contributor harmless for any liability
+      incurred by, or claims asserted against, such Contributor by reason
+      of your accepting any such warranty or additional liability.
+
+   END OF TERMS AND CONDITIONS
+
+   APPENDIX: How to apply the Apache License to your work.
+
+      To apply the Apache License to your work, attach the following
+      boilerplate notice, with the fields enclosed by brackets "[]"
+      replaced with your own identifying information. (Don't include
+      the brackets!)  The text should be enclosed in the appropriate
+      comment syntax for the file format. We also recommend that a
+      file or class name and description of purpose be included on the
+      same "printed page" as the copyright notice for easier
+      identification within third-party archives.
+
+   Copyright [yyyy] [name of copyright owner]
+
+   Licensed under the Apache License, Version 2.0 (the "License");
+   you may not use this file except in compliance with the License.
+   You may obtain a copy of the License at
+
+       http://www.apache.org/licenses/LICENSE-2.0
+
+   Unless required by applicable law or agreed to in writing, software
+   distributed under the License is distributed on an "AS IS" BASIS,
+   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+   See the License for the specific language governing permissions and
+   limitations under the License.

privyscope_ko-0.1.2/PKG-INFO

@@ -0,0 +1,150 @@
+Metadata-Version: 2.4
+Name: privyscope-ko
+Version: 0.1.2
+Summary: privyscope-ko — Korean language pack for the privyscope PII engine
+Author: privyscope Core Team
+License: Apache-2.0
+Project-URL: Homepage, https://github.com/zafrem/privyscope-ko
+Project-URL: Documentation, https://github.com/zafrem/privyscope-ko/blob/main/README.md
+Keywords: pii,ner,redaction,privacy,korean,onnx
+Classifier: License :: OSI Approved :: Apache Software License
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3 :: Only
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Topic :: Text Processing :: Linguistic
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: privyscope>=0.1.0
+Provides-Extra: train
+Requires-Dist: privyscope[train]>=0.1.0; extra == "train"
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0; extra == "dev"
+Requires-Dist: pytest-cov>=4.0; extra == "dev"
+Dynamic: license-file
+
+# privyscope-ko
+
+한국어 텍스트에서 **개인정보(PII)를 찾는** 엔진이에요.
+[privyscope](https://github.com/zafrem) 시리즈의 한국어 버전으로, 사람 이름,
+전화번호, 주민등록번호, 이메일, 주소, 금융 정보, 비공개 날짜, 인증 정보(시크릿)를
+알아서 찾아 마스킹해 줍니다.
+
+> ⚠️ privyscope는 마스킹을 **도와주는** 도구일 뿐, 비식별화나 컴플라이언스를
+> 보장하지는 않아요. 자세한 내용은 [한계](#한계)를 꼭 읽어보세요.
+
+📖 **[English README](README.en.md)**
+
+## 설치
+
+```bash
+pip install privyscope-ko
+```
+
+## 1분 만에 시작하기
+
+**Python에서 쓰기**
+
+```python
+from privyscope_ko import Privyscope
+
+engine = Privyscope.from_pretrained()                 # 처음 실행할 때 ONNX 가중치를 내려받아요
+result = engine.redact("홍길동의 전화번호는 010-1234-5678")
+
+result.masked_text        # "<PER>의 전화번호는 <PHONE>"
+result.detected_spans     # [DetectedSpan(label="PER", start=0, end=3, ...), ...]
+result.summary            # {"span_count": 2, "by_label": {"PER": 1, "PHONE": 1}, ...}
+```
+
+**터미널에서 쓰기**
+
+```bash
+privyscope redact "홍길동의 전화번호는 010-1234-5678"
+cat notes.txt | privyscope redact --operating-point high_recall
+```
+
+## 문서
+
+더 자세한 가이드는 [`docs/`](docs/) 폴더에 목적별로 정리해 뒀어요. 하고 싶은 걸
+골라서 보세요:
+
+| 이런 게 궁금하다면 | 가이드 |
+|---|---|
+| 터미널에서 돌리고 싶어요 | [CLI 레퍼런스](docs/CLI.md) |
+| Python 코드에서 부르고 싶어요 | [Python API 레퍼런스](docs/API.md) |
+| JSON 출력이 무슨 뜻인지 알고 싶어요 | [출력 스키마](docs/OUTPUT_SCHEMAS.md) |
+| 내 라벨링 데이터로 점수를 매겨보고 싶어요 | [평가 및 출력 모드](docs/EVAL_AND_OUTPUT_MODES.md) |
+| 정밀도와 재현율을 조절하고 싶어요 | [운영 포인트](docs/OPERATING_POINTS.md) |
+| 인터넷 없이 폐쇄망에서 쓰고 싶어요 | [오프라인 사용](docs/OFFLINE.md) |
+| 내 데이터로 파인튜닝하고 싶어요 | [파인튜닝](docs/FINETUNING.md) |
+
+## 어떤 걸 찾아주나요
+
+찾아주는 항목은 이렇게 여덟 가지예요:
+`PER` · `PHONE` · `ID_NUM` · `EMAIL` · `LOC` · `BANK` · `DATE` · `SECRET`.
+
+정규식 규칙은 [`privyscope/regex_rules.yaml`](privyscope/regex_rules.yaml)에 들어
+있고, 코드를 건드리지 않고도 직접 추가하거나 고칠 수 있어요. 한국어에만 있는
+확장 항목은 [`privyscope/entity_config.yaml`](privyscope/entity_config.yaml)에
+정의돼 있습니다.
+
+## 어떻게 동작하나요
+
+크게 **두 단계**로 나눠서 PII를 찾고, 두 결과를 합쳐서(합집합) 돌려줘요
+(SRS §3.4):
+
+1. **정규식 필터** — 전화번호, 이메일, 주민번호, 카드번호, 시크릿처럼 형태가
+   딱 정해져 있는 PII를 잡아냅니다.
+2. **ONNX NER** — 이름, 주소, 비공개 날짜처럼 앞뒤 문맥을 봐야 알 수 있는
+   PII를 잡아내요. BIOES 토큰 분류기에 제약 Viterbi 디코더를 붙여서 판단합니다.
+
+추론할 때는 **ONNX Runtime만 쓰고 PyTorch는 필요 없어요**. 기본적으로 빠뜨리지
+않는 걸(재현율) 우선하고, 재학습 없이 [운영 포인트](docs/OPERATING_POINTS.md)만
+바꿔서 동작을 조절할 수 있습니다. PyTorch는 [파인튜닝](docs/FINETUNING.md)을 할
+때만 있으면 돼요.
+
+## 모델과 성능
+
+- **구조** — `klue/roberta-base` 인코더 → BIOES 토큰 분류 헤드 → Viterbi
+  디코더로 이어지는 형태예요.
+- **실제 배포 파일** — INT8로 양자화한 ONNX 모델이고 크기는 **약 105 MB**라
+  150 MB 안에 넉넉히 들어와요. 최대 문장 길이는 256입니다. 가중치는 처음
+  쓸 때 Hugging Face Hub에서 내려받고, 파일이 멀쩡한지 확인할 수 있게 SHA-256
+  `checksum.txt`가 함께 들어 있어요.
+- **정확도** — 학습과 겹치지 않는 검증 세트(2,000문장, `typed`/strict 채점,
+  regex + NER 전체 파이프라인)에서 엔티티 단위 **strict 마이크로 F1 = 0.966**을
+  기록했어요. 엔티티별 strict F1:
+
+  | PER | LOC | DATE | EMAIL | ID_NUM | BANK | PHONE |
+  |-----|-----|------|-------|--------|------|-------|
+  | 0.98 | 1.00 | 1.00 | 1.00 | 1.00 | 0.92 | 0.78 |
+
+  `PHONE`는 정밀도가 0.64로 전화번호처럼 보이는 숫자를 과검출하는 경향이 있고,
+  `BANK`는 재현율이 0.85라 일부를 놓쳐요. 검증 세트가 학습과 분리돼 있어 이
+  점수는 암기가 아니라 일반화 성능을 보여주지만, 분포 밖 문장에서는 더 낮게
+  나올 수 있어요. `privyscope eval --lang ko your_val.jsonl`로 직접 재현할 수
+  있고, 자세한 내용은 [평가 및 출력 모드](docs/EVAL_AND_OUTPUT_MODES.md)를
+  참고하세요.
+
+## 한계
+
+쓰기 전에 이 점들은 꼭 알아두세요:
+
+- 비식별화나 컴플라이언스를 보장하지는 않아요. 프라이버시 설계의 **여러 안전장치
+  중 하나**로 생각하고 쓰는 게 맞습니다.
+- 잘 못 잡는 경우도 있어요. 예를 들어 드물거나 지역색이 강한 이름은 놓칠 수
+  있고, 문맥이 애매하면 공인(공개 인물)까지 과하게 가릴 수 있어요. 형식이 복잡하게
+  섞인 텍스트에서는 한 덩어리가 여러 조각으로 쪼개지기도 하고, 처음 보는 형식의
+  `SECRET`은 못 잡을 수 있습니다.
+- 의료·법률·금융·정부 업무처럼 민감한 곳에서는 사람이 한 번 더 검토하는 걸
+  권장해요.
+
+## 라이선스
+
+Apache-2.0으로 배포돼요. 모델 가중치도 같은 Apache-2.0이고, 파일 무결성을 확인할
+수 있는 `checksum.txt`(SHA-256)와 함께 Hugging Face Hub에 올라가 있습니다. 기여는
+언제든 환영이에요 — [CONTRIBUTING.md](CONTRIBUTING.md)를 참고해 주세요.

privyscope_ko-0.1.2/README.md

@@ -0,0 +1,121 @@
+# privyscope-ko
+
+한국어 텍스트에서 **개인정보(PII)를 찾는** 엔진이에요.
+[privyscope](https://github.com/zafrem) 시리즈의 한국어 버전으로, 사람 이름,
+전화번호, 주민등록번호, 이메일, 주소, 금융 정보, 비공개 날짜, 인증 정보(시크릿)를
+알아서 찾아 마스킹해 줍니다.
+
+> ⚠️ privyscope는 마스킹을 **도와주는** 도구일 뿐, 비식별화나 컴플라이언스를
+> 보장하지는 않아요. 자세한 내용은 [한계](#한계)를 꼭 읽어보세요.
+
+📖 **[English README](README.en.md)**
+
+## 설치
+
+```bash
+pip install privyscope-ko
+```
+
+## 1분 만에 시작하기
+
+**Python에서 쓰기**
+
+```python
+from privyscope_ko import Privyscope
+
+engine = Privyscope.from_pretrained()                 # 처음 실행할 때 ONNX 가중치를 내려받아요
+result = engine.redact("홍길동의 전화번호는 010-1234-5678")
+
+result.masked_text        # "<PER>의 전화번호는 <PHONE>"
+result.detected_spans     # [DetectedSpan(label="PER", start=0, end=3, ...), ...]
+result.summary            # {"span_count": 2, "by_label": {"PER": 1, "PHONE": 1}, ...}
+```
+
+**터미널에서 쓰기**
+
+```bash
+privyscope redact "홍길동의 전화번호는 010-1234-5678"
+cat notes.txt | privyscope redact --operating-point high_recall
+```
+
+## 문서
+
+더 자세한 가이드는 [`docs/`](docs/) 폴더에 목적별로 정리해 뒀어요. 하고 싶은 걸
+골라서 보세요:
+
+| 이런 게 궁금하다면 | 가이드 |
+|---|---|
+| 터미널에서 돌리고 싶어요 | [CLI 레퍼런스](docs/CLI.md) |
+| Python 코드에서 부르고 싶어요 | [Python API 레퍼런스](docs/API.md) |
+| JSON 출력이 무슨 뜻인지 알고 싶어요 | [출력 스키마](docs/OUTPUT_SCHEMAS.md) |
+| 내 라벨링 데이터로 점수를 매겨보고 싶어요 | [평가 및 출력 모드](docs/EVAL_AND_OUTPUT_MODES.md) |
+| 정밀도와 재현율을 조절하고 싶어요 | [운영 포인트](docs/OPERATING_POINTS.md) |
+| 인터넷 없이 폐쇄망에서 쓰고 싶어요 | [오프라인 사용](docs/OFFLINE.md) |
+| 내 데이터로 파인튜닝하고 싶어요 | [파인튜닝](docs/FINETUNING.md) |
+
+## 어떤 걸 찾아주나요
+
+찾아주는 항목은 이렇게 여덟 가지예요:
+`PER` · `PHONE` · `ID_NUM` · `EMAIL` · `LOC` · `BANK` · `DATE` · `SECRET`.
+
+정규식 규칙은 [`privyscope/regex_rules.yaml`](privyscope/regex_rules.yaml)에 들어
+있고, 코드를 건드리지 않고도 직접 추가하거나 고칠 수 있어요. 한국어에만 있는
+확장 항목은 [`privyscope/entity_config.yaml`](privyscope/entity_config.yaml)에
+정의돼 있습니다.
+
+## 어떻게 동작하나요
+
+크게 **두 단계**로 나눠서 PII를 찾고, 두 결과를 합쳐서(합집합) 돌려줘요
+(SRS §3.4):
+
+1. **정규식 필터** — 전화번호, 이메일, 주민번호, 카드번호, 시크릿처럼 형태가
+   딱 정해져 있는 PII를 잡아냅니다.
+2. **ONNX NER** — 이름, 주소, 비공개 날짜처럼 앞뒤 문맥을 봐야 알 수 있는
+   PII를 잡아내요. BIOES 토큰 분류기에 제약 Viterbi 디코더를 붙여서 판단합니다.
+
+추론할 때는 **ONNX Runtime만 쓰고 PyTorch는 필요 없어요**. 기본적으로 빠뜨리지
+않는 걸(재현율) 우선하고, 재학습 없이 [운영 포인트](docs/OPERATING_POINTS.md)만
+바꿔서 동작을 조절할 수 있습니다. PyTorch는 [파인튜닝](docs/FINETUNING.md)을 할
+때만 있으면 돼요.
+
+## 모델과 성능
+
+- **구조** — `klue/roberta-base` 인코더 → BIOES 토큰 분류 헤드 → Viterbi
+  디코더로 이어지는 형태예요.
+- **실제 배포 파일** — INT8로 양자화한 ONNX 모델이고 크기는 **약 105 MB**라
+  150 MB 안에 넉넉히 들어와요. 최대 문장 길이는 256입니다. 가중치는 처음
+  쓸 때 Hugging Face Hub에서 내려받고, 파일이 멀쩡한지 확인할 수 있게 SHA-256
+  `checksum.txt`가 함께 들어 있어요.
+- **정확도** — 학습과 겹치지 않는 검증 세트(2,000문장, `typed`/strict 채점,
+  regex + NER 전체 파이프라인)에서 엔티티 단위 **strict 마이크로 F1 = 0.966**을
+  기록했어요. 엔티티별 strict F1:
+
+  | PER | LOC | DATE | EMAIL | ID_NUM | BANK | PHONE |
+  |-----|-----|------|-------|--------|------|-------|
+  | 0.98 | 1.00 | 1.00 | 1.00 | 1.00 | 0.92 | 0.78 |
+
+  `PHONE`는 정밀도가 0.64로 전화번호처럼 보이는 숫자를 과검출하는 경향이 있고,
+  `BANK`는 재현율이 0.85라 일부를 놓쳐요. 검증 세트가 학습과 분리돼 있어 이
+  점수는 암기가 아니라 일반화 성능을 보여주지만, 분포 밖 문장에서는 더 낮게
+  나올 수 있어요. `privyscope eval --lang ko your_val.jsonl`로 직접 재현할 수
+  있고, 자세한 내용은 [평가 및 출력 모드](docs/EVAL_AND_OUTPUT_MODES.md)를
+  참고하세요.
+
+## 한계
+
+쓰기 전에 이 점들은 꼭 알아두세요:
+
+- 비식별화나 컴플라이언스를 보장하지는 않아요. 프라이버시 설계의 **여러 안전장치
+  중 하나**로 생각하고 쓰는 게 맞습니다.
+- 잘 못 잡는 경우도 있어요. 예를 들어 드물거나 지역색이 강한 이름은 놓칠 수
+  있고, 문맥이 애매하면 공인(공개 인물)까지 과하게 가릴 수 있어요. 형식이 복잡하게
+  섞인 텍스트에서는 한 덩어리가 여러 조각으로 쪼개지기도 하고, 처음 보는 형식의
+  `SECRET`은 못 잡을 수 있습니다.
+- 의료·법률·금융·정부 업무처럼 민감한 곳에서는 사람이 한 번 더 검토하는 걸
+  권장해요.
+
+## 라이선스
+
+Apache-2.0으로 배포돼요. 모델 가중치도 같은 Apache-2.0이고, 파일 무결성을 확인할
+수 있는 `checksum.txt`(SHA-256)와 함께 Hugging Face Hub에 올라가 있습니다. 기여는
+언제든 환영이에요 — [CONTRIBUTING.md](CONTRIBUTING.md)를 참고해 주세요.

privyscope_ko-0.1.2/privyscope_ko/__init__.py

@@ -0,0 +1,25 @@
+"""privyscope-ko — Korean language pack for the ``privyscope`` engine (Apache-2.0).
+
+This is a thin **plugin**: it ships only Korean data (``regex_rules.yaml``,
+``entity_config.yaml``) and registers itself with the core via the
+``privyscope.languages`` entry point. All engine code lives in the ``privyscope``
+core package, which is pulled in as a dependency.
+
+    from privyscope_ko import Privyscope          # re-exported from the core
+    engine = Privyscope.from_pretrained(lang="ko")
+    engine.redact("홍길동의 전화번호는 010-1234-5678").masked_text
+    # "<PER>의 전화번호는 <PHONE>"
+"""
+from privyscope import Privyscope, RedactionResult, DetectedSpan, LanguagePlugin, __version__
+
+#: Registered under the ``privyscope.languages`` entry-point group (see pyproject).
+LANG = LanguagePlugin(
+    code="ko",
+    display_name="Korean",
+    default_repo="zafrem/privyscope-ko",
+    package="privyscope_ko",
+    scripts=("Hangul",),
+    default_base_model="klue/roberta-base",
+)
+
+__all__ = ["Privyscope", "RedactionResult", "DetectedSpan", "LANG", "__version__"]

privyscope_ko-0.1.2/privyscope_ko/entity_config.yaml

@@ -0,0 +1,49 @@
+# privyscope-ko — entity configuration (ENTITY_SPEC §8.3).
+# Base PII taxonomy (SRS §6) plus KO-specific extended entities. Extended
+# entities are detected by regex only unless added to the NER label space via a
+# custom fine-tune (FR-2.6).
+language: ko
+
+base_entities:
+  - code: PER
+    detection: contextual
+    regex: null
+  - code: PHONE
+    detection: structural
+    regex: '(?:010|011|016|017|018|019)-\d{3,4}-\d{4}'
+  - code: ID_NUM
+    detection: structural
+    regex: '\d{6}-[1-8]\d{6}'
+  - code: EMAIL
+    detection: structural
+    regex: '[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}'
+  - code: LOC
+    detection: contextual
+    regex: null
+  - code: BANK
+    detection: structural
+    regex: '\d{4}-\d{4}-\d{4}-\d{4}'
+  - code: DATE
+    detection: hybrid
+    regex: null
+  - code: SECRET
+    detection: hybrid
+    regex: 'sk-[A-Za-z0-9]{20,}'
+
+extended_entities:
+  # KO-specific identifiers not in the base label set (ENTITY_SPEC §3.3).
+  - code: BIZ_NUM
+    detection: structural
+    regex: '\d{3}-\d{2}-\d{5}'
+    description: 사업자등록번호
+  - code: DRIVER_LICENSE
+    detection: structural
+    regex: '\d{2}-\d{2}-\d{6}-\d{2}'
+    description: 운전면허번호
+
+# Partial-masking policy (ENTITY_SPEC §7.3); applied by downstream consumers.
+partial_masking:
+  ID_NUM: '900101-1******'
+  PHONE: '010-****-5678'
+  BANK: '****-****-****-3456'
+  EMAIL: 'u***@domain.com'

privyscope_ko-0.1.2/privyscope_ko/regex_rules.yaml

@@ -0,0 +1,69 @@
+# privyscope-ko — Stage 1 Regex Filter rules (SRS §3.4, ENTITY_SPEC §3).
+# Structurally obvious PII caught before the NER stage. Externally extensible:
+# add patterns here without touching engine code. Each rule is tried in order;
+# `priority` breaks ties when two rules overlap (higher wins).
+#
+# Fields:
+#   label    : privyscope entity code
+#   pattern  : Python `regex`/`re` pattern (anchored as written)
+#   priority : overlap-resolution weight (default 0)
+version: 1
+language: ko
+rules:
+  # -- SECRET (high priority: very specific, must win over generic numbers) --
+  - label: SECRET
+    pattern: 'sk-ant-api03-[A-Za-z0-9\-_]{20,}'
+    priority: 100
+  - label: SECRET
+    pattern: 'sk-[A-Za-z0-9]{20,}'
+    priority: 95
+  - label: SECRET
+    pattern: 'ghp_[A-Za-z0-9]{36}'
+    priority: 95
+  - label: SECRET
+    pattern: 'gho_[A-Za-z0-9]{36}'
+    priority: 95
+  - label: SECRET
+    pattern: 'AKIA[A-Z0-9]{16}'
+    priority: 95
+  - label: SECRET
+    pattern: 'AIza[A-Za-z0-9\-_]{35}'
+    priority: 95
+  - label: SECRET
+    pattern: 'eyJ[A-Za-z0-9\-_]+\.[A-Za-z0-9\-_]+\.[A-Za-z0-9\-_]+'
+    priority: 90
+  - label: SECRET
+    pattern: '[A-Z_]{2,}=\S{8,}'
+    priority: 40
+
+  # -- EMAIL ----------------------------------------------------------------
+  - label: EMAIL
+    pattern: '[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}'
+    priority: 80
+
+  # -- ID_NUM (KO) ----------------------------------------------------------
+  - label: ID_NUM            # 주민등록번호 / 외국인등록번호
+    pattern: '\d{6}-[1-8]\d{6}'
+    priority: 70
+  - label: ID_NUM            # 사업자등록번호
+    pattern: '\d{3}-\d{2}-\d{5}'
+    priority: 60
+
+  # -- BANK (card numbers; before phone to avoid mis-capture) ---------------
+  - label: BANK
+    pattern: '\d{4}-\d{4}-\d{4}-\d{4}'
+    priority: 65
+
+  # -- PHONE (KO) -----------------------------------------------------------
+  - label: PHONE
+    pattern: '\+82-10-\d{4}-\d{4}'
+    priority: 55
+  - label: PHONE
+    pattern: '(?:010|011|016|017|018|019)-\d{3,4}-\d{4}'
+    priority: 50
+  - label: PHONE
+    pattern: '0\d{1,2}-\d{3,4}-\d{4}'
+    priority: 45
+  - label: PHONE
+    pattern: '01\d{9}'
+    priority: 30

privyscope_ko-0.1.2/privyscope_ko.egg-info/PKG-INFO

@@ -0,0 +1,150 @@
+Metadata-Version: 2.4
+Name: privyscope-ko
+Version: 0.1.2
+Summary: privyscope-ko — Korean language pack for the privyscope PII engine
+Author: privyscope Core Team
+License: Apache-2.0
+Project-URL: Homepage, https://github.com/zafrem/privyscope-ko
+Project-URL: Documentation, https://github.com/zafrem/privyscope-ko/blob/main/README.md
+Keywords: pii,ner,redaction,privacy,korean,onnx
+Classifier: License :: OSI Approved :: Apache Software License
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3 :: Only
+Classifier: Programming Language :: Python :: 3.9
+Classifier: Programming Language :: Python :: 3.10
+Classifier: Programming Language :: Python :: 3.11
+Classifier: Programming Language :: Python :: 3.12
+Classifier: Programming Language :: Python :: 3.13
+Classifier: Topic :: Text Processing :: Linguistic
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: privyscope>=0.1.0
+Provides-Extra: train
+Requires-Dist: privyscope[train]>=0.1.0; extra == "train"
+Provides-Extra: dev
+Requires-Dist: pytest>=7.0; extra == "dev"
+Requires-Dist: pytest-cov>=4.0; extra == "dev"
+Dynamic: license-file
+
+# privyscope-ko
+
+한국어 텍스트에서 **개인정보(PII)를 찾는** 엔진이에요.
+[privyscope](https://github.com/zafrem) 시리즈의 한국어 버전으로, 사람 이름,
+전화번호, 주민등록번호, 이메일, 주소, 금융 정보, 비공개 날짜, 인증 정보(시크릿)를
+알아서 찾아 마스킹해 줍니다.
+
+> ⚠️ privyscope는 마스킹을 **도와주는** 도구일 뿐, 비식별화나 컴플라이언스를
+> 보장하지는 않아요. 자세한 내용은 [한계](#한계)를 꼭 읽어보세요.
+
+📖 **[English README](README.en.md)**
+
+## 설치
+
+```bash
+pip install privyscope-ko
+```
+
+## 1분 만에 시작하기
+
+**Python에서 쓰기**
+
+```python
+from privyscope_ko import Privyscope
+
+engine = Privyscope.from_pretrained()                 # 처음 실행할 때 ONNX 가중치를 내려받아요
+result = engine.redact("홍길동의 전화번호는 010-1234-5678")
+
+result.masked_text        # "<PER>의 전화번호는 <PHONE>"
+result.detected_spans     # [DetectedSpan(label="PER", start=0, end=3, ...), ...]
+result.summary            # {"span_count": 2, "by_label": {"PER": 1, "PHONE": 1}, ...}
+```
+
+**터미널에서 쓰기**
+
+```bash
+privyscope redact "홍길동의 전화번호는 010-1234-5678"
+cat notes.txt | privyscope redact --operating-point high_recall
+```
+
+## 문서
+
+더 자세한 가이드는 [`docs/`](docs/) 폴더에 목적별로 정리해 뒀어요. 하고 싶은 걸
+골라서 보세요:
+
+| 이런 게 궁금하다면 | 가이드 |
+|---|---|
+| 터미널에서 돌리고 싶어요 | [CLI 레퍼런스](docs/CLI.md) |
+| Python 코드에서 부르고 싶어요 | [Python API 레퍼런스](docs/API.md) |
+| JSON 출력이 무슨 뜻인지 알고 싶어요 | [출력 스키마](docs/OUTPUT_SCHEMAS.md) |
+| 내 라벨링 데이터로 점수를 매겨보고 싶어요 | [평가 및 출력 모드](docs/EVAL_AND_OUTPUT_MODES.md) |
+| 정밀도와 재현율을 조절하고 싶어요 | [운영 포인트](docs/OPERATING_POINTS.md) |
+| 인터넷 없이 폐쇄망에서 쓰고 싶어요 | [오프라인 사용](docs/OFFLINE.md) |
+| 내 데이터로 파인튜닝하고 싶어요 | [파인튜닝](docs/FINETUNING.md) |
+
+## 어떤 걸 찾아주나요
+
+찾아주는 항목은 이렇게 여덟 가지예요:
+`PER` · `PHONE` · `ID_NUM` · `EMAIL` · `LOC` · `BANK` · `DATE` · `SECRET`.
+
+정규식 규칙은 [`privyscope/regex_rules.yaml`](privyscope/regex_rules.yaml)에 들어
+있고, 코드를 건드리지 않고도 직접 추가하거나 고칠 수 있어요. 한국어에만 있는
+확장 항목은 [`privyscope/entity_config.yaml`](privyscope/entity_config.yaml)에
+정의돼 있습니다.
+
+## 어떻게 동작하나요
+
+크게 **두 단계**로 나눠서 PII를 찾고, 두 결과를 합쳐서(합집합) 돌려줘요
+(SRS §3.4):
+
+1. **정규식 필터** — 전화번호, 이메일, 주민번호, 카드번호, 시크릿처럼 형태가
+   딱 정해져 있는 PII를 잡아냅니다.
+2. **ONNX NER** — 이름, 주소, 비공개 날짜처럼 앞뒤 문맥을 봐야 알 수 있는
+   PII를 잡아내요. BIOES 토큰 분류기에 제약 Viterbi 디코더를 붙여서 판단합니다.
+
+추론할 때는 **ONNX Runtime만 쓰고 PyTorch는 필요 없어요**. 기본적으로 빠뜨리지
+않는 걸(재현율) 우선하고, 재학습 없이 [운영 포인트](docs/OPERATING_POINTS.md)만
+바꿔서 동작을 조절할 수 있습니다. PyTorch는 [파인튜닝](docs/FINETUNING.md)을 할
+때만 있으면 돼요.
+
+## 모델과 성능
+
+- **구조** — `klue/roberta-base` 인코더 → BIOES 토큰 분류 헤드 → Viterbi
+  디코더로 이어지는 형태예요.
+- **실제 배포 파일** — INT8로 양자화한 ONNX 모델이고 크기는 **약 105 MB**라
+  150 MB 안에 넉넉히 들어와요. 최대 문장 길이는 256입니다. 가중치는 처음
+  쓸 때 Hugging Face Hub에서 내려받고, 파일이 멀쩡한지 확인할 수 있게 SHA-256
+  `checksum.txt`가 함께 들어 있어요.
+- **정확도** — 학습과 겹치지 않는 검증 세트(2,000문장, `typed`/strict 채점,
+  regex + NER 전체 파이프라인)에서 엔티티 단위 **strict 마이크로 F1 = 0.966**을
+  기록했어요. 엔티티별 strict F1:
+
+  | PER | LOC | DATE | EMAIL | ID_NUM | BANK | PHONE |
+  |-----|-----|------|-------|--------|------|-------|
+  | 0.98 | 1.00 | 1.00 | 1.00 | 1.00 | 0.92 | 0.78 |
+
+  `PHONE`는 정밀도가 0.64로 전화번호처럼 보이는 숫자를 과검출하는 경향이 있고,
+  `BANK`는 재현율이 0.85라 일부를 놓쳐요. 검증 세트가 학습과 분리돼 있어 이
+  점수는 암기가 아니라 일반화 성능을 보여주지만, 분포 밖 문장에서는 더 낮게
+  나올 수 있어요. `privyscope eval --lang ko your_val.jsonl`로 직접 재현할 수
+  있고, 자세한 내용은 [평가 및 출력 모드](docs/EVAL_AND_OUTPUT_MODES.md)를
+  참고하세요.
+
+## 한계
+
+쓰기 전에 이 점들은 꼭 알아두세요:
+
+- 비식별화나 컴플라이언스를 보장하지는 않아요. 프라이버시 설계의 **여러 안전장치
+  중 하나**로 생각하고 쓰는 게 맞습니다.
+- 잘 못 잡는 경우도 있어요. 예를 들어 드물거나 지역색이 강한 이름은 놓칠 수
+  있고, 문맥이 애매하면 공인(공개 인물)까지 과하게 가릴 수 있어요. 형식이 복잡하게
+  섞인 텍스트에서는 한 덩어리가 여러 조각으로 쪼개지기도 하고, 처음 보는 형식의
+  `SECRET`은 못 잡을 수 있습니다.
+- 의료·법률·금융·정부 업무처럼 민감한 곳에서는 사람이 한 번 더 검토하는 걸
+  권장해요.
+
+## 라이선스
+
+Apache-2.0으로 배포돼요. 모델 가중치도 같은 Apache-2.0이고, 파일 무결성을 확인할
+수 있는 `checksum.txt`(SHA-256)와 함께 Hugging Face Hub에 올라가 있습니다. 기여는
+언제든 환영이에요 — [CONTRIBUTING.md](CONTRIBUTING.md)를 참고해 주세요.

privyscope_ko-0.1.2/privyscope_ko.egg-info/SOURCES.txt

@@ -0,0 +1,14 @@
+LICENSE
+README.md
+pyproject.toml
+privyscope_ko/__init__.py
+privyscope_ko/entity_config.yaml
+privyscope_ko/regex_rules.yaml
+privyscope_ko.egg-info/PKG-INFO
+privyscope_ko.egg-info/SOURCES.txt
+privyscope_ko.egg-info/dependency_links.txt
+privyscope_ko.egg-info/entry_points.txt
+privyscope_ko.egg-info/requires.txt
+privyscope_ko.egg-info/top_level.txt
+tests/test_ko_regex.py
+tests/test_plugin_registered.py

privyscope_ko-0.1.2/privyscope_ko.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

privyscope_ko-0.1.2/privyscope_ko.egg-info/entry_points.txt

@@ -0,0 +1,2 @@
+[privyscope.languages]
+ko = privyscope_ko:LANG

privyscope_ko-0.1.2/privyscope_ko.egg-info/requires.txt

@@ -0,0 +1,8 @@
+privyscope>=0.1.0
+
+[dev]
+pytest>=7.0
+pytest-cov>=4.0
+
+[train]
+privyscope[train]>=0.1.0

privyscope_ko-0.1.2/privyscope_ko.egg-info/top_level.txt

@@ -0,0 +1 @@
+privyscope_ko

privyscope_ko-0.1.2/pyproject.toml

@@ -0,0 +1,48 @@
+[build-system]
+requires = ["setuptools>=61.0", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "privyscope-ko"
+version = "0.1.2"
+description = "privyscope-ko — Korean language pack for the privyscope PII engine"
+readme = "README.md"
+requires-python = ">=3.9"
+license = { text = "Apache-2.0" }
+authors = [{ name = "privyscope Core Team" }]
+keywords = ["pii", "ner", "redaction", "privacy", "korean", "onnx"]
+classifiers = [
+    "License :: OSI Approved :: Apache Software License",
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3 :: Only",
+    "Programming Language :: Python :: 3.9",
+    "Programming Language :: Python :: 3.10",
+    "Programming Language :: Python :: 3.11",
+    "Programming Language :: Python :: 3.12",
+    "Programming Language :: Python :: 3.13",
+    "Topic :: Text Processing :: Linguistic",
+]
+# The engine lives in the core; this pack only adds Korean data + registration.
+dependencies = [
+    "privyscope>=0.1.0",
+]
+
+[project.optional-dependencies]
+train = ["privyscope[train]>=0.1.0"]
+dev = ["pytest>=7.0", "pytest-cov>=4.0"]
+
+# Register the Korean plugin so the core discovers it at runtime. No console
+# script here — the `privyscope` command is owned solely by the core.
+[project.entry-points."privyscope.languages"]
+ko = "privyscope_ko:LANG"
+
+[project.urls]
+Homepage = "https://github.com/zafrem/privyscope-ko"
+Documentation = "https://github.com/zafrem/privyscope-ko/blob/main/README.md"
+
+[tool.setuptools.packages.find]
+where = ["."]
+include = ["privyscope_ko*"]
+
+[tool.setuptools.package-data]
+privyscope_ko = ["*.yaml"]

privyscope_ko-0.1.2/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

privyscope_ko-0.1.2/tests/test_ko_regex.py

@@ -0,0 +1,35 @@
+"""Korean Stage-1 regex rules (over the real ko data) + engine wiring."""
+import pytest
+
+from privyscope import installed_languages
+from privyscope._core.regex_filter import RegexFilter
+
+from privyscope_ko import LANG, Privyscope
+
+
+def _filter():
+    return RegexFilter.from_yaml(LANG.regex_rules_path())
+
+
+def test_ko_phone_email_id():
+    rf = _filter()
+    text = "연락처 010-1234-5678, 이메일 user@naver.com, 주민 900101-1234567"
+    spans = {(s.label, text[s.start:s.end]) for s in rf.find(text)}
+    assert ("PHONE", "010-1234-5678") in spans
+    assert ("EMAIL", "user@naver.com") in spans
+    assert ("ID_NUM", "900101-1234567") in spans
+
+
+def test_ko_card_is_bank_not_phone():
+    rf = _filter()
+    spans = {(s.label, s.start, s.end) for s in rf.find("카드 1234-5678-9012-3456 결제")}
+    assert any(lab == "BANK" for lab, _s, _e in spans)
+    assert not any(lab == "PHONE" for lab, _s, _e in spans)
+
+
+def test_ko_engine_regex_only():
+    if "ko" not in installed_languages():
+        pytest.skip("privyscope-ko not pip-installed; plugin not discoverable")
+    engine = Privyscope.regex_only(lang="ko")
+    r = engine.redact("전화 010-1234-5678 이메일 user@naver.com")
+    assert r.redacted_text == "전화 <PHONE> 이메일 <EMAIL>"

privyscope_ko-0.1.2/tests/test_plugin_registered.py

@@ -0,0 +1,21 @@
+"""Verify the Korean pack registers itself with the core (requires install)."""
+import pytest
+
+from privyscope import installed_languages
+from privyscope_ko import LANG
+
+
+def test_lang_record_shape():
+    assert LANG.code == "ko"
+    assert LANG.display_name == "Korean"
+    assert LANG.default_repo == "zafrem/privyscope-ko"
+    assert LANG.scripts == ("Hangul",)
+    assert LANG.regex_rules_path().exists()
+    assert LANG.entity_config_path().exists()
+
+
+def test_discovered_via_entry_point():
+    langs = installed_languages()
+    if "ko" not in langs:
+        pytest.skip("privyscope-ko not pip-installed; entry point not discoverable")
+    assert langs["ko"].display_name == "Korean"