text-utils-vn 0.1.0__py3-none-any.whl

text_utils_vn/__init__.py

@@ -0,0 +1,4 @@
+from .core import remove_accents, normalize_text, count_words, remove_stopwords
+
+__version__ = "0.1.0"
+__all__ = ["remove_accents", "normalize_text", "count_words", "remove_stopwords"]

text_utils_vn/core.py

@@ -0,0 +1,46 @@
+"""Các hàm xử lý văn bản tiếng Việt."""
+import unicodedata
+
+STOPWORDS = {"tôi", "bạn", "là", "và", "của", "có", "những", "các", "một", "được", "này", "đó"}
+
+
+def remove_accents(text: str) -> str:
+    """
+    Bỏ dấu tiếng Việt: 'Tiếng Việt' -> 'Tieng Viet'.
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Chuỗi văn bản sau khi đã bỏ dấu
+    """
+    text = text.replace("đ", "d").replace("Đ", "D")
+    text = unicodedata.normalize("NFD", text)
+    text = "".join(c for c in text if unicodedata.category(c) != "Mn")
+    return unicodedata.normalize("NFC", text)
+
+
+def normalize_text(text: str) -> str:
+    """
+    Chữ thường, bỏ khoảng trắng thừa.
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Chuỗi văn bản sau khi được chuẩn hóa
+    """
+    text = unicodedata.normalize("NFC", text)
+    return " ".join(text.lower().split())
+
+
+
+def count_words(text: str) -> int:
+    """
+    Đếm số từ (tách theo khoảng trắng).
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Số lượng từ trong chuỗi văn bản"""
+    return len(text.split())
+
+
+def remove_stopwords(text: str) -> str:
+    """
+    Bỏ các từ trong STOPWORDS.
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Chuỗi văn bản sau khi bỏ stopwords
+    """
+    words = text.split()
+    filtered_words = [word for word in words if word.lower() not in STOPWORDS]
+    return " ".join(filtered_words)

text_utils_vn-0.1.0.dist-info/METADATA

@@ -0,0 +1,63 @@
+Metadata-Version: 2.4
+Name: text-utils-vn
+Version: 0.1.0
+Summary: Các hàm tiện ích xử lý văn bản tiếng Việt
+Author: Nguyen Bao Duy
+License-Expression: MIT
+Keywords: vietnamese,nlp,text-processing
+Classifier: Programming Language :: Python :: 3
+Classifier: Operating System :: OS Independent
+Classifier: Natural Language :: Vietnamese
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Provides-Extra: test
+Requires-Dist: pytest; extra == "test"
+Dynamic: license-file
+
+# text-utils-vn
+
+Thư viện nhỏ gồm các hàm xử lý văn bản tiếng Việt: bỏ dấu, chuẩn hóa chuỗi, đếm từ và loại bỏ từ dừng (stopword).
+
+## Cài đặt
+
+```bash
+pip install text-utils-vn
+```
+
+## Cách dùng
+
+```python
+from text_utils_vn import remove_accents, normalize_text, count_words, remove_stopwords
+
+remove_accents("Tiếng Việt")          # 'Tieng Viet'
+normalize_text("  Xin   CHÀO  bạn ")  # 'xin chào bạn'
+count_words("hôm nay trời đẹp")       # 4
+remove_stopwords("tôi là sinh viên")  # 'sinh viên'
+```
+
+## Các hàm
+
+| Hàm | Mô tả |
+|---|---|
+| `remove_accents(text)` | Bỏ dấu tiếng Việt, kể cả chữ `đ` / `Đ` |
+| `normalize_text(text)` | Chuẩn hóa Unicode (NFC), chuyển chữ thường, gộp khoảng trắng thừa |
+| `count_words(text)` | Đếm số từ tách theo khoảng trắng |
+| `remove_stopwords(text)` | Bỏ các từ dừng thông dụng trong một danh sách nhỏ có sẵn |
+
+## Lưu ý
+
+- `count_words` tách theo khoảng trắng nên thực chất đếm âm tiết, ví dụ "sinh viên" được tính là 2.
+- Danh sách stopword có sẵn chỉ gồm một số từ phổ biến, mang tính minh họa.
+
+## Chạy test
+
+```bash
+pip install -e ".[test]"
+pytest
+```
+
+## Giấy phép
+
+MIT License
+

text_utils_vn-0.1.0.dist-info/RECORD

@@ -0,0 +1,7 @@
+text_utils_vn/__init__.py,sha256=0dGktrO17f73jJFitwvDtyttznJ73YmXY0EZqKILd2w,187
+text_utils_vn/core.py,sha256=6bcHSCtl7lOhUwvFveFuxXIPrkwkRSfqVI4JDdGz_cg,1555
+text_utils_vn-0.1.0.dist-info/licenses/LICENSE,sha256=g97gef-x4jJZ_RTXcoQCtouJdHQ0jWWiFLRJIASTai4,1081
+text_utils_vn-0.1.0.dist-info/METADATA,sha256=jMEUJfotjdNMnjwL1NViX7qscRFNAMrPpUI6rIx2XKc,1897
+text_utils_vn-0.1.0.dist-info/WHEEL,sha256=YVMoNqKzERt-wjUZwJ33xBGAwnFl-4cqbYkTtWa4itE,91
+text_utils_vn-0.1.0.dist-info/top_level.txt,sha256=GKQ7Y-qQXkDpO-I0gU2_IReU_yzhaTRk-RtPvHO1jJc,14
+text_utils_vn-0.1.0.dist-info/RECORD,,

text_utils_vn-0.1.0.dist-info/WHEEL

@@ -0,0 +1,5 @@
+Wheel-Version: 1.0
+Generator: setuptools (84.0.0)
+Root-Is-Purelib: true
+Tag: py3-none-any
+

text_utils_vn-0.1.0.dist-info/licenses/LICENSE

@@ -0,0 +1,19 @@
+Copyright (c) [2026] [Nguyen Bao Duy]
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

text_utils_vn-0.1.0.dist-info/top_level.txt

@@ -0,0 +1 @@
+text_utils_vn