text-utils-vn 0.1.0__tar.gz

text_utils_vn-0.1.0/LICENSE

@@ -0,0 +1,19 @@
+Copyright (c) [2026] [Nguyen Bao Duy]
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

text_utils_vn-0.1.0/PKG-INFO

@@ -0,0 +1,63 @@
+Metadata-Version: 2.4
+Name: text-utils-vn
+Version: 0.1.0
+Summary: Các hàm tiện ích xử lý văn bản tiếng Việt
+Author: Nguyen Bao Duy
+License-Expression: MIT
+Keywords: vietnamese,nlp,text-processing
+Classifier: Programming Language :: Python :: 3
+Classifier: Operating System :: OS Independent
+Classifier: Natural Language :: Vietnamese
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Provides-Extra: test
+Requires-Dist: pytest; extra == "test"
+Dynamic: license-file
+
+# text-utils-vn
+
+Thư viện nhỏ gồm các hàm xử lý văn bản tiếng Việt: bỏ dấu, chuẩn hóa chuỗi, đếm từ và loại bỏ từ dừng (stopword).
+
+## Cài đặt
+
+```bash
+pip install text-utils-vn
+```
+
+## Cách dùng
+
+```python
+from text_utils_vn import remove_accents, normalize_text, count_words, remove_stopwords
+
+remove_accents("Tiếng Việt")          # 'Tieng Viet'
+normalize_text("  Xin   CHÀO  bạn ")  # 'xin chào bạn'
+count_words("hôm nay trời đẹp")       # 4
+remove_stopwords("tôi là sinh viên")  # 'sinh viên'
+```
+
+## Các hàm
+
+| Hàm | Mô tả |
+|---|---|
+| `remove_accents(text)` | Bỏ dấu tiếng Việt, kể cả chữ `đ` / `Đ` |
+| `normalize_text(text)` | Chuẩn hóa Unicode (NFC), chuyển chữ thường, gộp khoảng trắng thừa |
+| `count_words(text)` | Đếm số từ tách theo khoảng trắng |
+| `remove_stopwords(text)` | Bỏ các từ dừng thông dụng trong một danh sách nhỏ có sẵn |
+
+## Lưu ý
+
+- `count_words` tách theo khoảng trắng nên thực chất đếm âm tiết, ví dụ "sinh viên" được tính là 2.
+- Danh sách stopword có sẵn chỉ gồm một số từ phổ biến, mang tính minh họa.
+
+## Chạy test
+
+```bash
+pip install -e ".[test]"
+pytest
+```
+
+## Giấy phép
+
+MIT License
+

text_utils_vn-0.1.0/README.md

@@ -0,0 +1,46 @@
+# text-utils-vn
+
+Thư viện nhỏ gồm các hàm xử lý văn bản tiếng Việt: bỏ dấu, chuẩn hóa chuỗi, đếm từ và loại bỏ từ dừng (stopword).
+
+## Cài đặt
+
+```bash
+pip install text-utils-vn
+```
+
+## Cách dùng
+
+```python
+from text_utils_vn import remove_accents, normalize_text, count_words, remove_stopwords
+
+remove_accents("Tiếng Việt")          # 'Tieng Viet'
+normalize_text("  Xin   CHÀO  bạn ")  # 'xin chào bạn'
+count_words("hôm nay trời đẹp")       # 4
+remove_stopwords("tôi là sinh viên")  # 'sinh viên'
+```
+
+## Các hàm
+
+| Hàm | Mô tả |
+|---|---|
+| `remove_accents(text)` | Bỏ dấu tiếng Việt, kể cả chữ `đ` / `Đ` |
+| `normalize_text(text)` | Chuẩn hóa Unicode (NFC), chuyển chữ thường, gộp khoảng trắng thừa |
+| `count_words(text)` | Đếm số từ tách theo khoảng trắng |
+| `remove_stopwords(text)` | Bỏ các từ dừng thông dụng trong một danh sách nhỏ có sẵn |
+
+## Lưu ý
+
+- `count_words` tách theo khoảng trắng nên thực chất đếm âm tiết, ví dụ "sinh viên" được tính là 2.
+- Danh sách stopword có sẵn chỉ gồm một số từ phổ biến, mang tính minh họa.
+
+## Chạy test
+
+```bash
+pip install -e ".[test]"
+pytest
+```
+
+## Giấy phép
+
+MIT License
+

text_utils_vn-0.1.0/pyproject.toml

@@ -0,0 +1,26 @@
+[build-system]
+requires = ["setuptools>=77", "wheel"]
+build-backend = "setuptools.build_meta"
+
+[project]
+name = "text-utils-vn"
+version = "0.1.0"
+description = "Các hàm tiện ích xử lý văn bản tiếng Việt"
+readme = "README.md"
+requires-python = ">=3.9"
+license = "MIT"
+license-files = ["LICENSE"]
+authors = [{ name = "Nguyen Bao Duy" }] 
+keywords = ["vietnamese", "nlp", "text-processing"]
+classifiers = [
+    "Programming Language :: Python :: 3",
+    "Operating System :: OS Independent",
+    "Natural Language :: Vietnamese",
+]
+dependencies = []
+
+[project.optional-dependencies]
+test = ["pytest"]
+
+[tool.setuptools.packages.find]
+where = ["src"]

text_utils_vn-0.1.0/setup.cfg

@@ -0,0 +1,4 @@
+[egg_info]
+tag_build = 
+tag_date = 0
+

text_utils_vn-0.1.0/src/text_utils_vn/__init__.py

@@ -0,0 +1,4 @@
+from .core import remove_accents, normalize_text, count_words, remove_stopwords
+
+__version__ = "0.1.0"
+__all__ = ["remove_accents", "normalize_text", "count_words", "remove_stopwords"]

text_utils_vn-0.1.0/src/text_utils_vn/core.py

@@ -0,0 +1,46 @@
+"""Các hàm xử lý văn bản tiếng Việt."""
+import unicodedata
+
+STOPWORDS = {"tôi", "bạn", "là", "và", "của", "có", "những", "các", "một", "được", "này", "đó"}
+
+
+def remove_accents(text: str) -> str:
+    """
+    Bỏ dấu tiếng Việt: 'Tiếng Việt' -> 'Tieng Viet'.
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Chuỗi văn bản sau khi đã bỏ dấu
+    """
+    text = text.replace("đ", "d").replace("Đ", "D")
+    text = unicodedata.normalize("NFD", text)
+    text = "".join(c for c in text if unicodedata.category(c) != "Mn")
+    return unicodedata.normalize("NFC", text)
+
+
+def normalize_text(text: str) -> str:
+    """
+    Chữ thường, bỏ khoảng trắng thừa.
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Chuỗi văn bản sau khi được chuẩn hóa
+    """
+    text = unicodedata.normalize("NFC", text)
+    return " ".join(text.lower().split())
+
+
+
+def count_words(text: str) -> int:
+    """
+    Đếm số từ (tách theo khoảng trắng).
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Số lượng từ trong chuỗi văn bản"""
+    return len(text.split())
+
+
+def remove_stopwords(text: str) -> str:
+    """
+    Bỏ các từ trong STOPWORDS.
+    :param: text: Chuỗi văn bản đầu vào
+    :return: Chuỗi văn bản sau khi bỏ stopwords
+    """
+    words = text.split()
+    filtered_words = [word for word in words if word.lower() not in STOPWORDS]
+    return " ".join(filtered_words)

text_utils_vn-0.1.0/src/text_utils_vn.egg-info/PKG-INFO

@@ -0,0 +1,63 @@
+Metadata-Version: 2.4
+Name: text-utils-vn
+Version: 0.1.0
+Summary: Các hàm tiện ích xử lý văn bản tiếng Việt
+Author: Nguyen Bao Duy
+License-Expression: MIT
+Keywords: vietnamese,nlp,text-processing
+Classifier: Programming Language :: Python :: 3
+Classifier: Operating System :: OS Independent
+Classifier: Natural Language :: Vietnamese
+Requires-Python: >=3.9
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Provides-Extra: test
+Requires-Dist: pytest; extra == "test"
+Dynamic: license-file
+
+# text-utils-vn
+
+Thư viện nhỏ gồm các hàm xử lý văn bản tiếng Việt: bỏ dấu, chuẩn hóa chuỗi, đếm từ và loại bỏ từ dừng (stopword).
+
+## Cài đặt
+
+```bash
+pip install text-utils-vn
+```
+
+## Cách dùng
+
+```python
+from text_utils_vn import remove_accents, normalize_text, count_words, remove_stopwords
+
+remove_accents("Tiếng Việt")          # 'Tieng Viet'
+normalize_text("  Xin   CHÀO  bạn ")  # 'xin chào bạn'
+count_words("hôm nay trời đẹp")       # 4
+remove_stopwords("tôi là sinh viên")  # 'sinh viên'
+```
+
+## Các hàm
+
+| Hàm | Mô tả |
+|---|---|
+| `remove_accents(text)` | Bỏ dấu tiếng Việt, kể cả chữ `đ` / `Đ` |
+| `normalize_text(text)` | Chuẩn hóa Unicode (NFC), chuyển chữ thường, gộp khoảng trắng thừa |
+| `count_words(text)` | Đếm số từ tách theo khoảng trắng |
+| `remove_stopwords(text)` | Bỏ các từ dừng thông dụng trong một danh sách nhỏ có sẵn |
+
+## Lưu ý
+
+- `count_words` tách theo khoảng trắng nên thực chất đếm âm tiết, ví dụ "sinh viên" được tính là 2.
+- Danh sách stopword có sẵn chỉ gồm một số từ phổ biến, mang tính minh họa.
+
+## Chạy test
+
+```bash
+pip install -e ".[test]"
+pytest
+```
+
+## Giấy phép
+
+MIT License
+

text_utils_vn-0.1.0/src/text_utils_vn.egg-info/SOURCES.txt

@@ -0,0 +1,11 @@
+LICENSE
+README.md
+pyproject.toml
+src/text_utils_vn/__init__.py
+src/text_utils_vn/core.py
+src/text_utils_vn.egg-info/PKG-INFO
+src/text_utils_vn.egg-info/SOURCES.txt
+src/text_utils_vn.egg-info/dependency_links.txt
+src/text_utils_vn.egg-info/requires.txt
+src/text_utils_vn.egg-info/top_level.txt
+tests/test_core.py

text_utils_vn-0.1.0/src/text_utils_vn.egg-info/dependency_links.txt

@@ -0,0 +1 @@
+

text_utils_vn-0.1.0/src/text_utils_vn.egg-info/requires.txt

@@ -0,0 +1,3 @@
+
+[test]
+pytest

text_utils_vn-0.1.0/src/text_utils_vn.egg-info/top_level.txt

@@ -0,0 +1 @@
+text_utils_vn

text_utils_vn-0.1.0/tests/test_core.py

@@ -0,0 +1,19 @@
+from text_utils_vn import remove_accents, normalize_text, count_words, remove_stopwords
+
+
+def test_remove_accents():
+    assert remove_accents("Tiếng Việt") == "Tieng Viet"
+    assert remove_accents("Học viện Kỹ thuật quân sự") == "Hoc vien Ky thuat quan su"
+
+
+def test_normalize_text():
+    assert normalize_text("  Xin   CHÀO  bạn ") == "xin chào bạn"
+
+
+def test_count_words():
+    assert count_words("hôm nay trời đẹp") == 4
+    assert count_words("   ") == 0
+
+
+def test_remove_stopwords():
+    assert remove_stopwords("tôi là sinh viên") == "sinh viên"