python-negar 1.2.13__tar.gz → 1.3__tar.gz

{python_negar-1.2.13 → python_negar-1.3}/Changelog.txt

@@ -1,3 +1,12 @@
+1.3 - 2025-01-01
+-- Enhanced the handling of immutable words to achieve greater accuracy in results.
+
+1.2.15 - 2024-12-31
+-- Fixed issue #24 and added several new immutable words.
+
+1.2.14 - 2024-12-30
+-- Fixed issue with prefix spacing in cases like "mi + space + ZWNJ + <word>".
+
 1.2.13 - 2024-12-26
 -- Fixed issue with quotes after a dot where no space was allowed in between.
 

{python_negar-1.2.13 → python_negar-1.3}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: python-negar
-Version: 1.2.13
+Version: 1.3
 Summary: Negar is a spell corrector and Persian text editor
 Home-page: http://github.com/shahinism/python-negar
 Author: Shahin Azad
@@ -13,7 +13,7 @@ Classifier: Environment :: Console
 Classifier: License :: OSI Approved :: GNU General Public License v3 (GPLv3)
 Classifier: Programming Language :: Python
 Classifier: Programming Language :: Python :: 3
-Requires-Python: >=3.6
+Requires-Python: >=3.8
 Description-Content-Type: text/markdown
 License-File: LICENSE
 License-File: AUTHORS

{python_negar-1.2.13 → python_negar-1.3}/negar/constants.py

@@ -1,7 +1,7 @@
 import platform
 from pathlib import Path
 
-__version__ = "1.2.13"
+__version__ = "1.3"
 
 DATAFILE = Path(__file__).parent.absolute() / "data/immutable.words"
 APPDATA = "AppData/Roaming/" if platform.system() == "Windows" else "."

{python_negar-1.2.13 → python_negar-1.3}/negar/data/immutable.words

@@ -92,15 +92,18 @@
 الشان
 الکتر
 الکترومتر
+الکترومتری
 الکتری
 الماس‌نشان
 المان
 الها
 ام‌ابیها
+ام‌ابیها
 امفی‌تآتر
 امنیتتان
 امها
 انتها
+انتهایی
 انرژی‌درمان
 انسان‌دوستان
 انسان‌دوستان
@@ -196,8 +199,11 @@
 بنگستان
 بنها
 بها
+بهائیت
 بهارستان
 بهارستان
+بهایی
+بهاییت
 بهبها
 بهتان
 بهتان
@@ -205,6 +211,7 @@
 بهتری
 بهترین
 بهترین
+به‌تنهایی
 بهمان
 بوتان
 بودنتان
@@ -254,6 +261,7 @@
 بیازمایید
 بیاسایند
 بی‌اشتها
+بی‌اشتهایی
 بیافتد
 بیافرید
 بیافریند
@@ -324,9 +332,11 @@
 بیایی
 بیایید
 بیاییم
+بیاییم
 بیبسکو
 بیبل
 بی‌بها
+بی‌بهایی
 بیت
 بیت‌التکمه‌ها
 بیت‌الحکمه
@@ -379,6 +389,7 @@
 بیدارتر
 بیدارترین
 بیدار‌دل
+بیداردل
 بیدارشان
 بیدارشدگی
 بیدارگری
@@ -464,11 +475,14 @@
 بیست‌میلیونی
 بیستمین
 بیست‌و‌پنجم
+بیست‌وپنجم
 بیست‌و‌چهار‌ساعته
+بیست‌وچهارساعته
 بیست‌ودوم
 بیست‌وسوم
 بیستون
 بیست‌و‌هفتم
+بیست‌وهفتم
 بیست‌ویکم
 بیسرنامه
 بیسکای
@@ -540,6 +554,7 @@
 بیکار
 بیکاران
 بیکار‌شده
+بیکارشده
 بیکارگی
 بیکارند
 بیکاره
@@ -659,6 +674,7 @@
 بین
 بینا
 بینا‌بینی
+بینابینی
 بینات
 بیناتری
 بینارداغ
@@ -852,7 +868,9 @@
 تفتان
 تکلیفتان
 تک‌و‌تنها
+تک‌وتنها
 تک‌و‌تنهایی
+تک‌وتنهایی
 تلاشتان
 تلویزیون‌تان
 تماستان
@@ -864,6 +882,7 @@
 تنها
 تنهای
 تنهایی
+تنهایی
 تنوره‌کشان
 تهیدستان
 توتستان
@@ -1039,6 +1058,7 @@
 سینمادوستان
 سینما‌دوستان
 شاعر‌صفتان
+شاعرصفتان
 شانگها
 شبستان
 شبستر
@@ -1055,6 +1075,7 @@
 شورستان
 شوشتر
 شوشتری
+شیخ‌بهایی
 شیربها
 صربستان
 صفرکیلومتر
@@ -1150,10 +1171,12 @@
 کودکستان
 کوهستان
 کیلومتر
+کیلومتری
 کیها
 گالوانومتر
 گانگستر
 گران‌بها
+گران‌بهایی
 گرجستان
 گردافشان
 گرده‌افشان
@@ -1180,6 +1203,8 @@
 لیموعمان
 ماتریس
 متان
+متر
+متری
 متشابها
 متکلمان
 متها
@@ -1333,7 +1358,7 @@
 میخی
 مید
 میداس
-مید‌استار
+میداستار
 میدان
 میدانا
 میدان‌چای
@@ -1383,7 +1408,7 @@
 میرباقری
 میرپنج
 میرجاوه
-میر‌جلیل
+میرجلیل
 میرحاجی
 میرحسین
 میرحسینی
@@ -1397,14 +1422,15 @@
 میرر
 میرزا
 میرزاآقابیک
-میرزا‌ابوطالبی
+میرزاابوطالبی
 میرزابی
 میرزابیگی
-میرزا‌ده
+میرزاده
 میرزا‌سالاری‌ها
+میرزاسالاری‌ها
 میرزاغفور
 میرزاغوثی
-میرزا‌نظری
+میرزانظری
 میرزای
 میرزایی
 میرزمانی
@@ -1626,6 +1652,7 @@
 میلیارددلاری
 میلیاردر
 میلیارد‌ریالی
+میلیاردریالی
 میلیاردم
 میلیاردمین
 میلیاردها
@@ -1757,6 +1784,7 @@
 میهنه
 میهنی
 میهو‌ی
+میهوی
 میوت
 میور
 میوسن
@@ -1809,9 +1837,10 @@
 نهاد
 نهالستان
 نهایت
+نهایی
 نه‌تنها
 نوبها
-نو‌دولتان
+نودولتان
 نورافشان
 نوع‌دوستان
 نونها
@@ -1822,6 +1851,7 @@
 نیشتر
 نیم‌بها
 نیمه‌نها
+نیمه‌نهایی
 هزاردستان
 هستان
 هشتر

{python_negar-1.2.13 → python_negar-1.3}/negar/virastar.py

@@ -57,7 +57,7 @@ class PersianEditor:
         self.cleanup()
 
     def cleanup(self):
-        self._handle_urls(State.save)
+        self.__handle_urls__(State.save)
         # fix punctuation spaces at first
         # : ; , ! ? and their Persian counterparts should have one space after and no space before
         # An exception is triple dots, which should be handled first
@@ -77,10 +77,12 @@ class PersianEditor:
         self.char_validator()       if self._fix_misc_non_persian_chars else None
         self.fix_arabic_numbers()   if self._fix_arabic_numbers else None
         self.fix_english_numbers()  if self._fix_english_numbers else None
+        self.__handle_immutable_words__(State.save)
         self.fix_prefix_spacing()   if self._fix_prefix_spacing else None
         self.fix_prefix_separate()  if self._fix_prefix_separate else None
         self.fix_suffix_spacing()   if self._fix_suffix_spacing else None
         self.fix_suffix_separate()  if self._fix_suffix_separate else None
+        self.__handle_immutable_words__(State.restore)
         self.fix_spacing_for_braces_and_quotes() \
             if self._fix_spacing_for_braces_and_quotes else None
         self.cleanup_redundant_zwnj()
@@ -92,7 +94,7 @@ class PersianEditor:
         )
         if self._trim_leading_trailing_whitespaces:
             self.text = "\n".join([line.strip() for line in self.text.split("\n")])
-        self._handle_urls(State.restore)
+        self.__handle_urls__(State.restore)
         return self.text
 
     def __repr__(self):
@@ -100,7 +102,7 @@ class PersianEditor:
 
     __str__ = __repr__
 
-    def _handle_urls(self, state):
+    def __handle_urls__(self, state):
         """Remove URLs and putting them back at the end of the process."""
         if state == State.save:
             self.urls = list(set(re.findall(URLREGX, self.text, re.M | re.I | re.X)))
@@ -111,6 +113,19 @@ class PersianEditor:
             for i, url in enumerate(self.urls):
                 self.text = re.sub(f"__URL__#{i}__", url, self.text)
 
+    def __handle_immutable_words__(self, state):
+        """Remove URLs and putting them back at the end of the process."""
+        if state == State.save:
+            self.immutable_words = {}
+            words = self.text.split()
+            for i, word in enumerate(words):
+                if (word:=word.strip()) in ImmutableWords.get():
+                    self.immutable_words[i] = word
+                    self.text = regex.sub(rf"\b{word}\b", rf"__IMM__#{i}__", self.text)
+        if state == State.restore:
+            for imm_key, imm_word in self.immutable_words.items():
+                self.text = re.sub(f"__IMM__#{imm_key}__", imm_word, self.text)
+
     def fix_dashes(self):
         """Replace double and triple dashes with `ndash` and `mdash`, respectively."""
         self.text = re.sub(r"-{3}", r"—", self.text)
@@ -178,9 +193,9 @@ class PersianEditor:
 
     def fix_prefix_spacing(self):
         """Put ZWNJ between a word and its prefix (mi* nemi* bi* na*)."""
-        self.text = re.sub(r"\b(بی|نا)‌*(\s+)(?!(می)\b)", r"\1‌", self.text)
+        self.text = re.sub(r"\b(بی|نا)([\s|‌]+)(?!(می)\b)", r"\1‌", self.text)
         # the following case is for the mi(n.) and nemi(n.)
-        self.text = re.sub(rf"\b(ن?می)‌*(\s+)(?!(.|{self._prepositions})\b)", r"\1‌", self.text)
+        self.text = re.sub(rf"\b(ن?می)([\s|‌]+)(?!(.|{self._prepositions})\b)", r"\1‌", self.text)
 
     def fix_prefix_separate(self):
         """Put ZWNJ between a word and its prefix (mi* nemi* bi*)."""
@@ -193,22 +208,8 @@ class PersianEditor:
         """,
             re.VERBOSE,
         )  #  \b for words like سهمیه
-
-        # Replace backslashes with a temporary placeholder
-        text = self.text.replace("\\", "PN__BACKSLASH__PN")
-        wlist = text.split(" ")
-        for word in wlist:
-            regx_iter = regx.finditer(word)
-            for p in regx_iter:
-                # Checks that the prefix (mi* nemi* bi*) is part a a word or not, like میلاد.
-                if p.group() not in ImmutableWords.get():
-                    text = re.sub(
-                        re.escape(p.group()),
-                        p.group(1) + "\u200c" + p.group(2),
-                        text,
-                    )
-        # Restore the original backslashes
-        self.text = text.replace("PN__BACKSLASH__PN", "\\")
+        # Checks that the prefix (mi*, nemi*, and bi*) is part a a word or not, like میلاد.
+        self.__immutability_check__(regx)
 
     def fix_suffix_spacing(self):
         """Put ZWNJ between a word and its suffix (*ha[ye] *tar[in])."""
@@ -256,19 +257,22 @@ class PersianEditor:
             )\b""",
             re.VERBOSE,
         )
+        # Checks that the suffix (tar*, haye*) is part of a word or not, like بهتر.
+        self.__immutability_check__(regx)
+
+    def __immutability_check__(self, regx: re.Pattern):
         # Replace backslashes with a temporary placeholder
         text = self.text.replace("\\", "PN__BACKSLASH__PN")
-        wlist = text.split(" ")
+        wlist = text.split()
         for word in wlist:
             regx_iter = regx.finditer(word)
             for p in regx_iter:
-                # Checks that the suffix (tar* haye*) is part of a word or not, like بهتر.
-                if p.group() not in ImmutableWords.get():
-                    text = re.sub(
-                        re.escape(p.group()),
-                        p.group(1) + "\u200c" + p.group(2),
-                        text,
-                    )
+                # if p.group() not in ImmutableWords.get():
+                text = re.sub(
+                    rf"\b{re.escape(p.group())}\b",
+                    p.group(1) + "\u200c" + p.group(2),
+                    text,
+                )
         # Restore the original backslashes
         self.text = text.replace("PN__BACKSLASH__PN", "\\")
 

{python_negar-1.2.13 → python_negar-1.3}/python_negar.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: python-negar
-Version: 1.2.13
+Version: 1.3
 Summary: Negar is a spell corrector and Persian text editor
 Home-page: http://github.com/shahinism/python-negar
 Author: Shahin Azad
@@ -13,7 +13,7 @@ Classifier: Environment :: Console
 Classifier: License :: OSI Approved :: GNU General Public License v3 (GPLv3)
 Classifier: Programming Language :: Python
 Classifier: Programming Language :: Python :: 3
-Requires-Python: >=3.6
+Requires-Python: >=3.8
 Description-Content-Type: text/markdown
 License-File: LICENSE
 License-File: AUTHORS

{python_negar-1.2.13 → python_negar-1.3}/setup.py

@@ -33,7 +33,7 @@ setup(
     },
     long_description_content_type="text/markdown",
     long_description=open("README.md", encoding="utf8").read(),
-    python_requires=">=3.6",
+    python_requires=">=3.8",
     classifiers=[
         "Environment :: Console",
         "License :: OSI Approved :: GNU General Public License v3 (GPLv3)",

{python_negar-1.2.13 → python_negar-1.3}/tests/test_unittest.py

@@ -93,6 +93,16 @@ class Test(unittest.TestCase):
         self.input_ = r"در پیشوند کلمات با نیم‌فاصله نظیر ' می شود '، ' میشود '، ' بی شک '، ' بیشک ' , ' خانه اش '، ' وظیفه شناس ' ، ' کمک تان '  و یا ' نمیرود '"
         self.output_ = "در پیشوند کلمات با نیم‌فاصله نظیر «می‌شود»، «می‌شود»، «بی‌شک»، «بی‌شک»، «خانه‌اش»، «وظیفه‌شناس»، «کمک‌تان» و یا «نمی‌رود»"
 
+    @_assertEqual("Fix Prefix ZWNJ II")
+    def test_fix_prefix_ZWNJ_ii(self):
+        self.input_ = r"می‌ شود"
+        self.output_ = "می‌شود"
+
+    @_assertEqual("Fix Prefix ZWNJ III")
+    def test_fix_prefix_ZWNJ_iii(self):
+        self.input_ = r"می ‌شود"
+        self.output_ = "می‌شود"
+        
     @_assertEqual("Fix Suffix ZWNJ I")
     def test_fix_suffix_ZWNJ_I(self):
         self.input_ = r"در پسوند کلمات با نیم‌فاصله نظیر کتابها، خوشترین -- و البته امکان عدم تنظیم (در صورت انتخاب کاربر)"