python-negar 1.2.15__tar.gz → 1.4__tar.gz

{python_negar-1.2.15 → python_negar-1.4}/Changelog.txt

@@ -1,3 +1,9 @@
+1.4 - 2025-01-05
+-- Added a new feature to ignore text after #> as a comment trigger.
+
+1.3 - 2025-01-01
+-- Enhanced the handling of immutable words to achieve greater accuracy in results.
+
 1.2.15 - 2024-12-31
 -- Fixed issue #24 and added several new immutable words.
 

{python_negar-1.2.15 → python_negar-1.4}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: python-negar
-Version: 1.2.15
+Version: 1.4
 Summary: Negar is a spell corrector and Persian text editor
 Home-page: http://github.com/shahinism/python-negar
 Author: Shahin Azad
@@ -13,7 +13,7 @@ Classifier: Environment :: Console
 Classifier: License :: OSI Approved :: GNU General Public License v3 (GPLv3)
 Classifier: Programming Language :: Python
 Classifier: Programming Language :: Python :: 3
-Requires-Python: >=3.6
+Requires-Python: >=3.8
 Description-Content-Type: text/markdown
 License-File: LICENSE
 License-File: AUTHORS
@@ -42,7 +42,7 @@ Installation
 
 ## Git
 
-You can get latest stable changes from github server:
+You can get the latest stable changes from the GitHub server:
 
     $ git clone https://github.com/shahinism/python-negar.git
     $ cd python-negar
@@ -62,11 +62,11 @@ Get the latest tarball & install:
 
 ### Windows
 
-Download latest zip archive.
+Download the latest zip archive.
 
 https://github.com/shahinism/python-negar/archive/master.zip
 
-Decompress it, and run the following command in root directory of `python-negar`
+Decompress it, and run the following command in the root directory of `python-negar`
 
     $ python setup.py install
 
@@ -85,7 +85,7 @@ Calling by default options:
     * جایگزینی
     + خط تیره های پیاپی نظیر (--) و (---) با معادل های استاندارد شان
     + سه نقطه ی پیاپی (...) با کاراکتر استانداردش در زبان فارسی
-        + علایمی نظیر کتیشن فارسی با گیومه ؛  'نگار'
+        + علایمی نظیر کوتیشن فارسی با گیومه ؛  'نگار'
         + اعداد عربی '١٢٣٤٥٦٧٨٩٠' و انگلیسی '1234567890'  با معادل فارسی
         + کاراکتر های غیر فارسی نظیر ',;%يةك' با معادل های فارسی
 

{python_negar-1.2.15 → python_negar-1.4}/README.md

@@ -21,7 +21,7 @@ Installation
 
 ## Git
 
-You can get latest stable changes from github server:
+You can get the latest stable changes from the GitHub server:
 
     $ git clone https://github.com/shahinism/python-negar.git
     $ cd python-negar
@@ -41,11 +41,11 @@ Get the latest tarball & install:
 
 ### Windows
 
-Download latest zip archive.
+Download the latest zip archive.
 
 https://github.com/shahinism/python-negar/archive/master.zip
 
-Decompress it, and run the following command in root directory of `python-negar`
+Decompress it, and run the following command in the root directory of `python-negar`
 
     $ python setup.py install
 
@@ -64,7 +64,7 @@ Calling by default options:
     * جایگزینی
     + خط تیره های پیاپی نظیر (--) و (---) با معادل های استاندارد شان
     + سه نقطه ی پیاپی (...) با کاراکتر استانداردش در زبان فارسی
-        + علایمی نظیر کتیشن فارسی با گیومه ؛  'نگار'
+        + علایمی نظیر کوتیشن فارسی با گیومه ؛  'نگار'
         + اعداد عربی '١٢٣٤٥٦٧٨٩٠' و انگلیسی '1234567890'  با معادل فارسی
         + کاراکتر های غیر فارسی نظیر ',;%يةك' با معادل های فارسی
 

{python_negar-1.2.15 → python_negar-1.4}/negar/constants.py

@@ -1,7 +1,7 @@
 import platform
 from pathlib import Path
 
-__version__ = "1.2.15"
+__version__ = "1.4"
 
 DATAFILE = Path(__file__).parent.absolute() / "data/immutable.words"
 APPDATA = "AppData/Roaming/" if platform.system() == "Windows" else "."

{python_negar-1.2.15 → python_negar-1.4}/negar/data/immutable.words

@@ -92,6 +92,7 @@
 الشان
 الکتر
 الکترومتر
+الکترومتری
 الکتری
 الماس‌نشان
 المان
@@ -331,6 +332,7 @@
 بیایی
 بیایید
 بیاییم
+بیاییم
 بیبسکو
 بیبل
 بی‌بها
@@ -1169,6 +1171,7 @@
 کودکستان
 کوهستان
 کیلومتر
+کیلومتری
 کیها
 گالوانومتر
 گانگستر
@@ -1200,6 +1203,8 @@
 لیموعمان
 ماتریس
 متان
+متر
+متری
 متشابها
 متکلمان
 متها

{python_negar-1.2.15 → python_negar-1.4}/negar/virastar.py

@@ -57,7 +57,8 @@ class PersianEditor:
         self.cleanup()
 
     def cleanup(self):
-        self._handle_urls(State.save)
+        self.__handle_comments__(State.save)
+        self.__handle_urls__(State.save)
         # fix punctuation spaces at first
         # : ; , ! ? and their Persian counterparts should have one space after and no space before
         # An exception is triple dots, which should be handled first
@@ -77,10 +78,12 @@ class PersianEditor:
         self.char_validator()       if self._fix_misc_non_persian_chars else None
         self.fix_arabic_numbers()   if self._fix_arabic_numbers else None
         self.fix_english_numbers()  if self._fix_english_numbers else None
+        self.__handle_immutable_words__(State.save)
         self.fix_prefix_spacing()   if self._fix_prefix_spacing else None
         self.fix_prefix_separate()  if self._fix_prefix_separate else None
         self.fix_suffix_spacing()   if self._fix_suffix_spacing else None
         self.fix_suffix_separate()  if self._fix_suffix_separate else None
+        self.__handle_immutable_words__(State.restore)
         self.fix_spacing_for_braces_and_quotes() \
             if self._fix_spacing_for_braces_and_quotes else None
         self.cleanup_redundant_zwnj()
@@ -92,7 +95,8 @@ class PersianEditor:
         )
         if self._trim_leading_trailing_whitespaces:
             self.text = "\n".join([line.strip() for line in self.text.split("\n")])
-        self._handle_urls(State.restore)
+        self.__handle_urls__(State.restore)
+        self.__handle_comments__(State.restore)
         return self.text
 
     def __repr__(self):
@@ -100,8 +104,19 @@ class PersianEditor:
 
     __str__ = __repr__
 
-    def _handle_urls(self, state):
-        """Remove URLs and putting them back at the end of the process."""
+    def __handle_comments__(self, state):
+        """Extract comments, process the content, and reinsert the comments at the end."""
+        if state == State.save:
+            self.comments = list(set(re.findall(r"#>.*$", self.text, re.I | re.M)))
+            self.comments.sort(key=lambda x: len(x), reverse=True)
+            for i, comment in enumerate(self.comments):
+                self.text = regex.sub(rf"{re.escape(comment)}", rf"__COMMENT__#{i}__", self.text)
+        if state == State.restore:
+            for i, comment in enumerate(self.comments):
+                self.text = re.sub(f"__COMMENT__#{i}__", comment, self.text)
+
+    def __handle_urls__(self, state):
+        """Remove URLs temporarily and reinsert them at the end of the process."""
         if state == State.save:
             self.urls = list(set(re.findall(URLREGX, self.text, re.M | re.I | re.X)))
             self.urls.sort(key=lambda x: len(x), reverse=True)
@@ -111,6 +126,19 @@ class PersianEditor:
             for i, url in enumerate(self.urls):
                 self.text = re.sub(f"__URL__#{i}__", url, self.text)
 
+    def __handle_immutable_words__(self, state):
+        """Remove immutable words temporarily and reapply them at the end of the process."""
+        if state == State.save:
+            self.immutable_words = {}
+            words = self.text.split()
+            for i, word in enumerate(words):
+                if (word := word.strip()) in ImmutableWords.get():
+                    self.immutable_words[i] = word
+                    self.text = regex.sub(rf"\b{word}\b", rf"__IMM__#{i}__", self.text)
+        if state == State.restore:
+            for imm_key, imm_word in self.immutable_words.items():
+                self.text = re.sub(f"__IMM__#{imm_key}__", imm_word, self.text)
+
     def fix_dashes(self):
         """Replace double and triple dashes with `ndash` and `mdash`, respectively."""
         self.text = re.sub(r"-{3}", r"—", self.text)
@@ -193,24 +221,8 @@ class PersianEditor:
         """,
             re.VERBOSE,
         )  #  \b for words like سهمیه
-
-        # Replace backslashes with a temporary placeholder
-        text = self.text.replace("\\", "PN__BACKSLASH__PN")
-        wlist = text.split()
-        for word in wlist:
-            if word.strip() in ImmutableWords.get():
-                continue
-            regx_iter = regx.finditer(word)
-            for p in regx_iter:
-                # Checks that the prefix (mi* nemi* bi*) is part a a word or not, like میلاد.
-                if p.group() not in ImmutableWords.get():
-                    text = re.sub(
-                        re.escape(p.group()),
-                        p.group(1) + "\u200c" + p.group(2),
-                        text,
-                    )
-        # Restore the original backslashes
-        self.text = text.replace("PN__BACKSLASH__PN", "\\")
+        # Checks that the prefix (mi*, nemi*, and bi*) is part a a word or not, like میلاد.
+        self.__immutability_check__(regx)
 
     def fix_suffix_spacing(self):
         """Put ZWNJ between a word and its suffix (*ha[ye] *tar[in])."""
@@ -258,21 +270,22 @@ class PersianEditor:
             )\b""",
             re.VERBOSE,
         )
+        # Checks that the suffix (tar*, haye*) is part of a word or not, like بهتر.
+        self.__immutability_check__(regx)
+
+    def __immutability_check__(self, regx: re.Pattern):
         # Replace backslashes with a temporary placeholder
         text = self.text.replace("\\", "PN__BACKSLASH__PN")
         wlist = text.split()
         for word in wlist:
-            if word.strip() in ImmutableWords.get():
-                continue
             regx_iter = regx.finditer(word)
             for p in regx_iter:
-                # Checks that the suffix (tar* haye*) is part of a word or not, like بهتر.
-                if p.group() not in ImmutableWords.get():
-                    text = re.sub(
-                        re.escape(p.group()),
-                        p.group(1) + "\u200c" + p.group(2),
-                        text,
-                    )
+                # if p.group() not in ImmutableWords.get():
+                text = re.sub(
+                    rf"\b{re.escape(p.group())}\b",
+                    p.group(1) + "\u200c" + p.group(2),
+                    text,
+                )
         # Restore the original backslashes
         self.text = text.replace("PN__BACKSLASH__PN", "\\")
 

{python_negar-1.2.15 → python_negar-1.4}/python_negar.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: python-negar
-Version: 1.2.15
+Version: 1.4
 Summary: Negar is a spell corrector and Persian text editor
 Home-page: http://github.com/shahinism/python-negar
 Author: Shahin Azad
@@ -13,7 +13,7 @@ Classifier: Environment :: Console
 Classifier: License :: OSI Approved :: GNU General Public License v3 (GPLv3)
 Classifier: Programming Language :: Python
 Classifier: Programming Language :: Python :: 3
-Requires-Python: >=3.6
+Requires-Python: >=3.8
 Description-Content-Type: text/markdown
 License-File: LICENSE
 License-File: AUTHORS
@@ -42,7 +42,7 @@ Installation
 
 ## Git
 
-You can get latest stable changes from github server:
+You can get the latest stable changes from the GitHub server:
 
     $ git clone https://github.com/shahinism/python-negar.git
     $ cd python-negar
@@ -62,11 +62,11 @@ Get the latest tarball & install:
 
 ### Windows
 
-Download latest zip archive.
+Download the latest zip archive.
 
 https://github.com/shahinism/python-negar/archive/master.zip
 
-Decompress it, and run the following command in root directory of `python-negar`
+Decompress it, and run the following command in the root directory of `python-negar`
 
     $ python setup.py install
 
@@ -85,7 +85,7 @@ Calling by default options:
     * جایگزینی
     + خط تیره های پیاپی نظیر (--) و (---) با معادل های استاندارد شان
     + سه نقطه ی پیاپی (...) با کاراکتر استانداردش در زبان فارسی
-        + علایمی نظیر کتیشن فارسی با گیومه ؛  'نگار'
+        + علایمی نظیر کوتیشن فارسی با گیومه ؛  'نگار'
         + اعداد عربی '١٢٣٤٥٦٧٨٩٠' و انگلیسی '1234567890'  با معادل فارسی
         + کاراکتر های غیر فارسی نظیر ',;%يةك' با معادل های فارسی
 

{python_negar-1.2.15 → python_negar-1.4}/setup.py

@@ -33,12 +33,11 @@ setup(
     },
     long_description_content_type="text/markdown",
     long_description=open("README.md", encoding="utf8").read(),
-    python_requires=">=3.6",
+    python_requires=">=3.8",
     classifiers=[
         "Environment :: Console",
         "License :: OSI Approved :: GNU General Public License v3 (GPLv3)",
         "Programming Language :: Python",
         "Programming Language :: Python :: 3",
     ],
-
 )

{python_negar-1.2.15 → python_negar-1.4}/tests/test_unittest.py

@@ -11,7 +11,9 @@ class Test(unittest.TestCase):
             def wrapper(self, *args, **kwargs):
                 func(self, *args, **kwargs)
                 return self.assertEqual(f"{PersianEditor(self.input_)}", self.output_, message)
+
             return wrapper
+
         return decorator
 
     # @unittest.skip("")
@@ -22,8 +24,8 @@ class Test(unittest.TestCase):
 
     @_assertEqual("Fix Hamzeh")
     def test_fix_hamzeh(self):
-        self.input_ = "کلماتی که با 'ی' پسوند همراه هستند مانند 'همه ی ' -- و البته امکان جایگزینی آن با حمزه 'ء' ( در صورت انتخاب کاربر )" # noqa: E501
-        self.output_ = "کلماتی که با «ی» پسوند همراه هستند مانند «همه‌ی» – و البته امکان جایگزینی آن با حمزه «ء» (در صورت انتخاب کاربر)"     # noqa: E501
+        self.input_ = "کلماتی که با 'ی' پسوند همراه هستند مانند 'همه ی ' -- و البته امکان جایگزینی آن با حمزه 'ء' ( در صورت انتخاب کاربر )"  # noqa: E501
+        self.output_ = "کلماتی که با «ی» پسوند همراه هستند مانند «همه‌ی» – و البته امکان جایگزینی آن با حمزه «ء» (در صورت انتخاب کاربر)"  # noqa: E501
 
     @_assertEqual("Numbers as a Version -- Triple Dots")
     def test_versioning_numbers_triple(self):
@@ -61,7 +63,6 @@ class Test(unittest.TestCase):
     def test_persian_quotations_ii(self):
         self.input_ = "«تاثیر نسبی داشته است. »"
         self.output_ = "«تاثیر نسبی داشته است.»"
-    
 
     @_assertEqual("Persian Numbers")
     def test_persian_numbers(self):
@@ -102,7 +103,7 @@ class Test(unittest.TestCase):
     def test_fix_prefix_ZWNJ_iii(self):
         self.input_ = r"می ‌شود"
         self.output_ = "می‌شود"
-        
+
     @_assertEqual("Fix Suffix ZWNJ I")
     def test_fix_suffix_ZWNJ_I(self):
         self.input_ = r"در پسوند کلمات با نیم‌فاصله نظیر کتابها، خوشترین -- و البته امکان عدم تنظیم (در صورت انتخاب کاربر)"
@@ -127,7 +128,7 @@ class Test(unittest.TestCase):
     def test_immutable_words_i(self):
         self.input_ = "تنها ترین خدمتگزار (تنها ترین خدمتگزار)"
         self.output_ = "تنهاترین خدمتگزار (تنهاترین خدمتگزار)"
-        
+
     @_assertEqual("Immutable Words II")
     def test_immutable_words_ii(self):
         self.input_ = "تنها ترین خدمتگزار (تنها ترین خدمتگزار)"
@@ -138,6 +139,11 @@ class Test(unittest.TestCase):
         self.input_ = "بیستم ماه میلادی"
         self.output_ = "بیستم ماه میلادی"
 
+    @_assertEqual("Ignote Comment")
+    def test_ignore_comment(self):
+        self.input_ = "کشیـــــــــده  شده اند #> می نویسد  .... "
+        self.output_ = "کشیده شده‌اند #> می نویسد  .... "
+
 
 if __name__ == "__main__":
     unittest.main()