WeTextProcessing 1.0.4.1__py3-none-any.whl → 1.0.6.dev19__py3-none-any.whl

itn/README.md

@@ -0,0 +1,60 @@
+## Inverse Text Normalization
+
+### 1. How To Use
+
+``` bash
+$ python inverse_normalize.py --text "text to be denormalized"
+```
+
+### 2. ITN Pipeline
+
+There are 2 components in ITN pipeline:
+
+* pre-processing (before tagger)
+* non-standard word denormalization
+
+#### 2.1 Pre-Processing
+
+| Pre-Processing                       | Raw                        | Denormalized              | Note                                       |
+| ------------------------------------ | -------------------------- | ----------------------- | ------------------------------------------ |
+| Blacklist (Removal)                  | 呃这个呃啊我不知道         | 这个我不知道            | via `data/default/blacklist.tsv`           |
+
+#### 2.2 Non-Standard-Words (NSW) Denormalization
+
+| NSW type                | Raw                 | Denormalized                       | Note                           |
+| ----------------------- | ------------------- | -------------------------------- | ------------------------------ |
+| Numbers                 | 共四百六十五篇约三百一十五万字  | 共465篇约315万字 |                                |
+|                         | 共计六点四二万人        |        共计6.42万人          |                                |
+|                         | 幸运一百 | 幸运100 |       enable_standalone_number=True (default) ([ref](https://github.com/wenet-e2e/WeTextProcessing/blob/master/itn/chinese/rules/cardinal.py#L73-L75))                        |
+|                         |  | 幸运一百 |          enable_standalone_number=False                      |
+| Fraction                | 总量的五分之一以上       |        总量的1/5以上        |                                |
+|                         | 相当于头发丝的十六分之一  |     相当于头发丝的1/16     |                                |
+| Percentage              | 同比增长百分之六点三        |      同比增长6.3%        |                                |
+| Date                    | 二零零二年一月二十八日          |   2002/01/28         |                                |
+|                         | 二零零二年一月             |        2002/01            |                                |
+| Time                    | 八月十六号十二点之前    |      08/16 12点之前        |                                |
+|                         | 我是五点零二分开始的      |       我是5:02开始的       |                                |
+|                         | 于五点三十五分三十六秒发射       |   于5:35:36发射     |                                |
+|                         | 早上八点半准时开会   |         8:30a.m.准时开会         |                                |
+| Math                    | 比分定格在七十八比九十六     |      比分定格在78:96    |                                |
+|                         | 计算负二的绝对值是二   |      计算-2的绝对值是2        |     enable_standalone_number=True (default)                           |
+|                         |    |      计算负二的绝对值是二        |        enable_standalone_number=False                        |
+|                         | 正负二的平方都是四       |        ±2的平方都是4        |         enable_standalone_number=True (default)                       |
+|                         |        |        正负二的平方都是四        |           enable_standalone_number=False                     |
+| Money                   | 价格是十三点五元        |      价格是¥13.5            |                                |
+|                         | 价格是十三点五美元         |     价格是$13.5           |                                |
+| Measure                 | 重达二十五千克            |      重达25kg              |                                |
+|                         | 最高气温三十八摄氏度        |      最高气温38°C        |                                |
+|                         | 速度是每小时十公里 | 速度是10km/h |                                |
+|                         | 一年后 | 一年后 |      exclue_one=True (default) ([ref](https://github.com/wenet-e2e/WeTextProcessing/blob/master/itn/chinese/rules/measure.py#L43-L44))                      |
+|                         |  | 1年后 |       exclue_one=False                         |
+| Number series           | 可以拨打幺二三零六来咨询 |    可以拨打12306来咨询      |                                |
+| Whitelist (Replacement) | 三心二意                 | 三心二意                            |                                |
+
+## Acknowledge
+
+1. Thank the authors of foundational libraries like [OpenFst](https://www.openfst.org/twiki/bin/view/FST/WebHome) & [Pynini](https://www.openfst.org/twiki/bin/view/GRM/Pynini).
+3. Thank [NeMo](https://github.com/NVIDIA/NeMo) team & NeMo open-source community.
+2. Thank [Jiayu Du](https://github.com/dophist), and [SpeechColab](https://github.com/SpeechColab) organization.
+3. Referred [Pynini](https://github.com/kylebgorman/pynini) for reading the FAR, and printing the shortest path of a lattice in the C++ runtime.
+4. Referred [ITN of chinese_text_normalization](https://github.com/speechio/chinese_text_normalization/tree/master/thrax/src/cn) for the data to build the tagger graph.

itn/__main__.py

@@ -1,4 +1,4 @@
 from itn.main import main
 
-if __name__ == '__main__':
+if __name__ == "__main__":
     main()

itn/chinese/data/number/repeat_digit.tsv

@@ -0,0 +1,322 @@
+七个一	1111111
+七个七	7777777
+七个三	3333333
+七个两	2222222
+七个九	9999999
+七个二	2222222
+七个五	5555555
+七个伍	5555555
+七个八	8888888
+七个六	6666666
+七个叁	3333333
+七个四	4444444
+七个壹	1111111
+七个幺	1111111
+七个拐	7777777
+七个捌	8888888
+七个柒	7777777
+七个洞	0000000
+七个玖	9999999
+七个肆	4444444
+七个贰	2222222
+七个陆	6666666
+七个零	0000000
+三个一	111
+三个七	777
+三个三	333
+三个两	222
+三个九	999
+三个二	222
+三个五	555
+三个伍	555
+三个八	888
+三个六	666
+三个叁	333
+三个四	444
+三个壹	111
+三个幺	111
+三个拐	777
+三个捌	888
+三个柒	777
+三个洞	000
+三个玖	999
+三个肆	444
+三个贰	222
+三个陆	666
+三个零	000
+九个一	111111111
+九个七	777777777
+九个三	333333333
+九个两	222222222
+九个九	999999999
+九个二	222222222
+九个五	555555555
+九个伍	555555555
+九个八	888888888
+九个六	666666666
+九个叁	333333333
+九个四	444444444
+九个壹	111111111
+九个幺	111111111
+九个拐	777777777
+九个捌	888888888
+九个柒	777777777
+九个洞	000000000
+九个玖	999999999
+九个肆	444444444
+九个贰	222222222
+九个陆	666666666
+九个零	000000000
+五个一	11111
+五个七	77777
+五个三	33333
+五个两	22222
+五个九	99999
+五个二	22222
+五个五	55555
+五个伍	55555
+五个八	88888
+五个六	66666
+五个叁	33333
+五个四	44444
+五个壹	11111
+五个幺	11111
+五个拐	77777
+五个捌	88888
+五个柒	77777
+五个洞	00000
+五个玖	99999
+五个肆	44444
+五个贰	22222
+五个陆	66666
+五个零	00000
+伍个一	11111
+伍个七	77777
+伍个三	33333
+伍个两	22222
+伍个九	99999
+伍个二	22222
+伍个五	55555
+伍个伍	55555
+伍个八	88888
+伍个六	66666
+伍个叁	33333
+伍个四	44444
+伍个壹	11111
+伍个幺	11111
+伍个拐	77777
+伍个捌	88888
+伍个柒	77777
+伍个洞	00000
+伍个玖	99999
+伍个肆	44444
+伍个贰	22222
+伍个陆	66666
+伍个零	00000
+八个一	11111111
+八个七	77777777
+八个三	33333333
+八个两	22222222
+八个九	99999999
+八个二	22222222
+八个五	55555555
+八个伍	55555555
+八个八	88888888
+八个六	66666666
+八个叁	33333333
+八个四	44444444
+八个壹	11111111
+八个幺	11111111
+八个拐	77777777
+八个捌	88888888
+八个柒	77777777
+八个洞	00000000
+八个玖	99999999
+八个肆	44444444
+八个贰	22222222
+八个陆	66666666
+八个零	00000000
+六个一	111111
+六个七	777777
+六个三	333333
+六个两	222222
+六个九	999999
+六个二	222222
+六个五	555555
+六个伍	555555
+六个八	888888
+六个六	666666
+六个叁	333333
+六个四	444444
+六个壹	111111
+六个幺	111111
+六个拐	777777
+六个捌	888888
+六个柒	777777
+六个洞	000000
+六个玖	999999
+六个肆	444444
+六个贰	222222
+六个陆	666666
+六个零	000000
+叁个一	111
+叁个七	777
+叁个三	333
+叁个两	222
+叁个九	999
+叁个二	222
+叁个五	555
+叁个伍	555
+叁个八	888
+叁个六	666
+叁个叁	333
+叁个四	444
+叁个壹	111
+叁个幺	111
+叁个拐	777
+叁个捌	888
+叁个柒	777
+叁个洞	000
+叁个玖	999
+叁个肆	444
+叁个贰	222
+叁个陆	666
+叁个零	000
+四个一	1111
+四个七	7777
+四个三	3333
+四个两	2222
+四个九	9999
+四个二	2222
+四个五	5555
+四个伍	5555
+四个八	8888
+四个六	6666
+四个叁	3333
+四个四	4444
+四个壹	1111
+四个幺	1111
+四个拐	7777
+四个捌	8888
+四个柒	7777
+四个洞	0000
+四个玖	9999
+四个肆	4444
+四个贰	2222
+四个陆	6666
+四个零	0000
+捌个一	11111111
+捌个七	77777777
+捌个三	33333333
+捌个两	22222222
+捌个九	99999999
+捌个二	22222222
+捌个五	55555555
+捌个伍	55555555
+捌个八	88888888
+捌个六	66666666
+捌个叁	33333333
+捌个四	44444444
+捌个壹	11111111
+捌个幺	11111111
+捌个拐	77777777
+捌个捌	88888888
+捌个柒	77777777
+捌个洞	00000000
+捌个玖	99999999
+捌个肆	44444444
+捌个贰	22222222
+捌个陆	66666666
+捌个零	00000000
+柒个一	1111111
+柒个七	7777777
+柒个三	3333333
+柒个两	2222222
+柒个九	9999999
+柒个二	2222222
+柒个五	5555555
+柒个伍	5555555
+柒个八	8888888
+柒个六	6666666
+柒个叁	3333333
+柒个四	4444444
+柒个壹	1111111
+柒个幺	1111111
+柒个拐	7777777
+柒个捌	8888888
+柒个柒	7777777
+柒个洞	0000000
+柒个玖	9999999
+柒个肆	4444444
+柒个贰	2222222
+柒个陆	6666666
+柒个零	0000000
+玖个一	111111111
+玖个七	777777777
+玖个三	333333333
+玖个两	222222222
+玖个九	999999999
+玖个二	222222222
+玖个五	555555555
+玖个伍	555555555
+玖个八	888888888
+玖个六	666666666
+玖个叁	333333333
+玖个四	444444444
+玖个壹	111111111
+玖个幺	111111111
+玖个拐	777777777
+玖个捌	888888888
+玖个柒	777777777
+玖个洞	000000000
+玖个玖	999999999
+玖个肆	444444444
+玖个贰	222222222
+玖个陆	666666666
+玖个零	000000000
+肆个一	1111
+肆个七	7777
+肆个三	3333
+肆个两	2222
+肆个九	9999
+肆个二	2222
+肆个五	5555
+肆个伍	5555
+肆个八	8888
+肆个六	6666
+肆个叁	3333
+肆个四	4444
+肆个壹	1111
+肆个幺	1111
+肆个拐	7777
+肆个捌	8888
+肆个柒	7777
+肆个洞	0000
+肆个玖	9999
+肆个肆	4444
+肆个贰	2222
+肆个陆	6666
+肆个零	0000
+陆个一	111111
+陆个七	777777
+陆个三	333333
+陆个两	222222
+陆个九	999999
+陆个二	222222
+陆个五	555555
+陆个伍	555555
+陆个八	888888
+陆个六	666666
+陆个叁	333333
+陆个四	444444
+陆个壹	111111
+陆个幺	111111
+陆个拐	777777
+陆个捌	888888
+陆个柒	777777
+陆个洞	000000
+陆个玖	999999
+陆个肆	444444
+陆个贰	222222
+陆个陆	666666
+陆个零	000000

itn/chinese/data/time/minute.tsv

@@ -1,13 +1,4 @@
 半	30
-零一	01
-零二	02
-零三	03
-零四	04
-零五	05
-零六	06
-零七	07
-零八	08
-零九	09
 十	10
 十一	11
 十二	12

itn/chinese/data/time/minute_zero.tsv

@@ -0,0 +1,9 @@
+零一	01
+零二	02
+零三	03
+零四	04
+零五	05
+零六	06
+零七	07
+零八	08
+零九	09

itn/chinese/data/train_number/prefix.tsv

@@ -0,0 +1,7 @@
+高	G
+动	D
+特	T
+快	K
+直	Z
+慢	L
+临	L

itn/chinese/inverse_normalizer.py

@@ -12,71 +12,77 @@
 # See the License for the specific language governing permissions and
 # limitations under the License.
 
-from tn.processor import Processor
+from importlib_resources import files
+from pynini.lib.pynutil import add_weight, delete
+
 from itn.chinese.rules.cardinal import Cardinal
 from itn.chinese.rules.char import Char
 from itn.chinese.rules.date import Date
+from itn.chinese.rules.train_number import TrainNumber
 from itn.chinese.rules.fraction import Fraction
+from itn.chinese.rules.license_plate import LicensePlate
 from itn.chinese.rules.math import Math
 from itn.chinese.rules.measure import Measure
 from itn.chinese.rules.money import Money
-from itn.chinese.rules.whitelist import Whitelist
-from itn.chinese.rules.time import Time
 from itn.chinese.rules.postprocessor import PostProcessor
-from itn.chinese.rules.license_plate import LicensePlate
-
-from pynini.lib.pynutil import add_weight, delete
-from importlib_resources import files
+from itn.chinese.rules.time import Time
+from itn.chinese.rules.whitelist import Whitelist
+from tn.processor import Processor
 
 
 class InverseNormalizer(Processor):
 
-    def __init__(self,
-                 cache_dir=None,
-                 overwrite_cache=False,
-                 enable_standalone_number=True,
-                 enable_0_to_9=False,
-                 enable_million=False):
-        super().__init__(name='zh_inverse_normalizer', ordertype='itn')
+    def __init__(
+        self,
+        cache_dir=None,
+        overwrite_cache=False,
+        remove_interjections=True,
+        enable_standalone_number=True,
+        enable_0_to_9=False,
+        enable_million=False,
+    ):
+        super().__init__(name="zh_inverse_normalizer", ordertype="itn")
+        self.remove_interjections = remove_interjections
         self.convert_number = enable_standalone_number
         self.enable_0_to_9 = enable_0_to_9
         self.enable_million = enable_million
         if cache_dir is None:
             cache_dir = files("itn")
-        self.build_fst('zh_itn', cache_dir, overwrite_cache)
+        self.build_fst("zh_itn", cache_dir, overwrite_cache)
+
+    def build_tagger_and_verbalizer(self):
+        cardinal = Cardinal(self.convert_number, self.enable_0_to_9, self.enable_million)
 
-    def build_tagger(self):
-        tagger = (add_weight(Date().tagger, 1.02)
-                  | add_weight(Whitelist().tagger, 1.01)
-                  | add_weight(Fraction().tagger, 1.05)
-                  | add_weight(
-                      Measure(enable_0_to_9=self.enable_0_to_9).tagger, 1.05)
-                  | add_weight(
-                      Money(enable_0_to_9=self.enable_0_to_9).tagger, 1.04)
-                  | add_weight(Time().tagger, 1.05)
-                  | add_weight(
-                      Cardinal(self.convert_number, self.enable_0_to_9,
-                               self.enable_million).tagger, 1.06)
-                  | add_weight(Math().tagger, 1.10)
-                  | add_weight(LicensePlate().tagger, 1.0)
-                  | add_weight(Char().tagger, 100)).optimize()
+        tagger = (
+            add_weight(Date().tagger, 1.02)
+            | add_weight(Whitelist().tagger, 1.01)
+            | add_weight(Fraction(cardinal=cardinal).tagger, 1.05)
+            | add_weight(Measure(enable_0_to_9=self.enable_0_to_9, cardinal=cardinal).tagger, 1.05)
+            | add_weight(Money(enable_0_to_9=self.enable_0_to_9, cardinal=cardinal).tagger, 1.04)
+            | add_weight(Time().tagger, 1.05)
+            | add_weight(cardinal.tagger, 1.06)
+            | add_weight(Math(cardinal=cardinal).tagger, 1.10)
+            | add_weight(LicensePlate().tagger, 1.0)
+            | add_weight(TrainNumber().tagger, 1.0)
+            | add_weight(Char().tagger, 100)
+        ).optimize()
 
         tagger = tagger.star
-        # remove the last space
-        self.tagger = tagger @ self.build_rule(delete(' '), '', '[EOS]')
+        self.tagger = tagger @ self.build_rule(delete(" "), "", "[EOS]")
 
-    def build_verbalizer(self):
-        verbalizer = (Cardinal(self.convert_number, self.enable_0_to_9,
-                               self.enable_million).verbalizer
-                      | Char().verbalizer
-                      | Date().verbalizer
-                      | Fraction().verbalizer
-                      | Math().verbalizer
-                      | Measure(enable_0_to_9=self.enable_0_to_9).verbalizer
-                      | Money(enable_0_to_9=self.enable_0_to_9).verbalizer
-                      | Time().verbalizer
-                      | LicensePlate().verbalizer
-                      | Whitelist().verbalizer).optimize()
-        postprocessor = PostProcessor(remove_interjections=True).processor
+        verbalizer = (
+            cardinal.verbalizer
+            | Char().verbalizer
+            | Date().verbalizer
+            | Fraction().verbalizer
+            | TrainNumber().verbalizer
+            | Math().verbalizer
+            | Measure(enable_0_to_9=self.enable_0_to_9).verbalizer
+            | Money(enable_0_to_9=self.enable_0_to_9).verbalizer
+            | Time().verbalizer
+            | LicensePlate().verbalizer
+            | Whitelist().verbalizer
+        ).optimize()
+        postprocessor = PostProcessor(remove_interjections=self.remove_interjections).processor
 
         self.verbalizer = (verbalizer @ postprocessor).star