WeTextProcessing 0.2.1__tar.gz → 1.0.0__tar.gz

{WeTextProcessing-0.2.1 → WeTextProcessing-1.0.0}/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: WeTextProcessing
-Version: 0.2.1
+Version: 1.0.0
 Summary: WeTextProcessing, including TN & ITN
 Home-page: https://github.com/wenet-e2e/WeTextProcessing
 Author: Zhendong Peng, Xingchen Song

{WeTextProcessing-0.2.1 → WeTextProcessing-1.0.0}/WeTextProcessing.egg-info/PKG-INFO

@@ -1,6 +1,6 @@
 Metadata-Version: 2.1
 Name: WeTextProcessing
-Version: 0.2.1
+Version: 1.0.0
 Summary: WeTextProcessing, including TN & ITN
 Home-page: https://github.com/wenet-e2e/WeTextProcessing
 Author: Zhendong Peng, Xingchen Song

WeTextProcessing-1.0.0/WeTextProcessing.egg-info/SOURCES.txt

@@ -0,0 +1,214 @@
+LICENSE
+README.md
+setup.py
+WeTextProcessing.egg-info/PKG-INFO
+WeTextProcessing.egg-info/SOURCES.txt
+WeTextProcessing.egg-info/dependency_links.txt
+WeTextProcessing.egg-info/entry_points.txt
+WeTextProcessing.egg-info/requires.txt
+WeTextProcessing.egg-info/top_level.txt
+itn/__init__.py
+itn/__main__.py
+itn/main.py
+itn/zh_itn_tagger.fst
+itn/zh_itn_verbalizer.fst
+itn/chinese/__init__.py
+itn/chinese/inverse_normalizer.py
+itn/chinese/data/date/dd.tsv
+itn/chinese/data/date/mm.tsv
+itn/chinese/data/default/blacklist.tsv
+itn/chinese/data/default/whitelist.tsv
+itn/chinese/data/license_plate/province.tsv
+itn/chinese/data/math/operator.tsv
+itn/chinese/data/measure/units_en.tsv
+itn/chinese/data/measure/units_zh.tsv
+itn/chinese/data/money/code.tsv
+itn/chinese/data/money/symbol.tsv
+itn/chinese/data/number/digit.tsv
+itn/chinese/data/number/dot.tsv
+itn/chinese/data/number/sign.tsv
+itn/chinese/data/number/special_dash.tsv
+itn/chinese/data/number/special_tilde.tsv
+itn/chinese/data/number/zero.tsv
+itn/chinese/data/time/hour.tsv
+itn/chinese/data/time/minute.tsv
+itn/chinese/data/time/noon.tsv
+itn/chinese/data/time/second.tsv
+itn/chinese/rules/__init__.py
+itn/chinese/rules/cardinal.py
+itn/chinese/rules/char.py
+itn/chinese/rules/date.py
+itn/chinese/rules/fraction.py
+itn/chinese/rules/license_plate.py
+itn/chinese/rules/math.py
+itn/chinese/rules/measure.py
+itn/chinese/rules/money.py
+itn/chinese/rules/postprocessor.py
+itn/chinese/rules/time.py
+itn/chinese/rules/whitelist.py
+itn/chinese/test/__init__.py
+itn/chinese/test/normalizer_test.py
+itn/chinese/test/utils.py
+tn/__init__.py
+tn/__main__.py
+tn/en_tn_tagger.fst
+tn/en_tn_verbalizer.fst
+tn/main.py
+tn/processor.py
+tn/token_parser.py
+tn/utils.py
+tn/zh_tn_tagger.fst
+tn/zh_tn_verbalizer.fst
+tn/chinese/__init__.py
+tn/chinese/normalizer.py
+tn/chinese/data/char/charset_extension.tsv
+tn/chinese/data/char/charset_national_standard_2013_8105.tsv
+tn/chinese/data/char/fullwidth_to_halfwidth.tsv
+tn/chinese/data/char/punctuations_zh.tsv
+tn/chinese/data/char/traditional_to_simple.tsv
+tn/chinese/data/date/d.tsv
+tn/chinese/data/date/dd.tsv
+tn/chinese/data/date/m.tsv
+tn/chinese/data/date/mm.tsv
+tn/chinese/data/default/blacklist.tsv
+tn/chinese/data/default/whitelist.tsv
+tn/chinese/data/erhua/whitelist.tsv
+tn/chinese/data/math/operator.tsv
+tn/chinese/data/measure/units_en.tsv
+tn/chinese/data/measure/units_zh.tsv
+tn/chinese/data/money/code.tsv
+tn/chinese/data/money/symbol.tsv
+tn/chinese/data/number/digit.tsv
+tn/chinese/data/number/dot.tsv
+tn/chinese/data/number/sign.tsv
+tn/chinese/data/number/teen.tsv
+tn/chinese/data/number/zero.tsv
+tn/chinese/data/sport/club.tsv
+tn/chinese/data/sport/country.tsv
+tn/chinese/data/time/hour.tsv
+tn/chinese/data/time/minute.tsv
+tn/chinese/data/time/noon.tsv
+tn/chinese/data/time/second.tsv
+tn/chinese/rules/__init__.py
+tn/chinese/rules/cardinal.py
+tn/chinese/rules/char.py
+tn/chinese/rules/date.py
+tn/chinese/rules/fraction.py
+tn/chinese/rules/math.py
+tn/chinese/rules/measure.py
+tn/chinese/rules/money.py
+tn/chinese/rules/postprocessor.py
+tn/chinese/rules/preprocessor.py
+tn/chinese/rules/sport.py
+tn/chinese/rules/time.py
+tn/chinese/rules/whitelist.py
+tn/chinese/test/__init__.py
+tn/chinese/test/cardinal_test.py
+tn/chinese/test/char_test.py
+tn/chinese/test/date_test.py
+tn/chinese/test/fraction_test.py
+tn/chinese/test/math_test.py
+tn/chinese/test/measure_test.py
+tn/chinese/test/money_test.py
+tn/chinese/test/normalizer_test.py
+tn/chinese/test/postprocessor_test.py
+tn/chinese/test/preprocessor_test.py
+tn/chinese/test/sport_test.py
+tn/chinese/test/time_test.py
+tn/chinese/test/token_parser_test.py
+tn/chinese/test/utils.py
+tn/chinese/test/whitelist_test.py
+tn/english/__init__.py
+tn/english/normalizer.py
+tn/english/data/__init__.py
+tn/english/data/suppletive.tsv
+tn/english/data/address/__init__.py
+tn/english/data/address/address_word.tsv
+tn/english/data/address/state.tsv
+tn/english/data/date/__init__.py
+tn/english/data/date/day.tsv
+tn/english/data/date/month_abbr.tsv
+tn/english/data/date/month_name.tsv
+tn/english/data/date/month_number.tsv
+tn/english/data/date/year_suffix.tsv
+tn/english/data/electronic/__init__.py
+tn/english/data/electronic/domain.tsv
+tn/english/data/electronic/symbol.tsv
+tn/english/data/electronic/words.tsv
+tn/english/data/measure/__init__.py
+tn/english/data/measure/math_operation.tsv
+tn/english/data/measure/unit.tsv
+tn/english/data/measure/unit_alternatives.tsv
+tn/english/data/money/__init__.py
+tn/english/data/money/currency_major.tsv
+tn/english/data/money/currency_minor_plural.tsv
+tn/english/data/money/currency_minor_singular.tsv
+tn/english/data/money/per_unit.tsv
+tn/english/data/number/__init__.py
+tn/english/data/number/cardinal_number_name.far
+tn/english/data/number/cardinal_number_name_au.far
+tn/english/data/number/digit.tsv
+tn/english/data/number/fraction.tsv
+tn/english/data/number/hundred.tsv
+tn/english/data/number/quantity_abbr.tsv
+tn/english/data/number/teen.tsv
+tn/english/data/number/thousand.tsv
+tn/english/data/number/ty.tsv
+tn/english/data/number/zero.tsv
+tn/english/data/ordinal/__init__.py
+tn/english/data/ordinal/digit.tsv
+tn/english/data/ordinal/teen.tsv
+tn/english/data/roman/__init__.py
+tn/english/data/roman/female.tsv
+tn/english/data/roman/key_word.tsv
+tn/english/data/roman/male.tsv
+tn/english/data/roman/roman_to_spoken.tsv
+tn/english/data/telephone/__init__.py
+tn/english/data/telephone/ip_prompt.tsv
+tn/english/data/telephone/ssn_prompt.tsv
+tn/english/data/telephone/telephone_prompt.tsv
+tn/english/data/time/__init__.py
+tn/english/data/time/suffix.tsv
+tn/english/data/time/zone.tsv
+tn/english/data/whitelist/__init__.py
+tn/english/data/whitelist/alternatives.tsv
+tn/english/data/whitelist/alternatives_all_format.tsv
+tn/english/data/whitelist/asr.tsv
+tn/english/data/whitelist/asr_with_pc.tsv
+tn/english/data/whitelist/ipa_symbols.tsv
+tn/english/data/whitelist/lj_speech.tsv
+tn/english/data/whitelist/symbol.tsv
+tn/english/data/whitelist/tts.tsv
+tn/english/rules/__init__.py
+tn/english/rules/cardinal.py
+tn/english/rules/date.py
+tn/english/rules/decimal.py
+tn/english/rules/electronic.py
+tn/english/rules/fraction.py
+tn/english/rules/measure.py
+tn/english/rules/money.py
+tn/english/rules/ordinal.py
+tn/english/rules/punctuation.py
+tn/english/rules/range.py
+tn/english/rules/roman.py
+tn/english/rules/telephone.py
+tn/english/rules/time.py
+tn/english/rules/whitelist.py
+tn/english/rules/word.py
+tn/english/test/__init__.py
+tn/english/test/cardinal_test.py
+tn/english/test/date_test.py
+tn/english/test/decimal_test.py
+tn/english/test/electronic_test.py
+tn/english/test/fraction_test.py
+tn/english/test/measure_test.py
+tn/english/test/money_test.py
+tn/english/test/normalizer_test.py
+tn/english/test/ordinal_test.py
+tn/english/test/range_test.py
+tn/english/test/roman_test.py
+tn/english/test/telephone_test.py
+tn/english/test/time_test.py
+tn/english/test/utils.py
+tn/english/test/whitelist_test.py
+tn/english/test/word_test.py

WeTextProcessing-1.0.0/itn/chinese/data/date/dd.tsv

@@ -0,0 +1,62 @@
+一日	01
+二日	02
+三日	03
+四日	04
+五日	05
+六日	06
+七日	07
+八日	08
+九日	09
+十日	10
+十一日	11
+十二日	12
+十三日	13
+十四日	14
+十五日	15
+十六日	16
+十七日	17
+十八日	18
+十九日	19
+二十日	20
+二十一日	21
+二十二日	22
+二十三日	23
+二十四日	24
+二十五日	25
+二十六日	26
+二十七日	27
+二十八日	28
+二十九日	29
+三十日	30
+三十一日	31
+一号	01
+二号	02
+三号	03
+四号	04
+五号	05
+六号	06
+七号	07
+八号	08
+九号	09
+十号	10
+十一号	11
+十二号	12
+十三号	13
+十四号	14
+十五号	15
+十六号	16
+十七号	17
+十八号	18
+十九号	19
+二十号	20
+二十一号	21
+二十二号	22
+二十三号	23
+二十四号	24
+二十五号	25
+二十六号	26
+二十七号	27
+二十八号	28
+二十九号	29
+三十号	30
+三十一号	31

WeTextProcessing-1.0.0/itn/chinese/data/date/mm.tsv

@@ -0,0 +1,12 @@
+一月	01
+二月	02
+三月	03
+四月	04
+五月	05
+六月	06
+七月	07
+八月	08
+九月	09
+十月	10
+十一月	11
+十二月	12

WeTextProcessing-1.0.0/itn/chinese/data/default/blacklist.tsv

@@ -0,0 +1,2 @@
+呃
+啊

WeTextProcessing-1.0.0/itn/chinese/data/default/whitelist.tsv

@@ -0,0 +1,63 @@
+三七二十一	三七二十一
+一共	一共
+一个	一个
+一下	一下
+一些	一些
+一起	一起
+一会	一会
+一路	一路
+二维码	二维码
+慢一点	慢一点
+一般	一般
+统一	统一
+星期一	星期一
+星期二	星期二
+星期三	星期三
+星期四	星期四
+星期五	星期五
+星期六	星期六
+一年一度	一年一度
+一点一滴	一点一滴
+三心二意	三心二意
+阳春三月	阳春三月
+七嘴八舌	七嘴八舌
+四分五裂	四分五裂
+七荤八素	七荤八素
+三纲五常	三纲五常
+三姑六婆	三姑六婆
+四大皆空	四大皆空
+五体投地	五体投地
+六神无主	六神无主
+七窍生烟	七窍生烟
+七擒七纵	七擒七纵
+八仙过海	八仙过海
+十恶不赦	十恶不赦
+一言九鼎	一言九鼎
+一应俱全	一应俱全
+一窍不通	一窍不通
+一盘散沙	一盘散沙
+十全十美	十全十美
+一五一十	一五一十
+让你三分	让你三分
+乱七八糟	乱七八糟
+一日三餐	一日三餐
+十分高兴	十分高兴
+十万八千里	十万八千里
+四川	四川
+三明	三明
+九寨沟	九寨沟
+七里河	七里河
+九江	九江
+六安	六安
+十堰	十堰
+八公山	八公山
+七台河	七台河
+五常	五常
+四平	四平
+四子王旗	四子王旗
+三亚	三亚
+二连浩特	二连浩特
+零陵	零陵
+五台山	五台山
+六盘水	六盘水
+八宿	八宿

WeTextProcessing-1.0.0/itn/chinese/data/license_plate/province.tsv

@@ -0,0 +1,31 @@
+京
+津
+沪
+渝
+冀
+豫
+云
+辽
+黑
+湘
+皖
+鲁
+新
+苏
+浙
+赣
+鄂
+桂
+甘
+晋
+蒙
+陕
+吉
+闽
+贵
+粤
+青
+藏
+川
+宁
+琼

WeTextProcessing-1.0.0/itn/chinese/data/math/operator.tsv

@@ -0,0 +1,7 @@
+乘	×
+减	-
+到	~
+加	+
+比	:
+等于	=
+除	÷

WeTextProcessing-1.0.0/itn/chinese/data/measure/units_en.tsv

@@ -0,0 +1,85 @@
+原子质量	amu
+巴	bar
+平方厘米	cm²
+立方厘米	cm³
+厘米	cm
+美担	cwt
+摄氏度	°C
+分贝	db
+立方分米	dm³
+分米	dm
+英尺	ft
+华氏度	°F
+吉字节	gb
+吉赫兹	ghz
+吉帕斯卡	gpa
+吉瓦时	gwh
+吉瓦	gw
+戈瑞	gy
+小时	h
+公顷	ha
+赫兹	hz
+千比特每秒	kbps
+千比特一秒	kbps
+千卡	kcal
+千克力	kgf
+千克	kg
+公斤	kg
+千赫兹	khz
+平方千米	km²
+公里	km
+公里每小时	km/h
+公里一小时	km/h
+千米	km
+千米每小时	km/h
+千米一小时	km/h
+千帕	kpa
+千瓦时	kwh
+千瓦	kw
+磅	lbs
+平方米	m²
+立方米	m³
+兆比特每秒	mbps
+兆比特一秒	mbps
+克	g
+毫克	mg
+兆赫兹	mhz
+平方英里	mi²
+分钟	min
+英里	mi
+毫升	ml
+平方毫米	mm²
+毫米	mm
+摩尔	mol
+兆帕	mpa
+英里每小时	mph
+英里一小时	mph
+毫秒	ms
+毫伏	mv
+毫瓦	mw
+千伏	kv
+米	m
+纳克	ng
+纳米	nm
+纳秒	ns
+盎司	oz
+度	º
+帕斯卡	pa
+皮克	pg
+皮秒	ps
+弧度	rad
+转每分	rpm
+平方英尺	sq ft
+平方英里	sq mi
+系沃特	sv
+秒	s
+太字节	tb
+万亿焦耳	tj
+台两	tl
+伏特	v
+码	yd
+微克	μg
+微米	μm
+微秒	μs
+欧米茄	ω
+度	°

WeTextProcessing-1.0.0/itn/chinese/data/measure/units_zh.tsv

@@ -0,0 +1,191 @@
+年来
+年前
+年后
+年内
+年之前
+年之后
+人
+篇
+帧
+把
+封
+艘
+套
+段
+匹
+张
+座
+回
+场
+尾
+条
+个
+首
+阙
+阵
+网
+炮
+顶
+丘
+棵
+只
+支
+袭
+辆
+挑
+担
+颗
+壳
+窠
+曲
+墙
+群
+腔
+砣
+座
+客
+贯
+扎
+捆
+刀
+令
+手
+罗
+坡
+山
+岭
+江
+溪
+钟
+队
+单
+双
+对
+口
+头
+脚
+板
+跳
+枝
+件
+贴
+针
+线
+管
+名
+位
+身
+堂
+课
+本
+页
+家
+户
+层
+丝
+毫
+厘
+分
+钱
+斤
+担
+铢
+石
+钧
+锱
+忽
+克
+毫
+厘
+寸
+尺
+丈
+里
+寻
+常
+铺
+程
+米
+撮
+勺
+合
+升
+斗
+石
+盘
+碗
+碟
+叠
+桶
+笼
+盆
+盒
+杯
+钟
+斛
+锅
+簋
+篮
+盘
+桶
+罐
+瓶
+壶
+卮
+盏
+箩
+箱
+煲
+啖
+袋
+钵
+季
+年
+月
+日
+刻
+时
+周
+天
+秒
+旬
+纪
+岁
+世
+更
+夜
+春
+夏
+秋
+冬
+代
+伏
+辈
+丸
+泡
+粒
+颗
+幢
+堆
+条
+根
+支
+道
+面
+片
+张
+颗
+块
+架
+角
+毛
+字
+元
+两
+两米饭
+两酒
+吨
+顿
+牛
+次
+号