twfilter 0.1.0

data/lib/twfilter/checks/lexicon.rb

@@ -0,0 +1,83 @@
+# frozen_string_literal: true
+
+module TWFilter
+  module Checks
+    module Lexicon
+      NAME = :lexicon
+
+      class << self
+        def call(subject)
+          findings = []
+
+          hard = hits(subject, :hard, hard_terms)
+          findings << finding(:mainland, hard.first(DETAIL_SAMPLE).join(" "), :reject) if hard.any?
+
+          severity = subject.policy.soft_lexicon_rejects ? :reject : :mark
+          soft = hits(subject, :soft, soft_terms)
+          findings << finding(:mainland_soft, soft.first(DETAIL_SAMPLE).join(" "), severity) if soft.any?
+
+          cantonese = subject.text.scan(union(:cantonese, cantonese_chars)).uniq
+          findings << finding(:cantonese, cantonese.first(DETAIL_SAMPLE).join, :reject) if cantonese.any?
+
+          regional = hits(subject, :regional, regional_terms)
+          findings << finding(:regional, regional.first(DETAIL_SAMPLE).join(" "), :reject) if regional.any?
+
+          topics = subject.text.scan(union(:topics, foreign_topics)).uniq.select { |term| topic?(subject.text, term) }
+          if topics.any?
+            severity = subject.policy.foreign_topics_reject ? :reject : :mark
+            findings << finding(:foreign_topic, topics.first(DETAIL_SAMPLE).join(" "), severity)
+          end
+
+          findings
+        end
+
+        def taiwan_form(term) = hard_terms[term] || soft_terms[term]
+
+        def hard_terms = @hard_terms ||= forms("mainland_hard.tsv")
+
+        def soft_terms = @soft_terms ||= forms("mainland_soft.tsv")
+
+        def forms(table) = Tables.columns(table).to_h { |mainland, taiwan, *| [mainland, taiwan] }.freeze
+
+        def exceptions = Tables.groups("mainland_exceptions.tsv")
+
+        def regional_terms = @regional_terms ||= forms("regional_hard.tsv")
+
+        def cantonese_chars = Tables.rows("cantonese.txt")
+
+        def foreign_topics = Tables.rows("foreign_topics.txt")
+
+        def reset! = (@hard_terms = @soft_terms = @regional_terms = @unions = nil)
+
+        # Taipei streets carry mainland city names by KMT-era decree, so an address suffix suppresses a topic hit.
+        ADDRESS = /[東西南北中]?(?:[一二三四五六七八九十]段)?(?:路|街|巷|弄|大道|夜市)/
+
+        def topic?(text, term)
+          return false unless text.include?(term)
+
+          text.scan(term).length > text.scan(/#{Regexp.escape(term)}#{ADDRESS}/).length
+        end
+
+        # One union scan per table beats 200-odd substring searches; the exception mask then
+        # runs only for terms that actually matched.
+        def union(name, terms) = unions[name] ||= Regexp.union(terms.sort_by { |term| -term.length })
+
+        private
+
+        def unions = @unions ||= {}
+
+        def hits(subject, band, terms)
+          found = subject.text.scan(union(band, terms.keys)).uniq
+          return found if found.empty?
+
+          found.select { |term|
+            allowed = exceptions[term]
+            allowed.nil? || subject.masked(allowed).include?(term)
+          }
+        end
+
+        def finding(code, detail, severity) = Finding.new(check: NAME, code: code, severity: severity, detail: detail)
+      end
+    end
+  end
+end

data/lib/twfilter/checks/script.rb

@@ -0,0 +1,71 @@
+# frozen_string_literal: true
+
+module TWFilter
+  module Checks
+    module Script
+      NAME = :script
+      TIER_FILES = {
+        TIERS.fetch(:common) => "moe_common.txt",
+        TIERS.fetch(:secondary) => "moe_secondary.txt",
+        TIERS.fetch(:rare) => "moe_rare.txt"
+      }.freeze
+
+      class << self
+        def call(subject)
+          findings = []
+
+          simplified = subject.han_chars.select { |char| simplified_only.include?(char) }.uniq
+          findings << finding(:simplified, simplified.first(DETAIL_SAMPLE).join) if simplified.any?
+
+          converted = subject.han_chars.select { |char| converted_orthography.include?(char) }.uniq
+          if converted.any?
+            severity = subject.policy.orthography_rejects ? :reject : :mark
+            findings << finding(:converted_orthography, converted.first(DETAIL_SAMPLE).join, severity)
+          end
+
+          unlisted = subject.han_chars.reject { |char| tiers.key?(char) }.uniq
+          findings << finding(:unlisted, unlisted.first(DETAIL_SAMPLE).join) if unlisted.any?
+
+          limit = subject.policy.tier_limit
+          above = subject.han_chars.select { |char| (tiers[char] || 0) > limit }.uniq
+          findings << finding(:above_tier, above.first(DETAIL_SAMPLE).join) if above.any?
+
+          findings
+        end
+
+        def tier(char) = tiers[char]
+
+        def tier_of(text)
+          levels = text.each_char.filter_map { |char| tiers[char] if Han.char?(char) }
+          return nil if levels.length < text.each_char.count { |char| Han.char?(char) }
+
+          levels.max || TIERS.fetch(:common)
+        end
+
+        def tiers
+          @tiers ||= TIER_FILES
+            .flat_map { |level, file| Tables.rows(file).map { |char| [char, level] } }
+            .reverse
+            .to_h
+            .merge(Tables.rows("moe_exception.txt").to_h { |char| [char, TIERS.fetch(:common)] })
+            .freeze
+        end
+
+        def reset! = @tiers = nil
+
+        def simplified_only = Tables.set("simplified_only.txt")
+
+        def converted_orthography = Tables.set("converted_orthography.txt")
+
+        private
+
+        def finding(code, detail, severity = :reject) = Finding.new(
+          check: NAME,
+          code: code,
+          severity: severity,
+          detail: detail
+        )
+      end
+    end
+  end
+end

data/lib/twfilter/checks/shape.rb

@@ -0,0 +1,40 @@
+# frozen_string_literal: true
+
+module TWFilter
+  module Checks
+    module Shape
+      NAME = :shape
+
+      module_function
+
+      def call(subject)
+        return [finding(:empty)] if subject.empty?
+
+        findings = []
+        findings << finding(:no_han) if subject.han.zero?
+
+        range = subject.policy.han_range
+        unless range.cover?(subject.han)
+          code = subject.han < range.first ? :too_short : :too_long
+          findings << finding(code, subject.han.to_s)
+        end
+
+        if subject.ratio < subject.policy.min_han_ratio
+          findings << finding(:low_han_ratio, format("%.2f", subject.ratio))
+        end
+
+        offenders = Punctuation.offenders(subject.text, punctuation: subject.policy.punctuation)
+        findings << finding(:junk_characters, offenders.first(DETAIL_SAMPLE).join) if offenders.any?
+
+        unless subject.policy.allow_latin
+          latin = subject.text.scan(/[A-Za-z]+/).uniq
+          findings << finding(:latin, latin.first(DETAIL_SAMPLE).join(" ")) if latin.any?
+        end
+
+        findings
+      end
+
+      def finding(code, detail = nil) = Finding.new(check: NAME, code: code, detail: detail)
+    end
+  end
+end

data/lib/twfilter/checks/wenyan.rb

@@ -0,0 +1,32 @@
+# frozen_string_literal: true
+
+module TWFilter
+  module Checks
+    module Wenyan
+      NAME = :wenyan
+
+      class << self
+        def call(subject)
+          policy = subject.policy
+          return [] if subject.han < policy.wenyan_min_han
+
+          hits = markers.sum { |char| subject.text.count(char) }
+          return [] if hits < policy.wenyan_min_hits
+
+          density = density(subject)
+          return [] if density <= policy.wenyan_max_density
+
+          [Finding.new(check: NAME, code: :literary_density, detail: format("%.0f%%", density * 100))]
+        end
+
+        def density(subject)
+          return 0.0 if subject.han.zero?
+
+          markers.sum { |char| subject.text.count(char) }.fdiv(subject.han)
+        end
+
+        def markers = Tables.rows("wenyan.txt")
+      end
+    end
+  end
+end

data/lib/twfilter/data/MANIFEST.json

@@ -0,0 +1,85 @@
+{
+  "version": "0.1.0",
+  "tables": {
+    "cantonese.txt": {
+      "rows": 17,
+      "sha256": "3f37b31e98f167cf860ab4068cdf0eaebb7702afccb8b3701dec72cf7223dc2f"
+    },
+    "converted_orthography.txt": {
+      "rows": 14,
+      "sha256": "073f87fffb5922f45a2b1af40deca536dddafc502cc73a87b05846d29b0ecc6d"
+    },
+    "erhua_headed.txt": {
+      "rows": 14,
+      "sha256": "0163fdff14363f3479a072c54a411f37ff3533b7835e3aa6133cc9b56fdf7364"
+    },
+    "erhua_tailed.txt": {
+      "rows": 36,
+      "sha256": "ef0bede84353fa8f555a9ca74ba7bad0b9647622f33b9694bd6ad61d51fb8e14"
+    },
+    "foreign_topics.txt": {
+      "rows": 80,
+      "sha256": "d1685884afd1aafb5c7be07e222fedbd3a4ca1ccf3d96754dae90fdcb32a472f"
+    },
+    "mainland_exceptions.tsv": {
+      "rows": 6,
+      "sha256": "647077330116c176dd0aaa983254fbee2129d68da7fe5dffdc5d72c4e5f26bcc"
+    },
+    "mainland_hard.tsv": {
+      "rows": 149,
+      "sha256": "11c8c4219b1f5c578b33183eeb93992f932d9ba47ce8ab6d7aea15089468cc69"
+    },
+    "mainland_soft.tsv": {
+      "rows": 38,
+      "sha256": "1435fc2814454e2675fc4f76528abfa448a18e7e223254bad66ac73b409a2a18"
+    },
+    "moe_common.txt": {
+      "rows": 4808,
+      "sha256": "1e052f87442c6fd97f12c23e1b966e8beb9222802539943409c8b12778104fcb"
+    },
+    "moe_exception.txt": {
+      "rows": 12,
+      "sha256": "9f9e62c0949845e6925c400b75d887a40b8bb0a6ef5e0d9596674033c4ba06fe"
+    },
+    "moe_rare.txt": {
+      "rows": 18356,
+      "sha256": "1c977e350b1f05edbaf416e55101308e18f5094f5a0dcbdd226985645ee0e34c"
+    },
+    "moe_secondary.txt": {
+      "rows": 6343,
+      "sha256": "b57bce3314a4cdde1d8ac3de18f3a65e3319583b0dab9a35ad2c9f1da2d563ef"
+    },
+    "regional_hard.tsv": {
+      "rows": 19,
+      "sha256": "ab27602d5c653b048150f09359d3981d49c28c2cfb19fa6246409b65270b224f"
+    },
+    "simplified_only.txt": {
+      "rows": 3785,
+      "sha256": "3fe3435085f1a30635a209e47c248737a02c12a4fe555dd6a5e79932ab477868"
+    },
+    "taiwan_grammar.txt": {
+      "rows": 20,
+      "sha256": "75883c2ea49680a5742d9e96d4a957389b5ec7d4230ee5c999f3736e7907a04f"
+    },
+    "taiwan_lexicon.txt": {
+      "rows": 51,
+      "sha256": "2660534604ee7c3116c9ccf0ca2a18b50dc4187bd33703c84ed9598877195dad"
+    },
+    "taiwan_markers.txt": {
+      "rows": 66,
+      "sha256": "ba5f9207bc921bfac3f77cb5f8743fd4e7ae013da222df4a66390eaf7e1a3cef"
+    },
+    "taiwan_particles.txt": {
+      "rows": 7,
+      "sha256": "5b67a3e12d0f90b05ec888188258749e2841b81ee3dc495084eefebfe4324eb2"
+    },
+    "variants_used_in_taiwan.txt": {
+      "rows": 16,
+      "sha256": "17ddc25d887834f44faa1173c61219066b708849cd56bdaa30d4be4f2d5fc9a9"
+    },
+    "wenyan.txt": {
+      "rows": 4,
+      "sha256": "6e554eab92ef5eabaa51958c6ae94744b5339c7a63d2865080b1587483ac9126"
+    }
+  }
+}

data/lib/twfilter/data/cantonese.txt

@@ -0,0 +1,17 @@
+乜
+佢
+冇
+咁
+咗
+哋
+啱
+啲
+喺
+嗰
+嘅
+嘢
+嚟
+掂
+攞
+睇
+諗

data/lib/twfilter/data/converted_orthography.txt

@@ -0,0 +1,14 @@
+啓
+囯
+墻
+爲
+産
+眞
+着
+綫
+衆
+衞
+裏
+説
+麪
+麽

data/lib/twfilter/data/erhua_headed.txt

@@ -0,0 +1,14 @@
+兒女
+兒媳
+兒子
+兒孫
+兒少
+兒戲
+兒時
+兒歌
+兒福
+兒科
+兒童
+兒臂
+兒茶
+兒麻

data/lib/twfilter/data/erhua_tailed.txt

@@ -0,0 +1,36 @@
+乾兒
+侄兒
+健兒
+味兒
+哪兒
+女兒
+姪兒
+嬌兒
+嬰兒
+孤兒
+孩兒
+寵兒
+小兒
+少兒
+幼兒
+患兒
+愛兒
+托兒
+棄兒
+特兒
+生兒
+產兒
+男兒
+當兒
+病兒
+稚兒
+義兒
+育兒
+胎兒
+花兒
+這兒
+遺兒
+那兒
+雛兒
+頭兒
+鳥兒

data/lib/twfilter/data/foreign_topics.txt

@@ -0,0 +1,80 @@
+一帶一路
+上海
+中共
+中國大陸
+中央電視台
+中華人民共和國
+京東
+人民幣
+人民日報
+入境處
+全國人大
+全面建成小康社會
+兩會
+八達通
+共產黨
+北京
+十四五
+南京
+南寧
+南昌
+合肥
+呼和浩特
+哈爾濱
+國務院
+城管
+大連
+天津
+太原
+央視
+小康社會
+居委會
+市委書記
+廈門
+廉政公署
+廣州
+建屋發展局
+強積金
+微信
+成都
+房屋署
+支付寶
+政務司
+政協
+教育統籌局
+新華社
+旺角
+昆明
+春運
+杭州
+武漢
+武警
+水務署
+油麻地
+消防處
+淘寶
+深圳
+濟南
+瀋陽
+烏節路
+烏魯木齊
+省委
+石家莊
+統戰部
+脫貧攻堅
+菠蘿包
+蘇州
+蘭州
+街道辦
+西安
+西寧
+觀塘
+解放軍
+貴陽
+運輸署
+鄭州
+重慶
+長沙
+雙減
+青島
+高質量發展

data/lib/twfilter/data/mainland_exceptions.tsv

@@ -0,0 +1,6 @@
+信息	可信息	通信息
+打車	打車票	卡打車
+水平	水平面	水平線	水平儀	水平位移	水平方向	水平能見度
+視頻	電視頻道	電視頻率	影視頻道
+運行	營運行為	運行李
+集成	集成大典

data/lib/twfilter/data/mainland_hard.tsv

@@ -0,0 +1,149 @@
+信息	資訊	0	2612
+文檔	文件	0	1649
+初中	國中	0	490
+公交車	公車	0	435
+軟件	軟體	0	412
+芯片	晶片	0	392
+首席執行官	執行長	0	368
+身份證	身分證	0	348
+幾率	機率	0	292
+屏幕	螢幕	0	248
+硬件	硬體	0	228
+數據庫	資料庫	0	216
+錄像	錄影	0	199
+出租車	計程車	0	174
+演示文稿	簡報	0	163
+意大利	義大利	0	148
+短信	簡訊	0	134
+互聯網	網際網路	0	119
+互聯網絡	網際網路	0	119
+裏頭	裡頭	0	116
+信道	通道	0	103
+納米	奈米	0	94
+方便麪	泡麵/速食麵	0	88
+方便麵	泡麵	0	87
+內存	記憶體	0	85
+服務器	伺服器	0	84
+光盤	光碟	0	72
+端口	埠	0	68
+打印	列印	0	63
+新西蘭	紐西蘭	0	61
+模塊	模組	0	59
+知識產權	智慧財產權	0	59
+複印	影印	0	55
+激光	雷射	0	54
+帕勞	帛琉	0	45
+缺省	預設	0	45
+英偉達	輝達	0	45
+奧巴馬	歐巴馬	0	43
+集成電路	積體電路	0	42
+優先級	優先順序	0	37
+人情味兒	人情味	0	36
+視頻會議	視訊會議	0	36
+帶寬	頻寬	0	31
+截屏	截圖	0	31
+博客	部落格	0	30
+鼠標	滑鼠	0	30
+寬帶	寬頻	0	29
+悉尼	雪梨	0	29
+開市客	好市多	0	29
+硬盤	硬碟	0	28
+艾滋病	愛滋病	0	28
+信息安全	資訊安全	0	27
+字段	欄位	0	26
+筆記本電腦	筆記型電腦	0	24
+超聲波	超音波	0	24
+存盤	存檔	0	23
+殺毒	防毒	0	23
+肯尼亞	肯亞	0	20
+首席運營官	營運長	0	20
+沙特阿拉伯	沙烏地阿拉伯	0	17
+脫機	離線	0	17
+信息技術	資訊科技	0	16
+卡塔爾	卡達	0	16
+移動通信	行動通訊	0	16
+網吧	網咖	0	16
+編程語言	程式語言	0	16
+布什	布希	0	15
+打印機	印表機	0	15
+老撾	寮國	0	15
+孤獨症	自閉症	0	14
+打車	叫車	0	13
+數據源	資料來源	0	13
+希拉里	希拉蕊	0	12
+二噁英	戴奧辛	0	11
+尼日利亞	奈及利亞	0	11
+桌面型	桌上型	0	11
+U盤	隨身碟	0	10
+交互式	互動式	0	10
+優盤	隨身碟	0	10
+格魯吉亞	喬治亞	0	10
+總線	匯流排	0	10
+計算機斷層	電腦斷層	0	10
+阿爾茨海默病	阿茲海默症	0	10
+阿爾茨海默症	阿茲海默症	0	10
+移動網絡	行動網路	0	9
+臺式機	桌上型電腦	0	9
+光驅	光碟機	0	8
+克林頓	柯林頓	0	8
+原代碼	原始碼	0	8
+唐氏綜合徵	唐氏症	0	8
+唐氏綜合症	唐氏症	0	8
+源代碼	原始碼	0	8
+矢量	向量	0	8
+航天飛機	太空梭	0	8
+計算機科學	電腦科學	0	8
+危地馬拉	瓜地馬拉	0	7
+戛納	坎城	0	7
+移動電話	行動電話	0	7
+丙型肝炎	C型肝炎	0	6
+克羅地亞	克羅埃西亞	0	6
+冰棍	冰棒	0	6
+圖瓦盧	吐瓦魯	0	6
+大衆公司	福斯汽車	0	6
+大衆汽車	福斯汽車	0	6
+弗吉尼亞	維吉尼亞	0	6
+心梗	心肌梗塞	0	6
+心肌梗死	心肌梗塞	0	6
+相冊	相簿	0	6
+緩存	快取	0	6
+萬維網	全球資訊網	0	6
+調製解調器	數據機	0	6
+阿拉伯聯合酋長國	阿拉伯聯合大公國	0	6
+高性能計算	高效能運算	0	6
+伯利茲	貝里斯	0	5
+厄瓜多爾	厄瓜多	0	5
+尼日爾	尼日	0	5
+獲得性免疫缺陷綜合徵	後天免疫缺乏症候群	0	5
+索馬里	索馬利亞	0	5
+飛行模式	飛航模式	0	5
+首席信息官	資訊長	0	5
+佐治亞州	喬治亞州	0	4
+固件	韌體	0	4
+埃塞俄比亞	衣索比亞	0	4
+威斯康星	威斯康辛	0	4
+威斯康星州	威斯康辛州	0	4
+字符串	字串	0	4
+弗吉尼亞州	維吉尼亞州	0	4
+所羅門羣島	索羅門群島	0	4
+數組	陣列	0	4
+斯洛文尼亞	斯洛維尼亞	0	4
+正電子	正子	0	4
+紅細胞	紅血球	0	4
+蹦極	高空彈跳	0	4
+伯克希爾-哈撒韋	波克夏海瑟威	0	3
+伯克希爾哈撒韋	波克夏海瑟威	0	3
+借記卡	簽帳金融卡	0	3
+哈薩克斯坦	哈薩克	0	3
+市場營銷	市場行銷	0	3
+布基納法索	布吉納法索	0	3
+帕金森病	帕金森氏症/巴金森氏症	0	3
+彙編語言	組合語言	0	3
+瑙魯	諾魯	0	3
+甲型肝炎	A型肝炎	0	3
+肖邦	蕭邦	0	3
+艾奧瓦	愛荷華	0	3
+艾奧瓦州	愛荷華州	0	3
+薩蒂	薩提	0	3
+鎿	錼	0	3
+阿司匹林	阿斯匹靈	0	3

data/lib/twfilter/data/mainland_soft.tsv

@@ -0,0 +1,38 @@
+甚麼	什麼	321	15714
+運行	執行	80	7692
+創建	建立	35	1395
+質量	品質	0	1304
+視頻	影片/視訊	0	999
+集成	整合	23	694
+交互	互動	29	668
+內核	核心	14	528
+鏈接	連結	3	499
+實時	即時	12	497
+查找	查詢	7	470
+水平	水準	64	336
+指針	指標	12	324
+視圖	檢視	5	308
+概率	機率	3	292
+特朗普	川普	4	282
+嚐試	嘗試	1	262
+人工智能	人工智慧	8	239
+澳大利亞	澳洲	8	230
+空調	冷氣	0	229
+激活	啟用	4	195
+仿真	模擬	4	180
+拷貝	複製	5	170
+塑料	塑膠	4	159
+硅	矽	2	157
+朝鮮	北韓	26	122
+傳感	感測	3	69
+內置	內建	3	63
+早上好	早安	2	50
+普京	普丁	2	49
+癡呆症	失智症	2	45
+抑鬱症	憂鬱症	1	32
+分佈式	分散式	1	25
+B超	超音波	1	24
+分辨率	解析度	1	21
+詞組	片語	0	7
+前綴	字首	0	3
+輔音	子音	0	3