yosina 0.1.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA256:
+  metadata.gz: 79e70c5202973c9c7c6e2c5b5de4538422eb9323071dbaabc6563be241129a44
+  data.tar.gz: bf615675a3b77c5b330ac5da9132e2df90d92911d3763ae8c3bcc612aa894289
+SHA512:
+  metadata.gz: 9acbf40e48148bd8cd6db88b02df70364a840c5b8a283df61256e838db9990bff8b73b1a30e95e892c20cbe5542a8d21d870284a7779cbc833043fd3aef612b7
+  data.tar.gz: 64e0f480547d54d14318f677ac459905209b6365096623cfe849a21740a1150a3c263c950b37f62dd30b82dce55b1a2e89e2c5def130736a1ac4b44d1c21acc4

data/.rubocop.yml

@@ -0,0 +1,36 @@
+plugins:
+#  - rubocop-rake
+  - rubocop-minitest
+AllCops:
+  Include:
+    - lib/**/*.rb
+    - codegen/**/*.rb
+    - Gemfile
+    - "*.gemspec"
+  Exclude:
+    - lib/yosina/transliterators/hyphens_data.rb
+    - lib/yosina/transliterators/ivs_svs_base_data.rb
+    - lib/yosina/transliterators/combined_data.rb
+    - lib/yosina/transliterators/circled_or_squared_data.rb
+    - vendor/**/*
+Naming/VariableNumber:
+  Exclude:
+    - codegen/**/*.rb
+Metrics/ModuleLength:
+  Enabled: false
+Metrics/MethodLength:
+  Enabled: false
+Metrics/BlockLength:
+  Enabled: false
+Metrics/ClassLength:
+  Max: 200
+Metrics/AbcSize:
+  Enabled: false
+Metrics/CyclomaticComplexity:
+  Enabled: false
+Metrics/PerceivedComplexity:
+  Enabled: false
+Metrics/BlockNesting:
+  Enabled: false
+Style/WordArray:
+  Enabled: false

data/Gemfile

@@ -0,0 +1,6 @@
+# frozen_string_literal: true
+
+source 'https://rubygems.org'
+
+# Specify your gem's dependencies in yosina.gemspec
+gemspec

data/README.ja.md

@@ -0,0 +1,229 @@
+# Yosina Ruby
+
+Yosina日本語テキスト翻字ライブラリのRubyポート。
+
+## 概要
+
+Yosinaは、日本語テキスト処理でよく必要とされる様々なテキスト正規化および変換機能を提供する日本語テキスト翻字ライブラリです。
+
+## 使用方法
+
+```ruby
+require 'yosina'
+
+# レシピを使用してトランスリテレータを作成
+recipe = Yosina::TransliterationRecipe.new(
+  replace_spaces: true,
+  kanji_old_new: true,
+  replace_circled_or_squared_characters: true,
+  replace_combined_characters: true,
+  hira_kata: "hira-to-kata",  # ひらがなをカタカナに変換
+  replace_japanese_iteration_marks: true,  # 繰り返し記号を展開
+  to_fullwidth: true
+)
+
+transliterator = Yosina.make_transliterator(recipe)
+
+# 様々な特殊文字でテキストを翻字
+input = "①②③　ⒶⒷⒸ　㍿㍑㌠㋿" # 丸囲み数字、文字、表意文字空白、結合文字
+result = transliterator.call(input)
+puts result # "（１）（２）（３）　（Ａ）（Ｂ）（Ｃ）　株式会社リットルサンチーム令和"
+
+# 旧字体を新字体に変換
+old_kanji = "舊字體"
+result = transliterator.call(old_kanji)
+puts result # "旧字体"
+
+# 半角カタカナを全角に変換
+half_width = "ﾃｽﾄﾓｼﾞﾚﾂ"
+result = transliterator.call(half_width)
+puts result # "テストモジレツ"
+
+# ひらがなからカタカナへの変換と繰り返し記号のデモ
+mixed_text = "学問のすゝめ"
+result = transliterator.call(mixed_text)
+puts result # "学問ノススメ"
+```
+
+### 設定を使用した高度な使用方法
+
+```ruby
+require 'yosina'
+
+# 特定の設定でトランスリテレータを作成
+configs = [
+  Yosina::TransliteratorConfig.new('spaces'),
+  Yosina::TransliteratorConfig.new('kanji-old-new'),
+  Yosina::TransliteratorConfig.new('radicals'),
+  Yosina::TransliteratorConfig.new('circled-or-squared'),
+  Yosina::TransliteratorConfig.new('combined'),
+  Yosina::TransliteratorConfig.new('hira-kata', { mode: 'kata-to-hira' }),  # カタカナをひらがなに変換
+  Yosina::TransliteratorConfig.new('japanese-iteration-marks')  # 々、ゝゞ、ヽヾなどの繰り返し記号を展開
+]
+
+transliterator = Yosina.make_transliterator(configs)
+
+# 新しい変換を含む様々な変換の例
+input_text = "カタカナでの時々の佐々木さん"
+result = transliterator.call(input_text)
+puts result # "かたかなでの時時の佐佐木さん"
+```
+
+### 文字列名を使用
+
+```ruby
+require 'yosina'
+
+# 文字列名での簡略化された設定
+configs = ['spaces', 'kanji-old-new', 'radicals']
+
+transliterator = Yosina.make_transliterator(configs)
+result = transliterator.call("日本語のテキスト")
+puts result
+```
+
+### 個別のトランスリテレータを使用
+
+```ruby
+require 'yosina'
+
+# 丸囲み・角囲みトランスリテレータを作成
+circled_factory = Yosina::Transliterators::CircledOrSquared
+circled_transliterator = circled_factory.call
+
+chars = Yosina::Chars.build_char_array("①②③ⒶⒷⒸ")
+result_chars = circled_transliterator.call(chars)
+output = Yosina::Chars.from_chars(result_chars)
+puts output # "123ABC"
+
+# 結合トランスリテレータを作成
+combined_factory = Yosina::Transliterators::Combined
+combined_transliterator = combined_factory.call
+
+chars2 = Yosina::Chars.build_char_array("㍿㍑㌠㋿") # 結合文字
+result_chars2 = combined_transliterator.call(chars2)
+output2 = Yosina::Chars.from_chars(result_chars2)
+puts output2 # "株式会社リットルサンチーム令和"
+```
+
+## インストール
+
+アプリケーションのGemfileに以下の行を追加：
+
+```ruby
+gem 'yosina'
+```
+
+その後、実行：
+
+    $ bundle install
+
+または自分でインストール：
+
+    $ gem install yosina
+
+## 利用可能なトランスリテレータ
+
+### 1. **丸囲み・角囲み文字** (`circled-or-squared`)
+丸囲みや角囲みの文字を通常の文字に変換します。
+- オプション: `templates` (カスタムレンダリング)、`includeEmojis` (絵文字を含める)
+- 例: `①②③` → `(1)(2)(3)`、`㊙㊗` → `(秘)(祝)`
+
+### 2. **結合文字** (`combined`)
+結合文字を個別の文字シーケンスに展開します。
+- 例: `㍻` (平成) → `平成`、`㈱` → `(株)`
+
+### 3. **ひらがな・カタカナ合成** (`hira-kata-composition`)
+分解されたひらがなとカタカナを合成された等価文字に結合します。
+- オプション: `composeNonCombiningMarks` (非結合マークを合成)
+- 例: `か + ゙` → `が`、`ヘ + ゜` → `ペ`
+
+### 4. **ひらがな・カタカナ** (`hira-kata`)
+ひらがなとカタカナの間で双方向に変換します。
+- オプション: `mode` ("hira-to-kata" または "kata-to-hira")
+- 例: `ひらがな` → `ヒラガナ` (hira-to-kata)
+
+### 5. **ハイフン** (`hyphens`)
+様々なダッシュ・ハイフン記号を日本語で一般的に使用されるものに置き換えます。
+- オプション: `precedence` (マッピング優先順位)
+- 利用可能なマッピング: "ascii"、"jisx0201"、"jisx0208_90"、"jisx0208_90_windows"、"jisx0208_verbatim"
+- 例: `2019—2020` (emダッシュ) → `2019-2020`
+
+### 6. **表意文字注釈** (`ideographic-annotations`)
+伝統的な中国語から日本語への翻訳で使用される表意文字注釈を置き換えます。
+- 例: `㆖㆘` → `上下`
+
+### 7. **IVS-SVSベース** (`ivs-svs-base`)
+表意文字異体字セレクタ（IVS）と標準化異体字セレクタ（SVS）を処理します。
+- オプション: `charset`、`mode` ("ivs-or-svs" または "base")、`preferSVS`、`dropSelectorsAltogether`
+- 例: `葛󠄀` (葛 + IVS) → `葛`
+
+### 8. **日本語繰り返し記号** (`japanese-iteration-marks`)
+繰り返し記号を前の文字を繰り返すことで展開します。
+- 例: `時々` → `時時`、`いすゞ` → `いすず`
+
+### 9. **JIS X 0201および類似** (`jisx0201-and-alike`)
+半角・全角文字変換を処理します。
+- オプション: `fullwidthToHalfwidth`、`convertGL` (英数字/記号)、`convertGR` (カタカナ)、`u005cAsYenSign`
+- 例: `ABC123` → `ＡＢＣ１２３`、`ｶﾀｶﾅ` → `カタカナ`
+
+### 10. **旧字体・新字体** (`kanji-old-new`)
+旧字体の漢字を新字体に変換します。
+- 例: `舊字體の變換` → `旧字体の変換`
+
+### 11. **数学英数記号** (`mathematical-alphanumerics`)
+数学英数記号を通常のASCIIに正規化します。
+- 例: `𝐀𝐁𝐂` (数学太字) → `ABC`
+
+### 12. **長音記号** (`prolonged-sound-marks`)
+ハイフンと長音記号の間の文脈的な変換を処理します。
+- オプション: `skipAlreadyTransliteratedChars`、`allowProlongedHatsuon`、`allowProlongedSokuon`、`replaceProlongedMarksFollowingAlnums`
+- 例: `イ−ハト−ヴォ` (ハイフン付き) → `イーハトーヴォ` (長音記号)
+
+### 13. **部首** (`radicals`)
+CJK部首文字を対応する表意文字に変換します。
+- 例: `⾔⾨⾷` (康熙部首) → `言門食`
+
+### 14. **空白** (`spaces`)
+様々なUnicode空白文字を標準ASCII空白に正規化します。
+- 例: `A　B` (表意文字空白) → `A B`
+
+## 開発
+
+リポジトリをチェックアウトした後、`bundle install`を実行して依存関係をインストールします。
+
+### コード生成
+
+一部のトランスリテレータはデータファイルから生成されます：
+
+```bash
+rake codegen
+```
+
+これにより、`../data`ディレクトリのJSONデータファイルからトランスリテレータが生成されます。
+
+### テスト
+
+テストスイートを実行：
+
+```bash
+rake test
+```
+
+または特定のテストを実行：
+
+```bash
+ruby test/test_basic.rb
+```
+
+## 要件
+
+- Ruby 3.0以降のバージョン
+
+## 貢献
+
+バグレポートとプルリクエストは、GitHubのhttps://github.com/yosina-lib/yosinaで歓迎します。
+
+## ライセンス
+
+gemは[MITライセンス](https://opensource.org/licenses/MIT)の条件の下でオープンソースとして利用可能です。

data/README.md

@@ -0,0 +1,229 @@
+# Yosina Ruby
+
+A Ruby port of the Yosina Japanese text transliteration library.
+
+## Overview
+
+Yosina is a library for Japanese text transliteration that provides various text normalization and conversion features commonly needed when processing Japanese text.
+
+## Usage
+
+```ruby
+require 'yosina'
+
+# Create a transliterator using a recipe
+recipe = Yosina::TransliterationRecipe.new(
+  replace_spaces: true,
+  kanji_old_new: true,
+  replace_circled_or_squared_characters: true,
+  replace_combined_characters: true,
+  hira_kata: "hira-to-kata",  # Convert hiragana to katakana
+  replace_japanese_iteration_marks: true,  # Expand iteration marks
+  to_fullwidth: true
+)
+
+transliterator = Yosina.make_transliterator(recipe)
+
+# Use it to transliterate text with various special characters
+input = "①②③　ⒶⒷⒸ　㍿㍑㌠㋿" # circled numbers, letters, ideographic space, combined characters
+result = transliterator.call(input)
+puts result # "（１）（２）（３）　（Ａ）（Ｂ）（Ｃ）　株式会社リットルサンチーム令和"
+
+# Convert old kanji to new
+old_kanji = "舊字體"
+result = transliterator.call(old_kanji)
+puts result # "旧字体"
+
+# Convert half-width katakana to full-width
+half_width = "ﾃｽﾄﾓｼﾞﾚﾂ"
+result = transliterator.call(half_width)
+puts result # "テストモジレツ"
+
+# Demonstrate hiragana to katakana conversion with iteration marks
+mixed_text = "学問のすゝめ"
+result = transliterator.call(mixed_text)
+puts result # "学問ノススメ"
+```
+
+### Advanced Usage with Configs
+
+```ruby
+require 'yosina'
+
+# Create transliterator with specific configurations
+configs = [
+  Yosina::TransliteratorConfig.new('spaces'),
+  Yosina::TransliteratorConfig.new('kanji-old-new'),
+  Yosina::TransliteratorConfig.new('radicals'),
+  Yosina::TransliteratorConfig.new('circled-or-squared'),
+  Yosina::TransliteratorConfig.new('combined'),
+  Yosina::TransliteratorConfig.new('hira-kata', { mode: 'kata-to-hira' }),  # Convert katakana to hiragana
+  Yosina::TransliteratorConfig.new('japanese-iteration-marks')  # Expand iteration marks like 々, ゝゞ, ヽヾ
+]
+
+transliterator = Yosina.make_transliterator(configs)
+
+# Example with various transformations including the new ones
+input_text = "カタカナでの時々の佐々木さん"
+result = transliterator.call(input_text)
+puts result # "かたかなでの時時の佐佐木さん"
+```
+
+### Using String Names
+
+```ruby
+require 'yosina'
+
+# Simplified configuration with string names
+configs = ['spaces', 'kanji-old-new', 'radicals']
+
+transliterator = Yosina.make_transliterator(configs)
+result = transliterator.call("some japanese text")
+puts result
+```
+
+### Using Individual Transliterators
+
+```ruby
+require 'yosina'
+
+# Create a circled-or-squared transliterator
+circled_factory = Yosina::Transliterators::CircledOrSquared
+circled_transliterator = circled_factory.call
+
+chars = Yosina::Chars.build_char_array("①②③ⒶⒷⒸ")
+result_chars = circled_transliterator.call(chars)
+output = Yosina::Chars.from_chars(result_chars)
+puts output # "123ABC"
+
+# Create a combined transliterator
+combined_factory = Yosina::Transliterators::Combined
+combined_transliterator = combined_factory.call
+
+chars2 = Yosina::Chars.build_char_array("㍿㍑㌠㋿") # combined characters
+result_chars2 = combined_transliterator.call(chars2)
+output2 = Yosina::Chars.from_chars(result_chars2)
+puts output2 # "株式会社リットルサンチーム令和"
+```
+
+## Requirements
+
+- Ruby 3.0 and later versions
+
+## Installation
+
+Add this line to your application's Gemfile:
+
+```ruby
+gem 'yosina'
+```
+
+And then execute:
+
+    $ bundle install
+
+Or install it yourself as:
+
+    $ gem install yosina
+
+## Available Transliterators
+
+### 1. **Circled or Squared** (`circled-or-squared`)
+Converts circled or squared characters to their plain equivalents.
+- Options: `templates` (custom rendering), `includeEmojis` (include emoji characters)
+- Example: `①②③` → `(1)(2)(3)`, `㊙㊗` → `(秘)(祝)`
+
+### 2. **Combined** (`combined`)
+Expands combined characters into their individual character sequences.
+- Example: `㍻` (Heisei era) → `平成`, `㈱` → `(株)`
+
+### 3. **Hiragana-Katakana Composition** (`hira-kata-composition`)
+Combines decomposed hiraganas and katakanas into composed equivalents.
+- Options: `composeNonCombiningMarks` (compose non-combining marks)
+- Example: `か + ゙` → `が`, `ヘ + ゜` → `ペ`
+
+### 4. **Hiragana-Katakana** (`hira-kata`)
+Converts between hiragana and katakana scripts bidirectionally.
+- Options: `mode` ("hira-to-kata" or "kata-to-hira")
+- Example: `ひらがな` → `ヒラガナ` (hira-to-kata)
+
+### 5. **Hyphens** (`hyphens`)
+Replaces various dash/hyphen symbols with common ones used in Japanese.
+- Options: `precedence` (mapping priority order)
+- Available mappings: "ascii", "jisx0201", "jisx0208_90", "jisx0208_90_windows", "jisx0208_verbatim"
+- Example: `2019—2020` (em dash) → `2019-2020`
+
+### 6. **Ideographic Annotations** (`ideographic-annotations`)
+Replaces ideographic annotations used in traditional Chinese-to-Japanese translation.
+- Example: `㆖㆘` → `上下`
+
+### 7. **IVS-SVS Base** (`ivs-svs-base`)
+Handles Ideographic and Standardized Variation Selectors.
+- Options: `charset`, `mode` ("ivs-or-svs" or "base"), `preferSVS`, `dropSelectorsAltogether`
+- Example: `葛󠄀` (葛 + IVS) → `葛`
+
+### 8. **Japanese Iteration Marks** (`japanese-iteration-marks`)
+Expands iteration marks by repeating the preceding character.
+- Example: `時々` → `時時`, `いすゞ` → `いすず`
+
+### 9. **JIS X 0201 and Alike** (`jisx0201-and-alike`)
+Handles half-width/full-width character conversion.
+- Options: `fullwidthToHalfwidth`, `convertGL` (alphanumerics/symbols), `convertGR` (katakana), `u005cAsYenSign`
+- Example: `ABC123` → `ＡＢＣ１２３`, `ｶﾀｶﾅ` → `カタカナ`
+
+### 10. **Kanji Old-New** (`kanji-old-new`)
+Converts old-style kanji (旧字体) to modern forms (新字体).
+- Example: `舊字體の變換` → `旧字体の変換`
+
+### 11. **Mathematical Alphanumerics** (`mathematical-alphanumerics`)
+Normalizes mathematical alphanumeric symbols to plain ASCII.
+- Example: `𝐀𝐁𝐂` (mathematical bold) → `ABC`
+
+### 12. **Prolonged Sound Marks** (`prolonged-sound-marks`)
+Handles contextual conversion between hyphens and prolonged sound marks.
+- Options: `skipAlreadyTransliteratedChars`, `allowProlongedHatsuon`, `allowProlongedSokuon`, `replaceProlongedMarksFollowingAlnums`
+- Example: `イ−ハト−ヴォ` (with hyphen) → `イーハトーヴォ` (prolonged mark)
+
+### 13. **Radicals** (`radicals`)
+Converts CJK radical characters to their corresponding ideographs.
+- Example: `⾔⾨⾷` (Kangxi radicals) → `言門食`
+
+### 14. **Spaces** (`spaces`)
+Normalizes various Unicode space characters to standard ASCII space.
+- Example: `A　B` (ideographic space) → `A B`
+
+## Development
+
+After checking out the repo, run `bundle install` to install dependencies.
+
+### Code Generation
+
+Some transliterators are generated from data files:
+
+```bash
+rake codegen
+```
+
+This generates transliterators from the JSON data files in the `../data` directory.
+
+### Testing
+
+Run the test suite with:
+
+```bash
+rake test
+```
+
+Or run specific tests:
+
+```bash
+ruby test/test_basic.rb
+```
+
+## Contributing
+
+Bug reports and pull requests are welcome on GitHub at https://github.com/yosina-lib/yosina.
+
+## License
+
+The gem is available as open source under the terms of the [MIT License](https://opensource.org/licenses/MIT).

data/Rakefile

@@ -0,0 +1,30 @@
+# frozen_string_literal: true
+
+require 'bundler/gem_tasks'
+require 'rake/testtask'
+require 'rdoc/task'
+require 'rubocop/rake_task'
+require 'yard'
+
+RuboCop::RakeTask.new
+
+Rake::TestTask.new(:test) do |t|
+  t.libs << 'test'
+  t.libs << 'lib'
+  t.test_files = FileList['test/**/test_*.rb']
+end
+
+RDoc::Task.new do |rd|
+  rd.main = 'README.md'
+  rd.rdoc_files.include('README.md', 'lib/**/*.rb')
+end
+
+YARD::Rake::YardocTask.new do |t|
+  t.files = ['lib/**/*.rb']
+end
+
+task :codegen do
+  ruby 'codegen/main.rb'
+end
+
+task default: :test