ranjax 0.1.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: bab74e88c5b5d674ddeee9da55b48dd87a5e4bdb
+  data.tar.gz: e5fa025ac236836ec6060ada7884102127eaed6b
+SHA512:
+  metadata.gz: 93af80b570fb16cc4b6e631e2557d91115cc4d5437b2338c4969a1a7de5f05c6dfff0b2f6e008c48ef6773908a55edc7a079039609b3b2c70803ac8cb47e2a67
+  data.tar.gz: dd4cfb5df9c39e4e2d78348b1f1765ea13c39136bbde68f07a0ef6d119ac6f6dd9d1dbe8c8381be529d73682e6b56c012d8cf4741c6c493ee55a343c1d896497

data/.gitignore

@@ -0,0 +1,2 @@
+Gemfile.lock
+pkg

data/Gemfile

@@ -0,0 +1,4 @@
+source "http://rubygems.org"
+
+# Gem dependencies declared in natto.gemspec
+gemspec

data/README.md

@@ -0,0 +1,27 @@
+Ranjax
+==============
+
+Random japanese text generator
+
+## Usage
+
+```ruby
+text = <<EOS
+日本語（にほんご、にっぽんご）は、主に日本国内や日本人同士の間で使われている言語である。日本は法令によって「公用語」を規定していないが、法令その他の公用文は全て日本語で記述され、各種法令（裁判所法第74条、会社計算規則第57条、特許法施行規則第2条など）において日本語を用いることが定められるなど事実上の公用語となっており、学校教育の「国語」でも教えられる。
+使用人口について正確な統計はないが、日本国内の人口、および日本国外に住む日本人や日系人、日本がかつて統治した地域の一部の住民など、約1億3千万人以上と考えられている。統計によって前後する可能性はあるが、この数は世界の母語話者数で上位10位以内に入る人数である。
+日本で生まれ育ったほとんどの人は、日本語を母語とする。日本語の文法体系や音韻体系を反映する手話として日本語対応手話がある。
+2013年1月現在、インターネット上の言語使用者数は、英語、中国語、スペイン語、アラビア語、ポルトガル語に次いで6番目に多い。
+EOS
+
+ranjax = Ranjax.new()
+ranjax.import_text(text)
+ranjax.save("ranjax.bin")
+
+ranjax = Ranjax.new(path: "ranjax.bin")
+text = ranjax.generate_text()
+#"日本語（にほんご、にっぽんご）は、英語、中国語、スペイン語、スペイン語、ポルトガル語に次いで6番目に多い。"
+```
+
+## Requirements
+
+* MeCab 0.996

data/Rakefile

@@ -0,0 +1 @@
+require "bundler/gem_tasks"

data/lib/ranjax.rb

@@ -0,0 +1,85 @@
+require 'natto'
+
+class Ranjax
+  END_OF_TEXT = '__E__'
+  @words = []
+  @head_idxs = []
+
+  def initialize(path: nil)
+    @words = []
+    @head_idxs = []
+
+    unless path.nil?
+      load(path)
+    end
+  end
+
+  def import_text(text)
+    nm = Natto::MeCab.new
+
+    words = []
+    nm.parse(text) do |n|
+      words << n.surface
+    end
+    words << END_OF_TEXT
+
+    @head_idxs << @words.size
+    @words += words
+  end
+
+  def generate_text(max: nil)
+    units = []
+    @words.each_cons(3) do |unit|
+      units << unit
+    end
+
+    head_idx= @head_idxs.sample
+    t1 = units[head_idx][0]
+    t2 = units[head_idx][1]
+
+    dst_text = t1 + t2
+    loop do
+      candidate_units = []
+      units.each do |unit|
+        candidate_units << unit if unit[0] == t1 && unit[1] == t2
+      end
+
+      break if candidate_units.size == 0
+
+      unit = candidate_units.sample
+
+      break if max != nil && dst_text.size + unit[2].size > max
+
+      break if unit[2] == END_OF_TEXT
+
+      dst_text += unit[2]
+
+      t1 = unit[1]
+      t2 = unit[2]
+    end
+
+    dst_text
+  end
+
+  def save(path)
+    if path.empty?
+      raise ArgumentError.new('Bad Path')
+    end
+
+    data = Marshal.dump({
+      :words=>@words,
+      :head_idxs=>@head_idxs
+    })
+    File.write(path, data)
+  end
+
+  private
+
+  def load(path)
+    r = File.read(path)
+    data = Marshal.load(r)
+    @words = data[:words]
+    @head_idxs = data[:head_idxs]
+  end
+
+end

data/lib/ranjax/version.rb

@@ -0,0 +1,3 @@
+module Ranjax
+  VERSION = '0.1.0'
+end

data/ranjax.gemspec

@@ -0,0 +1,19 @@
+$:.unshift('lib')
+require 'ranjax/version'
+
+Gem::Specification.new do |spec|
+  spec.name = 'ranjax'
+  spec.version = Ranjax::VERSION
+  spec.authors = ['maruware']
+  spec.email = ['maruware@maruware.com']
+  spec.summary = %q{Random japanese text generator}
+  spec.description = %q{Random japanese text generator}
+  spec.homepage = 'https://github.com/maruware/ranjax'
+  spec.license = 'MIT'
+
+  spec.required_ruby_version     = '>= 1.9'
+  spec.files = `git ls-files`.split($/)
+  spec.require_paths = ['lib']
+
+  spec.add_dependency 'natto'
+end

data/test/test_ranjax.rb

@@ -0,0 +1,84 @@
+$: << 'lib'
+require 'minitest'
+require 'minitest/autorun'
+
+require 'ranjax'
+
+class RanjaxTest < MiniTest::Unit::TestCase
+  def setup
+    @texts = []
+    @texts << <<EOS
+日本語（にほんご、にっぽんご）は、主に日本国内や日本人同士の間で使われている言語である。日本は法令によって「公用語」を規定していないが、法令その他の公用文は全て日本語で記述され、各種法令（裁判所法第74条、会社計算規則第57条、特許法施行規則第2条など）において日本語を用いることが定められるなど事実上の公用語となっており、学校教育の「国語」でも教えられる。
+使用人口について正確な統計はないが、日本国内の人口、および日本国外に住む日本人や日系人、日本がかつて統治した地域の一部の住民など、約1億3千万人以上と考えられている。統計によって前後する可能性はあるが、この数は世界の母語話者数で上位10位以内に入る人数である。
+日本で生まれ育ったほとんどの人は、日本語を母語とする。日本語の文法体系や音韻体系を反映する手話として日本語対応手話がある。
+2013年1月現在、インターネット上の言語使用者数は、英語、中国語、スペイン語、アラビア語、ポルトガル語に次いで6番目に多い。
+EOS
+    @texts << <<EOS
+日本語は、主に日本国内で使用される。話者人口についての調査は国内・国外を問わず未だないが、日本の人口に基づいて考えられることが一般的である。
+日本国内に、法令上、日本語を公用語ないし国語と定める直接の規定はない。しかし、そもそも法令は日本語で記されており、裁判所法においては「裁判所では、日本語を用いる」（同法74条）とされ、文字・活字文化振興法においては「国語」と「日本語」が同一視されており（同法3条、9条）、その他多くの法令において、日本語が唯一の公用語ないし国語であることが当然の前提とされている。また、法文だけでなく公用文はすべて日本語のみが用いられ、学校教育では日本語が「国語」として教えられている。
+EOS
+  end
+
+  def test_simple_usage
+    text = @texts[0]
+
+    ranjax = Ranjax.new()
+    ranjax.import_text(text)
+
+    text = ranjax.generate_text()
+    assert_instance_of String, text
+  end
+
+  def test_generate_text_max_length()
+    text = @texts[0]
+
+    ranjax = Ranjax.new()
+    ranjax.import_text(text)
+    text = ranjax.generate_text(max: 40)
+    assert text.size <= 40
+  end
+
+  def test_multi_import_text
+    text = @texts[0]
+
+    ranjax = Ranjax.new()
+    ranjax.import_text(text)
+
+    text = @texts[1]
+
+    ranjax = Ranjax.new()
+    ranjax.import_text(text)
+
+    text = ranjax.generate_text()
+    assert_instance_of String, text
+  end
+
+  def test_save
+    text = @texts[0]
+
+    ranjax = Ranjax.new()
+    ranjax.import_text(text)
+
+    file = Tempfile.new('test')
+    ranjax.save(file.path)
+
+    content = File.read(file.path)
+    assert content.size > 0
+  end
+
+  def test_load
+    text = @texts[0]
+
+    ranjax = Ranjax.new()
+    ranjax.import_text(text)
+
+    file = Tempfile.new('test')
+    ranjax.save(file.path)
+
+    ranjax = Ranjax.new(path: file.path)
+    text = ranjax.generate_text()
+    assert_instance_of String, text
+
+  end
+
+end

metadata

@@ -0,0 +1,66 @@
+--- !ruby/object:Gem::Specification
+name: ranjax
+version: !ruby/object:Gem::Version
+  version: 0.1.0
+platform: ruby
+authors:
+- maruware
+autorequire: 
+bindir: bin
+cert_chain: []
+date: 2015-08-18 00:00:00.000000000 Z
+dependencies:
+- !ruby/object:Gem::Dependency
+  name: natto
+  requirement: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+  type: :runtime
+  prerelease: false
+  version_requirements: !ruby/object:Gem::Requirement
+    requirements:
+    - - ">="
+      - !ruby/object:Gem::Version
+        version: '0'
+description: Random japanese text generator
+email:
+- maruware@maruware.com
+executables: []
+extensions: []
+extra_rdoc_files: []
+files:
+- ".gitignore"
+- Gemfile
+- README.md
+- Rakefile
+- lib/ranjax.rb
+- lib/ranjax/version.rb
+- ranjax.gemspec
+- test/test_ranjax.rb
+homepage: https://github.com/maruware/ranjax
+licenses:
+- MIT
+metadata: {}
+post_install_message: 
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '1.9'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubyforge_project: 
+rubygems_version: 2.4.5
+signing_key: 
+specification_version: 4
+summary: Random japanese text generator
+test_files: []