persian 0.1.0 → 0.2.1

data/spec/tokenizer_spec.rb

@@ -0,0 +1,23 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian tokenizers' do
+  it 'should return list of words and special persian characters ' do
+    before = 'آیا روزی به اسرار این اتفاقات ماوراء طبیعی، این انعکاس سایهٔ روح که در حالت اغماء و برزخ بین خواب و بیداری جلوه می‌کند کسی پی خواهد برد؟'
+    after = ['آیا', 'روزی', 'به', 'اسرار', 'این', 'اتفاقات', 'ماوراء', 'طبیعی', '،', 'این', 'انعکاس', 'سایهٔ', 'روح', 'که', 'در', 'حالت', 'اغماء', 'و', 'برزخ', 'بین', 'خواب', 'و', 'بیداری', 'جلوه', 'می‌کند', 'کسی', 'پی', 'خواهد', 'برد', '؟']
+
+    expect(Persian::Tokenizer.tokenize(before)).to eq(after)
+  end
+
+  it 'should split paragraphs' do
+    text = "
+یوهانس برامس در سال ۱۸۳۳ در شهر هامبورگ آلمان در خانواده‌ای فقیر به دنیا آمد. تحصیلات ابتدایی موسیقی را نزد پدرش که نوازنده کنترباس بود فرا گرفت.
+برامس با ویولونیست‌های مشهوری چون رمنی و یواخیم آشنا شد و در طول این آشنایی بود که رمنی موسیقی محلی مجارستان را به برامس معرفی کرد و تحت تأثیر آن برامس رقص‌های مجار خود را نوشت.
+"
+    result = ['یوهانس برامس در سال ۱۸۳۳ در شهر هامبورگ آلمان در خانواده‌ای فقیر به دنیا آمد. تحصیلات ابتدایی موسیقی را نزد پدرش که نوازنده کنترباس بود فرا گرفت.',
+              'برامس با ویولونیست‌های مشهوری چون رمنی و یواخیم آشنا شد و در طول این آشنایی بود که رمنی موسیقی محلی مجارستان را به برامس معرفی کرد و تحت تأثیر آن برامس رقص‌های مجار خود را نوشت.']
+
+    expect(Persian::Tokenizer.split_paragraphs(text)).to eq(result)
+  end
+end

data/spec/unicode_spec.rb

@@ -0,0 +1,25 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian character methods' do
+  it 'should return unicode character from codepoint hex' do
+    codepoint = 0x062B
+    char = 'ث'
+
+    expect(Persian::Unicode.codepoint_to_char(codepoint)).to eq(char)
+  end
+
+  it 'should return text between RIGHT-TO-LETF EMBEDDING(U+202B) and Pop Directional Format(U+202C)' do
+    before = 'مست+'
+    after = '‫مست+‬'
+    expect(Persian::Unicode.rle(before)).to eq(after)
+  end
+
+  it 'should text between return LETF-TO-RIGHT EMBEDDING(U+202A) and Pop Directional Format(U+202C)' do
+    before = 'من c++ بلدم'
+    after = '‪من c++ بلدم‬'
+
+    expect(Persian::Unicode.lre(before)).to eq(after)
+  end
+end

data/spec/url_spec.rb

@@ -0,0 +1,11 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian url normalizer methods' do
+  it 'should normalize persian text fo use in url' do
+    text = '«دونالد ترامپ» پیروز انتخابات ایالات متحده شد'
+    normal = 'دونالد-ترامپ-پیروز-انتخابات-ایالات-متحده-شد'
+    expect(Persian::Url.urlify(text)).to eq(normal)
+  end
+end

metadata

@@ -1,42 +1,69 @@
 --- !ruby/object:Gem::Specification
 name: persian
 version: !ruby/object:Gem::Version
-  version: 0.1.0
+  version: 0.2.1
 platform: ruby
 authors:
 - Dariush Abbasi
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2016-06-07 00:00:00.000000000 Z
+date: 2016-11-16 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rspec
   requirement: !ruby/object:Gem::Requirement
     requirements:
-    - - "~>"
+    - - '='
       - !ruby/object:Gem::Version
-        version: 3.4.0
+        version: '3.4'
   type: :development
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
-    - - "~>"
+    - - '='
       - !ruby/object:Gem::Version
-        version: 3.4.0
+        version: '3.4'
 description: A set of utilities for Persian language.
 email: poshtehani@gmail.com
 executables: []
 extensions: []
 extra_rdoc_files: []
 files:
+- ".editorconfig"
+- ".gitignore"
+- ".rspec"
+- ".rubocop.yml"
+- ".travis.yml"
+- Gemfile
+- Rakefile
 - lib/persian.rb
-- lib/persian/character.rb
+- lib/persian/counter.rb
+- lib/persian/date.rb
+- lib/persian/dynamic.rb
+- lib/persian/list/alphabet.rb
+- lib/persian/list/character.rb
 - lib/persian/list/number.rb
-- lib/persian/num_to_char.rb
+- lib/persian/num_text.rb
 - lib/persian/number.rb
+- lib/persian/text/keyboard.rb
+- lib/persian/text/text.rb
+- lib/persian/tokenizer.rb
+- lib/persian/unicode.rb
+- lib/persian/url.rb
 - lib/persian/version.rb
-homepage: http://github.com/goonia/persian
+- persian.gemspec
+- readme.md
+- spec/counter_spec.rb
+- spec/dynamic_spec.rb
+- spec/num_text_spec.rb
+- spec/number_spec.rb
+- spec/spec_helper.rb
+- spec/text_spec.rb
+- spec/tokenizer_spec.rb
+- spec/unicode_spec.rb
+- spec/url_spec.rb
+homepage: http://github.com/negah/persian
 licenses:
 - MIT
 metadata: {}
@@ -56,9 +83,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
       version: '0'
 requirements: []
 rubyforge_project: 
-rubygems_version: 2.4.6
+rubygems_version: 2.5.1
 signing_key: 
 specification_version: 4
-summary: A set of utilities for Persian language.
+summary: Persian language for ruby.
 test_files: []
-has_rdoc: 

data/lib/persian/character.rb

@@ -1,26 +0,0 @@
-# -*- coding: UTF-8 -*-
-
-class Persian
-  def self.character char
-
-    chars = {
-      "ك" => "ک",
-      "دِ" => "د",
-      "بِ" => "ب",
-      "زِ" => "ز",
-      "ذِ" => "ذ",
-      "شِ" => "ش",
-      "سِ" => "س",
-      "ى" => "ی",
-      "ي" => "ی",
-      "ة" => "ه",
-      "هٔ" => "ه"
-    }
-
-    chars.each {|k, v|
-      char.gsub!(k, v)
-    }
-
-    return char
-  end
-end

data/lib/persian/num_to_char.rb

@@ -1,60 +0,0 @@
-# -*- coding: UTF-8 -*-
-
-class Persian
-  def self.num_to_char num, inner = false
-
-    if num.kind_of? String
-      num = Persian.number(num, {lang: "en", return: "int"})
-    end
-
-    words = ""
-
-
-
-      if ((num / 100) >= 0) && ((num / 100) < 10)
-
-        if num < 10
-          if (num == 0) && inner
-            words += ""
-          elsif inner
-            words += " و "
-            words += @ones[num]
-          else
-            words += @ones[num]
-          end
-
-        elsif num < 20
-          words += @teens[num - 10]
-        elsif num < 100
-          if inner
-            words += " و "
-          end
-
-          words += @decimal[num/10] + num_to_char(num%10, true)
-        else
-          if inner
-            words += " و "
-          end
-
-          words += @hundreds[num/100] + num_to_char(num%100, true)
-        end
-      else
-        if inner
-          words += " و "
-        end
-
-        if (num.to_s.length%3) != 0
-          current_split = num.to_s[0..(num.to_s.length%3 - 1).to_i]
-          more_split = num.to_s.sub(current_split, "")
-          words += num_to_char(current_split) + " " + @longscale[(num.to_s.length / 3)] + num_to_char(more_split, true)
-        else
-          current_split = num.to_s[0..2]
-          more_split = num.to_s.sub(current_split, "")
-          words += num_to_char(current_split) + " " + @longscale[(num.to_s.length / 3)-1] + num_to_char(more_split, true)
-        end
-      end
-
-      words
-
-  end
-end