persian 0.1.0 → 0.2.1

data/lib/persian/url.rb

@@ -0,0 +1,25 @@
+# -*- coding: UTF-8 -*-
+
+# Persian module
+module Persian
+  # Persian Unicode class
+  class Url
+    def self.urlify(text)
+      # remove brackets
+      text = Text.remove_brackets(text)
+      # remove harekats
+      text = Text.remove_harekats(text)
+      # remove slash and backslash
+      text.gsub!(%r{(\/||\\)}, '')
+      # remove signs
+      text = Text.remove_signs(text, ' ')
+      # Remove extra spaces
+      text = Text.remove_extra_spaces(text)
+      # trim spaces from start and end of text
+      text = text.strip
+      # replace space with dash
+      text.gsub!(/\s/, '-')
+      text
+    end
+  end
+end

data/lib/persian/version.rb

@@ -1,5 +1,6 @@
 # -*- coding: UTF-8 -*-
 
+# Persian module
 module Persian
-  VERSION = '0.1.0'
+  VERSION = '0.2.1'.freeze
 end

data/persian.gemspec

@@ -0,0 +1,26 @@
+# -*- encoding: utf-8 -*-
+
+lib = File.expand_path('../lib', __FILE__)
+$LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
+
+require 'persian/version'
+
+Gem::Specification.new do |s|
+  s.name        = 'persian'
+  s.version     = Persian::VERSION
+  s.date        = '2016-11-16'
+  s.summary     = 'Persian language for ruby.'
+  s.description = 'A set of utilities for Persian language.'
+  s.authors     = ['Dariush Abbasi']
+  s.email       = 'poshtehani@gmail.com'
+  s.files       = `git ls-files`.split("\n")
+  s.test_files  = `git ls-files -- {spec}/*`.split("\n")
+  s.executables =
+    `git ls-files -- bin/*`.split("\n").map { |f| File.basename(f) }
+  s.require_paths = ['lib']
+  s.homepage      =
+    'http://github.com/negah/persian'
+  s.license       = 'MIT'
+
+  s.add_development_dependency 'rspec', '3.4'
+end

data/readme.md

@@ -0,0 +1,47 @@
+<p align="center">
+    <img src="https://upload.wikimedia.org/wikipedia/commons/a/a2/Farsi.svg"
+         height="130" alt="Persian">
+</p>
+<p align="center">
+    <a href="https://travis-ci.org/negah/persian">
+        <img src="https://travis-ci.org/negah/persian.svg?branch=master"
+             alt="Build Status">
+    </a>
+    <a href="https://rubygems.org/gems/persian">
+        <img src="https://img.shields.io/badge/gem-persian-orange.svg"
+             alt="Ruby Gems">
+    </a>
+
+    <a href="https://rubygems.org/gems/persian">
+        <img src="https://img.shields.io/gem/dv/persian/stable.svg?maxAge=2592000"
+             alt="Ruby Gems downloads">
+    </a>
+
+    <a href="https://codeclimate.com/github/negah/persian">
+        <img src="https://codeclimate.com/github/negah/persian/badges/gpa.svg"
+             alt="Code Climate">
+    </a>
+</p>
+<p align="center"><sup><strong> Ruby gem for working with Persian text. </strong></sup></p>
+
+
+
+Install
+-----
+```shell
+gem install persian
+```
+
+Usage
+-----
+```ruby
+require 'persian'
+```
+
+Components
+----------
+incomplete.
+
+License
+-------
+Released under the MIT License.

data/spec/counter_spec.rb

@@ -0,0 +1,83 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian counter methods' do
+  it 'should return a hash of characters with their number of occurrence' do
+    before = 'من غلام قمرم غیر قمر هیچ مگو'
+    after = {
+      'م' => 6,
+      'ن' => 1,
+      ' ' => 6,
+      'غ' => 2,
+      'ل' => 1,
+      'ا' => 1,
+      'ق' => 2,
+      'ر' => 3,
+      'ی' => 2,
+      'ه' => 1,
+      'چ' => 1,
+      'گ' => 1,
+      'و' => 1
+    }
+    arg = 'غ'
+    after_with_arg = 2
+
+    expect(Persian::Counter.character(before)).to eq(after)
+    expect(Persian::Counter.character(before, arg)).to eq(after_with_arg)
+  end
+
+  it 'should return a hash of words as key and number of occurrence of word as value' do
+    before = 'پرچم دوران هخامنشی به احتمال زیاد عقابی با بال های گشوده با قرص خورشیدی در پشت سر عقاب بوده است'
+    after = {
+      'پرچم' => 1,
+      'دوران' => 1,
+      'هخامنشی' => 1,
+      'به' => 1,
+      'احتمال' => 1,
+      'زیاد' => 1,
+      'عقابی' => 1,
+      'با' => 2,
+      'بال' => 1,
+      'های' => 1,
+      'گشوده' => 1,
+      'قرص' => 1,
+      'خورشیدی' => 1,
+      'در' => 1,
+      'پشت' => 1,
+      'سر' => 1,
+      'عقاب' => 1,
+      'بوده' => 1,
+      'است' => 1
+    }
+    arg = 'با'
+    after_with_arg = 2
+
+    expect(Persian::Counter.word(before)).to eq(after)
+    expect(Persian::Counter.word(before, arg)).to eq(after_with_arg)
+  end
+
+  it 'should return number of paragraphs' do
+    text = "
+یوهانس برامس در سال ۱۸۳۳ در شهر هامبورگ آلمان در خانواده‌ای فقیر به دنیا آمد. تحصیلات ابتدایی موسیقی را نزد پدرش که نوازنده کنترباس بود فرا گرفت.
+برامس با ویولونیست‌های مشهوری چون رمنی و یواخیم آشنا شد و در طول این آشنایی بود که رمنی موسیقی محلی مجارستان را به برامس معرفی کرد و تحت تأثیر آن برامس رقص‌های مجار خود را نوشت.
+"
+    after = 2
+
+    expect(Persian::Counter.paragraph(text)).to eq(after)
+  end
+
+  it 'shoud count uniq characters' do
+    text = 'دوستت دارم'
+    size = 8
+
+    expect(Persian::Counter.uniq_character(text)).to eq(size)
+  end
+
+  it 'shoud return length of text' do
+    text = 'راهی بزن که آهی بر ساز آن توان زد'
+    size = 33
+
+    expect(Persian::Counter.character_counter(text)).to eq(size)
+  end
+end

data/spec/dynamic_spec.rb

@@ -0,0 +1,6 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian dynamic methods methods' do
+end

data/spec/num_text_spec.rb

@@ -0,0 +1,17 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian number to character methods' do
+  it 'should convert english numbers to spelled persian character' do
+    before = 1234
+    after = 'یک هزار و دویست و سی و چهار'
+    expect(Persian::NumText.num_to_char(before)).to eq(after)
+  end
+
+  it 'should convert Persian numbers to spelled persian number' do
+    before = '۲۰۴۸۲۰۴۸'
+    after = 'بیست میلیون و چهارصد و هشتاد و دو هزار و چهل و هشت'
+    expect(Persian::NumText.num_to_char(before)).to eq(after)
+  end
+end

data/spec/number_spec.rb

@@ -0,0 +1,129 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian number methods' do
+  it 'should convert english numbers ( numeric ) to persian numbers' do
+    before = 1_000
+    after = '۱۰۰۰'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert english numbers (string) to persian numbers' do
+    before = '1234567890'
+    after = '۱۲۳۴۵۶۷۸۹۰'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert arabic numbers to persian numbers' do
+    before = '٠١٢٣٤٥٦٧٨٩'
+    after = '۰۱۲۳۴۵۶۷۸۹'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert arabic and english numbers in strings to persian numbers' do
+    before = 'عدد 1 و ٥ دو عدد زیبا هستند'
+    after = 'عدد ۱ و ۵ دو عدد زیبا هستند'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert english numbers ( numeric ) to arabic numbers' do
+    before = 1_000
+    after = '١٠٠٠'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert english numbers (string) to arabic numbers' do
+    before = '1234567890'
+    after = '١٢٣٤٥٦٧٨٩٠'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert persian numbers to arabic numbers' do
+    before = '۰۱۲۳۴۵۶۷۸۹'
+    after = '٠١٢٣٤٥٦٧٨٩'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert persian and english numbers in strings to arabic numbers' do
+    before = 'عدد 1 و ۵ دو عدد زیبا هستند'
+    after = 'عدد ١ و ٥ دو عدد زیبا هستند'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert english numbers ( numeric ) to english numbers (string)' do
+    before = 1_000
+    after = '1000'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert arabic numbers (string) to english numbers' do
+    before = '١٢٣٤٥٦٧٨٩٠'
+    after = '1234567890'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert persian numbers to english numbers' do
+    before = '۰۱۲۳۴۵۶۷۸۹'
+    after = '0123456789'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert persian and arabic numbers in strings to english numbers' do
+    before = 'عدد ۱ و ٥ دو عدد زیبا هستند'
+    after = 'عدد 1 و 5 دو عدد زیبا هستند'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert english numbers ( numeric ) to english numbers (int)' do
+    before = 1000
+    after = 1_000
+    expect(Persian::Number.number(before, lang: 'en', return: 'int')).to eq(after)
+  end
+
+  it 'should convert arabic numbers (string) to english numbers (int)' do
+    before = '١٢٣٤٥٦٧٨٩٠'
+    after = 1_234_567_890
+    expect(Persian::Number.number(before, lang: 'en', return: 'int')).to eq(after)
+  end
+
+  it 'should convert persian numbers to english numbers (int)' do
+    before = '۰۱۲۳۴۵۶۷۸۹'
+    after = 123_456_789
+    expect(Persian::Number.number(before, lang: 'en', return: 'int')).to eq(after)
+  end
+
+  it 'should convert any number to persian number' do
+    before = '1234567890'
+    after = '۱۲۳۴۵۶۷۸۹۰'
+
+    expect(Persian::Number.to_persian(before)).to eq(after)
+  end
+
+  it 'should convert any number to english number' do
+    before = '١٢٣٤٥٦٧٨٩٠'
+    after = '1234567890'
+
+    expect(Persian::Number.to_english(before)).to eq(after)
+  end
+
+  it 'should convert any number to arabic number' do
+    before = '1234567890'
+    after = '١٢٣٤٥٦٧٨٩٠'
+
+    expect(Persian::Number.to_arabic(before)).to eq(after)
+  end
+
+  it 'should return a random number in persian' do
+    range = 20
+
+    expect(Persian::Number.number(Persian::Number.random(range), lang: 'en', return: 'int')).to be <= range
+  end
+
+  it 'should return integer of any number' do
+    before = '۱۲۳۴۵۶۷۸۹۰'
+    after = 1_234_567_890
+
+    expect(Persian::Number.to_i(before)).to eq(after)
+  end
+end

data/spec/spec_helper.rb

@@ -0,0 +1,7 @@
+# -*- coding: UTF-8 -*-
+
+require 'persian'
+
+RSpec.configure do |config|
+  config.tty = true
+end

data/spec/text_spec.rb

@@ -0,0 +1,236 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian character methods' do
+  it 'should convert arbaic characters to persian characters' do
+    before = 'ملوك'
+    after = 'ملوک'
+    expect(Persian::Text.character(before)).to eq(after)
+  end
+
+  it 'should remove redundent spaces in strings' do
+    before = 'سلام من به تو یار                          قدیمی'
+    after = 'سلام من به تو یار قدیمی'
+    expect(Persian::Text.remove_extra_spaces(before)).to eq(after)
+  end
+
+  it 'should remove all arabic harekats from strings' do
+    before = 'مَتَی ما تَلْقَ مَنْ تَهْوَی دَعِ الدُّنیا وأهْْمِلْها'
+    after = 'متی ما تلق من تهوی دع الدنیا وأهملها'
+    expect(Persian::Text.remove_harekats(before)).to eq(after)
+  end
+
+  it 'should remove all brackets from text' do
+    before = 'سلام من به «تو»'
+    after = 'سلام من به تو'
+    expect(Persian::Text.remove_brackets(before)).to eq(after)
+  end
+
+  it 'should remove all signs from text' do
+    before = 'مسلمان و دروغ؟!'
+    after = 'مسلمان و دروغ'
+    expect(Persian::Text.remove_signs(before)).to eq(after)
+  end
+
+  it 'should replace [ & ], { & }, ( & ), " & " with « & »' do
+    before_first = 'اگر اراده ای نباشد عشقی نیست. "گاندی"'
+    after_first = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    before_second = 'اگر اراده ای نباشد عشقی نیست. [گاندی]'
+    after_second = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    before_third = 'اگر اراده ای نباشد عشقی نیست. (گاندی)'
+    after_third = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    before_forth = 'اگر اراده ای نباشد عشقی نیست. {گاندی}'
+    after_forth = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    expect(Persian::Text.general_brackets(before_first)).to eq(after_first)
+    expect(Persian::Text.general_brackets(before_second)).to eq(after_second)
+    expect(Persian::Text.general_brackets(before_third)).to eq(after_third)
+    expect(Persian::Text.general_brackets(before_forth)).to eq(after_forth)
+  end
+
+  it 'should replace "&" with ( & )' do
+    before = 'اگر اراده ای نباشد عشقی نیست. "گاندی"'
+    after = 'اگر اراده ای نباشد عشقی نیست. (گاندی)'
+    expect(Persian::Text.general_brackets(before, '(', ')')).to eq(after)
+  end
+
+  it 'should add ی after names that ends with ا, و, ه' do
+    before_first = 'داریوش'
+    after_first = 'داریوش'
+
+    before_second = 'حیفا'
+    after_second = 'حیفا‌ی'
+
+    before_third = 'الهه'
+    after_third = 'الهه‌ی'
+
+    expect(Persian::Text.fix_y_after_vowel(before_first)).to eq(after_first)
+    expect(Persian::Text.fix_y_after_vowel(before_second)).to eq(after_second)
+    expect(Persian::Text.fix_y_after_vowel(before_third)).to eq(after_third)
+  end
+
+  it 'should replace english characters with it\'s same key persian characters on keyboard' do
+    before = ';ajd k,p'
+    after = 'کشتی نوح'
+    expect(Persian::Text.english_to_persian_char(before)).to eq(after)
+  end
+
+  it 'should replace persian characters with it\'s same key english characters on keyboard' do
+    before = 'لخخلمث.زخپ'
+    after = 'google.com'
+    expect(Persian::Text.persian_to_english_char(before)).to eq(after)
+  end
+
+  it 'should replace space with zwnj after می and نمی' do
+    mi_before = 'بچه ها نگاه می کنند'
+    mi_after = 'بچه ها نگاه می‌کنند'
+
+    nmi_before = 'هنوز واژه‌ها درد را نمی فهمند.'
+    nmi_after = 'هنوز واژه‌ها درد را نمی‌فهمند.'
+
+    expect(Persian::Text.replace_zwnj_mi(mi_before)).to eq(mi_after)
+    expect(Persian::Text.replace_zwnj_mi(nmi_before)).to eq(nmi_after)
+  end
+
+  it 'should Resplace ست with \sاست if lastest character before \s is ا' do
+    first_before = 'امروز، فردا است.'
+    first_after = 'امروز، فرداست.'
+
+    second_before = 'نام او علی است.'
+    second_after = 'نام او علی است.'
+
+    expect(Persian::Text.ast(first_before)).to eq(first_after)
+    expect(Persian::Text.ast(second_before)).to eq(second_after)
+  end
+
+  it 'should remove keshide characters' do
+    before = 'سلـــــــــــــــــــام چطوری؟'
+    after = 'سلام چطوری؟'
+    expect(Persian::Text.keshide(before)).to eq(after)
+  end
+
+  it 'should replace ئ with ی if next character is ی' do
+    before = 'پائیز'
+    after = 'پاییز'
+    expect(Persian::Text.replace_e_y(before)).to eq(after)
+  end
+
+  it 'should replace 3 or more dots (.) with (…) character' do
+    before = 'خدانگهدار...'
+    after = 'خدانگهدار…'
+    expect(Persian::Text.three_dots(before)).to eq(after)
+  end
+
+  it 'should fix zwnj for تر - تری - ترین - ها - های suffixes' do
+    before = 'آن زیبا ترین رویا'
+    after = 'آن زیبا‌ترین رویا'
+    expect(Persian::Text.suffix(before)).to eq(after)
+  end
+
+  it 'should remove extra persian question marks' do
+    before = 'چی؟؟؟؟'
+    after = 'چی؟'
+    expect(Persian::Text.remove_extra_question_mark(before)).to eq(after)
+  end
+
+  it 'should add zero-width none-joiner to specific index in string' do
+    before = 'دوستهایم'
+    after = 'دوست‌هایم'
+    expect(Persian::Text.add_zwnj(before, 4)).to eq(after)
+  end
+
+  it 'should remove extra question and exclamation marks' do
+    before = 'نه بابا ؟؟!!!!!!!!!!!!!'
+    after = 'نه بابا ؟!'
+
+    expect(Persian::Text.remove_question_exclamation(before)).to eq(after)
+  end
+
+  it 'should remove stopwords from text' do
+    before = 'چوب در آب افتاد'
+    after = 'چوب آب افتاد'
+
+    expect(Persian::Text.remove_stopwords(before)).to eq(after)
+  end
+
+  it 'should remove space before noghtevirgool' do
+    before = 'تصور برخی از اعضای انجمن نسبت به تهران کاملا متفاوت با قبل شده است ؛ آنها فکر می‌کردند که تهران یک بیابان و منطقه‌ای بی امکانات است.'
+    after = 'تصور برخی از اعضای انجمن نسبت به تهران کاملا متفاوت با قبل شده است؛ آنها فکر می‌کردند که تهران یک بیابان و منطقه‌ای بی امکانات است.'
+
+    expect(Persian::Text.remove_space_noghtevirgool(before)).to eq(after)
+  end
+
+  it 'should remove extra persian signs after noghtevirgool' do
+    before = 'آهان این شد؛!'
+    after = 'آهان این شد؛'
+
+    expect(Persian::Text.remove_signs_after_noghtevirgool(before)).to eq(after)
+  end
+
+  it 'should add space after noghtevirgool' do
+    before = 'آهان این شد؛بیا بریم'
+    after = 'آهان این شد؛ بیا بریم'
+
+    expect(Persian::Text.space_after_noghtevirgool(before)).to eq(after)
+  end
+
+  it 'should replace noghtevirgool`s at the end of paragraphs with dot' do
+    before_first = 'این آخر کار است؛'
+    after_first = 'این آخر کار است.'
+
+    expect(Persian::Text.remove_noghtevirgool_para_end(before_first)).to eq(after_first)
+  end
+
+  it 'should remove noghtevirgool after brackets' do
+    before = 'این یک مثال(؛برای تست) است'
+    after = 'این یک مثال(برای تست) است'
+
+    expect(Persian::Text.remove_noghtevirgool_baz_start(before)).to eq(after)
+  end
+
+  it 'should remove spaces before virgool' do
+    before = 'لئوناردو یک نقاش پرکار نبود ، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+    after = 'لئوناردو یک نقاش پرکار نبود، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+
+    expect(Persian::Text.remove_space_before_virgool(before)).to eq(after)
+  end
+
+  it 'should remove extra signs after virgool' do
+    before = 'لئوناردو یک نقاش پرکار نبود، !در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+    after = 'لئوناردو یک نقاش پرکار نبود، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+
+    expect(Persian::Text.remove_signs_after_virgool(before)).to eq(after)
+  end
+
+  it 'should add space after virgool if missing' do
+    before = 'لئوناردو یک نقاش پرکار نبود،در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+    after = 'لئوناردو یک نقاش پرکار نبود، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+
+    expect(Persian::Text.space_after_virgool(before)).to eq(after)
+  end
+
+  it 'should remove specific character from every words in text' do
+    before = 'این برای پاک کردن نون است'
+    char = 'ن'
+    after = 'ای برای پاک کرد و است'
+
+    expect(Persian::Text.rm_char(before, char)).to eq(after)
+  end
+
+  it 'should replace end of line virgool with dot' do
+    text = 'جمله با ویرگول پایان نمیپذیرد،'
+    after = 'جمله با ویرگول پایان نمیپذیرد.'
+
+    expect(Persian::Text.rm_virgool_in_end(text)).to eq(after)
+  end
+
+  it 'should add space after dot\'s ends with no space character' do
+    text = 'سلام.اسپیس کو؟'
+    after = 'سلام. اسپیس کو؟'
+    expect(Persian::Text.space_after_dot(text)).to eq(after)
+  end
+end