persian 0.0.0 → 0.2.2

data/spec/number_spec.rb

@@ -0,0 +1,129 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian number methods' do
+  it 'should convert english numbers ( numeric ) to persian numbers' do
+    before = 1_000
+    after = '۱۰۰۰'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert english numbers (string) to persian numbers' do
+    before = '1234567890'
+    after = '۱۲۳۴۵۶۷۸۹۰'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert arabic numbers to persian numbers' do
+    before = '٠١٢٣٤٥٦٧٨٩'
+    after = '۰۱۲۳۴۵۶۷۸۹'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert arabic and english numbers in strings to persian numbers' do
+    before = 'عدد 1 و ٥ دو عدد زیبا هستند'
+    after = 'عدد ۱ و ۵ دو عدد زیبا هستند'
+    expect(Persian::Number.number(before)).to eq(after)
+  end
+
+  it 'should convert english numbers ( numeric ) to arabic numbers' do
+    before = 1_000
+    after = '١٠٠٠'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert english numbers (string) to arabic numbers' do
+    before = '1234567890'
+    after = '١٢٣٤٥٦٧٨٩٠'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert persian numbers to arabic numbers' do
+    before = '۰۱۲۳۴۵۶۷۸۹'
+    after = '٠١٢٣٤٥٦٧٨٩'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert persian and english numbers in strings to arabic numbers' do
+    before = 'عدد 1 و ۵ دو عدد زیبا هستند'
+    after = 'عدد ١ و ٥ دو عدد زیبا هستند'
+    expect(Persian::Number.number(before, lang: 'ar')).to eq(after)
+  end
+
+  it 'should convert english numbers ( numeric ) to english numbers (string)' do
+    before = 1_000
+    after = '1000'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert arabic numbers (string) to english numbers' do
+    before = '١٢٣٤٥٦٧٨٩٠'
+    after = '1234567890'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert persian numbers to english numbers' do
+    before = '۰۱۲۳۴۵۶۷۸۹'
+    after = '0123456789'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert persian and arabic numbers in strings to english numbers' do
+    before = 'عدد ۱ و ٥ دو عدد زیبا هستند'
+    after = 'عدد 1 و 5 دو عدد زیبا هستند'
+    expect(Persian::Number.number(before, lang: 'en')).to eq(after)
+  end
+
+  it 'should convert english numbers ( numeric ) to english numbers (int)' do
+    before = 1000
+    after = 1_000
+    expect(Persian::Number.number(before, lang: 'en', return: 'int')).to eq(after)
+  end
+
+  it 'should convert arabic numbers (string) to english numbers (int)' do
+    before = '١٢٣٤٥٦٧٨٩٠'
+    after = 1_234_567_890
+    expect(Persian::Number.number(before, lang: 'en', return: 'int')).to eq(after)
+  end
+
+  it 'should convert persian numbers to english numbers (int)' do
+    before = '۰۱۲۳۴۵۶۷۸۹'
+    after = 123_456_789
+    expect(Persian::Number.number(before, lang: 'en', return: 'int')).to eq(after)
+  end
+
+  it 'should convert any number to persian number' do
+    before = '1234567890'
+    after = '۱۲۳۴۵۶۷۸۹۰'
+
+    expect(Persian::Number.to_persian(before)).to eq(after)
+  end
+
+  it 'should convert any number to english number' do
+    before = '١٢٣٤٥٦٧٨٩٠'
+    after = '1234567890'
+
+    expect(Persian::Number.to_english(before)).to eq(after)
+  end
+
+  it 'should convert any number to arabic number' do
+    before = '1234567890'
+    after = '١٢٣٤٥٦٧٨٩٠'
+
+    expect(Persian::Number.to_arabic(before)).to eq(after)
+  end
+
+  it 'should return a random number in persian' do
+    range = 20
+
+    expect(Persian::Number.number(Persian::Number.random(range), lang: 'en', return: 'int')).to be <= range
+  end
+
+  it 'should return integer of any number' do
+    before = '۱۲۳۴۵۶۷۸۹۰'
+    after = 1_234_567_890
+
+    expect(Persian::Number.to_i(before)).to eq(after)
+  end
+end

data/spec/spec_helper.rb

@@ -0,0 +1,7 @@
+# -*- coding: UTF-8 -*-
+
+require 'persian'
+
+RSpec.configure do |config|
+  config.tty = true
+end

data/spec/text_spec.rb

@@ -0,0 +1,258 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian character methods' do
+  it 'should convert arbaic characters to persian characters' do
+    before = 'ملوك'
+    after = 'ملوک'
+    expect(Persian::Text.character(before)).to eq(after)
+  end
+
+  it 'should remove redundent spaces in strings' do
+    before = 'سلام من به تو یار                          قدیمی'
+    after = 'سلام من به تو یار قدیمی'
+    expect(Persian::Text.remove_extra_spaces(before)).to eq(after)
+  end
+
+  it 'should remove all arabic harekats from strings' do
+    before = 'مَتَی ما تَلْقَ مَنْ تَهْوَی دَعِ الدُّنیا وأهْْمِلْها'
+    after = 'متی ما تلق من تهوی دع الدنیا وأهملها'
+    expect(Persian::Text.remove_harekats(before)).to eq(after)
+  end
+
+  it 'should remove all brackets from text' do
+    before = 'سلام من به «تو»'
+    after = 'سلام من به تو'
+    expect(Persian::Text.remove_brackets(before)).to eq(after)
+  end
+
+  it 'should remove all signs from text' do
+    before = 'مسلمان و دروغ؟!'
+    after = 'مسلمان و دروغ'
+    expect(Persian::Text.remove_signs(before)).to eq(after)
+  end
+
+  it 'should replace all zwnjs with space ' do
+    before = 'من‌در‌نیم‌فاصله‌ات‌اسیرم'
+    after = 'من در نیم فاصله ات اسیرم'
+
+    expect(Persian::Text.replace_zwnj_with_space(before)).to eq(after)
+  end
+
+  it 'should replace [ & ], { & }, ( & ), " & " with « & »' do
+    before_first = 'اگر اراده ای نباشد عشقی نیست. "گاندی"'
+    after_first = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    before_second = 'اگر اراده ای نباشد عشقی نیست. [گاندی]'
+    after_second = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    before_third = 'اگر اراده ای نباشد عشقی نیست. (گاندی)'
+    after_third = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    before_forth = 'اگر اراده ای نباشد عشقی نیست. {گاندی}'
+    after_forth = 'اگر اراده ای نباشد عشقی نیست. «گاندی»'
+
+    expect(Persian::Text.general_brackets(before_first)).to eq(after_first)
+    expect(Persian::Text.general_brackets(before_second)).to eq(after_second)
+    expect(Persian::Text.general_brackets(before_third)).to eq(after_third)
+    expect(Persian::Text.general_brackets(before_forth)).to eq(after_forth)
+  end
+
+  it 'should replace "&" with ( & )' do
+    before = 'اگر اراده ای نباشد عشقی نیست. "گاندی"'
+    after = 'اگر اراده ای نباشد عشقی نیست. (گاندی)'
+    expect(Persian::Text.general_brackets(before, '(', ')')).to eq(after)
+  end
+
+  it 'should add ی after names that ends with ا, و, ه' do
+    before_first = 'داریوش'
+    after_first = 'داریوش'
+
+    before_second = 'حیفا'
+    after_second = 'حیفا‌ی'
+
+    before_third = 'الهه'
+    after_third = 'الهه‌ی'
+
+    expect(Persian::Text.fix_y_after_vowel(before_first)).to eq(after_first)
+    expect(Persian::Text.fix_y_after_vowel(before_second)).to eq(after_second)
+    expect(Persian::Text.fix_y_after_vowel(before_third)).to eq(after_third)
+  end
+
+  it 'should replace english characters with it\'s same key persian characters on keyboard' do
+    before = ';ajd k,p'
+    after = 'کشتی نوح'
+    expect(Persian::Text.english_to_persian_char(before)).to eq(after)
+  end
+
+  it 'should replace persian characters with it\'s same key english characters on keyboard' do
+    before = 'لخخلمث.زخپ'
+    after = 'google.com'
+    expect(Persian::Text.persian_to_english_char(before)).to eq(after)
+  end
+
+  it 'should replace space with zwnj after می and نمی' do
+    mi_before = 'بچه ها نگاه می کنند'
+    mi_after = 'بچه ها نگاه می‌کنند'
+
+    nmi_before = 'هنوز واژه‌ها درد را نمی فهمند.'
+    nmi_after = 'هنوز واژه‌ها درد را نمی‌فهمند.'
+
+    expect(Persian::Text.replace_zwnj_mi(mi_before)).to eq(mi_after)
+    expect(Persian::Text.replace_zwnj_mi(nmi_before)).to eq(nmi_after)
+  end
+
+  it 'should Resplace ست with \sاست if lastest character before \s is ا' do
+    first_before = 'امروز، فردا است.'
+    first_after = 'امروز، فرداست.'
+
+    second_before = 'نام او علی است.'
+    second_after = 'نام او علی است.'
+
+    expect(Persian::Text.ast(first_before)).to eq(first_after)
+    expect(Persian::Text.ast(second_before)).to eq(second_after)
+  end
+
+  it 'should remove keshide characters' do
+    before = 'سلـــــــــــــــــــام چطوری؟'
+    after = 'سلام چطوری؟'
+    expect(Persian::Text.keshide(before)).to eq(after)
+  end
+
+  it 'should replace ئ with ی if next character is ی' do
+    before = 'پائیز'
+    after = 'پاییز'
+    expect(Persian::Text.replace_e_y(before)).to eq(after)
+  end
+
+  it 'should replace 3 or more dots (.) with (…) character' do
+    before = 'خدانگهدار...'
+    after = 'خدانگهدار…'
+    expect(Persian::Text.three_dots(before)).to eq(after)
+  end
+
+  it 'should fix zwnj for تر - تری - ترین - ها - های suffixes' do
+    before = 'آن زیبا ترین رویا'
+    after = 'آن زیبا‌ترین رویا'
+    expect(Persian::Text.suffix(before)).to eq(after)
+  end
+
+  it 'should remove extra persian question marks' do
+    before = 'چی؟؟؟؟'
+    after = 'چی؟'
+    expect(Persian::Text.remove_extra_question_mark(before)).to eq(after)
+  end
+
+  it 'should add zero-width none-joiner to specific index in string' do
+    before = 'دوستهایم'
+    after = 'دوست‌هایم'
+    expect(Persian::Text.add_zwnj(before, 4)).to eq(after)
+  end
+
+  it 'should remove extra question and exclamation marks' do
+    before = 'نه بابا ؟؟!!!!!!!!!!!!!'
+    after = 'نه بابا ؟!'
+
+    expect(Persian::Text.remove_question_exclamation(before)).to eq(after)
+  end
+
+  it 'should remove stopwords from text' do
+    before = 'چوب در آب افتاد'
+    after = 'چوب آب افتاد'
+
+    expect(Persian::Text.remove_stopwords(before)).to eq(after)
+  end
+
+  it 'should remove space before noghtevirgool' do
+    before = 'تصور برخی از اعضای انجمن نسبت به تهران کاملا متفاوت با قبل شده است ؛ آنها فکر می‌کردند که تهران یک بیابان و منطقه‌ای بی امکانات است.'
+    after = 'تصور برخی از اعضای انجمن نسبت به تهران کاملا متفاوت با قبل شده است؛ آنها فکر می‌کردند که تهران یک بیابان و منطقه‌ای بی امکانات است.'
+
+    expect(Persian::Text.remove_space_noghtevirgool(before)).to eq(after)
+  end
+
+  it 'should remove extra persian signs after noghtevirgool' do
+    before = 'آهان این شد؛!'
+    after = 'آهان این شد؛'
+
+    expect(Persian::Text.remove_signs_after_noghtevirgool(before)).to eq(after)
+  end
+
+  it 'should add space after noghtevirgool' do
+    before = 'آهان این شد؛بیا بریم'
+    after = 'آهان این شد؛ بیا بریم'
+
+    expect(Persian::Text.space_after_noghtevirgool(before)).to eq(after)
+  end
+
+  it 'should replace noghtevirgool`s at the end of paragraphs with dot' do
+    before_first = 'این آخر کار است؛'
+    after_first = 'این آخر کار است.'
+
+    expect(Persian::Text.remove_noghtevirgool_para_end(before_first)).to eq(after_first)
+  end
+
+  it 'should remove noghtevirgool after brackets' do
+    before = 'این یک مثال(؛برای تست) است'
+    after = 'این یک مثال(برای تست) است'
+
+    expect(Persian::Text.remove_noghtevirgool_baz_start(before)).to eq(after)
+  end
+
+  it 'should remove spaces before virgool' do
+    before = 'لئوناردو یک نقاش پرکار نبود ، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+    after = 'لئوناردو یک نقاش پرکار نبود، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+
+    expect(Persian::Text.remove_space_before_virgool(before)).to eq(after)
+  end
+
+  it 'should remove extra signs after virgool' do
+    before = 'لئوناردو یک نقاش پرکار نبود، !در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+    after = 'لئوناردو یک نقاش پرکار نبود، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+
+    expect(Persian::Text.remove_signs_after_virgool(before)).to eq(after)
+  end
+
+  it 'should add space after virgool if missing' do
+    before = 'لئوناردو یک نقاش پرکار نبود،در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+    after = 'لئوناردو یک نقاش پرکار نبود، در حقیقت او پرکارترین نقشه‌کش و طراح بود.'
+
+    expect(Persian::Text.space_after_virgool(before)).to eq(after)
+  end
+
+  it 'should remove specific character from every words in text' do
+    before = 'این برای پاک کردن نون است'
+    char = 'ن'
+    after = 'ای برای پاک کرد و است'
+
+    expect(Persian::Text.rm_char(before, char)).to eq(after)
+  end
+
+  it 'should replace end of line virgool with dot' do
+    text = 'جمله با ویرگول پایان نمیپذیرد،'
+    after = 'جمله با ویرگول پایان نمیپذیرد.'
+
+    expect(Persian::Text.rm_virgool_in_end(text)).to eq(after)
+  end
+
+  it 'should add space after dot\'s ends with no space character' do
+    text = 'سلام.اسپیس کو؟'
+    after = 'سلام. اسپیس کو؟'
+    expect(Persian::Text.space_after_dot(text)).to eq(after)
+  end
+
+  it 'should remove all repeated characters from text' do
+    text = 'سلااااااام.چی میکنییی؟؟؟؟؟'
+    after = 'سلام.چی میکنی؟'
+
+    expect(Persian::Text.squeeze(text)).to eq(after)
+  end
+
+  it 'should remove text postfix' do
+    text = 'پسره'
+    postfix = 'ه'
+    result = 'پسر'
+
+    expect(Persian::Text.remove_postfix(text, postfix)).to eq(result)
+  end
+end

data/spec/tokenizer_spec.rb

@@ -0,0 +1,31 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian tokenizers' do
+  it 'should return list of words and special persian characters ' do
+    before = 'آیا روزی به اسرار این اتفاقات ماوراء طبیعی، این انعکاس سایهٔ روح که در حالت اغماء و برزخ بین خواب و بیداری جلوه می‌کند کسی پی خواهد برد؟'
+    after = ['آیا', 'روزی', 'به', 'اسرار', 'این', 'اتفاقات', 'ماوراء', 'طبیعی', '،', 'این', 'انعکاس', 'سایهٔ', 'روح', 'که', 'در', 'حالت', 'اغماء', 'و', 'برزخ', 'بین', 'خواب', 'و', 'بیداری', 'جلوه', 'می‌کند', 'کسی', 'پی', 'خواهد', 'برد', '؟']
+
+    expect(Persian::Tokenizer.tokenize(before)).to eq(after)
+  end
+
+  it 'should tokenize as a serie' do
+    text = 'سلام من به تو یار قدیمی'
+    parts = 3
+    result = ['سلام من به', 'من به تو', 'به تو یار', 'تو یار قدیمی']
+
+    expect(Persian::Tokenizer.tokenize_more(text, parts)).to eq(result)
+  end
+
+  it 'should split paragraphs' do
+    text = "
+یوهانس برامس در سال ۱۸۳۳ در شهر هامبورگ آلمان در خانواده‌ای فقیر به دنیا آمد. تحصیلات ابتدایی موسیقی را نزد پدرش که نوازنده کنترباس بود فرا گرفت.
+برامس با ویولونیست‌های مشهوری چون رمنی و یواخیم آشنا شد و در طول این آشنایی بود که رمنی موسیقی محلی مجارستان را به برامس معرفی کرد و تحت تأثیر آن برامس رقص‌های مجار خود را نوشت.
+"
+    result = ['یوهانس برامس در سال ۱۸۳۳ در شهر هامبورگ آلمان در خانواده‌ای فقیر به دنیا آمد. تحصیلات ابتدایی موسیقی را نزد پدرش که نوازنده کنترباس بود فرا گرفت.',
+              'برامس با ویولونیست‌های مشهوری چون رمنی و یواخیم آشنا شد و در طول این آشنایی بود که رمنی موسیقی محلی مجارستان را به برامس معرفی کرد و تحت تأثیر آن برامس رقص‌های مجار خود را نوشت.']
+
+    expect(Persian::Tokenizer.split_paragraphs(text)).to eq(result)
+  end
+end

data/spec/unicode_spec.rb

@@ -0,0 +1,25 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian character methods' do
+  it 'should return unicode character from codepoint hex' do
+    codepoint = 0x062B
+    char = 'ث'
+
+    expect(Persian::Unicode.codepoint_to_char(codepoint)).to eq(char)
+  end
+
+  it 'should return text between RIGHT-TO-LETF EMBEDDING(U+202B) and Pop Directional Format(U+202C)' do
+    before = 'مست+'
+    after = '‫مست+‬'
+    expect(Persian::Unicode.rle(before)).to eq(after)
+  end
+
+  it 'should text between return LETF-TO-RIGHT EMBEDDING(U+202A) and Pop Directional Format(U+202C)' do
+    before = 'من c++ بلدم'
+    after = '‪من c++ بلدم‬'
+
+    expect(Persian::Unicode.lre(before)).to eq(after)
+  end
+end

data/spec/url_spec.rb

@@ -0,0 +1,11 @@
+# -*- coding: UTF-8 -*-
+
+require 'spec_helper'
+
+describe 'persian url normalizer methods' do
+  it 'should normalize persian text fo use in url' do
+    text = '«دونالد ترامپ» پیروز انتخابات ایالات متحده شد'
+    normal = 'دونالد-ترامپ-پیروز-انتخابات-ایالات-متحده-شد'
+    expect(Persian::Url.urlify(text)).to eq(normal)
+  end
+end

metadata

@@ -1,38 +1,70 @@
 --- !ruby/object:Gem::Specification
 name: persian
 version: !ruby/object:Gem::Version
-  version: 0.0.0
+  version: 0.2.2
 platform: ruby
 authors:
 - Dariush Abbasi
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2015-09-03 00:00:00.000000000 Z
+date: 2022-03-25 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: rspec
   requirement: !ruby/object:Gem::Requirement
     requirements:
-    - - ">="
+    - - '='
       - !ruby/object:Gem::Version
-        version: '0'
+        version: '3.4'
   type: :development
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
-    - - ">="
+    - - '='
       - !ruby/object:Gem::Version
-        version: '0'
-description: ''
+        version: '3.4'
+description: A set of utilities for Persian language.
 email: poshtehani@gmail.com
 executables: []
 extensions: []
 extra_rdoc_files: []
 files:
+- ".editorconfig"
+- ".gitignore"
+- ".rspec"
+- ".rubocop.yml"
+- ".travis.yml"
+- Gemfile
+- Rakefile
 - lib/persian.rb
+- lib/persian/counter.rb
+- lib/persian/date.rb
+- lib/persian/dynamic.rb
+- lib/persian/list/alphabet.rb
+- lib/persian/list/character.rb
+- lib/persian/list/homonyms.rb
+- lib/persian/list/number.rb
+- lib/persian/num_text.rb
+- lib/persian/number.rb
+- lib/persian/text/keyboard.rb
+- lib/persian/text/text.rb
+- lib/persian/tokenizer.rb
+- lib/persian/unicode.rb
+- lib/persian/url.rb
 - lib/persian/version.rb
-homepage: http://github.com/goonia/persian
+- persian.gemspec
+- readme.md
+- spec/counter_spec.rb
+- spec/dynamic_spec.rb
+- spec/num_text_spec.rb
+- spec/number_spec.rb
+- spec/spec_helper.rb
+- spec/text_spec.rb
+- spec/tokenizer_spec.rb
+- spec/unicode_spec.rb
+- spec/url_spec.rb
+homepage: http://github.com/dariubs/persian.rb
 licenses:
 - MIT
 metadata: {}
@@ -51,10 +83,8 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubyforge_project: 
-rubygems_version: 2.4.6
+rubygems_version: 3.2.5
 signing_key: 
 specification_version: 4
-summary: Persian language set of utilities.
+summary: Persian language for ruby.
 test_files: []
-has_rdoc: