pragmatic_tokenizer 3.0.4 → 3.2.0

Sign up to get free protection for your applications and to get access to all the features.
Files changed (36) hide show
  1. checksums.yaml +5 -5
  2. data/lib/pragmatic_tokenizer/languages.rb +26 -26
  3. data/lib/pragmatic_tokenizer/languages/arabic.rb +2 -2
  4. data/lib/pragmatic_tokenizer/languages/bulgarian.rb +3 -3
  5. data/lib/pragmatic_tokenizer/languages/common.rb +14 -24
  6. data/lib/pragmatic_tokenizer/languages/czech.rb +2 -2
  7. data/lib/pragmatic_tokenizer/languages/danish.rb +2 -2
  8. data/lib/pragmatic_tokenizer/languages/deutsch.rb +3 -93
  9. data/lib/pragmatic_tokenizer/languages/dutch.rb +2 -2
  10. data/lib/pragmatic_tokenizer/languages/english.rb +11 -14
  11. data/lib/pragmatic_tokenizer/languages/finnish.rb +2 -2
  12. data/lib/pragmatic_tokenizer/languages/french.rb +36 -9
  13. data/lib/pragmatic_tokenizer/languages/greek.rb +2 -2
  14. data/lib/pragmatic_tokenizer/languages/indonesian.rb +2 -2
  15. data/lib/pragmatic_tokenizer/languages/italian.rb +1 -1
  16. data/lib/pragmatic_tokenizer/languages/norwegian.rb +2 -2
  17. data/lib/pragmatic_tokenizer/languages/persian.rb +2 -2
  18. data/lib/pragmatic_tokenizer/languages/polish.rb +2 -2
  19. data/lib/pragmatic_tokenizer/languages/portuguese.rb +1 -1
  20. data/lib/pragmatic_tokenizer/languages/romanian.rb +2 -2
  21. data/lib/pragmatic_tokenizer/languages/russian.rb +3 -3
  22. data/lib/pragmatic_tokenizer/languages/slovak.rb +2 -2
  23. data/lib/pragmatic_tokenizer/languages/swedish.rb +2 -2
  24. data/lib/pragmatic_tokenizer/languages/turkish.rb +2 -2
  25. data/lib/pragmatic_tokenizer/post_processor.rb +42 -88
  26. data/lib/pragmatic_tokenizer/pre_processor.rb +33 -142
  27. data/lib/pragmatic_tokenizer/regex.rb +150 -0
  28. data/lib/pragmatic_tokenizer/tokenizer.rb +81 -115
  29. data/lib/pragmatic_tokenizer/version.rb +1 -1
  30. data/pragmatic_tokenizer.gemspec +5 -6
  31. data/spec/languages/english_spec.rb +13 -0
  32. data/spec/languages/french_spec.rb +2 -2
  33. data/spec/performance_spec.rb +0 -1
  34. data/spec/spec_helper.rb +1 -1
  35. metadata +12 -12
  36. data/lib/pragmatic_tokenizer/full_stop_separator.rb +0 -62
@@ -3,8 +3,8 @@ module PragmaticTokenizer
3
3
  module Polish
4
4
  include Languages::Common
5
5
  ABBREVIATIONS = Set.new(['ags', 'alb', 'ang', 'aor', 'awest', 'bałt', 'bojkow', 'bret', 'brus', 'bsł', 'bułg', 'c.b.d.o', 'c.b.d.u', 'celt', 'chorw', 'cs', 'czakaw', 'czerw', 'czes', 'dłuż', 'dniem', 'dor', 'dubrow', 'duń', 'ekaw', 'fiń', 'franc', 'gal', 'germ', 'głuż', 'gniem', 'goc', 'gr', 'grudz', 'hebr', 'het', 'hol', 'I cont', 'ie', 'ikaw', 'irań', 'irl', 'islandz', 'itd', 'itd.', 'itp', 'jekaw', 'kajkaw', 'kasz', 'kirg', 'kwiec', 'łac', 'lip', 'listop', 'lit', 'łot', 'lp', 'maced', 'mar', 'młpol', 'moraw', 'n.e', 'nb.', 'ngr', 'niem', 'nord', 'norw', 'np', 'np.', 'ok.', 'orm', 'oset', 'osk', 'p.n', 'p.n.e', 'p.o', 'pazdz', 'pers', 'pie', 'pod red.', 'podhal', 'pol', 'połab', 'port', 'prekm', 'pskow', 'psł', 'R cont', 'rez', 'rom', 'rozdz.', 'rum', 'rus', 'rys.', 'sas', 'sch', 'scs', 'serb', 'sierp', 'śl', 'sła', 'słe', 'słi', 'słow', 'sp. z o.o', 'śrdniem', 'śrgniem', 'śrirl', 'stbułg', 'stind', 'stpol', 'stpr', 'str.', 'strus', 'stwniem', 'stycz', 'sztokaw', 'szwedz', 't.', 'tj.', 'tłum.', 'toch', 'tur', 'tzn', 'ukr', 'ul', 'umbr', 'wed', 'węg', 'wlkpol', 'włos', 'wrzes', 'wyd.', 'zakarp']).freeze
6
- STOP_WORDS = Set.new(%w(ach aj albo bardzo bez bo być ci cię ciebie co czy daleko dla dlaczego dlatego do dobrze dokąd dość dużo dwa dwaj dwie dwoje dziś dzisiaj gdyby gdzie go ich ile im inny ja ją jak jakby jaki je jeden jedna jedno jego jej jemu jeśli jest jestem jeżeli już każdy kiedy kierunku kto ku lub ma mają mam mi mną mnie moi mój moja moje może mu my na nam nami nas nasi nasz nasza nasze natychmiast nią nic nich nie niego niej niemu nigdy nim nimi niż obok od około on ona one oni ono owszem po pod ponieważ przed przedtem są sam sama się skąd tak taki tam ten to tobą tobie tu tutaj twoi twój twoja twoje ty wam wami was wasi wasz wasza wasze we więc wszystko wtedy wy żaden zawsze że a aby ach acz aczkolwiek ale ależ aż bardziej bowiem by byli bynajmniej był była było były będzie będą cali cała cały cokolwiek coś czasami czasem czemu czyli gdy gdyż gdziekolwiek gdzieś i inna inne innych iż jakaś jakichś jakie jakiś jakiż jakkolwiek jako jakoś jednak jednakże jeszcze kilka kimś ktokolwiek ktoś która które którego której który których którym którzy lat lecz mimo między mogą moim możliwe można musi nad naszego naszych natomiast nawet no o oraz pan pana pani podczas pomimo ponad powinien powinna powinni powinno poza prawie przecież przede przez przy roku również sobie sobą sposób swoje ta taka takie także te tego tej teraz też totobą toteż trzeba twoim twym tych tylko tym u w według wiele wielu więcej wszyscy wszystkich wszystkie wszystkim właśnie z za zapewne zeznowu znów został żadna żadne żadnych żeby)).freeze
7
- CONTRACTIONS = {}.freeze
6
+ STOP_WORDS = Set.new(%w[ach aj albo bardzo bez bo być ci cię ciebie co czy daleko dla dlaczego dlatego do dobrze dokąd dość dużo dwa dwaj dwie dwoje dziś dzisiaj gdyby gdzie go ich ile im inny ja ją jak jakby jaki je jeden jedna jedno jego jej jemu jeśli jest jestem jeżeli już każdy kiedy kierunku kto ku lub ma mają mam mi mną mnie moi mój moja moje może mu my na nam nami nas nasi nasz nasza nasze natychmiast nią nic nich nie niego niej niemu nigdy nim nimi niż obok od około on ona one oni ono owszem po pod ponieważ przed przedtem są sam sama się skąd tak taki tam ten to tobą tobie tu tutaj twoi twój twoja twoje ty wam wami was wasi wasz wasza wasze we więc wszystko wtedy wy żaden zawsze że a aby ach acz aczkolwiek ale ależ aż bardziej bowiem by byli bynajmniej był była było były będzie będą cali cała cały cokolwiek coś czasami czasem czemu czyli gdy gdyż gdziekolwiek gdzieś i inna inne innych iż jakaś jakichś jakie jakiś jakiż jakkolwiek jako jakoś jednak jednakże jeszcze kilka kimś ktokolwiek ktoś która które którego której który których którym którzy lat lecz mimo między mogą moim możliwe można musi nad naszego naszych natomiast nawet no o oraz pan pana pani podczas pomimo ponad powinien powinna powinni powinno poza prawie przecież przede przez przy roku również sobie sobą sposób swoje ta taka takie także te tego tej teraz też totobą toteż trzeba twoim twym tych tylko tym u w według wiele wielu więcej wszyscy wszystkich wszystkie wszystkim właśnie z za zapewne zeznowu znów został żadna żadne żadnych żeby]).freeze
7
+ CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
10
10
  end
@@ -3,7 +3,7 @@ module PragmaticTokenizer
3
3
  module Portuguese
4
4
  include Languages::Common
5
5
  ABBREVIATIONS = Set.new([]).freeze
6
- STOP_WORDS = Set.new(%w(acerca agora algmas alguns ali ambos antes apontar aquela aquelas aquele aqueles aqui atrás bem bom cada caminho cima com como comprido conhecido corrente das debaixo dentro desde desligado deve devem deverá direita diz dizer dois dos e é ela ele eles em enquanto então está estado estão estar estará este estes esteve estive estivemos estiveram eu fará faz fazer fazia fez fim foi fora horas iniciar inicio ir irá ista iste isto ligado maioria maiorias mais mas mesmo meu muito muitos não nome nós nosso novo o onde os ou outro para parte pegar pelo pessoas pode poderá podia por porque povo promeiro qual qualquer quando quê quem quieto saber são sem ser seu somente tal também tem têm tempo tenho tentar tentaram tente tentei teu teve tipo tive todos trabalhar trabalho tu último um uma umas uns usa usar valor veja ver verdade verdadeiro você a à adeus aí ainda além algo algumas ano anos ao aos apenas apoio após aquilo área as às assim até através baixo bastante boa boas bons breve cá catorze cedo cento certamente certeza cinco coisa conselho contra custa da dá dão daquela daquelas daquele daqueles dar de demais depois dessa dessas desse desses desta destas deste destes dez dezanove dezasseis dezassete dezoito dia diante dizem do doze duas dúvida elas embora entre era és essa essas esse esses esta estas estás estava estiveste estivestes estou exemplo faço falta favor fazeis fazem fazemos fazes final fomos for foram forma foste fostes fui geral grande grandes grupo há hoje hora isso já lá lado local logo longe lugar maior mal máximo me meio menor menos mês meses meus mil minha minhas momento na nada naquela naquelas naquele naqueles nas nem nenhuma nessa nessas nesse nesses nesta nestas neste nestes nível no noite nos nossa nossas nossos nova novas nove novos num numa número nunca obra obrigada obrigado oitava oitavo oito ontem onze outra outras outros parece partir paucas pela pelas pelos perto pôde podem poder põe põem ponto pontos porquê posição possível possivelmente posso pouca pouco poucos primeira primeiras primeiro primeiros própria próprias próprio próprios próxima próximas próximo próximos puderam quáis quanto quarta quarto quatro que quer quereis querem queremas queres quero questão quinta quinto quinze relação sabe sabem se segunda segundo sei seis sempre seria sete sétima sétimo seus sexta sexto sim sistema sob sobre sois somos sou sua suas talvez tanta tantas tanto tão tarde te temos tendes tens ter terceira terceiro teus tivemos tiveram tiveste tivestes toda todas todo três treze tua tuas tudo vai vais vão vários vem vêm vens vez vezes viagem vindo vinte vocês vos vós vossa vossas vosso vossos zero and)).freeze
6
+ STOP_WORDS = Set.new(%w[acerca agora algmas alguns ali ambos antes apontar aquela aquelas aquele aqueles aqui atrás bem bom cada caminho cima com como comprido conhecido corrente das debaixo dentro desde desligado deve devem deverá direita diz dizer dois dos e é ela ele eles em enquanto então está estado estão estar estará este estes esteve estive estivemos estiveram eu fará faz fazer fazia fez fim foi fora horas iniciar inicio ir irá ista iste isto ligado maioria maiorias mais mas mesmo meu muito muitos não nome nós nosso novo o onde os ou outro para parte pegar pelo pessoas pode poderá podia por porque povo promeiro qual qualquer quando quê quem quieto saber são sem ser seu somente tal também tem têm tempo tenho tentar tentaram tente tentei teu teve tipo tive todos trabalhar trabalho tu último um uma umas uns usa usar valor veja ver verdade verdadeiro você a à adeus aí ainda além algo algumas ano anos ao aos apenas apoio após aquilo área as às assim até através baixo bastante boa boas bons breve cá catorze cedo cento certamente certeza cinco coisa conselho contra custa da dá dão daquela daquelas daquele daqueles dar de demais depois dessa dessas desse desses desta destas deste destes dez dezanove dezasseis dezassete dezoito dia diante dizem do doze duas dúvida elas embora entre era és essa essas esse esses esta estas estás estava estiveste estivestes estou exemplo faço falta favor fazeis fazem fazemos fazes final fomos for foram forma foste fostes fui geral grande grandes grupo há hoje hora isso já lá lado local logo longe lugar maior mal máximo me meio menor menos mês meses meus mil minha minhas momento na nada naquela naquelas naquele naqueles nas nem nenhuma nessa nessas nesse nesses nesta nestas neste nestes nível no noite nos nossa nossas nossos nova novas nove novos num numa número nunca obra obrigada obrigado oitava oitavo oito ontem onze outra outras outros parece partir paucas pela pelas pelos perto pôde podem poder põe põem ponto pontos porquê posição possível possivelmente posso pouca pouco poucos primeira primeiras primeiro primeiros própria próprias próprio próprios próxima próximas próximo próximos puderam quáis quanto quarta quarto quatro que quer quereis querem queremas queres quero questão quinta quinto quinze relação sabe sabem se segunda segundo sei seis sempre seria sete sétima sétimo seus sexta sexto sim sistema sob sobre sois somos sou sua suas talvez tanta tantas tanto tão tarde te temos tendes tens ter terceira terceiro teus tivemos tiveram tiveste tivestes toda todas todo três treze tua tuas tudo vai vais vão vários vem vêm vens vez vezes viagem vindo vinte vocês vos vós vossa vossas vosso vossos zero and]).freeze
7
7
  CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
@@ -3,8 +3,8 @@ module PragmaticTokenizer
3
3
  module Romanian
4
4
  include Languages::Common
5
5
  ABBREVIATIONS = Set.new([]).freeze
6
- STOP_WORDS = Set.new(["acea", "aceasta", "această", "aceea", "acei", "aceia", "acel", "acela", "acele", "acelea", "acest", "acesta", "aceste", "acestea", "aceşti", "aceştia", "acolo", "acord", "acum", "ai", "aia", "aibă", "aici", "al", "ăla", "ale", "alea", "ălea", "altceva", "altcineva", "am", "ar", "are", "", "aşadar", "asemenea", "asta", "ăsta", "astăzi", "astea", "ăstea", "ăştia", "asupra", "aţi", "au", "avea", "avem", "aveţi", "azi", "bine", "bucur", "bună", "ca", "", "căci", "când", "care", "cărei", "căror", "cărui", "cât", "câte", "câţi", "către", "câtva", "caut", "ce", "cel", "ceva", "chiar", "cinci", "cînd", "cine", "cineva", "cît", "cîte", "cîţi", "cîtva", "contra", "cu", "cum", "cumva", "curând", "curînd", "da", "", "dacă", "dar", "dată", "datorită", "dau", "de", "deci", "deja", "deoarece", "departe", "deşi", "din", "dinaintea", "dintr-", "dintre", "doi", "doilea", "două", "drept", "după", "ea", "ei", "el", "ele", "eram", "este", "eşti", "eu", "face", "fără", "fata", "fi", "fie", "fiecare", "fii", "fim", "fiţi", "fiu", "frumos", "graţie", "halbă", "iar", "ieri", "îi", "îl", "îmi", "împotriva", "în", "înainte", "înaintea", "încât", "încît", "încotro", "între", "întrucât", "întrucît", "îţi", "la", "lângă", "le", "li", "lîngă", "lor", "lui", "", "mai", "mâine", "mea", "mei", "mele", "mereu", "meu", "mi", "mie", "mîine", "mine", "mult", "multă", "mulţi", "mulţumesc", "ne", "nevoie", "nicăieri", "nici", "nimeni", "nimeri", "nimic", "nişte", "noastră", "noastre", "noi", "noroc", "noştri", "nostru", "nouă", "nu", "opt", "ori", "oricând", "oricare", "oricât", "orice", "oricînd", "oricine", "oricît", "oricum", "oriunde", "până", "patra", "patru", "patrulea", "pe", "pentru", "peste", "pic", "pînă", "poate", "pot", "prea", "prima", "primul", "prin", "puţin", "puţina", "puţină", "rog", "sa", "", "săi", "sale", "şapte", "şase", "sau", "său", "se", "şi", "sînt", "sîntem", "sînteţi", "spate", "spre", "ştiu", "sub", "sunt", "suntem", "sunteţi", "sută", "ta", "tăi", "tale", "tău", "te", "ţi", "ţie", "timp", "tine", "toată", "toate", "tot", "toţi", "totuşi", "trei", "treia", "treilea", "tu", "un", "una", "unde", "undeva", "unei", "uneia", "unele", "uneori", "unii", "unor", "unora", "unu", "unui", "unuia", "unul", "", "vi", "voastră", "voastre", "voi", "vor", "voştri", "vostru", "vouă", "vreme", "vreo", "vreun", "zece", "zero", "zi", "zice"]).freeze
7
- CONTRACTIONS = {}.freeze
6
+ STOP_WORDS = Set.new(%w[acea aceasta această aceea acei aceia acel acela acele acelea acest acesta aceste acestea aceşti aceştia acolo acord acum ai aia aibă aici al ăla ale alea ălea altceva altcineva am ar are aş aşadar asemenea asta ăsta astăzi astea ăstea ăştia asupra aţi au avea avem aveţi azi bine bucur bună ca că căci când care cărei căror cărui cât câte câţi către câtva caut ce cel ceva chiar cinci cînd cine cineva cît cîte cîţi cîtva contra cu cum cumva curând curînd da dă dacă dar dată datorită dau de deci deja deoarece departe deşi din dinaintea dintr- dintre doi doilea două drept după ea ei el ele eram este eşti eu face fără fata fi fie fiecare fii fim fiţi fiu frumos graţie halbă iar ieri îi îl îmi împotriva în înainte înaintea încât încît încotro între întrucât întrucît îţi la lângă le li lîngă lor lui mă mai mâine mea mei mele mereu meu mi mie mîine mine mult multă mulţi mulţumesc ne nevoie nicăieri nici nimeni nimeri nimic nişte noastră noastre noi noroc noştri nostru nouă nu opt ori oricând oricare oricât orice oricînd oricine oricît oricum oriunde până patra patru patrulea pe pentru peste pic pînă poate pot prea prima primul prin puţin puţina puţină rog sa să săi sale şapte şase sau său se şi sînt sîntem sînteţi spate spre ştiu sub sunt suntem sunteţi sută ta tăi tale tău te ţi ţie timp tine toată toate tot toţi totuşi trei treia treilea tu un una unde undeva unei uneia unele uneori unii unor unora unu unui unuia unul vă vi voastră voastre voi vor voştri vostru vouă vreme vreo vreun zece zero zi zice]).freeze
7
+ CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
10
10
  end
@@ -2,9 +2,9 @@ module PragmaticTokenizer
2
2
  module Languages
3
3
  module Russian
4
4
  include Languages::Common
5
- ABBREVIATIONS = Set.new(["y", "y.e", "а", "авт", "адм.-терр", "акад", "в", "вв", "вкз", "вост.-европ", "г", "гг", "гос", "гр", "д", "деп", "дисс", "дол", "долл", "ежедн", "ж", "жен", "з", "зап", "зап.-европ", "заруб", "и", "ин", "иностр", "инст", "к", "канд", "кв", "кг", "куб", "л", "л.h", "л.н", "м", "мин", "моск", "муж", "н", "нед", "о", "п", "пгт", "пер", "пп", "пр", "просп", "проф", "р", "руб", "с", "сек", "см", "спб", "стр", "т", "тел", "тов", "тт", "тыс", "у", "у.е", "ул", "ф", "ч"]).freeze
6
- STOP_WORDS = Set.new(%w(а е и ж м о на не ни об но он мне мои мож она они оно мной много многочисленное многочисленная многочисленные многочисленный мною мой мог могут можно может можхо мор моя моё мочь над нее оба нам нем нами ними мимо немного одной одного менее однажды однако меня нему меньше ней наверху него ниже мало надо один одиннадцать одиннадцатый назад наиболее недавно миллионов недалеко между низко меля нельзя нибудь непрерывно наконец никогда никуда нас наш нет нею неё них мира наша наше наши ничего начала нередко несколько обычно опять около мы ну нх от отовсюду особенно нужно очень отсюда в во вон вниз внизу вокруг вот восемнадцать восемнадцатый восемь восьмой вверх вам вами важное важная важные важный вдали везде ведь вас ваш ваша ваше ваши впрочем весь вдруг вы все второй всем всеми времени время всему всего всегда всех всею всю вся всё всюду г год говорил говорит года году где да ее за из ли же им до по ими под иногда довольно именно долго позже более должно пожалуйста значит иметь больше пока ему имя пор пора потом потому после почему почти посреди ей два две двенадцать двенадцатый двадцать двадцатый двух его дел или без день занят занята занято заняты действительно давно девятнадцать девятнадцатый девять девятый даже алло жизнь далеко близко здесь дальше для лет зато даром первый перед затем зачем лишь десять десятый ею её их бы еще при был про процентов против просто бывает бывь если люди была были было будем будет будете будешь прекрасно буду будь будто будут ещё пятнадцать пятнадцатый друго другое другой другие другая других есть пять быть лучше пятый к ком конечно кому кого когда которой которого которая которые который которых кем каждое каждая каждые каждый кажется как какой какая кто кроме куда кругом с т у я та те уж со то том снова тому совсем того тогда тоже собой тобой собою тобою сначала только уметь тот тою хорошо хотеть хочешь хоть хотя свое свои твой своей своего своих свою твоя твоё раз уже сам там тем чем сама сами теми само рано самом самому самой самого семнадцать семнадцатый самим самими самих саму семь чему раньше сейчас чего сегодня себе тебе сеаой человек разве теперь себя тебя седьмой спасибо слишком так такое такой такие также такая сих тех чаще четвертый через часто шестой шестнадцать шестнадцатый шесть четыре четырнадцать четырнадцатый сколько сказал сказала сказать ту ты три эта эти что это чтоб этом этому этой этого чтобы этот стал туда этим этими рядом тринадцать тринадцатый этих третий тут эту суть чуть тысяч)).freeze
7
- CONTRACTIONS = {}.freeze
5
+ ABBREVIATIONS = Set.new(%w[y y.e а авт адм.-терр акад в вв вкз вост.-европ г гг гос гр д деп дисс дол долл ежедн ж жен з зап зап.-европ заруб и ин иностр инст к канд кв кг куб л л.h л.н м мин моск муж н нед о п пгт пер пп пр просп проф р руб с сек см спб стр т тел тов тт тыс у у.е ул ф ч]).freeze
6
+ STOP_WORDS = Set.new(%w[а е и ж м о на не ни об но он мне мои мож она они оно мной много многочисленное многочисленная многочисленные многочисленный мною мой мог могут можно может можхо мор моя моё мочь над нее оба нам нем нами ними мимо немного одной одного менее однажды однако меня нему меньше ней наверху него ниже мало надо один одиннадцать одиннадцатый назад наиболее недавно миллионов недалеко между низко меля нельзя нибудь непрерывно наконец никогда никуда нас наш нет нею неё них мира наша наше наши ничего начала нередко несколько обычно опять около мы ну нх от отовсюду особенно нужно очень отсюда в во вон вниз внизу вокруг вот восемнадцать восемнадцатый восемь восьмой вверх вам вами важное важная важные важный вдали везде ведь вас ваш ваша ваше ваши впрочем весь вдруг вы все второй всем всеми времени время всему всего всегда всех всею всю вся всё всюду г год говорил говорит года году где да ее за из ли же им до по ими под иногда довольно именно долго позже более должно пожалуйста значит иметь больше пока ему имя пор пора потом потому после почему почти посреди ей два две двенадцать двенадцатый двадцать двадцатый двух его дел или без день занят занята занято заняты действительно давно девятнадцать девятнадцатый девять девятый даже алло жизнь далеко близко здесь дальше для лет зато даром первый перед затем зачем лишь десять десятый ею её их бы еще при был про процентов против просто бывает бывь если люди была были было будем будет будете будешь прекрасно буду будь будто будут ещё пятнадцать пятнадцатый друго другое другой другие другая других есть пять быть лучше пятый к ком конечно кому кого когда которой которого которая которые который которых кем каждое каждая каждые каждый кажется как какой какая кто кроме куда кругом с т у я та те уж со то том снова тому совсем того тогда тоже собой тобой собою тобою сначала только уметь тот тою хорошо хотеть хочешь хоть хотя свое свои твой своей своего своих свою твоя твоё раз уже сам там тем чем сама сами теми само рано самом самому самой самого семнадцать семнадцатый самим самими самих саму семь чему раньше сейчас чего сегодня себе тебе сеаой человек разве теперь себя тебя седьмой спасибо слишком так такое такой такие также такая сих тех чаще четвертый через часто шестой шестнадцать шестнадцатый шесть четыре четырнадцать четырнадцатый сколько сказал сказала сказать ту ты три эта эти что это чтоб этом этому этой этого чтобы этот стал туда этим этими рядом тринадцать тринадцатый этих третий тут эту суть чуть тысяч]).freeze
7
+ CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
10
10
  end
@@ -3,8 +3,8 @@ module PragmaticTokenizer
3
3
  module Slovak
4
4
  include Languages::Common
5
5
  ABBREVIATIONS = Set.new([]).freeze
6
- STOP_WORDS = Set.new(%w(a aby aj ak ako ale alebo and ani áno asi až bez bude budem budeš budeme budete budú by bol bola boli bolo byť cez čo či ďalší ďalšia ďalšie dnes do ho ešte for i ja je jeho jej ich iba iné iný som si sme sú k kam každý každá každé každí kde keď kto ktorá ktoré ktorou ktorý ktorí ku lebo len ma mať má máte medzi mi mna mne mnou musieť môcť môj môže my na nad nám náš naši nie nech než nič niektorý nové nový nová noví o od odo of on ona ono oni ony po pod podľa pokiaľ potom práve pre prečo preto pretože prvý prvá prvé prví pred predo pri pýta s sa so svoje svoj svojich svojím svojími ta tak takže táto teda te tě ten tento the tieto tým týmto tiež to toto toho tohoto tom tomto tomuto tu tú túto tvoj ty tvojími už v vám váš vaše vo viac však všetok vy z za zo že a buď ju menej moja moje späť ste tá tam)).freeze
7
- CONTRACTIONS = {}.freeze
6
+ STOP_WORDS = Set.new(%w[a aby aj ak ako ale alebo and ani áno asi až bez bude budem budeš budeme budete budú by bol bola boli bolo byť cez čo či ďalší ďalšia ďalšie dnes do ho ešte for i ja je jeho jej ich iba iné iný som si sme sú k kam každý každá každé každí kde keď kto ktorá ktoré ktorou ktorý ktorí ku lebo len ma mať má máte medzi mi mna mne mnou musieť môcť môj môže my na nad nám náš naši nie nech než nič niektorý nové nový nová noví o od odo of on ona ono oni ony po pod podľa pokiaľ potom práve pre prečo preto pretože prvý prvá prvé prví pred predo pri pýta s sa so svoje svoj svojich svojím svojími ta tak takže táto teda te tě ten tento the tieto tým týmto tiež to toto toho tohoto tom tomto tomuto tu tú túto tvoj ty tvojími už v vám váš vaše vo viac však všetok vy z za zo že a buď ju menej moja moje späť ste tá tam]).freeze
7
+ CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
10
10
  end
@@ -3,8 +3,8 @@ module PragmaticTokenizer
3
3
  module Swedish
4
4
  include Languages::Common
5
5
  ABBREVIATIONS = Set.new([]).freeze
6
- STOP_WORDS = Set.new(%w(aderton adertonde adjö aldrig alla allas allt alltid alltså än andra andras annan annat ännu artonde artonn åtminstone att åtta åttio åttionde åttonde av även båda bådas bakom bara bäst bättre behöva behövas behövde behövt beslut beslutat beslutit bland blev bli blir blivit bort borta bra då dag dagar dagarna dagen där därför de del delen dem den deras dess det detta dig din dina dit ditt dock du efter eftersom elfte eller elva en enkel enkelt enkla enligt er era ert ett ettusen få fanns får fått fem femte femtio femtionde femton femtonde fick fin finnas finns fjärde fjorton fjortonde fler flera flesta följande för före förlåt förra första fram framför från fyra fyrtio fyrtionde gå gälla gäller gällt går gärna gått genast genom gick gjorde gjort god goda godare godast gör göra gott ha hade haft han hans har här heller hellre helst helt henne hennes hit hög höger högre högst hon honom hundra hundraen hundraett hur i ibland idag igår igen imorgon in inför inga ingen ingenting inget innan inne inom inte inuti ja jag jämfört kan kanske knappast kom komma kommer kommit kr kunde kunna kunnat kvar länge längre långsam långsammare långsammast långsamt längst långt lätt lättare lättast legat ligga ligger lika likställd likställda lilla lite liten litet man många måste med mellan men mer mera mest mig min mina mindre minst mitt mittemot möjlig möjligen möjligt möjligtvis mot mycket någon någonting något några när nästa ned nederst nedersta nedre nej ner ni nio nionde nittio nittionde nitton nittonde nödvändig nödvändiga nödvändigt nödvändigtvis nog noll nr nu nummer och också ofta oftast olika olikt om oss över övermorgon överst övre på rakt rätt redan så sade säga säger sagt samma sämre sämst sedan senare senast sent sex sextio sextionde sexton sextonde sig sin sina sist sista siste sitt sjätte sju sjunde sjuttio sjuttionde sjutton sjuttonde ska skall skulle slutligen små smått snart som stor stora större störst stort tack tidig tidigare tidigast tidigt till tills tillsammans tio tionde tjugo tjugoen tjugoett tjugonde tjugotre tjugotvå tjungo tolfte tolv tre tredje trettio trettionde tretton trettonde två tvåhundra under upp ur ursäkt ut utan utanför ute vad vänster vänstra var vår vara våra varför varifrån varit varken värre varsågod vart vårt vem vems verkligen vi vid vidare viktig viktigare viktigast viktigt vilka vilken vilket vill aderton)).freeze
7
- CONTRACTIONS = {}.freeze
6
+ STOP_WORDS = Set.new(%w[aderton adertonde adjö aldrig alla allas allt alltid alltså än andra andras annan annat ännu artonde artonn åtminstone att åtta åttio åttionde åttonde av även båda bådas bakom bara bäst bättre behöva behövas behövde behövt beslut beslutat beslutit bland blev bli blir blivit bort borta bra då dag dagar dagarna dagen där därför de del delen dem den deras dess det detta dig din dina dit ditt dock du efter eftersom elfte eller elva en enkel enkelt enkla enligt er era ert ett ettusen få fanns får fått fem femte femtio femtionde femton femtonde fick fin finnas finns fjärde fjorton fjortonde fler flera flesta följande för före förlåt förra första fram framför från fyra fyrtio fyrtionde gå gälla gäller gällt går gärna gått genast genom gick gjorde gjort god goda godare godast gör göra gott ha hade haft han hans har här heller hellre helst helt henne hennes hit hög höger högre högst hon honom hundra hundraen hundraett hur i ibland idag igår igen imorgon in inför inga ingen ingenting inget innan inne inom inte inuti ja jag jämfört kan kanske knappast kom komma kommer kommit kr kunde kunna kunnat kvar länge längre långsam långsammare långsammast långsamt längst långt lätt lättare lättast legat ligga ligger lika likställd likställda lilla lite liten litet man många måste med mellan men mer mera mest mig min mina mindre minst mitt mittemot möjlig möjligen möjligt möjligtvis mot mycket någon någonting något några när nästa ned nederst nedersta nedre nej ner ni nio nionde nittio nittionde nitton nittonde nödvändig nödvändiga nödvändigt nödvändigtvis nog noll nr nu nummer och också ofta oftast olika olikt om oss över övermorgon överst övre på rakt rätt redan så sade säga säger sagt samma sämre sämst sedan senare senast sent sex sextio sextionde sexton sextonde sig sin sina sist sista siste sitt sjätte sju sjunde sjuttio sjuttionde sjutton sjuttonde ska skall skulle slutligen små smått snart som stor stora större störst stort tack tidig tidigare tidigast tidigt till tills tillsammans tio tionde tjugo tjugoen tjugoett tjugonde tjugotre tjugotvå tjungo tolfte tolv tre tredje trettio trettionde tretton trettonde två tvåhundra under upp ur ursäkt ut utan utanför ute vad vänster vänstra var vår vara våra varför varifrån varit varken värre varsågod vart vårt vem vems verkligen vi vid vidare viktig viktigare viktigast viktigt vilka vilken vilket vill aderton]).freeze
7
+ CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
10
10
  end
@@ -3,8 +3,8 @@ module PragmaticTokenizer
3
3
  module Turkish
4
4
  include Languages::Common
5
5
  ABBREVIATIONS = Set.new([]).freeze
6
- STOP_WORDS = Set.new(%w(acaba altmış altı ama ancak arada aslında ayrıca bana bazı belki ben benden beni benim beri beş bile bin bir birçok biri birkaç birkez birşey birşeyi biz bize bizden bizi bizim böyle böylece bu buna bunda bundan bunlar bunları bunların bunu bunun burada çok çünkü da daha dahi de defa değil diğer diye doksan dokuz dolayı dolayısıyla dört edecek eden ederek edilecek ediliyor edilmesi ediyor eğer elli en etmesi etti ettiği ettiğini gibi göre halen hangi hatta hem henüz hep hepsi her herhangi herkesin hiç hiçbir için iki ile ilgili ise işte itibaren itibariyle kadar karşın katrilyon kendi kendilerine kendini kendisi kendisine kendisini kez ki kim kimden kime kimi kimse kırk milyar milyon mu mü mı nasıl ne neden nedenle nerde nerede nereye niye niçin o olan olarak oldu olduğu olduğunu olduklarını olmadı olmadığı olmak olması olmayan olmaz olsa olsun olup olur olursa oluyor on ona ondan onlar onlardan onları onların onu onun otuz oysa öyle pek rağmen sadece sanki sekiz seksen sen senden seni senin siz sizden sizi sizin şey şeyden şeyi şeyler şöyle şu şuna şunda şundan şunları şunu tarafından trilyon tüm üç üzere var vardı ve veya ya yani yapacak yapılan yapılması yapıyor yapmak yaptı yaptığı yaptığını yaptıkları yedi yerine yetmiş yine yirmi yoksa yüz zaten altmýþ altý bazý beþ birþey birþeyi INSERmi kýrk mý nasýl onlari onlarýn yetmiþ þey þeyden þeyi þeyler þu þuna þunda þundan þunu)).freeze
7
- CONTRACTIONS = {}.freeze
6
+ STOP_WORDS = Set.new(%w[acaba altmış altı ama ancak arada aslında ayrıca bana bazı belki ben benden beni benim beri beş bile bin bir birçok biri birkaç birkez birşey birşeyi biz bize bizden bizi bizim böyle böylece bu buna bunda bundan bunlar bunları bunların bunu bunun burada çok çünkü da daha dahi de defa değil diğer diye doksan dokuz dolayı dolayısıyla dört edecek eden ederek edilecek ediliyor edilmesi ediyor eğer elli en etmesi etti ettiği ettiğini gibi göre halen hangi hatta hem henüz hep hepsi her herhangi herkesin hiç hiçbir için iki ile ilgili ise işte itibaren itibariyle kadar karşın katrilyon kendi kendilerine kendini kendisi kendisine kendisini kez ki kim kimden kime kimi kimse kırk milyar milyon mu mü mı nasıl ne neden nedenle nerde nerede nereye niye niçin o olan olarak oldu olduğu olduğunu olduklarını olmadı olmadığı olmak olması olmayan olmaz olsa olsun olup olur olursa oluyor on ona ondan onlar onlardan onları onların onu onun otuz oysa öyle pek rağmen sadece sanki sekiz seksen sen senden seni senin siz sizden sizi sizin şey şeyden şeyi şeyler şöyle şu şuna şunda şundan şunları şunu tarafından trilyon tüm üç üzere var vardı ve veya ya yani yapacak yapılan yapılması yapıyor yapmak yaptı yaptığı yaptığını yaptıkları yedi yerine yetmiş yine yirmi yoksa yüz zaten altmýþ altý bazý beþ birþey birþeyi INSERmi kýrk mý nasýl onlari onlarýn yetmiþ þey þeyden þeyi þeyler þu þuna þunda þundan þunu]).freeze
7
+ CONTRACTIONS = {}.freeze
8
8
  end
9
9
  end
10
10
  end
@@ -1,115 +1,69 @@
1
1
  module PragmaticTokenizer
2
2
  class PostProcessor
3
3
 
4
- REGEX_SYMBOL = /[♳ ♴ ♵ ♶ ♷ ♸ ♹ ♺ ⚀ ⚁ ⚂ ⚃ ⚄ ⚅ ☇ ☈ ☉ ☊ ☋ ☌ ☍ ☠ ☢ ☣ ☤ ☥ ☦ ☧ ☀ ☁ ☂ ☃ ☄ ☮ ♔ ♕ ♖ ♗ ♘ ♙ ♚ ⚘ ⚭]/
5
- REGEXP_COMMAS = /^(,|‚)+/
6
- REGEXP_SINGLE_QUOTES = /(.+)(’|'|‘|`)$/
7
- REGEXP_SLASH = /^(?!(https?:|www\.))(.*)\/(.*)/
8
- REGEXP_QUESTION_MARK = /^(?!(https?:|www\.))(.*)(\?)(.*)/
9
- REGEXP_PLUS_SIGN = /(.+)\+(.+)/
10
- REGEXP_COLON = /^(\:)(\S{2,})/
11
- REGEXP_EMOJI = /(\u{2744}[\u{FE0E}|\u{FE0F}])/
12
-
13
- REGEX_UNIFIED1 = Regexp.union(REGEXP_SLASH,
14
- REGEXP_QUESTION_MARK,
15
- REGEXP_PLUS_SIGN,
16
- REGEXP_COLON,
17
- REGEXP_EMOJI,
18
- PragmaticTokenizer::Languages::Common::PREFIX_EMOJI_REGEX,
19
- PragmaticTokenizer::Languages::Common::POSTFIX_EMOJI_REGEX)
20
-
21
- REGEX_UNIFIED2 = Regexp.union(REGEXP_SINGLE_QUOTES,
22
- REGEXP_COMMAS)
23
- REGEXP_UNKNOWN1 = /(?<=\S)([。.!!??]+)$/
4
+ DOT = '.'.freeze
24
5
 
25
6
  attr_reader :text, :abbreviations, :downcase
26
7
 
27
8
  def initialize(text:, abbreviations:, downcase:)
28
- @text = text
29
- @abbreviations = abbreviations
30
- @downcase = downcase
9
+ @text = text
10
+ @abbreviations = abbreviations
11
+ @downcase = downcase
31
12
  end
32
13
 
33
- def post_process
34
- separate_ending_punctuation(post_process_punctuation)
14
+ # Every #flat_map will increase memory usage, we should try to merge whatever can be merged
15
+ # We need to run #split(Regex::ENDS_WITH_PUNCTUATION2) before AND after #split(Regex::VARIOUS), can this be fixed?
16
+ def call
17
+ text
18
+ .split
19
+ .map { |token| convert_sym_to_punct(token) }
20
+ .flat_map { |token| token.split(Regex::COMMAS_OR_PUNCTUATION) }
21
+ .flat_map { |token| token.split(Regex::VARIOUS) }
22
+ .flat_map { |token| token.split(Regex::ENDS_WITH_PUNCTUATION2) }
23
+ .flat_map { |token| split_dotted_email_or_digit(token) }
24
+ .flat_map { |token| split_abbreviations(token) }
25
+ .flat_map { |token| split_period_after_last_word(token) }
35
26
  end
36
27
 
37
28
  private
38
29
 
39
- def post_process_punctuation
40
- separated = separate_ending_punctuation(full_stop_separated_tokens)
41
- procs = [unified1, split_unknown_period1, split_unknown_period2, split_emoji]
42
- procs.reduce(separated) { |a, e| a.flat_map(&e) }
43
- end
44
-
45
- def separate_ending_punctuation(tokens)
46
- tokens.flat_map { |token| token.split(REGEXP_UNKNOWN1) }
47
- end
48
-
49
- def unified1
50
- proc { |token| token.split(REGEX_UNIFIED1) }
51
- end
52
-
53
- def full_stop_separated_tokens
54
- FullStopSeparator.new(tokens: split_and_convert_commas_and_quotes, abbreviations: abbreviations, downcase: downcase).separate
55
- end
56
-
57
- def split_and_convert_commas_and_quotes
58
- text
59
- .split
60
- .flat_map { |token| token.split(REGEX_UNIFIED2) }
61
- .flat_map { |token| convert_sym_to_punct(token) }
62
- end
63
-
64
- def split_emoji
65
- proc { |token| (token =~ /(\A|\S)\u{2744}[^\u{FE0E}|\u{FE0F}]/) ? token.split(/(\u{2744})/) : token }
66
- end
67
-
68
- def split_unknown_period1
69
- proc { |token| unknown_period1?(token) ? token.split(/(.*\.)/) : token }
30
+ def convert_sym_to_punct(token)
31
+ PragmaticTokenizer::Languages::Common::PUNCTUATION_MAP
32
+ .each { |pattern, replacement| break if token.sub!(replacement, pattern) }
33
+ token
70
34
  end
71
35
 
72
- def split_unknown_period2
73
- proc { |token| unknown_period2?(token) ? token.split(/(\.)/) : token }
36
+ # Per specs, "16.1. day one,17.2. day two" will result in ["16.1", ".",…]. Do we really want that?
37
+ def split_dotted_email_or_digit(token)
38
+ return token unless token.end_with?(DOT) && token.length > 1
39
+ shortened = token.chomp(DOT)
40
+ return [shortened, DOT] if shortened =~ Regex::DOMAIN_OR_EMAIL
41
+ return [shortened, DOT] if shortened =~ Regex::ENDS_WITH_DIGIT
42
+ token
74
43
  end
75
44
 
76
- def unknown_period1?(token)
77
- token.include?(".") &&
78
- token !~ /(http|https|www)(\.|:)/ &&
79
- token.length > 1 &&
80
- token !~ /(\s+|\A)[a-z0-9]+([\-\.]{1}[a-z0-9]+)*\.[a-z]{2,6}(:[0-9]{1,5})?(\/.*)?/ix &&
81
- token !~ /\S+(@|@)\S+/ &&
82
- abbreviations.include?(extract_abbreviation(token))
45
+ def split_abbreviations(token)
46
+ return token unless token.include?(DOT) && token.length > 1
47
+ return token if token =~ Regex::DOMAIN_OR_EMAIL
48
+ abbreviation = extract_abbreviation(token)
49
+ return token.split(Regex::PERIOD_AND_PRIOR) if abbreviations.include?(abbreviation)
50
+ token
83
51
  end
84
52
 
85
- def unknown_period2?(token)
86
- token.include?(".") &&
87
- token !~ /(http|https|www)(\.|:)/ &&
88
- token !~ /\.(com|net|org|edu|gov|mil|int)/ &&
89
- token !~ /\.[a-zA-Z]{2}(\s|\z)/ &&
90
- token.length > 2 &&
91
- token !~ /\A[a-zA-Z]{1}\./ &&
92
- token.count(".") == 1 &&
93
- token !~ /\d+/ &&
94
- !abbreviations.include?(extract_abbreviation(token)) &&
95
- token !~ /\S+(@|@)\S+/
53
+ def split_period_after_last_word(token)
54
+ return token unless token.include?(DOT) && token.length > 1
55
+ return token if token.count(DOT) > 1
56
+ return token if token =~ Regex::ONLY_DOMAIN3
57
+ return token if token =~ Regex::DIGIT
58
+ abbreviation = extract_abbreviation(token)
59
+ return token.split(Regex::PERIOD_ONLY) unless abbreviations.include?(abbreviation)
60
+ token
96
61
  end
97
62
 
98
63
  def extract_abbreviation(token)
99
- before_first_dot = token[0, token.index('.'.freeze)]
64
+ before_first_dot = token[0, token.index(DOT)]
100
65
  downcase ? before_first_dot : Unicode.downcase(before_first_dot)
101
66
  end
102
67
 
103
- def convert_sym_to_punct(token)
104
- symbol_matches = REGEX_SYMBOL.match(token)
105
- if symbol_matches.nil?
106
- token
107
- else
108
- pattern = symbol_matches[0]
109
- replacement = PragmaticTokenizer::Languages::Common::PUNCTUATION_MAP.key(pattern)
110
- token.gsub!(pattern, replacement)
111
- end
112
- end
113
-
114
68
  end
115
69
  end
@@ -3,176 +3,67 @@ module PragmaticTokenizer
3
3
 
4
4
  def pre_process(language: Languages::Common)
5
5
  remove_non_breaking_space!
6
- shift_comma!
7
- shift_multiple_dash!
8
- shift_inverted_question_mark!
9
- shift_inverted_exclamation!
10
- shift_exclamation!
11
- shift_ellipse_three_dots!
12
- shift_ellipse_two_dots!
13
- shift_horizontal_ellipsis!
14
- shift_no_space_mention!
15
- shift_not_equals!
16
- shift_special_quotes!
17
- shift_colon!
18
- shift_bracket!
19
- shift_semicolon!
20
- shift_percent!
21
- shift_caret!
6
+ shift_various_characters!
7
+ replace_colon_in_url!
8
+ shift_remaining_colons!
22
9
  shift_hashtag!
23
- shift_ampersand!
24
- shift_vertical_bar!
25
- convert_dbl_quotes!
26
- convert_sgl_quotes!(language)
27
- convert_apostrophe_s!
28
- shift_beginning_hyphen!
29
- shift_ending_hyphen!
10
+ convert_double_quotes!
11
+ convert_single_quotes!(language)
12
+ convert_acute_accent_s!
13
+ shift_hyphens!
30
14
  squeeze(' '.freeze)
31
15
  end
32
16
 
33
17
  private
34
18
 
35
19
  def remove_non_breaking_space!
36
- gsub!(/\u{00A0}/, ''.freeze)
20
+ gsub!(Regex::NO_BREAK_SPACE, ' '.freeze)
37
21
  end
38
22
 
39
- # Shift commas off everything but numbers
40
- def shift_comma!
41
- gsub!(/,(?!\d)/o, ' , '.freeze)
42
- gsub!(/(?<=\D),(?=\S+)/, ' , '.freeze)
23
+ def shift_various_characters!
24
+ gsub!(Regex::PRE_PROCESS, ' \1 \2 \3 \4 \5 \6 \7 \8 \9 ')
43
25
  end
44
26
 
45
- def shift_multiple_dash!
46
- gsub!(/--+/o, ' - '.freeze)
27
+ def replace_colon_in_url!
28
+ gsub!(Regex::COLON_IN_URL, replacement_for_key(':'.freeze))
47
29
  end
48
30
 
49
- def shift_inverted_question_mark!
50
- gsub!(/¿/, ' ¿ '.freeze)
51
- end
52
-
53
- def shift_inverted_exclamation!
54
- gsub!(/¡/, ' ¡ '.freeze)
55
- end
56
-
57
- def shift_exclamation!
58
- gsub!(/(?<=[a-zA-z])!(?=[a-zA-z])/, ' ! '.freeze)
59
- end
60
-
61
- def shift_horizontal_ellipsis!
62
- gsub!(/(…+)/o, ' \1 ')
63
- end
64
-
65
- def shift_ellipse_two_dots!
66
- gsub!(/(\.\.+)/o, ' \1 ')
67
- end
68
-
69
- def shift_ellipse_three_dots!
70
- gsub!(/(\.\.\.+)/o, ' \1 ')
71
- end
72
-
73
- def shift_no_space_mention!
74
- gsub!(/\.(?=(@|@)[^\.]+(\s|\z))/, '. '.freeze)
75
- end
76
-
77
- def shift_not_equals!
78
- gsub!(/≠/, ' ≠ '.freeze)
79
- end
80
-
81
- def shift_special_quotes!
82
- gsub!(/([«»„“])/, ' \1 ')
83
- end
84
-
85
- def shift_colon!
86
- return unless may_shift_colon?
87
- # Ignore web addresses
88
- replacement = replacement_for_key(':'.freeze)
89
- gsub!(%r{(?<=[(https?|ftp)]):(?=//)}, replacement)
90
- gsub!(/:/o, ' :'.freeze)
91
- gsub!(/(?<=\s):(?=\#)/, ': '.freeze)
92
- end
93
-
94
- def may_shift_colon?
95
- return false unless include?(':'.freeze)
96
- partitions = partition(':'.freeze)
97
- partitions.last[0] !~ /\A\d+/ || partitions.first[-1] !~ /\A\d+/
98
- end
99
-
100
- def shift_bracket!
101
- gsub!(/([\(\[\{\}\]\)])/o, ' \1 ')
102
- end
103
-
104
- def shift_semicolon!
105
- gsub!(/([;])/o, ' \1 ')
106
- end
107
-
108
- def shift_percent!
109
- gsub!(/(?<=\D)%(?=\d+)/, ' %'.freeze)
110
- end
111
-
112
- def shift_caret!
113
- gsub!(/\^/, ' ^ '.freeze)
31
+ def shift_remaining_colons!
32
+ gsub!(':'.freeze, ' :'.freeze) if self !~ Regex::TIME_WITH_COLON
114
33
  end
115
34
 
116
35
  def shift_hashtag!
117
- gsub!(/(?<=\S)(#|#)(?=\S)/, ' \1\2')
118
- end
119
-
120
- def shift_ampersand!
121
- gsub!(/\&/, ' & '.freeze)
122
- end
123
-
124
- def shift_vertical_bar!
125
- gsub!(/\|/, ' | '.freeze)
126
- end
127
-
128
- def convert_dbl_quotes!
129
- replace_left_double_quotes!
130
- replace_remaining_double_quotes!
131
- end
132
-
133
- def replace_left_double_quotes!
134
- replace_left_quotes!("''", '"'.freeze)
135
- replace_left_quotes!('"', '"'.freeze)
136
- replace_left_quotes!('“', '“'.freeze)
137
- end
138
-
139
- def replace_left_quotes!(style, replacement_key)
140
- replacement = replacement_for_key(replacement_key)
141
- gsub!(/#{style}(?=.*\w)/o, ' ' << replacement << ' ')
36
+ gsub!('#'.freeze, ' #'.freeze)
142
37
  end
143
38
 
144
- def replace_remaining_double_quotes!
145
- replace_remaining_quotes!('"', '"'.freeze)
146
- replace_remaining_quotes!("''", '"'.freeze)
147
- replace_remaining_quotes!('”', '”'.freeze)
39
+ def convert_double_quotes!
40
+ gsub!(Regex::QUOTE, replacements_for_quotes)
148
41
  end
149
42
 
150
- def replace_remaining_quotes!(style, replacement_key)
151
- replacement = replacement_for_key(replacement_key)
152
- gsub!(/#{style}/, ' ' << replacement << ' ')
43
+ def replacements_for_quotes
44
+ @replacements_for_quotes ||= {
45
+ "''" => ' ' << replacement_for_key('"'.freeze) << ' ',
46
+ '"' => ' ' << replacement_for_key('"'.freeze) << ' ',
47
+ '“' => ' ' << replacement_for_key('“'.freeze) << ' '
48
+ }.freeze
153
49
  end
154
50
 
155
- def convert_sgl_quotes!(language)
156
- replace(if defined?(language::SingleQuotes)
157
- language::SingleQuotes.new
158
- .handle_single_quotes(self)
159
- else
160
- PragmaticTokenizer::Languages::Common::SingleQuotes.new
161
- .handle_single_quotes(self)
162
- end)
51
+ def convert_single_quotes!(language)
52
+ replace(class_for_single_quotes(language).new.handle_single_quotes(self))
163
53
  end
164
54
 
165
- def convert_apostrophe_s!
166
- replacement = replacement_for_key('`'.freeze)
167
- gsub!(/\s\u{0301}(?=s(\s|\z))/, replacement)
55
+ def class_for_single_quotes(language)
56
+ defined?(language::SingleQuotes) ? language::SingleQuotes : PragmaticTokenizer::Languages::Common::SingleQuotes
168
57
  end
169
58
 
170
- def shift_beginning_hyphen!
171
- gsub!(/\s+-/, ' - '.freeze)
59
+ def convert_acute_accent_s!
60
+ gsub!(Regex::ACUTE_ACCENT_S, replacement_for_key('`'.freeze))
172
61
  end
173
62
 
174
- def shift_ending_hyphen!
175
- gsub!(/-\s+/, ' - '.freeze)
63
+ # can these two regular expressions be merged somehow?
64
+ def shift_hyphens!
65
+ gsub!(Regex::HYPHEN_AFTER_NON_WORD, ' - '.freeze)
66
+ gsub!(Regex::HYPHEN_BEFORE_NON_WORD, ' - '.freeze)
176
67
  end
177
68
 
178
69
  def replacement_for_key(replacement_key)