vidibus-words 0.0.1

data/.bundle/config

@@ -0,0 +1,2 @@
+--- 
+BUNDLE_DISABLE_SHARED_GEMS: "1"

data/.document

@@ -0,0 +1,5 @@
+README.rdoc
+lib/**/*.rb
+bin/*
+features/**/*.feature
+LICENSE

data/.gitignore

@@ -0,0 +1,21 @@
+## MAC OS
+.DS_Store
+
+## TEXTMATE
+*.tmproj
+tmtags
+
+## EMACS
+*~
+\#*
+.\#*
+
+## VIM
+*.swp
+
+## PROJECT::GENERAL
+coverage
+rdoc
+pkg
+
+## PROJECT::SPECIFIC

data/.rspec

@@ -0,0 +1,2 @@
+--colour
+--format nested

data/Gemfile

@@ -0,0 +1,11 @@
+source :rubygems
+
+gem "rails", "~> 3.0.0"
+gem "vidibus-core_extensions"
+
+# Development dependecies
+gem "jeweler"
+gem "rake"
+gem "rspec", "~> 2.0.0.beta.20"
+gem "rr"
+gem "relevance-rcov"

data/Gemfile.lock

@@ -0,0 +1,101 @@
+GEM
+  remote: http://rubygems.org/
+  specs:
+    abstract (1.0.0)
+    actionmailer (3.0.1)
+      actionpack (= 3.0.1)
+      mail (~> 2.2.5)
+    actionpack (3.0.1)
+      activemodel (= 3.0.1)
+      activesupport (= 3.0.1)
+      builder (~> 2.1.2)
+      erubis (~> 2.6.6)
+      i18n (~> 0.4.1)
+      rack (~> 1.2.1)
+      rack-mount (~> 0.6.12)
+      rack-test (~> 0.5.4)
+      tzinfo (~> 0.3.23)
+    activemodel (3.0.1)
+      activesupport (= 3.0.1)
+      builder (~> 2.1.2)
+      i18n (~> 0.4.1)
+    activerecord (3.0.1)
+      activemodel (= 3.0.1)
+      activesupport (= 3.0.1)
+      arel (~> 1.0.0)
+      tzinfo (~> 0.3.23)
+    activeresource (3.0.1)
+      activemodel (= 3.0.1)
+      activesupport (= 3.0.1)
+    activesupport (3.0.1)
+    arel (1.0.1)
+      activesupport (~> 3.0.0)
+    builder (2.1.2)
+    diff-lcs (1.1.2)
+    erubis (2.6.6)
+      abstract (>= 1.0.0)
+    gemcutter (0.6.1)
+    git (1.2.5)
+    i18n (0.4.2)
+    jeweler (1.4.0)
+      gemcutter (>= 0.1.0)
+      git (>= 1.2.5)
+      rubyforge (>= 2.0.0)
+    json_pure (1.4.6)
+    mail (2.2.9)
+      activesupport (>= 2.3.6)
+      i18n (~> 0.4.1)
+      mime-types (~> 1.16)
+      treetop (~> 1.4.8)
+    mime-types (1.16)
+    polyglot (0.3.1)
+    rack (1.2.1)
+    rack-mount (0.6.13)
+      rack (>= 1.0.0)
+    rack-test (0.5.6)
+      rack (>= 1.0)
+    rails (3.0.1)
+      actionmailer (= 3.0.1)
+      actionpack (= 3.0.1)
+      activerecord (= 3.0.1)
+      activeresource (= 3.0.1)
+      activesupport (= 3.0.1)
+      bundler (~> 1.0.0)
+      railties (= 3.0.1)
+    railties (3.0.1)
+      actionpack (= 3.0.1)
+      activesupport (= 3.0.1)
+      rake (>= 0.8.4)
+      thor (~> 0.14.0)
+    rake (0.8.7)
+    relevance-rcov (0.9.2.1)
+    rr (1.0.2)
+    rspec (2.0.1)
+      rspec-core (~> 2.0.1)
+      rspec-expectations (~> 2.0.1)
+      rspec-mocks (~> 2.0.1)
+    rspec-core (2.0.1)
+    rspec-expectations (2.0.1)
+      diff-lcs (>= 1.1.2)
+    rspec-mocks (2.0.1)
+      rspec-core (~> 2.0.1)
+      rspec-expectations (~> 2.0.1)
+    rubyforge (2.0.4)
+      json_pure (>= 1.1.7)
+    thor (0.14.4)
+    treetop (1.4.8)
+      polyglot (>= 0.3.1)
+    tzinfo (0.3.23)
+    vidibus-core_extensions (0.3.11)
+
+PLATFORMS
+  ruby
+
+DEPENDENCIES
+  jeweler
+  rails (~> 3.0.0)
+  rake
+  relevance-rcov
+  rr
+  rspec (~> 2.0.0.beta.20)
+  vidibus-core_extensions

data/LICENSE

@@ -0,0 +1,20 @@
+Copyright (c) 2010 Andre Pankratz
+
+Permission is hereby granted, free of charge, to any person obtaining
+a copy of this software and associated documentation files (the
+"Software"), to deal in the Software without restriction, including
+without limitation the rights to use, copy, modify, merge, publish,
+distribute, sublicense, and/or sell copies of the Software, and to
+permit persons to whom the Software is furnished to do so, subject to
+the following conditions:
+
+The above copyright notice and this permission notice shall be
+included in all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
+MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
+NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
+LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
+OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
+WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

data/README.rdoc

@@ -0,0 +1,24 @@
+= vidibus-stopwords
+
+This gem provides handling of words. It ships with a list of stop words and allows extraction of keywords from a string.
+
+This gem is part of the open source SOA framework Vidibus: http://vidibus.org
+
+
+== Installation
+
+Add the dependency to the Gemfile of your application:
+
+  gem "vidibus-stopwords"
+
+Then call bundle install on your console.
+
+
+= Usage
+
+TODO: describe
+
+
+== Copyright
+
+Copyright (c) 2010 Andre Pankratz. See LICENSE for details.

data/Rakefile

@@ -0,0 +1,37 @@
+require "rubygems"
+require "rake"
+require "rake/rdoctask"
+require "rspec"
+require "rspec/core/rake_task"
+
+begin
+  require "jeweler"
+  Jeweler::Tasks.new do |gem|
+    gem.name = "vidibus-words"
+    gem.summary = %Q{Tools for handling of words.}
+    gem.description = %Q{Contains stop words lists and methods to extract keywords from strings.}
+    gem.email = "andre@vidibus.com"
+    gem.homepage = "http://github.com/vidibus/vidibus-words"
+    gem.authors = ["Andre Pankratz"]
+    gem.add_dependency "rails", "~> 3.0.0"
+    gem.add_dependency "vidibus-core_extensions"
+  end
+  Jeweler::GemcutterTasks.new
+rescue LoadError
+  puts "Jeweler (or a dependency) not available. Install it with: gem install jeweler"
+end
+
+Rspec::Core::RakeTask.new(:rcov) do |t|
+  t.pattern = "spec/**/*_spec.rb"
+  t.rcov = true
+  t.rcov_opts = ["--exclude", "^spec,/gems/"]
+end
+
+Rake::RDocTask.new do |rdoc|
+  version = File.exist?("VERSION") ? File.read("VERSION") : ""
+  rdoc.rdoc_dir = "rdoc"
+  rdoc.title = "vidibus-words #{version}"
+  rdoc.rdoc_files.include("README*")
+  rdoc.rdoc_files.include("lib/**/*.rb")
+  rdoc.options << "--charset=utf-8"
+end

data/VERSION

@@ -0,0 +1 @@
+0.0.1

data/config/locales/de.yml

@@ -0,0 +1,3 @@
+de:
+  vidibus:
+    stopwords: [also, ab, aber, abgerufen, abgerufene, abgerufener, abgerufenes, acht, aehnlich, alle, allein, allem, allen, aller, allerdings, allerlei, alles, allg, allgemein, allmaehlich, allzu, als, alsbald, am, an, andere, anderem, anderen, anderer, andererseits, anderes, anderm, andern, andernfalls, anders, anerkannt, anerkannte, anerkannter, anerkanntes, anfangen, anfing, angefangen, angesetze, angesetzt, angesetzten, angesetzter, ansetzen, anstatt, arbeiten, auch, auf, aufgehoert, aufgrund, aufhoeren, aufhoerte, aufzusuchen, aus, ausdruecken, ausdrueckt, ausdrueckte, ausgenommen, aussen, ausser, ausserdem, ausserhalb, autor, background, bald, bearbeite, bearbeiten, bearbeitete, bearbeiteten, bedarf, beduerfen, bedurfte, been, befragen, befragte, befragten, befragter, begann, beginnen, begonnen, behalten, behielt, bei, beide, beiden, beiderlei, beides, beim, beinahe, beitragen, beitrugen, bekannt, bekannte, bekannter, bekennen, benutzt, bereits, berichten, berichtet, berichtete, berichteten, besonders, besser, bestehen, besteht, betraechtlich, bevor, bezueglich, bietet, bin, bis, bisher, bislang, bist, biz, bleiben, blieb, bloss, boeden, brachte, brachten, braeuchte, brauchen, braucht, bringen, bsp, bzw, ca, comment, da, dabei, dadurch, dafuer, dagegen, daher, dahin, damals, damit, danach, daneben, dank, danke, danken, dann, dannen, daran, darauf, daraus, darf, darfst, darin, darueber, darueberhinaus, darum, darunter, das, dass, dasselbe, davon, davor, dazu, dein, deine, deinem, deinen, deiner, deines, dem, demnach, demselben, den, denen, denn, dennoch, denselben, der, derart, derartig, derem, deren, derer, derjenige, derjenigen, derselbe, derselben, derzeit, des, deshalb, desselben, dessen, desto, deswegen, dich, die, diejenige, dies, diese, dieselbe, dieselben, diesem, diesen, dieser, dieses, diesseits, dinge, dir, direkt, direkte, direkten, direkter, doc, doch, doppelt, dort, dorther, dorthin, drauf, drei, dreissig, drin, dritte, drueber, drunter, du, duerfen, duerfte, dunklen, durch, durchaus, durfte, durften, eben, ebenfalls, ebenso, ehe, eher, eigenen, eigenes, eigentlich, ein, einbauen, eine, einem, einen, einer, einerseits, eines, einfach, einfuehren, einfuehrte, einfuehrten, eingesetzt, einig, einige, einigem, einigen, einiger, einigermassen, einiges, einmal, eins, einseitig, einseitige, einseitigen, einseitiger, einst, einstmals, einzig, elf, ende, entsprechend, entweder, er, ergaenze, ergaenzen, ergaenzte, ergaenzten, erhaelt, erhalten, erhielt, erhielten, erneut, eroeffne, eroeffnen, eroeffnet, eroeffnete, eroeffnetes, erst, erste, ersten, erster, es, etc, etliche, etwa, etwas, euch, euer, eure, eurem, euren, eurer, eures, fall, falls, fand, fast, ferner, finden, findest, findet, folgende, folgenden, folgender, folgendes, folglich, fordern, fordert, forderte, forderten, fortsetzen, fortsetzt, fortsetzte, fortsetzten, fragte, frei, freie, freies, fuenf, fuer, gab, gaengig, gaengige, gaengigen, gaengiger, gaengiges, gaenzlich, ganz, ganze, ganzem, ganzen, ganzer, ganzes, gar, gbr, geb, geben, geblieben, gebracht, gedurft, geehrt, geehrte, geehrten, geehrter, gefaelligst, gefaellt, gefallen, gefiel, gegeben, gegen, gehabt, gehen, geht, gekommen, gekonnt, gemacht, gemaess, gemocht, genommen, genug, gern, gesagt, gesehen, gestern, gestrige, getan, geteilt, geteilte, getragen, gewesen, gewissermassen, gewollt, geworden, ggf, gib, gibt, gleich, gleichwohl, gleichzeitig, gluecklicherweise, gmbh, gratulieren, gratuliert, gratulierte, gute, guten, hab, habe, haben, haett, haette, haetten, halb, hallo, hast, hat, hatte, hatten, hattest, hattet, heraus, herein, heute, heutige, hier, hiermit, hiesige, hin, hinein, hinten, hinter, hinterher, hoch, hoechstens, html, http, hundert, ich, igitt, ihm, ihn, ihnen, ihr, ihre, ihrem, ihren, ihrer, ihres, im, immer, immerhin, in, indem, indessen, info, infolge, innen, innerhalb, ins, insofern, inzwischen, irgend, irgendeine, irgendwas, irgendwen, irgendwer, irgendwie, irgendwo, ist, ja, jaehrig, jaehrige, jaehrigen, jaehriges, je, jede, jedem, jeden, jedenfalls, jeder, jederlei, jedes, jedoch, jedwede, jemand, jene, jenem, jenen, jener, jenes, jenseits, jetzt, kam, kann, kannst, kaum, kei, kein, keine, keinem, keinen, keiner, keinerlei, keines, keineswegs, klar, klare, klaren, klares, klein, kleinen, kleiner, kleines, koennen, koennt, koennte, koennten, komme, kommen, kommt, konkret, konkrete, konkreten, konkreter, konkretes, konnte, konnten, kuenftig, laengst, laengstens, lag, lagen, langsam, lassen, laut, lediglich, leer, legen, legte, legten, leicht, leider, lesen, letze, letzten, letztendlich, letztens, letztes, letztlich, lichten, liegt, liest, links, mache, machen, machst, macht, machte, machten, mag, magst, mal, man, manche, manchem, manchen, mancher, mancherorts, manches, manchmal, mann, margin, med, mehr, mehrere, mein, meine, meinem, meinen, meiner, meines, meist, meiste, meisten, meta, mich, mindestens, mir, mit, mithin, mochte, moechte, moechten, moechtest, moegen, moeglich, moegliche, moeglichen, moeglicher, moeglicherweise, morgen, morgige, muessen, muesst, muesste, muessten, muss, musst, musste, mussten, nach, nachdem, nacher, nachhinein, naechste, naemlich, nahm, natuerlich, neben, nebenan, nehmen, nein, nes, neu, neue, neuem, neuen, neuer, neues, neun, nicht, nichts, nie, niemals, niemand, nimm, nimmer, nimmt, nirgends, nirgendwo, noch, noetigenfalls, nuetzt, nun, nur, nutzen, nutzt, ob, oben, oberhalb, obgleich, obschon, obwohl, oder, oft, ohne, online, per, pfui, ploetzlich, pro, regelmaessig, rief, rund, saemtliche, sage, sagen, sagt, sagte, sagten, sagtest, sang, sangen, schaetzen, schaetzt, schaetzte, schaetzten, schlechter, schliesslich, schon, schreibe, schreiben, schreibens, schreiber, schwierig, sechs, sect, sehe, sehen, sehr, sehrwohl, seht, sei, seid, sein, seine, seinem, seinen, seiner, seines, seit, seitdem, seither, selber, selbst, senke, senken, senkt, senkte, senkten, setzen, setzt, setzte, setzten, sich, sicher, sicherlich, sie, sieben, siebte, siehe, sieht, sind, singen, singt, so, sobald, sodass, soeben, sofern, sofort, sog, sogar, solange, solch, solche, solchem, solchen, solcher, solches, soll, sollen, sollst, sollt, sollte, sollten, solltest, somit, sondern, sonst, sonstwo, sooft, soviel, soweit, sowie, sowohl, spaeter, spielen, startet, startete, starteten, statt, stattdessen, steht, steige, steigen, steigt, stets, stieg, stiegen, such, suchen, taet, tages, tat, tatsaechlich, tatsaechlichen, tatsaechlicher, tatsaechliches, tausend, teile, teilen, teilte, teilten, titel, total, traegt, trage, tragen, trotzdem, trug, tun, tust, tut, txt, uebel, ueber, ueberall, ueberallhin, ueberdies, uebermorgen, uebrig, uebrigens, um, umso, unbedingt, und, ungefaehr, unmoeglich, unmoegliche, unmoeglichen, unmoeglicher, unnoetig, uns, unser, unsere, unserem, unseren, unserer, unseres, unserm, unses, unten, unter, unterbrach, unterbrechen, unterhalb, unwichtig, usw, vergangen, vergangene, vergangener, vergangenes, vermag, vermoegen, vermutlich, viel, viele, vielen, vieler, vieles, vielleicht, vielmals, vier, voellig, vollstaendig, vom, von, vor, voran, vorbei, vorgestern, vorher, vorne, vorueber, waehrend, waehrenddessen, waer, waere, waeren, wann, war, waren, warst, was, weder, weg, wegen, weil, weiss, weiter, weitere, weiterem, weiteren, weiterer, weiteres, weiterhin, welche, welchem, welchen, welcher, welches, wem, wen, wenig, wenige, weniger, wenigstens, wenn, wenngleich, wer, werde, werden, werdet, wessen, wichtig, wie, wieder, wieso, wieviel, wiewohl, will, willst, wir, wird, wirklich, wirst, wo, wodurch, wogegen, woher, wohin, wohingegen, wohl, wohlweislich, wolle, wollen, wollt, wollte, wollten, wolltest, wolltet, womit, woraufhin, woraus, worin, wuerde, wuerden, wurde, wurden, zahlreich, zb, zehn, zeitweise, ziehen, zieht, zog, zogen, zu, zudem, zuerst, zufolge, zugleich, zuletzt, zum, zumal, zur, zurueck, zusammen, zuviel, zwanzig, zwar, zwei, zwischen, zwoelf]

data/config/locales/en.yml

@@ -0,0 +1,4 @@
+en:
+  vidibus:
+    stopwords:
+      [a, able, about, above, across, after, afterwards, again, against, all, almost, alone, along, already, also, although, always, am, among, amongst, amoungst, amount, an, and, another, any, anyhow, anyone, anything, anyway, anywhere, are, around, as, at, back, be, became, because, become, becomes, becoming, been, before, beforehand, behind, being, below, beside, besides, between, beyond, bill, both, bottom, but, by, call, can, cannot, cant, co, computer, con, could, couldnt, cry, de, describe, detail, do, done, down, due, during, each, eg, eight, either, eleven, else, elsewhere, empty, enough, etc, even, ever, every, everyone, everything, everywhere, except, few, fifteen, fify, fill, find, fire, first, five, for, former, formerly, forty, found, four, from, front, full, further, get, give, go, had, has, hasnt, have, he, hence, her, here, hereafter, hereby, herein, hereupon, hers, him, his, how, however, hundred, i, ie, if, in, indeed, interest, into, is, it, its, keep, last, latter, latterly, least, less, ltd, made, many, may, me, meanwhile, might, mill, mine, more, moreover, most, mostly, move, much, must, my, name, namely, neither, never, nevertheless, next, nine, no, nobody, none, noone, nor, not, nothing, now, nowhere, of, off, often, on, once, one, only, onto, or, other, others, otherwise, our, ours, ourselves, out, over, own, part, per, perhaps, please, put, rather, re, same, see, seem, seemed, seeming, seems, serious, several, she, should, show, side, since, sincere, six, sixty, so, some, somehow, someone, something, sometime, sometimes, somewhere, still, such, system, take, ten, th, than, thank, thanks, thanx, that, the, their, them, themselves, then, thence, there, thereafter, thereby, therefore, therein, thereupon, these, they, thick, thin, third, this, those, though, three, through, throughout, thru, thus, to, together, too, top, toward, towards, twelve, twenty, two, un, under, until, up, upon, us, very, via, was, we, well, were, what, whatever, when, whence, whenever, where, whereafter, whereas, whereby, wherein, whereupon, wherever, whether, which, while, whither, who, whoever, whole, whom, whose, why, will, with, within, without, would, yet, you, your, yours, yourself, yourselves]

data/config/locales/es.yml

@@ -0,0 +1,4 @@
+es:
+  vidibus:
+    stopwords:
+      [a, al, algo, algun, alguna, algunas, alguno, algunos, ambos, ampleamos, ante, antes, aquel, aquellas, aquellos, aqui, arriba, atras, bajo, bastante, bien, cada, cierta, ciertas, ciertos, como, con, conseguimos, conseguir, consigo, consigue, consiguen, consigues, contra, cual, cuando, de, del, dentro, desde, donde, dos, durante, e, el, ella, ellas, ellos, empleais, emplean, emplear, empleas, empleo, en, encima, entonces, entre, era, erais, eramos, eran, eras, eres, es, esa, esas, ese, eso, esos, esta, estaba, estabais, estabamos, estaban, estabas, estad, estada, estadas, estado, estados, estais, estamos, estan, estando, estar, estara, estaran, estaras, estare, estareis, estaremos, estaria, estariais, estariamos, estarian, estarias, estas, este, esteis, estemos, esten, estes, esto, estos, estoy, estuve, estuviera, estuvierais, estuvieramos, estuvieran, estuvieras, estuvieron, estuviese, estuvieseis, estuviesemos, estuviesen, estuvieses, estuvimos, estuviste, estuvisteis, estuvo, fin, fue, fuera, fuerais, fueramos, fueran, fueras, fueron, fuese, fueseis, fuesemos, fuesen, fueses, fui, fuimos, fuiste, fuisteis, gueno, ha, habeis, haber, habia, habiais, habiamos, habian, habias, habida, habidas, habido, habidos, habiendo, habra, habran, habras, habre, habreis, habremos, habria, habriais, habriamos, habrian, habrias, hace, haceis, hacemos, hacen, hacer, haces, hago, han, has, hasta, hay, haya, hayais, hayamos, hayan, hayas, he, hemos, hube, hubiera, hubierais, hubieramos, hubieran, hubieras, hubieron, hubiese, hubieseis, hubiesemos, hubiesen, hubieses, hubimos, hubiste, hubisteis, hubo, incluso, intenta, intentais, intentamos, intentan, intentar, intentas, intento, ir, la, largo, las, le, les, lo, los, mas, me, mi, mia, mias, mientras, mio, mios, mis, modo, mucho, muchos, muy, nada, ni, no, nos, nosotras, nosotros, nuestra, nuestras, nuestro, nuestros, o, os, otra, otras, otro, otros, para, pero, poco, podeis, podemos, poder, podria, podriais, podriamos, podrian, podrias, por, porque, primerodesde, puede, pueden, puedo, que, quien, quienes, sabe, sabeis, sabemos, saben, saber, sabes, se, sea, seais, seamos, sean, seas, ser, sera, seran, seras, sere, sereis, seremos, seria, seriais, seriamos, serian, serias, si, sido, siendo, sin, sobre, sois, solamente, solo, somos, son, soy, su, sus, suya, suyas, suyo, suyos, tambien, tanto, te, tendra, tendran, tendras, tendre, tendreis, tendremos, tendria, tendriais, tendriamos, tendrian, tendrias, tened, teneis, tenemos, tener, tenga, tengais, tengamos, tengan, tengas, tengo, tenia, teniais, teniamos, tenian, tenias, tenida, tenidas, tenido, tenidos, teniendo, ti, tiempo, tiene, tienen, tienes, todo, todos, trabaja, trabajais, trabajamos, trabajan, trabajar, trabajas, trabajo, tras, tu, tus, tuve, tuviera, tuvierais, tuvieramos, tuvieran, tuvieras, tuvieron, tuviese, tuvieseis, tuviesemos, tuviesen, tuvieses, tuvimos, tuviste, tuvisteis, tuvo, tuya, tuyas, tuyo, tuyos, ultimo, un, una, unas, uno, unos, usa, usais, usamos, usan, usar, usas, uso, va, vais, valor, vamos, van, vaya, verdad, verdaderacierto, verdadero, vosotras, vosotros, voy, vuestra, vuestras, vuestro, vuestros, y, ya, yo]

data/lib/vidibus/words.rb

@@ -0,0 +1,101 @@
+# encoding: utf-8
+module Vidibus
+  class Words
+
+    class MissingLocaleError < StandardError; end
+
+    def initialize(input, loc = [])
+      @input = input
+      self.locale = loc
+    end
+
+    def input
+      @input
+    end
+
+    # Sets locale(s) to be used.
+    def locale=(input)
+      input = [input] unless input.is_a?(Array)
+      @locales = input
+    end
+
+    def locales
+      @locales || []
+    end
+
+    # Returns words from input input.
+    def list
+      @list ||= Vidibus::Words.words(input)
+    end
+    alias_method :to_a, :list
+
+    # Returns words ordered by usage.
+    def sort
+      @sort ||= Vidibus::Words.sort_by_occurrence(list)
+    end
+
+    # Returns top keywords from input string.
+    def keywords(limit = 20)
+      @keywords ||= {}
+      @keywords[limit] ||= begin
+        list = []
+        count = 0
+        _stopwords = Vidibus::Words.stopwords(*locales)
+        for word in sort
+          clean = word.permalink.gsub("-","")
+          unless _stopwords.include?(clean)
+            list << word
+            count += 1
+            break if count >= limit
+          end
+        end
+        list
+      end
+    end
+
+    class << self
+
+      # Returns a list of all stop words for given locale(s).
+      # If no locales are given, all available will be used.
+      def stopwords(*locales)
+        locales = I18n.available_locales if locales.empty?
+        stopwords = []
+        for locale in locales
+          translation = I18n.t("vidibus.stopwords", :locale => locale)
+          next if translation.is_a?(String)
+          stopwords << translation
+        end
+        stopwords.flatten.uniq
+      end
+
+      # Returns a list of words from given string.
+      def words(string)
+        allowed = [" ", "a-z", "A-Z", "0-9"] + String::LATIN_MAP.values
+        disallowed = ["¿", "¡"] # Add some disallowed chars that cannot be catched. TODO: Improve!
+        match = /[^#{allowed.join("")}]/
+        string.
+          gsub(/\s+/mu, " ").
+          gsub(/[#{disallowed.join}]/u, "").
+          gsub(/#{match}+ /u, " ").
+          gsub(/ #{match}+/u, " ").
+          gsub(/#{match}+$/u, "").
+          gsub(/^#{match}+/u, "").
+          split(/ /)
+      end
+
+      # Returns a list of words ordered by their occurrance.
+      # All words will be converted to downcase.
+      def sort_by_occurrence(list)
+        map = {}
+        count = [999, list.length].min
+        for word in list
+          word.downcase!
+          map[word] ||= count
+          map[word] += 1000
+          count -= 1 if count > 0
+        end
+        map.to_a.sort_by {|x| -x.last}.map {|x| x.first}
+      end
+    end
+  end
+end

data/lib/vidibus-words.rb

@@ -0,0 +1,14 @@
+require "rails"
+require "vidibus-core_extensions"
+
+$:.unshift(File.join(File.dirname(__FILE__), "vidibus"))
+require "words"
+
+# Start a Rails Engine to load translations containing stopwords.
+if defined?(Rails)
+  module Vidibus
+    module WordsEngine
+      class Engine < ::Rails::Engine; end
+    end
+  end
+end

data/spec/spec_helper.rb

@@ -0,0 +1,15 @@
+$LOAD_PATH.unshift(File.dirname(__FILE__))
+$LOAD_PATH.unshift(File.join(File.dirname(__FILE__), "..", "lib"))
+
+require "rubygems"
+require "rspec"
+require "rr"
+require "active_support/core_ext"
+require "vidibus-core_extensions"
+require "vidibus-words"
+
+RSpec.configure do |config|
+  config.mock_with :rr
+end
+
+I18n.load_path += Dir[File.join('config', 'locales', '**', '*.{rb,yml}')]

data/spec/vidibus/words_spec.rb

@@ -0,0 +1,170 @@
+# encoding: utf-8
+require "spec_helper"
+
+describe "Vidibus::Words" do
+  describe "initialization" do
+    it "should require an input string" do
+      expect {Vidibus::Words.new}.to raise_error(ArgumentError)
+    end
+
+    it "should accept an additional argument to set locales" do
+      words = Vidibus::Words.new("hello", :en)
+      words.locales.should eql([:en])
+    end
+
+    it "should accept an additional list of locales" do
+      words = Vidibus::Words.new("hello", [:en, :de])
+      words.locales.should eql([:en, :de])
+    end
+  end
+
+  describe "to_a" do
+    it "should call Vidibus::Words.words with input string" do
+      stub(Vidibus::Words.words("Whazzup?"))
+      Vidibus::Words.new("Whazzup?").to_a
+    end
+  end
+
+  describe "sort" do
+    it "should call Vidibus::Words.sort_by_occurrence with list" do
+      words = Vidibus::Words.new("Whazzup?")
+      stub(Vidibus::Words.sort_by_occurrence(words.list))
+      words.sort
+    end
+  end
+
+  describe "keywords" do
+    let(:input) do
+      "El profesor de ajedrez puso fin a la discusión de sus alumnos:
+      -Hoy, lo más importante, es la concentración. Deberán abstraerse del entorno y sólo prestar atención al juego. ¡No se olviden que la semana que viene es la maratón de ajedrez en Buenos Aires y ustedes representarán al club!
+      -¡Pero, maestro…! No se puede jugar en el bar que está lleno de gente y menos con el loquito de Aníbal al lado.
+      -¡Más respeto, jovencito! Aníbal es el hijo del presidente y fanático del ajedrez. Además, hace tiempo que quiere presenciar una partida, de modo que le prometí a su padre que estaría presente en el entrenamiento. ¡Y a ustedes les vendrá muy bien para ensayar la concentración! Los espero esta tarde a las cinco –dijo dando media vuelta y por finalizados los cuestionamientos.
+      El bar del club El Alfil, a las cinco de la tarde, estaba muy concurrido por los socios que se reponían de las distintas actividades del día. La mesa dispuesta para el partido estaba instalada en una esquina del salón, un poco aislada de las otras, ocupadas por parroquianos que poca atención le prestaban a los novatos ajedrecistas. En una silla contigua, se sentaba un joven de expresión entusiasta que contrastaba con el semblante adusto de los jugadores. El profesor colocó el reloj sobre la mesa y dio por iniciada la partida. Diego, que jugaba con las blancas, abrió con la apertura Ruy López y detuvo su cronómetro. Enseguida se escuchó el grito de Aníbal:
+      -¡Gambito de dama! ¡Gambito de dama!
+      Marcelo le echó una mirada de reojo y respondió con la defensa berlinesa para las negras.
+      -¡Defensa siciliana! ¡Defensa Siciliana! –chilló Aníbal en el colmo de su exaltación.
+      Acodado en la barra, don Antonio observaba la escena y le traducía al Sordo su interpretación de los hechos:
+      -Parece que los pibes están jugando a las damas y el loquito de Aníbal les da instrucciones. Por la cara que tienen no les gustan mucho los consejos, pero siendo un juego de damas parece acertado eso de las gambas. Y las sicilianas… ¡Se las traen!
+      El Sordo, que además de escuchar poco veía menos, asintió con un movimiento de cabeza.
+      En la mesa, los ajedrecistas se esforzaban por no perderse entre los desvaríos de Aníbal y movían sus piezas y detenían sus cronómetros y los volvían a poner en marcha.
+      El profesor afirmaba con la testa convencido de que la ordalía les aseguraría el primer puesto en el torneo.
+      -¡Defensa india de dama! ¡Defensa india de dama! –vociferó el hijo del presidente desde la silla, obedeciendo la orden de su papá de no moverse.
+      -¡Ahora pide que venga una india a defender a la dama! Al fin de cuentas parece que no está tan loquito este Aníbal –le dijo don Antonio en la oreja al Sordo y después se empinó un trago de grapa.
+      Los jugadores, estimulados por el acoso del loco, no tardaban más de quince minutos en mover sus piezas. De un solo movimiento, Diego le comió dos peones a Marcelo.
+      -¡Peones muertos! ¡Peones muertos! –sollozó Aníbal que era muy sensible.
+      -¡Las mujeres son vengativas, Sordo! ¿Qué necesidad de matar a esos pobres laburantes si con despedirlos hubiera protegido a la dama? –Le tironea de la manga de la camisa mientras le dice en voz alta:- ¡Mirá, mirá! ¿No te dije? ¡Es un juego violento!
+      En el salón, los aspirantes a campeones perseguían al loquito entre las mesas bombardeándolo con peones, alfiles, caballos, torres, reyes y reinas. El profesor los seguía levantando las piezas en el camino, mientras Aníbal desgranaba a la carrera sus nociones de ajedrez:
+      -¡Apertura, medio juego, final! ¡Final, Finaaaal!
+      -¿Querés que te diga? Me quedo con el truco, que no mata a nadie –concluyó don Antonio."
+    end
+
+    let(:words) {Vidibus::Words.new(input)}
+
+    it "should return a list of words without stopwords, ordered by occurrence" do
+      words = Vidibus::Words.new("To tell a long story short, it's necessary to tell it briefly without fluff!")
+      words.keywords.should eql(%w[tell long story short necessary briefly fluff])
+    end
+
+    it "should only remove stopwords of given locale" do
+      words = Vidibus::Words.new("To tell a long story short, it's necessary to tell it briefly without fluff!")
+      words.locale = :de
+      words.keywords.should eql(%w[to tell a long story short it's necessary it briefly without fluff])
+    end
+
+    it "should return only 20 keywords by default" do
+      keywords = words.keywords
+      keywords.length.should eql(20)
+      keywords.should eql(%w[no aníbal dama defensa profesor ajedrez juego loquito sordo peones mesa don antonio parece piezas india concentración atención ustedes club])
+    end
+
+    it "should accept an optional length param" do
+      words.keywords(30).length.should eql(30)
+    end
+  end
+
+  describe ".stopwords" do
+    it "should return a list of stop words of all languages available" do
+      list = Vidibus::Words.stopwords
+      list.should include("also") # de
+      list.should include("able") # en
+    end
+
+    it "should return a list of stop words for given locale only" do
+      list = Vidibus::Words.stopwords(:de)
+      list.should include("also")
+      list.should_not include("able")
+    end
+
+    it "should accept multiple locales" do
+      list = Vidibus::Words.stopwords(:de, :en)
+      list.should include("also") # de
+      list.should include("able") # en
+    end
+
+    it "should return an empty array if no stop words are available for given locale" do
+      Vidibus::Words.stopwords(:fr).should be_empty
+    end
+  end
+
+  describe ".words" do
+    it "should return an array of words from given string" do
+      Vidibus::Words.words("Hello").should eql(%w[Hello])
+    end
+
+    it "should remove dates with slashes" do
+      Vidibus::Words.words("On 01/12/2011 we will party!").should eql(%w[On 01/12/2011 we will party])
+    end
+
+    it "should preserve dates with dashes" do
+      Vidibus::Words.words("On 12-01-2011 we will party!").should eql(%w[On 12-01-2011 we will party])
+    end
+
+    it "should preserve dates with dots" do
+      Vidibus::Words.words("On 12.01.2011 we will party!").should eql(%w[On 12.01.2011 we will party])
+    end
+
+    it "should preserve combined words" do
+      Vidibus::Words.words("sign-on").should eql(%w[sign-on])
+    end
+
+    it "should preserve decimals with dots" do
+      Vidibus::Words.words("10.5").should eql(%w[10.5])
+    end
+
+    it "should preserve decimals with commas" do
+      Vidibus::Words.words("10,5").should eql(%w[10,5])
+    end
+
+    it "should preserve apostrophs" do
+      Vidibus::Words.words("It's on!").should eql(%w[It's on])
+    end
+
+    it "should preserve special chars" do
+      Vidibus::Words.words("Hola señor").should eql(%w[Hola señor])
+    end
+
+    it "should remove non-word chars" do
+      Vidibus::Words.words("¿cómo está?").should eql(%w[cómo está])
+    end
+
+    it "should remove non-word chars within sentences" do
+      Vidibus::Words.words("Hola señor, ¿cómo está?").should eql(%w[Hola señor cómo está])
+    end
+
+    it "should remove double non-word chars" do
+      Vidibus::Words.words("-¡Defensa india de dama!-").should eql(%w[Defensa india de dama])
+    end
+  end
+
+  describe ".sort_by_occurrence" do
+    it "should sort a list of words by occurrence" do
+      words = Vidibus::Words.words("Children's song: Hey, hey Wickie, hey Wickie, hey!")
+      Vidibus::Words.sort_by_occurrence(words).should eql(%w[hey wickie children's song])
+    end
+
+    it "should also weigh the position of words" do
+      words = Vidibus::Words.words("third: first second third")
+      Vidibus::Words.sort_by_occurrence(words).should eql(%w[third first second])
+    end
+  end
+end

data/vidibus-words.gemspec

@@ -0,0 +1,65 @@
+# Generated by jeweler
+# DO NOT EDIT THIS FILE DIRECTLY
+# Instead, edit Jeweler::Tasks in Rakefile, and run the gemspec command
+# -*- encoding: utf-8 -*-
+
+Gem::Specification.new do |s|
+  s.name = %q{vidibus-words}
+  s.version = "0.0.1"
+
+  s.required_rubygems_version = Gem::Requirement.new(">= 0") if s.respond_to? :required_rubygems_version=
+  s.authors = ["Andre Pankratz"]
+  s.date = %q{2010-11-16}
+  s.description = %q{Contains stop words lists and methods to extract keywords from strings.}
+  s.email = %q{andre@vidibus.com}
+  s.extra_rdoc_files = [
+    "LICENSE",
+     "README.rdoc"
+  ]
+  s.files = [
+    ".bundle/config",
+     ".document",
+     ".gitignore",
+     ".rspec",
+     "Gemfile",
+     "Gemfile.lock",
+     "LICENSE",
+     "README.rdoc",
+     "Rakefile",
+     "VERSION",
+     "config/locales/de.yml",
+     "config/locales/en.yml",
+     "config/locales/es.yml",
+     "lib/vidibus-words.rb",
+     "lib/vidibus/words.rb",
+     "spec/spec_helper.rb",
+     "spec/vidibus/words_spec.rb",
+     "vidibus-words.gemspec"
+  ]
+  s.homepage = %q{http://github.com/vidibus/vidibus-words}
+  s.rdoc_options = ["--charset=UTF-8"]
+  s.require_paths = ["lib"]
+  s.rubygems_version = %q{1.3.7}
+  s.summary = %q{Tools for handling of words.}
+  s.test_files = [
+    "spec/spec_helper.rb",
+     "spec/vidibus/words_spec.rb"
+  ]
+
+  if s.respond_to? :specification_version then
+    current_version = Gem::Specification::CURRENT_SPECIFICATION_VERSION
+    s.specification_version = 3
+
+    if Gem::Version.new(Gem::VERSION) >= Gem::Version.new('1.2.0') then
+      s.add_runtime_dependency(%q<rails>, ["~> 3.0.0"])
+      s.add_runtime_dependency(%q<vidibus-core_extensions>, [">= 0"])
+    else
+      s.add_dependency(%q<rails>, ["~> 3.0.0"])
+      s.add_dependency(%q<vidibus-core_extensions>, [">= 0"])
+    end
+  else
+    s.add_dependency(%q<rails>, ["~> 3.0.0"])
+    s.add_dependency(%q<vidibus-core_extensions>, [">= 0"])
+  end
+end
+

metadata

@@ -0,0 +1,115 @@
+--- !ruby/object:Gem::Specification 
+name: vidibus-words
+version: !ruby/object:Gem::Version 
+  hash: 29
+  prerelease: false
+  segments: 
+  - 0
+  - 0
+  - 1
+  version: 0.0.1
+platform: ruby
+authors: 
+- Andre Pankratz
+autorequire: 
+bindir: bin
+cert_chain: []
+
+date: 2010-11-16 00:00:00 +01:00
+default_executable: 
+dependencies: 
+- !ruby/object:Gem::Dependency 
+  name: rails
+  prerelease: false
+  requirement: &id001 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ~>
+      - !ruby/object:Gem::Version 
+        hash: 7
+        segments: 
+        - 3
+        - 0
+        - 0
+        version: 3.0.0
+  type: :runtime
+  version_requirements: *id001
+- !ruby/object:Gem::Dependency 
+  name: vidibus-core_extensions
+  prerelease: false
+  requirement: &id002 !ruby/object:Gem::Requirement 
+    none: false
+    requirements: 
+    - - ">="
+      - !ruby/object:Gem::Version 
+        hash: 3
+        segments: 
+        - 0
+        version: "0"
+  type: :runtime
+  version_requirements: *id002
+description: Contains stop words lists and methods to extract keywords from strings.
+email: andre@vidibus.com
+executables: []
+
+extensions: []
+
+extra_rdoc_files: 
+- LICENSE
+- README.rdoc
+files: 
+- .bundle/config
+- .document
+- .gitignore
+- .rspec
+- Gemfile
+- Gemfile.lock
+- LICENSE
+- README.rdoc
+- Rakefile
+- VERSION
+- config/locales/de.yml
+- config/locales/en.yml
+- config/locales/es.yml
+- lib/vidibus-words.rb
+- lib/vidibus/words.rb
+- spec/spec_helper.rb
+- spec/vidibus/words_spec.rb
+- vidibus-words.gemspec
+has_rdoc: true
+homepage: http://github.com/vidibus/vidibus-words
+licenses: []
+
+post_install_message: 
+rdoc_options: 
+- --charset=UTF-8
+require_paths: 
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement 
+  none: false
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      hash: 3
+      segments: 
+      - 0
+      version: "0"
+required_rubygems_version: !ruby/object:Gem::Requirement 
+  none: false
+  requirements: 
+  - - ">="
+    - !ruby/object:Gem::Version 
+      hash: 3
+      segments: 
+      - 0
+      version: "0"
+requirements: []
+
+rubyforge_project: 
+rubygems_version: 1.3.7
+signing_key: 
+specification_version: 3
+summary: Tools for handling of words.
+test_files: 
+- spec/spec_helper.rb
+- spec/vidibus/words_spec.rb