mongoid-haystack 1.0.0

data/lib/mongoid-haystack/stemming/stopwords/full_russiankoi8_r.txt

@@ -0,0 +1,101 @@
+Á
+ÂÅÚ
+ÂÏÌÅÅ
+ÂÙ
+ÂÙÌ
+ÂÙÌÁ
+ÂÙÌÉ
+ÂÙÌÏ
+ÂÙÔØ
+×
+×ÁÍ
+×ÁÓ
+×ÅÓØ
+×Ï
+×ÏÔ
+×ÓÅ
+×ÓÅÇÏ
+×ÓÅÈ
+×Ù
+ÇÄÅ
+ÄÁ
+ÄÁÖÅ
+ÄÌÑ
+ÄÏ
+ÅÇÏ
+ÅÅ
+ÅÊ
+ÅÀ
+ÅÓÌÉ
+ÅÓÔØ
+ÅÝÅ
+ÖÅ
+ÚÁ
+ÚÄÅÓØ
+É
+ÉÚ
+ÉÌÉ
+ÉÍ
+ÉÈ
+Ë
+ËÁË
+ËÏ
+ËÏÇÄÁ
+ËÔÏ
+ÌÉ
+ÌÉÂÏ
+ÍÎÅ
+ÍÏÖÅÔ
+ÍÙ
+ÎÁ
+ÎÁÄÏ
+ÎÁÛ
+ÎÅ
+ÎÅÇÏ
+ÎÅÅ
+ÎÅÔ
+ÎÉ
+ÎÉÈ
+ÎÏ
+ÎÕ
+Ï
+ÏÂ
+ÏÄÎÁËÏ
+ÏÎ
+ÏÎÁ
+ÏÎÉ
+ÏÎÏ
+ÏÔ
+ÏÞÅÎØ
+ÐÏ
+ÐÏÄ
+ÐÒÉ
+Ó
+ÓÏ
+ÔÁË
+ÔÁËÖÅ
+ÔÁËÏÊ
+ÔÁÍ
+ÔÅ
+ÔÅÍ
+ÔÏ
+ÔÏÇÏ
+ÔÏÖÅ
+ÔÏÊ
+ÔÏÌØËÏ
+ÔÏÍ
+ÔÙ
+Õ
+ÕÖÅ
+ÈÏÔÑ
+ÞÅÇÏ
+ÞÅÊ
+ÞÅÍ
+ÞÔÏ
+ÞÔÏÂÙ
+ÞØÅ
+ÞØÑ
+ÜÔÁ
+ÜÔÉ
+ÜÔÏ
+Ñ

data/lib/mongoid-haystack/stemming/stopwords/full_spanish.txt

@@ -0,0 +1,313 @@
+de
+la
+que
+el
+en
+y
+a
+los
+del
+se
+las
+por
+un
+para
+con
+no
+una
+su
+al
+lo
+como
+más
+pero
+sus
+le
+ya
+o
+este
+sí
+porque
+esta
+entre
+cuando
+muy
+sin
+sobre
+también
+me
+hasta
+hay
+donde
+quien
+desde
+todo
+nos
+durante
+todos
+uno
+les
+ni
+contra
+otros
+ese
+eso
+ante
+ellos
+e
+esto
+mí
+antes
+algunos
+qué
+unos
+yo
+otro
+otras
+otra
+él
+tanto
+esa
+estos
+mucho
+quienes
+nada
+muchos
+cual
+poco
+ella
+estar
+estas
+algunas
+algo
+nosotros
+mi
+mis
+tú
+te
+ti
+tu
+tus
+ellas
+nosotras
+vosostros
+vosostras
+os
+mío
+mía
+míos
+mías
+tuyo
+tuya
+tuyos
+tuyas
+suyo
+suya
+suyos
+suyas
+nuestro
+nuestra
+nuestros
+nuestras
+vuestro
+vuestra
+vuestros
+vuestras
+esos
+esas
+estoy
+estás
+está
+estamos
+estáis
+están
+esté
+estés
+estemos
+estéis
+estén
+estaré
+estarás
+estará
+estaremos
+estaréis
+estarán
+estaría
+estarías
+estaríamos
+estaríais
+estarían
+estaba
+estabas
+estábamos
+estabais
+estaban
+estuve
+estuviste
+estuvo
+estuvimos
+estuvisteis
+estuvieron
+estuviera
+estuvieras
+estuviéramos
+estuvierais
+estuvieran
+estuviese
+estuvieses
+estuviésemos
+estuvieseis
+estuviesen
+estando
+estado
+estada
+estados
+estadas
+estad
+he
+has
+ha
+hemos
+habéis
+han
+haya
+hayas
+hayamos
+hayáis
+hayan
+habré
+habrás
+habrá
+habremos
+habréis
+habrán
+habría
+habrías
+habríamos
+habríais
+habrían
+había
+habías
+habíamos
+habíais
+habían
+hube
+hubiste
+hubo
+hubimos
+hubisteis
+hubieron
+hubiera
+hubieras
+hubiéramos
+hubierais
+hubieran
+hubiese
+hubieses
+hubiésemos
+hubieseis
+hubiesen
+habiendo
+habido
+habida
+habidos
+habidas
+soy
+eres
+es
+somos
+sois
+son
+sea
+seas
+seamos
+seáis
+sean
+seré
+serás
+será
+seremos
+seréis
+serán
+sería
+serías
+seríamos
+seríais
+serían
+era
+eras
+éramos
+erais
+eran
+fui
+fuiste
+fue
+fuimos
+fuisteis
+fueron
+fuera
+fueras
+fuéramos
+fuerais
+fueran
+fuese
+fueses
+fuésemos
+fueseis
+fuesen
+sintiendo
+sentido
+sentida
+sentidos
+sentidas
+siente
+sentid
+tengo
+tienes
+tiene
+tenemos
+tenéis
+tienen
+tenga
+tengas
+tengamos
+tengáis
+tengan
+tendré
+tendrás
+tendrá
+tendremos
+tendréis
+tendrán
+tendría
+tendrías
+tendríamos
+tendríais
+tendrían
+tenía
+tenías
+teníamos
+teníais
+tenían
+tuve
+tuviste
+tuvo
+tuvimos
+tuvisteis
+tuvieron
+tuviera
+tuvieras
+tuviéramos
+tuvierais
+tuvieran
+tuviese
+tuvieses
+tuviésemos
+tuvieseis
+tuviesen
+teniendo
+tenido
+tenida
+tenidos
+tenidas
+tened

data/lib/mongoid-haystack/token.rb

@@ -0,0 +1,71 @@
+module Mongoid
+  module Haystack
+    class Token
+      include Mongoid::Document
+
+      class << Token
+        def values_for(*args, &block)
+          string = args.join(' ')
+          values = string.scan(/[^\s]+/)
+          Stemming.stem(*values)
+        end
+
+        def add(value)
+          token = nil
+          created = nil
+
+          Haystack.find_or_create(
+            proc do
+              token = where(:value => value).first
+              created = false if token
+              token
+            end,
+
+            proc do
+              token = create!(:value => value)
+              created = true if token
+              token
+            end
+          )
+
+          token.inc(:count, 1)
+
+          Count[:tokens].inc(1) #if created
+
+          token
+        end
+
+        def sequence
+          Sequence.for(Token.name.scan(/[^:]+/).join('.').downcase)
+        end
+
+        def next_hex_id
+          "0x#{ hex = sequence.next.to_s(16) }"
+        end
+      end
+
+      field(:_id, :type => String, :default => proc{ Token.next_hex_id })
+      field(:value, :type => String)
+      field(:count, :type => Integer, :default => 0)
+
+      index({:value => 1}, {:unique => true})
+      index({:count => 1})
+
+      def frequency(n_tokens = Count[:tokens].value.to_f)
+        (count / n_tokens).round(2)
+      end
+
+      def frequency_bin(n_tokens = Count[:tokens].value.to_f)
+        (frequency(n_tokens) * 10).truncate
+      end
+
+      def rarity(n_tokens = Count[:tokens].value.to_f)
+        ((n_tokens - count) / n_tokens).round(2)
+      end
+
+      def rarity_bin(n_tokens = Count[:tokens].value.to_f)
+        (rarity(n_tokens) * 10).truncate
+      end
+    end
+  end
+end