redis_counters 1.3.0

checksums.yaml

@@ -0,0 +1,7 @@
+---
+SHA1:
+  metadata.gz: 7686748e5af2550c7895c4d3b893a4464e12495f
+  data.tar.gz: da77d21dac0066c38745affc6301055191f10dc6
+SHA512:
+  metadata.gz: ee6ce001671fc800cb85327c64e39196197708da7f32d07a5ef3fbd7b9a1937fb2526e207a8c5c5ef8902973db5e7e2d827434b09401982f7af1cfe917203815
+  data.tar.gz: 3b2fa28eb9a5c12efb45fae68c96da2ac03ad68e95ad59264ca152f3bc080371a79efc61c4d5890653de54c217f10193a56663e4ea4951dc4357d7d2edfd3ce2

data/.gitignore

@@ -0,0 +1,21 @@
+*.gem
+*.rbc
+.bundle
+.config
+.yardoc
+Gemfile.lock
+InstalledFiles
+_yardoc
+coverage
+doc/
+lib/bundler/man
+pkg
+rdoc
+spec/reports
+test/tmp
+test/version_tmp
+tmp
+.idea/
+.rbx/
+gemfiles/
+/coverage

data/CHANGELOG.md

@@ -0,0 +1,38 @@
+
+#### [Current]
+
+
+#### v1.2.0
+ * 2014-11-10 [be642ce](../../commit/be642ce) - __(Artem Napolskih)__ Release 1.2.0
+ * 2014-11-10 [6257dc2](../../commit/6257dc2) - __(Artem Napolskih)__ feature(hash_counter): added float mode
+ * 2014-10-17 [48deb40](../../commit/48deb40) - __(Artem Napolskih)__ feature(unique_values_list): introduced a list of unique values to expiry of the members
+ * 2014-10-17 [e1206b7](../../commit/e1206b7) - __(Artem Napolskih)__ feature(unique_values_list): introduce has_value? method
+ * 2014-10-17 [cccc2be](../../commit/cccc2be) - __(Artem Napolskih)__ feature(unique_values_list): rename Standard and Fast unique values list to Blocking and NonBlocking respectively
+ * 2014-10-17 [7521fd8](../../commit/7521fd8) - __(Artem Napolskih)__ chore(specs): reorganize unique lists specs
+ * 2014-04-23 [94fada3](../../commit/94fada3) - __(Artem Napolskih)__ chore(all): fix circleci badge
+ * 2013-11-20 [0ae5531](../../commit/0ae5531) - __(Artem Napolskih)__ Release 1.1.0
+
+#### v1.1.0
+ * 2013-11-20 [01f12f9](../../commit/01f12f9) - __(Artem Napolskih)__ Release 1.1.0
+ * 2013-11-20 [3897988](../../commit/3897988) - __(Artem Napolskih)__ refactor(all): back delete_all! methods
+ * 2013-11-15 [2d1c733](../../commit/2d1c733) - __(Artem Napolskih)__ refactor(all): extract Cluster and Partition classes
+ * 2013-10-22 [020cc8e](../../commit/020cc8e) - __(Napolskih)__ refactor(all): shared code of clustering and partitioning extracted into module - group_keys -> cluster_keys - shared code of clustering and partitioning extracted into module
+
+#### v1.0.1
+ * 2013-10-21 [9b5e13b](../../commit/9b5e13b) - __(Artem Napolskih)__ Release 1.0.1
+ * 2013-10-21 [bfa328a](../../commit/bfa328a) - __(Artem Napolskih)__ feature(hash_counter): method date when called with a block, now returns the total number of lines
+ * 2013-10-21 [6d04c95](../../commit/6d04c95) - __(Artem Napolskih)__ Release 1.0.0
+
+#### v1.0.0
+ * 2013-10-21 [b5f5344](../../commit/b5f5344) - __(Artem Napolskih)__ Release 1.0.0
+ * 2013-10-10 [b29eab7](../../commit/b29eab7) - __(Artem Napolskih)__ feature(unique_values_lists): added methods to read and delete data
+ * 2013-10-10 [67c5200](../../commit/67c5200) - __(Artem Napolskih)__ feature(unique_hash_counter): introduce unique list postfix delimiter
+ * 2013-10-08 [8a9a2a9](../../commit/8a9a2a9) - __(Artem Napolskih)__ feature(hash_counter): added methods to read and delete data
+ * 2013-09-13 [f8d037c](../../commit/f8d037c) - __(Artem Napolskih)__ docs(all): documenting
+
+#### v1.0.0beta1
+ * 2013-09-13 [43016ec](../../commit/43016ec) - __(Artem Napolskih)__ Release 1.0.0beta1
+ * 2013-09-12 [0a176fa](../../commit/0a176fa) - __(Artem Napolskih)__ feature(all) introduce key and value delimiters
+ * 2013-09-12 [addbb40](../../commit/addbb40) - __(Artem Napolskih)__ feature(unique_values_list): fast (non blocking) unique values list added
+ * 2013-08-23 [897418d](../../commit/897418d) - __(Artem Napolskih)__ Initial commit
+ * 2013-08-21 [21ed53b](../../commit/21ed53b) - __(napolskih)__ dummy commit

data/Gemfile

@@ -0,0 +1,3 @@
+source 'https://rubygems.org'
+
+gemspec

data/Makefile

@@ -0,0 +1,14 @@
+BUNDLE = bundle
+BUNDLE_OPTIONS = -j 4
+RSPEC = ${BUNDLE} exec rspec
+
+all: test
+
+test: bundler/install
+	${RSPEC} 2>&1
+
+bundler/install:
+	if ! gem list bundler -i > /dev/null; then \
+	  gem install bundler; \
+	fi
+	${BUNDLE} install ${BUNDLE_OPTIONS}

data/README.md

@@ -0,0 +1,320 @@
+# RedisCounters
+
+[![Dolly](http://dolly.railsc.ru/badges/abak-press/redis_counters/master)](http://dolly.railsc.ru/projects/36/builds/latest/?ref=master)
+[![Code Climate](https://codeclimate.com/repos/522e9b497e00a46a0d01227c/badges/ae868ca76e52852ebc5a/gpa.png)](https://codeclimate.com/repos/522e9b497e00a46a0d01227c/feed)
+[![Test Coverage](https://codeclimate.com/repos/522e9b497e00a46a0d01227c/badges/ae868ca76e52852ebc5a/coverage.svg)](https://codeclimate.com/repos/522e9b497e00a46a0d01227c/feed)
+
+Набор структур данных на базе Redis.
+
+## RedisCounters::HashCounter
+
+Счетчик на основе Hash, с ~~преферансом и тайками-близняшками~~ партиционированием и кластеризацией значений.
+
+Обязательные параметры: counter_name, field_name или group_keys.
+
+### Сложность
+  + инкремент - O(1).
+
+### Примеры использования
+
+Простой счетчик значений.
+```ruby
+counter = RedisCounters::HashCounter.new(redis, {
+  :counter_name => :simple_counter,
+  :field_name   => :pages
+})
+
+5.times { counter.increment }
+
+redis:
+  simple_counter = {
+    pages => 5
+  }
+
+> counter.partitions
+=> [{}]
+
+> counter.data
+=> [{:value=>5}]
+```
+
+Счетчик посещенных страниц компании с партиционированием по дате.
+```ruby
+counter = RedisCounters::HashCounter.new(redis, {
+  :counter_name   => :pages_by_day,
+  :group_keys     => [:company_id],
+  :partition_keys => [:date]
+})
+
+2.times { counter.increment(:company_id => 1, :date => '2013-08-01') }
+3.times { counter.increment(:company_id => 2, :date => '2013-08-01') }
+1.times { counter.increment(:company_id => 3, :date => '2013-08-02') }
+
+redis:
+  pages_by_day:2013-08-01 = {
+    1 => 2
+    2 => 3
+  }
+  pages_by_day:2013-08-02 = {
+    3 => 1
+  }
+
+> counter.partitions
+=> [{:date=>"2013-08-01"}, {:date=>"2013-08-02"}]
+
+> counter.data
+=> [{:company_id=>"1", :value=>2},
+ {:company_id=>"2", :value=>3},
+ {:company_id=>"3", :value=>1}]
+
+> counter.delete_partitions!(:date => '2013-08-01')
+=> [1]
+
+> counter.partitions
+=> [{:date=>"2013-08-02"}]
+
+> counter.data
+=> [{:company_id=>"3", :value=>1}]
+
+> counter.delete_all!
+=> [1]
+
+> counter.data
+=> []
+```
+
+Тоже самое, но партиция задается с помощью proc.
+```ruby
+counter = RedisCounters::HashCounter.new(redis, {
+  :counter_name   => :pages_by_day,
+  :group_keys     => [:company_id],
+  :partition_keys => proc { |params| params.fetch(:date) }
+})
+```
+
+Счетчик посещенных страниц с группировкой по городу посетителя и партиционированием по дате и компании.
+```ruby
+counter = RedisCounters::HashCounter.new(redis, {
+  :counter_name   => :pages_by_day_city,
+  :group_keys     => [:company_id, :city_id],
+  :partition_keys => [:date, :company_id]
+})
+
+2.times { counter.increment(:date => '2013-08-01', :company_id => 1, :city_id => 11) }
+1.times { counter.increment(:date => '2013-08-01', :company_id => 1, :city_id => 12) }
+4.times { counter.increment(:date => '2013-08-01', :company_id => 2, :city_id => 10) }
+3.times { counter.increment(:date => '2013-08-02', :company_id => 1, :city_id => 15) }
+
+redis:
+  pages_by_day_city:2013-08-01:1 = {
+    1:11 => 2,
+    1:12 => 1
+  }
+
+  pages_by_day_city:2013-08-01:2 = {
+    2:10 => 4
+  }
+
+  pages_by_day_city:2013-08-02:1 = {
+    1:15 => 3
+  }
+
+> counter.partitions
+=> [{:date=>"2013-08-02", :company_id=>"1"},
+ {:date=>"2013-08-01", :company_id=>"1"},
+ {:date=>"2013-08-01", :company_id=>"2"}]
+
+> counter.partitions(:date => '2013-08-01')
+=> [{:date=>"2013-08-01", :company_id=>"1"},
+ {:date=>"2013-08-01", :company_id=>"2"}]
+
+> counter.data
+=> [{:company_id => 1, :city_id=>"15", :value=>3},
+ {:company_id => 1, :city_id=>"11", :value=>2},
+ {:company_id => 1, :city_id=>"12", :value=>1},
+ {:company_id => 2, :city_id=>"10", :value=>4}]
+
+> counter.data(:date => '2013-08-01')
+=> [{:company_id => 1, :city_id=>"11", :value=>2},
+ {:company_id => 1, :city_id=>"12", :value=>1},
+ {:company_id => 2, :city_id=>"10", :value=>4}]
+
+> counter.data(:date => '2013-08-01') { |batch| puts batch }
+{:company_id => 1, :city_id=>"11", :value=>2}
+{:company_id => 1, :city_id=>"12", :value=>1}
+{:company_id => 2, :city_id=>"10", :value=>4}
+```
+
+## RedisCounters::UniqueValuesLists::Blocking
+
+Список уникальных значений, с возможностью кластеризации и партиционирования значений.
+
+Особенности:
+- Использует механизм оптимистичных блокировок.
+- Помимо списка значений, ведет так же, список партиций, для каждого кластера.
+- Полностью транзакционен - сторонний блок, выполняемый после добавления уникального элемента,
+  выполняется в той же транзакции, в которой добавляется уникальный элемент.
+
+Вероятно, в условиях большой конкурентности, обладает не лучшей производительносью из-за частых блокировок.
+
+Обязательные параметры: counter_name и value_keys.
+
+### Сложность
+  + добавление элемента - от O(1), при отсутствии партиционирования, до O(N), где N - кол-во партиций.
+
+### Примеры использования
+
+Простой список уникальных пользователей.
+```ruby
+counter = RedisCounters::UniqueValuesLists::Blocking.new(redis, {
+  :counter_name => :users,
+  :value_keys   => [:user_id]
+})
+
+counter.increment(:user_id => 1)
+counter.increment(:user_id => 2)
+counter.increment(:user_id => 1)
+
+redis:
+  users = ['1', '2']
+```
+
+Список уникальных пользователей, посетивших компаниию, за месяц, партиционированный по суткам.
+```ruby
+counter = RedisCounters::UniqueValuesLists::Blocking.new(redis, {
+  :counter_name   => :company_users_by_month,
+  :value_keys     => [:company_id, :user_id],
+  :cluster_keys   => [:start_month_date],
+  :partition_keys => [:date]
+})
+
+2.times { counter.add(:company_id => 1, :user_id => 11, :date => '2013-08-10', :start_month_date => '2013-08-01') }
+3.times { counter.add(:company_id => 1, :user_id => 22, :date => '2013-08-10', :start_month_date => '2013-08-01') }
+3.times { counter.add(:company_id => 1, :user_id => 22, :date => '2013-09-05', :start_month_date => '2013-09-01') }
+3.times { counter.add(:company_id => 2, :user_id => 11, :date => '2013-08-10', :start_month_date => '2013-08-01') }
+1.times { counter.add(:company_id => 2, :user_id => 22, :date => '2013-08-11', :start_month_date => '2013-08-01') }
+
+redis:
+  company_users_by_month:2013-08-01:partitions = ['2013-08-10', '2013-08-11']
+  company_users_by_month:2013-08-01:2013-08-10 = ['1:11', '1:22', '2:11']
+  company_users_by_month:2013-08-01:2013-08-11 = ['2:22']
+
+  company_users_by_month:2013-09-01:partitions = ['2013-09-05']
+  company_users_by_month:2013-09-01:2013-09-05 = ['1:22']
+```
+
+## RedisCounters::UniqueValuesLists::NonBlocking
+
+Быстрый список уникальных значений, с возможностью кластеризации и партиционирования значений.
+
+Скорость работы достигается за счет следующих особенностей:
+- Использует 2х объема памяти для хранения элементов,
+при использовании партиционирования.
+Eсли партиционирование не используется, то расход памяти такой-же как у UniqueValuesLists::Blocking.
+- Не транзакционен - сторонний блок, выполняемый после добавления уникального элемента,
+выполняется за пределами транзакции, в которой добавляется уникальный элемент.
+- Не ведется список партиций.
+
+Обязательные параметры: counter_name и value_keys.
+
+### Сложность
+  + добавление элемента - O(1)
+
+
+## RedisCounters::UniqueValuesLists::Expirable
+
+Список уникальных значений, с возможностью expire отдельных элементов.
+
+На основе сортированного множества.
+http://redis4you.com/code.php?id=010
+
+На основе механизма оптимистических блокировок.
+смотри Optimistic locking using check-and-set:
+http://redis.io/topics/transactions
+
+Особенности:
+- Expire - таймаут, можно установить как на уровне счетчика,
+  так и на уровне отдельного занчения;
+- Очистка возможна как в автоматическогом режиме так в и ручном;
+- Значения сохраняет в партициях;
+- Ведет список партиций;
+- Полностью транзакционен.
+
+Обязательные параметры: counter_name и value_keys.
+Таймаут задается параметром :expire. По умолчанию :never.
+:clean_expired - режим автоочистки. По умолчанию true.
+
+### Примеры использования
+
+```ruby
+counter = RedisCounters::UniqueValuesLists::Expirable.new(redis,
+  :counter_name => :sessions,
+  :value_keys   => [:session_id],
+  :expire       => 10.minutes
+)
+
+counter << session_id: 1
+counter << session_id: 2
+counter << session_id: 3, expire: :never
+
+counter.data
+> [{session_id: 1}, {session_id: 2}, {session_id: 3}]
+
+# after 10 minutes
+
+counter.data
+> [{session_id: 3}]
+
+counter.has_value?(session_id: 1)
+false
+```
+
+## RedisCounters::UniqueHashCounter
+
+Сборная конструкция на основе предыдущих.
+HashCounter, с возможностью подсчета только у уникальных событий.
+
+### Сложность
+  аналогично сложности, используемого уникального списка.
+
+### Примеры использования
+
+Счетчик уникальных пользователей, посетивших компаниию, за месяц, кластеризованный по суткам.
+```ruby
+counter = RedisCounters::UniqueHashCounter.new(redis, {
+  :counter_name   => :company_users_by_month,
+  :group_keys     => [:company_id],
+  :partition_keys => [:date],
+  :unique_list => {
+    :list_class     => RedisCounters::UniqueValuesLists::Blocking
+    :value_keys     => [:company_id, :user_id],
+    :cluster_keys   => [:start_month_date],
+    :partition_keys => [:date]
+  }
+})
+
+2.times { counter.increment(:company_id => 1, :user_id => 11, :date => '2013-08-10', :start_month_date => '2013-08-01') }
+3.times { counter.increment(:company_id => 1, :user_id => 22, :date => '2013-08-10', :start_month_date => '2013-08-01') }
+3.times { counter.increment(:company_id => 1, :user_id => 22, :date => '2013-09-05', :start_month_date => '2013-09-01') }
+3.times { counter.increment(:company_id => 2, :user_id => 11, :date => '2013-08-10', :start_month_date => '2013-08-01') }
+1.times { counter.increment(:company_id => 2, :user_id => 22, :date => '2013-08-11', :start_month_date => '2013-08-01') }
+
+redis:
+  company_users_by_month:2013-08-10 = {
+    1 = 2,
+    2 = 1
+  }
+  company_users_by_month:2013-08-11 = {
+    2 = 1
+  }
+  company_users_by_month:2013-09-05 = {
+    1 = 1
+  }
+
+  company_users_by_month_uq:2013-08-01:partitions = ['2013-08-10', '2013-08-11']
+  company_users_by_month_uq:2013-08-01:2013-08-10 = ['1:11', '1:22', '2:11']
+  company_users_by_month_uq:2013-08-01:2013-08-11 = ['2:22']
+
+  company_users_by_month_uq:2013-09-01:partitions = ['2013-09-05']
+  company_users_by_month_uq:2013-09-01:2013-09-05 = ['1:22']
+```

data/Rakefile

@@ -0,0 +1,15 @@
+# coding: utf-8
+require 'bundler/gem_tasks'
+
+# load everything from tasks/ directory
+Dir[File.join(File.dirname(__FILE__), 'tasks', '*.{rb,rake}')].each { |f| load(f) }
+
+task :release => [:check, :changelog]
+
+desc 'Check quality'
+task :check => [:audit, :quality, :coverage]
+
+require 'rspec/core/rake_task'
+
+# setup `spec` task
+RSpec::Core::RakeTask.new(:spec)

data/lib/redis_counters.rb

@@ -0,0 +1,21 @@
+# encoding: utf-8
+require 'redis_counters/version'
+require 'redis_counters/base_counter'
+require 'redis_counters/hash_counter'
+require 'redis_counters/unique_hash_counter'
+require 'redis_counters/unique_values_lists/base'
+require 'redis_counters/unique_values_lists/blocking'
+require 'redis_counters/unique_values_lists/non_blocking'
+require 'redis_counters/unique_values_lists/expirable'
+
+require 'active_support'
+require 'active_support/core_ext'
+
+module RedisCounters
+
+  def create_counter(redis, opts)
+    BaseCounter.create(redis, opts)
+  end
+
+  module_function :create_counter
+end