gt06_server 0.0.1 → 0.0.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: b78ca30efa3569ad2d506db73e1fb407cbc9655d
-  data.tar.gz: 4be9efbb31e2e8bf02d5ce0f609d1f3a55bf73e3
+  metadata.gz: a6badba6dc484656af3c748b440f056939d3c805
+  data.tar.gz: db9fc1cc01be0b01f459f79dcd1e454ae12f8ba3
 SHA512:
-  metadata.gz: 7a3c0643ec2b53e282c7bcac7691c8a1c9d4a2582257871a92b8b0710b6fbf2c023c5c017261f8624247f24dcc88c7a643c5ad760cd259b315dd21a0f3cf45a4
-  data.tar.gz: c0f4251eae69690753bedbcdef6996b8270340ef90aeab04b27f900f877c2bb78e1a5fbb95980f06105dd7e0774f3217ecd3536a35db1115c3455a1fa423be31
+  metadata.gz: 7d0448a5b3a64627a81d6944afef86858be10818b935513d6754749f7d99b0fd347ac64ede06af5264fbfd140146305f0a3cf3cee1ab173aec841a4ad0a8ca60
+  data.tar.gz: 9a4dd20d39938f850ac5876d424b583f88a773a5997608cfc7d003d5c2d533bab69dd65fb98644b3fe4d171f42ac3f20621e456b84ff4b9a9dffd7e4ff6b809a

data/.codeclimate.yml

@@ -8,6 +8,9 @@ engines:
     enabled: true
   rubocop:
     enabled: true
+    checks:
+      Rubocop/Style/CommentIndentation:
+        enabled: false
   reek:
     enabled: true
 ratings:

data/.rubocop.yml

@@ -26,3 +26,7 @@ Style/AsciiComments:
 Style/Documentation:
   Description: 'Document classes and non-namespace modules.'
   Enabled: false
+
+Style/CommentIndentation:
+  Description: 'Indentation of comments.'
+  Enabled: fasle

data/Gemfile.lock

@@ -4,7 +4,7 @@ PATH
     gt06_server (0.0.1)
       bindata (~> 2.3)
       celluloid-io (~> 0.17.3)
-      concurrent-ruby (>= 1.0.2)
+      concurrent-ruby (~> 1.0)
 
 GEM
   remote: https://rubygems.org/
@@ -60,12 +60,14 @@ GEM
     coercible (1.0.0)
       descendants_tracker (~> 0.0.1)
     concurrent-ruby (1.0.2)
+    concurrent-ruby (1.0.2-java)
     descendants_tracker (0.0.4)
       thread_safe (~> 0.3, >= 0.3.1)
     docile (1.1.5)
     equalizer (0.0.11)
     ffi (1.9.10-java)
     hitimes (1.2.4)
+    hitimes (1.2.4-java)
     i18n (0.7.0)
     ice_nine (0.11.2)
     json (1.8.3)
@@ -76,6 +78,7 @@ GEM
       net-ssh (>= 2.6.5)
     net-ssh (3.2.0)
     nio4r (1.2.1)
+    nio4r (1.2.1-java)
     parser (2.3.1.2)
       ast (~> 2.2)
     powerpack (0.1.1)
@@ -145,4 +148,4 @@ DEPENDENCIES
   rubocop
 
 BUNDLED WITH
-   1.12.5
+   1.13.1

data/Note.md

@@ -0,0 +1,20 @@
+# Note
+Из интересных моментов в разработке - пришлось искать причину “утечки памяти” 
+Локальные нагрузочные тесты не принесли результатов, пришлось реализовать мониторинг памяти и работы gc в боевой среде. 
+
+Для этого я реализовал простенький [gem (memory_monitor_client)](https://github.com/CoolElvis/memory_monitor_client) который с заданным интервалом кидает по udp  статистику gc и rss. Для агрегации я использовал logstash + kibana. 
+
+Проанализировав полученные данные я обнаружил, что количество объектов растет пропорционально памяти, ничего не обычного. Следующий шаг был посчитать количество соединений на сервере. Настроив сбор данной статистики, обнаружилось, что количество открытых соединений непрерывно растет, хотя было известно, что количество клиентов ограничено. 
+
+Возникла гипотеза -  некоторые сессии просто висят в открытом состоянии, но при этом не шлют никаких данных. Специфика данной ситуации в том, что связь на устройствах не стабильна, так как устройство постоянно перемещается (установлено на автомобиле), причем часто в зонах не уверенного приема сети.   
+
+Чтобы проверить гипотезу, я реализовал механизм [session_sweeper](https://github.com/CoolElvis/gt06_server/blob/master/lib/gt06_server/session_sweeper.rb), который с заданным интервалом пробегает по списку сессий и закрывает, те сессии, по которым за определенный тайм-аут не пришло никаких данных. Причем закрывать соединение не через “close”, а через  “reset”. 
+
+На графике видно как изменилось количество сессий, объектов и соответственно  количество памяти. 
+
+![](memory_bloat.png)
+
+По графику можно сделать вывод, что существует сравнительно большое количество “мертвых” соединений. 
+
+Можно сделать вывод, что контроль за “мертвыми” соединениями необходимо делать на всех серверах, которые имеют дело с “долгими” клиентами. Нет никаких гарантий, что соединение корректно закроется со стороны клиента. 
+Полагаю, что в большинстве серверов такого типа подобным механизм реализован.

data/README.md

@@ -25,7 +25,7 @@ require 'gt06_server'
 
 log_path = File.expand_path(File.join(File.dirname(__FILE__), 'log/server.log'))
 
-Gt06Server::Server.run '0.0.0.0', 9000, logger: Logger.new(log_path) do |message|
+Gt06Server::Server.run('0.0.0.0', 9000, options: { logger: Logger.new(log_path) }) do |message|
   p message
 end
 
@@ -36,11 +36,13 @@ sleep
 The message is a Hash like:  
 
 ````ruby 
-{ :packet_length       => 10,
+{ 
+  :packet_length       => 10,
   :protocol_number     => 19,
   :message_type        => :status_information,
   :information_content =>
-    { :terminal_information =>
+    { 
+      :terminal_information =>
         {
           :electricity_bit => 0,
           :gps_bit         => 0,
@@ -57,5 +59,5 @@ The message is a Hash like:
   :serial_number       => 48
 }
 ````
-The content of 'information_content' depends on 'message_type'  
+The content of 'information_content' depends on 'message_type'
 See lib/gt06_server/messages for details  

data/lib/gt06_server.rb

@@ -3,6 +3,6 @@ require_relative 'gt06_server/version'
 require_relative 'gt06_server/crc'
 require_relative 'gt06_server/packet'
 require_relative 'gt06_server/protocol'
-require_relative 'gt06_server/session_killer'
+require_relative 'gt06_server/session_sweeper'
 require_relative 'gt06_server/session'
 require_relative 'gt06_server/server'

data/lib/gt06_server/server.rb

@@ -39,10 +39,10 @@ module Gt06Server
 
       @sessions = Concurrent::Map.new
 
-      killer = SessionKiller.new(@sessions, options.fetch(:session_timeout, nil), interval: options.fetch(:killer_interval, nil))
-      killer.run
+      sweeper = SessionSweeper.new(@sessions, options.fetch(:session_timeout, nil), interval: options.fetch(:sweep_interval, nil))
+      sweeper.run
 
-      @info = { killer_info: killer.info }
+      @info = { sweeper_info: sweeper.info }
 
       async.run handler
     end

data/lib/gt06_server/session.rb

@@ -17,7 +17,7 @@ module Gt06Server
     # @yield [Hash] information_content of packet
     # @raise EOF
     def run(&block)
-      handle_head_packet(Protocol.read_pack(@io))
+      handle_head_pack(Protocol.read_pack(@io))
 
       loop do
         handle_main_pack(Protocol.read_pack(@io), &block)
@@ -26,7 +26,7 @@ module Gt06Server
 
     private
 
-    def handle_head_packet(pack)
+    def handle_head_pack(pack)
       if pack.payload.message_type != :login_message
         raise SessionError, 'Expect login message first but received: ' + pack.to_hex
       end
@@ -42,10 +42,13 @@ module Gt06Server
     def handle_main_pack(pack, &block)
       logger.debug "terminal_id: #{@terminal_id} , info #{@info}, message: #{pack}"
       @info[:received_count] += 1
+      @info[:last_received_at] = Time.now
+
 
       block.yield(pack.payload)
 
-      if (ack_pack = Protocol.replay_on(pack))
+      ack_pack = Protocol.replay_on(pack)
+      if (ack_pack)
         @io.write(ack_pack.to_binary_s)
         @info[:sent_count] += 1
       end

data/lib/gt06_server/{session_killer.rb → session_sweeper.rb}

@@ -1,6 +1,6 @@
 require 'concurrent'
 
-class SessionKiller
+class SessionSweeper
   attr_reader :sessions , :info, :timeout, :interval
 
   def initialize(sessions, timeout = 60, interval: 30)
@@ -27,7 +27,6 @@ class SessionKiller
       @info[:count] += 1
     end
 
-
     timer.execute
   end
 

data/lib/gt06_server/version.rb

@@ -1,4 +1,4 @@
 # frozen_string_literal: true
 module Gt06Server
-  VERSION = '0.0.1'
+  VERSION = '0.0.2'
 end

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: gt06_server
 version: !ruby/object:Gem::Version
-  version: 0.0.1
+  version: 0.0.2
 platform: ruby
 authors:
 - CoolElvis
 autorequire: 
 bindir: exe
 cert_chain: []
-date: 2016-08-02 00:00:00.000000000 Z
+date: 2016-11-13 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: bindata
@@ -95,6 +95,7 @@ files:
 - ".travis.yml"
 - Gemfile
 - Gemfile.lock
+- Note.md
 - README.md
 - Rakefile
 - gt06_server.gemspec
@@ -114,10 +115,11 @@ files:
 - lib/gt06_server/protocol.rb
 - lib/gt06_server/server.rb
 - lib/gt06_server/session.rb
-- lib/gt06_server/session_killer.rb
+- lib/gt06_server/session_sweeper.rb
 - lib/gt06_server/version.rb
 - lib/libcrc16.rb
 - lib/libcrc_16.so
+- memory_bloat.png
 homepage: https://github.com/CoolElvis/gt06_server
 licenses:
 - MIT