fluent-plugin-everysense 0.1.1 → 0.1.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA1:
-  metadata.gz: 17c6328763d8e5523586abfc422caf48783a4bae
-  data.tar.gz: 4cc50e55699c7df43ad81aafa3745d6e24764fb1
+  metadata.gz: e7baa88d228b7e1c9193ab88739eba098a1e6d44
+  data.tar.gz: fa6a38b9be0fa3c13e79a8351c2b999994e722ba
 SHA512:
-  metadata.gz: bc785f53b42594dbba6077c8786866e0a84a420b27759165855ea7a58afd5c16b786d88d293bbb19a735249c4d37507b6788034682cd1875c87232553474ce01
-  data.tar.gz: 5cb450b26527bd1c8df26187d6ed59f98522917cbe2a75dbc7e72881ba37abd342edc594d68c68b8be365b2c14a39207c0bb45548f4ff793ca03a94afb2ea18d
+  metadata.gz: 1fc0dd1c8fcbacd1b9409a1cb8f6c2f6c7ad09f47a66b9e430df17c7f2653fc9f063df6a83d28f1c61eaadf8ec42044f7814229d0e8140e83a66ab70cd4d7043
+  data.tar.gz: 61c7e9b78c9b023472b888831f295c1e4887e05e25f51984e39667ca1e7dc85d1eb0e39a822524b67d66394386ff1fcfb562aa25450542b83c2fda0d07237174

data/examples/everystamp/README.md

@@ -11,21 +11,21 @@ https://www.elastic.co/downloads/elasticsearch
 
 Linuxの場合は以下のページにある方法でパッケージ管理システム (apt, yum) を用いてインストールするのが簡単です．
 
-https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-repositories.html
+https://www.elastic.co/guide/en/elasticsearch/reference/5.0/deb.html
+
 
 Kibanaも同様にパッケージ管理システムを用いてインストールできます．
 
-https://www.elastic.co/guide/en/kibana/4.5/_upgrading_kibana.html
+https://www.elastic.co/guide/en/kibana/5.0/deb.html
 
 インストールが完了したらサービスを開始します．
 
-https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-service.html
-
 ```
 sudo /bin/systemctl daemon-reload
 sudo /bin/systemctl enable elasticsearch.service
 sudo /bin/systemctl start elasticsearch.service
 sudo /bin/systemctl enable kibana.service
+sudo /bin/systemctl start kibana.service
 ```
 
 ブラウザで http://localhost:5601/ にアクセスするとKibanaの画面が表示されます．
@@ -48,8 +48,8 @@ source ~/.bashrc
 ### ruby-buildのインストール
 git clone https://github.com/rbenv/ruby-build.git /usr/local/rbenv/plugins/ruby-build
 ### rubyのインストール
-rbenv install 2.2.4
-rbenv global 2.2.4
+rbenv install 2.4.1
+rbenv global 2.4.1
 ```
 以下fluentdと必要なpluginのインストールです．
 
@@ -61,11 +61,11 @@ gem install fluent-plugin-everysense fluent-plugin-elasticsearch
 
 ## ElasticSearchでのmappingの作成
 
-piot-mapping.json ファイルを用いてmappingを作成します．
+everysense-mapping.json ファイルを用いてmappingを作成します．
 
 ```
-curl -XPUT 'http://localhost:9200/piot'
-cat piot-mapping.json | curl -XPUT 'http://localhost:9200/piot/everystamp/_mapping' -d @-
+curl -XPUT 'http://localhost:9200/everysense'
+curl -XPUT 'http://localhost:9200/everysense/everystamp/_mapping' -d @everysense-mapping.json
 ```
 
 KibanaのSettingsのindex nameとしてpiotを指定し，時間属性としてtimestampを指定して，index patternを作成します．
@@ -73,10 +73,10 @@ KibanaのSettingsのindex nameとしてpiotを指定し，時間属性としてt
 
 ## fluentdの設定
 
-fluent-everystamp.conf ファイルを用いてfluentdを立ち上げます．
+everysense.conf ファイルを用いてfluentdを立ち上げます．
 
 ```
-fluentd -c fluent-everystamp.conf
+fluentd -c everysense.conf -vvv
 ```
 
 これでEverySense ServerにアップロードされたデータをElasticSearchに格納できるようになりました．

data/examples/everystamp/everysense.conf

@@ -0,0 +1,74 @@
+<source>
+  # fluent-plugin-everysense の input plugin を指定します．
+  @type everysense
+  tag location1.everystamp
+  # ここではラベルを用いていますが，tagを用いることもできます．
+  @label @everystamp
+  # EverySense Serverのアカウント名を指定してください．
+  login_name username
+  # EverySense Serverのアカウントパスワードを指定してください．
+  password XXXXXXXXXXXX
+  # EverySense Server上に作成したレシピのレシピIDを指定してください．
+  recipe_id XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX
+  # 取得間隔は変更可能です．
+  polling_interval 30
+  # 現状JSONフォーマットのみ対応しています．
+  format json
+  <parse>
+    @type json
+  </parse>
+</source>
+
+<label @everystamp>
+  # fluent-plugin-everysense の filter plugin で複数センサの情報を同時に取得した場合にfluentd上の複数イベントに変換します．
+  <filter location1.*>
+    @type everysense
+  </filter>
+  # EverySense Serverの出力をElasticSearchのmappingの形式に変換します．
+  # センサごとの変換ロジックが必要ですが，ここではEveryStamp, EveryPostで
+  # 利用可能なセンサについて変換例を示しています．
+  <filter location1.*>
+    @type record_transformer
+    enable_ruby true
+    auto_typecast true
+    <record>
+      timestamp   ${Time.parse(record["data"]["at"]).utc.strftime("%Y-%m-%d %H:%M:%S")}
+      accelerometer     ${if record["data_class_name"] == "Accelerometer" then return {"x": record["data"]["values"][0], "y": record["data"]["values"][1], "z": record["data"]["values"][2]} end}
+      air_hygrometer   ${if record["data_class_name"] == "AirHygrometer" then return record["data"]["value"] end}
+      air_temperature   ${if record["data_class_name"] == "AirTemperature" then return record["data"]["value"] end}
+      angular_velocity    ${if record["data_class_name"] == "AngularVelocity" then return {"x": record["data"]["values"][0], "y": record["data"]["values"][1], "z": record["data"]["values"][2]} end}
+      barometric_pressure   ${if record["data_class_name"] == "BarometricPressure" then return record["data"]["value"] end}
+      environmental_sound   ${if record["data_class_name"] == "EnvironmentalSound" then return record["data"]["values"] end}
+      earth_magnetometer    ${if record["data_class_name"] == "EarthMagnetometer" then return {"x": record["data"]["values"][0], "y": record["data"]["values"][1], "z": record["data"]["values"][2]} end}
+      illuminance   ${if record["data_class_name"] == "Illuminance" then return record["data"]["value"] end}
+      location    ${if record["data_class_name"] == "Location" then if record["data"]["location"].nil? then return {"lon": record["data"]["values"][0], "lat": record["data"]["values"][1]} else return {"lon": record["data"]["location"]["longitude"], "lat": record["data"]["location"]["latitude"]} end end}
+      motion_activity ${if record["data_class_name"] == "MotionActivity" then return record["data"]["value"] end}
+      switch    ${if record["data_class_name"] == "Switch" then if record["data"]["value"] == "true" then return true else return false end end}
+      uv_figure   ${if record["data_class_name"] == "UV_Figure" then return record["data"]["value"] end}
+    </record>
+  </filter>
+  # デバッグ用に標準出力だけで確認したい場合は以下を有効にしてください．
+  #<match location1.*>
+  #  @type stdout
+  #</match>
+  # ElasticSearchに格納しながら，標準出力でも格納された内容を確認したい
+  # 場合は，以下でコメントアウトされている箇所を有効にしてください．
+  <match location1.*>
+    #@type copy
+    #<store>
+      @type elasticsearch
+      # ElasticSearchを立ち上げたホストを指定してください．
+      host localhost
+      port 9200
+      index_name everysense
+      type_name everystamp
+      logstash_format false
+      include_tag_key true
+      time_key data.at
+      flush_interval 30s
+    #</store>
+    #<store>
+    #  @type stdout
+    #</store>
+  </match>
+</label>

data/fluent-plugin-everysense.gemspec

@@ -4,7 +4,7 @@ $LOAD_PATH.unshift(lib) unless $LOAD_PATH.include?(lib)
 
 Gem::Specification.new do |spec|
   spec.name          = "fluent-plugin-everysense"
-  spec.version       = "0.1.1"
+  spec.version       = "0.1.2"
   spec.authors       = ["Toyokazu Akiyama"]
   spec.email         = ["toyokazu@gmail.com"]
 

data/lib/fluent/plugin/everysense_proxy.rb

@@ -35,7 +35,13 @@ module Fluent::Plugin
     end
 
     def valid_session?
-      !@session_key.nil? # TODO validate @session_key using EverySense API
+      # TODO validate @session_key using EverySense API
+      if !@session_key.nil?
+        if Time.now < @session_expires_in
+          return true
+        end
+      end
+      return false
     end
 
     def create_session_request
@@ -51,6 +57,7 @@ module Fluent::Plugin
       session_res = @https.request(@session_req)
       return nil if !error_handler(session_res, 'create_session failed.')
       @session_key = JSON.parse(session_res.body)["session_key"]
+      @session_expires_in = Time.now + 60 * 60 * 12 # assuming time out in a half day
     end
 
     def delete_session_request

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: fluent-plugin-everysense
 version: !ruby/object:Gem::Version
-  version: 0.1.1
+  version: 0.1.2
 platform: ruby
 authors:
 - Toyokazu Akiyama
 autorequire: 
 bindir: bin
 cert_chain: []
-date: 2017-05-20 00:00:00.000000000 Z
+date: 2017-05-23 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: fluentd
@@ -80,8 +80,8 @@ files:
 - README.md
 - Rakefile
 - examples/everystamp/README.md
-- examples/everystamp/fluent-everystamp.conf
-- examples/everystamp/piot-mapping.json
+- examples/everystamp/everysense-mapping.json
+- examples/everystamp/everysense.conf
 - fluent-plugin-everysense.gemspec
 - lib/fluent/plugin/everysense_proxy.rb
 - lib/fluent/plugin/filter_everysense.rb

data/examples/everystamp/fluent-everystamp.conf

@@ -1,70 +0,0 @@
-<source>
-  # fluent-plugin-everysense の input plugin を指定します．
-  @type everysense
-  # ここではラベルを用いていますが，tagを用いることもできます．
-  @label @test
-  # EverySense Serverのアカウント名を指定してください．
-  login_name username
-  # EverySense Serverのアカウントパスワードを指定してください．
-  password XXXXXXXXXXXX
-  # EverySense Server上に作成したレシピのレシピIDを指定してください．
-  recipe_id XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX
-  # 取得間隔は変更可能です．
-  polling_interval 30
-  # 現状JSONフォーマットのみ対応しています．
-  format json
-</source>
-
-<label @test>
-  # fluent-plugin-everysense の filter plugin で複数センサの情報を同時に取得した場合にfluentd上の複数イベントに変換します．
-  <filter **>
-    @type everysense
-  </filter>
-  # EverySense Serverの出力をElasticSearchのmappingの形式に変換します．
-  # センサごとの変換ロジックが必要ですが，ここではEveryStamp, EveryPostで
-  # 利用可能なセンサについて変換例を示しています．
-  <filter **>
-    @type record_transformer
-    enable_ruby true
-    auto_typecast true
-    <record>
-      timestamp   ${Time.parse(data["at"]).utc.strftime("%Y-%m-%d %H:%M:%S")}
-      accelerometer     ${if data_class_name == "Accelerometer" then return {"x": data["values"][0], "y": data["values"][1], "z": data["values"][2]} end}
-      air_hygrometer   ${if data_class_name == "AirHygrometer" then return data["value"] end}
-      air_temperature   ${if data_class_name == "AirTemperature" then return data["value"] end}
-      angular_velocity    ${if data_class_name == "AngularVelocity" then return {"x": data["values"][0], "y": data["values"][1], "z": data["values"][2]} end}
-      barometric_pressure   ${if data_class_name == "BarometricPressure" then return data["value"] end}
-      environmental_sound   ${if data_class_name == "EnvironmentalSound" then return data["values"] end}
-      earth_magnetometer    ${if data_class_name == "EarthMagnetometer" then return {"x": data["values"][0], "y": data["values"][1], "z": data["values"][2]} end}
-      illuminance   ${if data_class_name == "Illuminance" then return data["value"] end}
-      location    ${if data_class_name == "Location" then if data["location"].nil? then return {"lon": data["values"][0], "lat": data["values"][1]} else return {"lon": data["location"]["longitude"], "lat": data["location"]["latitude"]} end end}
-      motion_activity ${if data_class_name == "MotionActivity" then return data["value"] end}
-      switch    ${if data_class_name == "Switch" then if data["value"] == "true" then return true else return false end end}
-      uv_figure   ${if data_class_name == "UV_Figure" then return data["value"] end}
-    </record>
-  </filter>
-  # デバッグ用に標準出力だけで確認したい場合は以下を有効にしてください．
-  #<match **>
-  #  @type stdout
-  #</match>
-  # ElasticSearchに格納しながら，標準出力でも格納された内容を確認したい
-  # 場合は，以下でコメントアウトされている箇所を有効にしてください．
-  <match **>
-    #@type copy
-    #<store>
-      @type elasticsearch
-      # ElasticSearchを立ち上げたホストを指定してください．
-      host localhost
-      port 9200
-      index_name piot
-      type_name everystamp
-      logstash_format false
-      include_tag_key true
-      time_key data.at
-      flush_interval 30s
-    #</store>
-    #<store>
-    #  @type stdout
-    #</store>
-  </match>
-</label>