fluentd-ui 1.0.1 → 1.1.0

data/config/locales/translation_ja.yml

@@ -112,6 +112,10 @@ ja:
       setup_in_monitor_agent: 監視エージェント
       setup_in_http: http
       setup_in_forward: 転送（他Fluentdからの受信）
+      setup_filter_grep: フィルタリング（grep）
+      setup_filter_parser: パース
+      setup_filter_record_transformer: レコード加工
+      setup_filter_stdout: 標準出力（ログ）
       setup_out_tdlog: Treasure Data
       setup_out_stdout: 標準出力（ログ）
       setup_out_mongo: MongoDB
@@ -144,6 +148,7 @@ ja:
         page_title: ソースと出力先の追加
         in: 入力
         out: 出力
+        filter: フィルター
         current: 現在の設定
         setting_empty: 設定されていません
       show:
@@ -153,7 +158,7 @@ ja:
         page_title: 設定ファイルの編集
       out_forward:
         option_guide: |
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/out_forward">out_forwardプラグインの解説</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/out_forward">out_forwardプラグインの解説</a>もご参照ください。
         secondary_note: |
           ※どのserverにも転送できなかった場合、上記のパスにファイルとしてデータが保存されます。
         show:
@@ -161,7 +166,7 @@ ja:
       out_s3:
         option_guide: |
           fluent-plugin-s3プラグインのインストールが必要です。<br />
-          <a target="_blank" href="http://docs.fluentd.org/articles/out_s3">out_s3プラグインの解説</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/out_s3">out_s3プラグインの解説</a>もご参照ください。
         show:
           page_title: AWS S3書き出し設定
       out_tdlog:
@@ -172,37 +177,61 @@ ja:
       out_elasticsearch:
         option_guide: |
           fluent-plugin-elasticsearchプラグインのインストールが必要です。<br />
-          <a target="_blank" href="https://github.com/uken/fluent-plugin-elasticsearch">out_elasticsearchプラグインの解説</a>もご参照ください。
+          <a target="_blank" href="httpss://github.com/uken/fluent-plugin-elasticsearch">out_elasticsearchプラグインの解説</a>もご参照ください。
         show:
           page_title: Elasticsearch設定
       out_mongo:
         option_guide: |
           fluent-plugin-mongoプラグインのインストールが必要です。<br />
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/out_mongo">out_mongoプラグインの解説</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/out_mongo">out_mongoプラグインの解説</a>もご参照ください。
         show:
           page_title: MongoDB書き出し設定
       out_stdout:
         option_guide: |
           標準出力（デーモンとして起動しているときはログファイル）へイベントを書き出します。<br />
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/out_stdout">out_stdoutプラグインの解説</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/out_stdout">out_stdoutプラグインの解説</a>もご参照ください。
+        show:
+          page_title: 標準出力（ログ）
+      filter_grep:
+        option_guide: |
+          指定したフィールドの値を元にイベントを「Grep」します。<br />
+          <a target="_blank" href="https://docs.fluentd.org/articles/filter_grep">filter_grepプラグインの解説</a>もご参照ください。
+        show:
+          page_title: Grepフィルター設定
+      filter_parser:
+        option_guide: |
+          指定したフィールドの値をパースした結果を使ってイベントを加工します。<br />
+          <a target="_blank" href="https://docs.fluentd.org/articles/filter_parser">filter_parserプラグインの解説</a>もご参照ください。
+        show:
+          page_title: Parserフィルター設定
+      filter_record_transformer:
+        option_guide: |
+          様々な方法でイベントを加工します。<br />
+          <a target="_blank" href="https://docs.fluentd.org/articles/filter_record_transformer">filter_record_transformerプラグインの解説</a>もご参照ください。
+        show:
+          page_title: レコード加工設定
+      filter_stdout:
+        option_guide: |
+          標準出力（デーモンとして起動しているときはログファイル）へイベントを書き出します。<br />
+          <a target="_blank" href="https://docs.fluentd.org/articles/filter_stdout">filter_stdoutプラグインの解説</a>もご参照ください。
         show:
           page_title: 標準出力（ログ）
       in_syslog:
         option_guide: |
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/in_syslog">in_syslogプラグイン解説ページ</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/in_syslog">in_syslogプラグイン解説ページ</a>もご参照ください。
         show:
           page_title: Syslog読み込み設定
       in_monitor_agent:
         option_guide: |
           HTTP経由で現在稼働中のfluentdが使用しているconfigやプラグインをJSONやLTSV形式で取得できます。<br />
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/monitoring">監視エージェント</a>のページもご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/monitoring">監視エージェント</a>のページもご参照ください。
         show:
           page_title: 監視エージェント設定(monitor_agent)
       in_http:
         option_guide: |
           http POSTからレコードを取得可能にします。<br />
           URLパスはFluentdイベントログのタグとなり、ポストされたbody要素はレコードそのものになります。<br />
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/in_http">httpインプットプラグイン解説ページ</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/in_http">httpインプットプラグイン解説ページ</a>もご参照ください。
         show:
           page_title: http入力設定
       in_forward:
@@ -210,12 +239,12 @@ ja:
           TCPソケットをリッスンし、イベントストリームを受信します。<br />
           UDPソケットもリッスンし、ハートビートメッセージを受信します。<br />
           他のFluentdインスタンス、fluent-catコマンドまたはクライアントライブラリーからイベントログを受信するために使用されます。<br />
-          <a target="_blank" href="http://docs.fluentd.org/ja/articles/in_forward">forwardインプットプラグイン解説ページ</a>もご参照ください。
+          <a target="_blank" href="https://docs.fluentd.org/articles/in_forward">forwardインプットプラグイン解説ページ</a>もご参照ください。
         show:
           page_title: forward入力設定
 
       in_tail_option_guide: |
-        <a target="_blank" href="http://docs.fluentd.org/ja/articles/in_tail">in_tailプラグインの解説ページ</a>や
+        <a target="_blank" href="https://docs.fluentd.org/articles/in_tail">in_tailプラグインの解説ページ</a>や
         <a target="_blank" href="http://fluentular.herokuapp.com/">Fluentular</a>もご参照ください。
       in_tail:
         notice_for_multiline_limit: "改行区切りで正規表現を入力してください。空行はカウントされません。21行目以降の入力は無視されます。"

data/config/routes.rb

@@ -41,6 +41,12 @@ Rails.application.routes.draw do
           post "finish"
         end
 
+        %w(grep parser record_transformer stdout).each do |type|
+          resource "filter_#{type}", only: [:show], module: :settings, controller: "filter_#{type}" do
+            post "finish"
+          end
+        end
+
         resource :out_stdout, only: [:show], module: :settings, controller: :out_stdout do
           post "finish"
         end

data/lib/fluentd-ui/version.rb

@@ -1,3 +1,3 @@
 module FluentdUI
-  VERSION = "1.0.1"
+  VERSION = "1.1.0"
 end

data/test/factories/fluentd.rb

@@ -3,9 +3,9 @@ FactoryBot.define do
     dir = Rails.root.join("tmp/fluentd-test").to_s
     FileUtils.mkdir_p(dir)
 
-    variant "fluentd_gem"
-    log_file dir + "/fluentd.log"
-    pid_file dir + "/fluentd.pid"
-    config_file dir + "/fluentd.conf"
+    variant { "fluentd_gem" }
+    log_file { dir + "/fluentd.log" }
+    pid_file { dir + "/fluentd.pid" }
+    config_file { dir + "/fluentd.conf" }
   end
 end

data/test/factories/plugins.rb

@@ -2,7 +2,7 @@
 
 FactoryBot.define do
   factory :plugin do
-    gem_name "fluent-plugin-dummy"
-    version "1.2.3"
+    gem_name { "fluent-plugin-dummy" }
+    version { "1.2.3" }
   end
 end

data/test/factories/user.rb

@@ -1,6 +1,6 @@
 FactoryBot.define do
   factory :user do
-    name "admin"
-    password "changeme"
+    name { "admin" }
+    password { "changeme" }
   end
 end

data/test/fixtures/config/label.conf

@@ -0,0 +1,15 @@
+<source>
+  @type dummy
+  tag dummy
+  @label @INPUT
+</source>
+
+<label @INPUT>
+  <filter dummy>
+    @type stdout
+  </filter>
+
+  <match dummy>
+    @type stdout
+  </match>
+</label>

data/test/fixtures/config/multi-label.conf

@@ -0,0 +1,40 @@
+<source>
+  @type dummy
+  tag dummy1
+  @label @INPUT
+</source>
+
+<source>
+  @type dummy
+  tag dummy2
+  @label @INPUT
+</source>
+
+<label @INPUT>
+  <filter dummy1>
+    @type stdout
+  </filter>
+
+  <match dummy1>
+    @type relabel
+    @label @MAIN
+  </match>
+</label>
+
+<label @MAIN>
+  <filter dummy1>
+    @type stdout
+  </filter>
+
+  <filter dummy2>
+    @type stdout
+  </filter>
+
+  <match dummy1>
+    @type stdout
+  </match>
+
+  <match dummy2>
+    @type stdout
+  </match>
+</label>

data/test/fixtures/config/simple.conf

@@ -0,0 +1,12 @@
+<source>
+  @type dummy
+  tag dummy
+</source>
+
+<filter dummy>
+  @type stdout
+</filter>
+
+<match dummy>
+  @type stdout
+</match>

data/test/models/fluentd/agent_common_test.rb

@@ -0,0 +1,288 @@
+require "test_helper"
+
+class Fluentd
+  class TestAgentCommon < ActiveSupport::TestCase
+    class DummyAgent
+      include ::Fluentd::Agent::Common
+    end
+
+    setup do
+      @agent = DummyAgent.new
+    end
+
+    sub_test_case "#parse_config" do
+      test "empty" do
+        actual = @agent.__send__(:parse_config, "")
+        assert_equal({}, actual)
+      end
+
+      test "simple" do
+        actual = @agent.__send__(:parse_config, fixture_content("config/simple.conf"))
+        source_section_content = <<-CONFIG.strip_heredoc.chomp
+        <source>
+          @type dummy
+          tag dummy
+        </source>
+        CONFIG
+        filter_section_content = <<-CONFIG.strip_heredoc.chomp
+        <filter dummy>
+          @type stdout
+        </filter>
+        CONFIG
+        match_section_content = <<-CONFIG.strip_heredoc.chomp
+        <match dummy>
+          @type stdout
+        </match>
+        CONFIG
+        expected = {
+          "source" => [
+            { pos: 0, content: source_section_content }
+          ],
+          "filter" => [
+            { pos: 44, content: filter_section_content }
+          ],
+          "match" => [
+            { pos: 85, content: match_section_content }
+          ]
+        }
+        assert_equal(expected, actual)
+      end
+
+      test "simple label" do
+        actual = @agent.__send__(:parse_config, fixture_content("config/label.conf"))
+        source_section_content = <<-CONFIG.strip_heredoc.chomp
+        <source>
+          @type dummy
+          tag dummy
+          @label @INPUT
+        </source>
+        CONFIG
+        filter_section_content = <<-CONFIG.chomp
+  <filter dummy>
+    @type stdout
+  </filter>
+        CONFIG
+        match_section_content = <<-CONFIG.chomp
+  <match dummy>
+    @type stdout
+  </match>
+        CONFIG
+        sections = {
+          "filter" => [
+            { label: "@INPUT", pos: 76, content: filter_section_content}
+          ],
+          "match" => [
+            { label: "@INPUT", pos: 122, content: match_section_content}
+          ]
+        }
+        expected = {
+          "source" => [
+            { pos: 0, content: source_section_content }
+          ],
+          "label:@INPUT" => [
+            { label: "@INPUT", pos: 60, sections: sections, size: 116 }
+          ]
+        }
+        assert_equal(expected, actual)
+      end
+
+      test "multiple labels" do
+        actual = @agent.__send__(:parse_config, fixture_content("config/multi-label.conf"))
+        source_section_content1 = <<-CONFIG.strip_heredoc.chomp
+        <source>
+          @type dummy
+          tag dummy1
+          @label @INPUT
+        </source>
+        CONFIG
+        source_section_content2 = <<-CONFIG.strip_heredoc.chomp
+        <source>
+          @type dummy
+          tag dummy2
+          @label @INPUT
+        </source>
+        CONFIG
+        filter_section_content = <<-CONFIG.chomp
+  <filter dummy1>
+    @type stdout
+  </filter>
+        CONFIG
+        match_section_content = <<-CONFIG.chomp
+  <match dummy1>
+    @type relabel
+    @label @MAIN
+  </match>
+        CONFIG
+        input_sections = {
+          "filter" => [
+            { label: "@INPUT", pos: 140, content: filter_section_content }
+          ],
+          "match" => [
+            { label: "@INPUT", pos: 187, content: match_section_content }
+          ]
+        }
+        filter_secion_content1 = <<-CONFIG.chomp
+  <filter dummy1>
+    @type stdout
+  </filter>
+        CONFIG
+        filter_secion_content2 = <<-CONFIG.chomp
+  <filter dummy2>
+    @type stdout
+  </filter>
+        CONFIG
+        match_secion_content1 = <<-CONFIG.chomp
+  <match dummy1>
+    @type stdout
+  </match>
+        CONFIG
+        match_secion_content2 = <<-CONFIG.chomp
+  <match dummy2>
+    @type stdout
+  </match>
+        CONFIG
+        main_sections = {
+          "filter" => [
+            { label: "@MAIN", pos: 275, content: filter_secion_content1 },
+            { label: "@MAIN", pos: 322, content: filter_secion_content2 }
+          ],
+          "match" => [
+            { label: "@MAIN", pos: 370, content: match_secion_content1 },
+            { label: "@MAIN", pos: 416, content: match_secion_content2 }
+          ]
+        }
+        expected = {
+          "source" => [
+            { pos: 0, content: source_section_content1 },
+            { pos: 61, content: source_section_content2 },
+          ],
+          "label:@INPUT" => [
+            { label: "@INPUT", pos: 124, sections: input_sections, size: 136 }
+          ],
+          "label:@MAIN" => [
+            { label: "@MAIN", pos: 260, sections: main_sections, size: 211 }
+          ]
+        }
+        assert_equal(expected, actual)
+      end
+    end
+
+    sub_test_case "#dump_parsed_config" do
+      test "simple" do
+        parsed_config = @agent.__send__(:parse_config, fixture_content("config/simple.conf"))
+        config = @agent.__send__(:dump_parsed_config, parsed_config)
+        assert_equal(fixture_content("config/simple.conf"), config)
+      end
+
+      test "simple label" do
+        parsed_config = @agent.__send__(:parse_config, fixture_content("config/label.conf"))
+        config = @agent.__send__(:dump_parsed_config, parsed_config)
+        assert_equal(fixture_content("config/label.conf"), config)
+      end
+
+      test "multiple labels" do
+        parsed_config = @agent.__send__(:parse_config, fixture_content("config/multi-label.conf"))
+        config = @agent.__send__(:dump_parsed_config, parsed_config)
+        assert_equal(fixture_content("config/multi-label.conf"), config)
+      end
+    end
+
+    sub_test_case "#config_merge" do
+      test "simple" do
+        stub(@agent).config { fixture_content("config/simple.conf") }
+        stub(@agent).backup_config
+        content = <<-CONFIG
+<match dummy3>
+  @type stdout
+</match>
+        CONFIG
+        mock(@agent).config_append(content)
+        @agent.config_merge(content)
+      end
+
+      test "simple with label" do
+        stub(@agent).config { fixture_content("config/simple.conf") }
+        stub(@agent).backup_config
+        content = <<-CONFIG
+<label @INPUT>
+  <match dummy3>
+    @type stdout
+  </match>
+</label>
+        CONFIG
+        mock(@agent).config_append(content)
+        @agent.config_merge(content)
+      end
+
+      test "append to label" do
+        stub(@agent).config { fixture_content("config/label.conf") }
+        stub(@agent).config_file { "tmp/fluent.conf" }
+        stub(@agent).backup_config
+        content = <<-CONFIG
+<label @INPUT>
+  <match dummy3>
+    @type stdout
+  </match>
+</label>
+        CONFIG
+        mock(@agent).config_write(<<-CONFIG)
+<source>
+  @type dummy
+  tag dummy
+  @label @INPUT
+</source>
+
+<label @INPUT>
+  <filter dummy>
+    @type stdout
+  </filter>
+
+  <match dummy>
+    @type stdout
+  </match>
+
+  <match dummy3>
+    @type stdout
+  </match>
+</label>
+        CONFIG
+        @agent.config_merge(content)
+      end
+
+      test "append filter to label" do
+        stub(@agent).config { fixture_content("config/label.conf") }
+        stub(@agent).config_file { "tmp/fluent.conf" }
+        stub(@agent).backup_config
+        content = <<-CONFIG
+<label @INPUT>
+  <filter dummy3>
+    @type stdout
+  </filter>
+</label>
+        CONFIG
+        mock(@agent).config_write(<<-CONFIG)
+<source>
+  @type dummy
+  tag dummy
+  @label @INPUT
+</source>
+
+<label @INPUT>
+  <filter dummy>
+    @type stdout
+  </filter>
+
+  <filter dummy3>
+    @type stdout
+  </filter>
+
+  <match dummy>
+    @type stdout
+  </match>
+</label>
+        CONFIG
+        @agent.config_merge(content)
+      end
+    end
+  end
+end