bucky-core 0.9.0

data/system_testing/test_bucky_project/services/service_a/pc/scenarios/e2e/teardown_each_pc_e2e.yml

@@ -0,0 +1,20 @@
+desc: teardown each pc e2e suits
+device: pc
+service: service_a
+priority: high
+test_category: e2e
+teardown_each:
+    procs:
+      - proc: open test_page.html
+        exec:
+          operate: go
+          url: http://bucky.net/test_page.html
+cases:
+  - case_name: teardown_each_pc_e2e_1
+    func: teardown each pc e2e 1 func
+    desc: teardown each pc e2e 1 func
+    procs:
+      - proc: open page
+        exec:
+          operate: go
+          url: http://bucky.net

data/system_testing/test_bucky_project/services/service_a/pc/scenarios/linkstatus/pc_link.yml

@@ -0,0 +1,10 @@
+desc: pc linkstatus test suites
+device: pc
+service: service_a
+priority: high
+test_category: linkstatus
+cases:
+  - case_name: pc_link_1
+    desc: pc linkstatus test 1
+    urls:
+      - http://bucky.net

data/system_testing/test_bucky_project/services/service_a/sp/pageobject/index.rb

@@ -0,0 +1,14 @@
+# frozen_string_literal: true
+
+require 'bucky/test_equipment/pageobject/base_pageobject'
+
+module Services
+  module ServiceA
+    module Sp
+      module PageObject
+        class Index < Bucky::TestEquipment::PageObject::BasePageObject
+        end
+      end
+    end
+  end
+end

data/system_testing/test_bucky_project/services/service_a/sp/parts/index.yml

@@ -0,0 +1,6 @@
+link:
+   - xpath
+   - "//*[@id='test_link']"
+ua:
+   - xpath
+   - "//*[@id='user_agent']"

data/system_testing/test_bucky_project/services/service_a/sp/scenarios/e2e/sp_e2e_test.yml

@@ -0,0 +1,26 @@
+desc: sp e2e suits
+device: sp
+service: service_a
+priority: high
+test_category: e2e
+cases:
+  - case_name: sp_e2e_1
+    func: sp e2e 1 func UserAgent
+    desc: sp e2e 1 func UserAgent
+    procs:
+      - proc: open index
+        exec:
+          operate: go
+          url: http://bucky.net
+      - proc: check UserAgent(DeviceName)
+        exec:
+          verify: assert_contained_text
+          expect: iPhone
+          page: index
+          part: ua
+      - proc: check UserAgent(Browser)
+        exec:
+          verify: assert_contained_text
+          expect: Safari
+          page: index
+          part: ua

data/system_testing/test_bucky_project/services/service_a/sp/scenarios/linkstatus/sp_link.yml

@@ -0,0 +1,10 @@
+desc: sp linkstatus test suites
+device: sp
+service: service_a
+priority: high
+test_category: linkstatus
+cases:
+  - case_name: sp_link_1
+    desc: sp linkstatus test 1
+    urls:
+      - http://bucky.net

data/system_testing/test_bucky_project/services/service_a/tablet/pageobject/index.rb

@@ -0,0 +1,14 @@
+# frozen_string_literal: true
+
+require 'bucky/test_equipment/pageobject/base_pageobject'
+
+module Services
+  module ServiceA
+    module Tablet
+      module PageObject
+        class Index < Bucky::TestEquipment::PageObject::BasePageObject
+        end
+      end
+    end
+  end
+end

data/system_testing/test_bucky_project/services/service_a/tablet/parts/index.yml

@@ -0,0 +1,6 @@
+link:
+   - xpath
+   - "//*[@id='test_link']"
+ua:
+   - xpath
+   - "//*[@id='user_agent']"

data/system_testing/test_bucky_project/services/service_a/tablet/scenarios/e2e/tablet_e2e_test.yml

@@ -0,0 +1,26 @@
+desc: tablet e2e suits
+device: tablet
+service: service_a
+priority: high
+test_category: e2e
+cases:
+  - case_name: tablet_e2e_1
+    func: tablet e2e 1 func UserAgent
+    desc: tablet e2e 1 func UserAgent
+    procs:
+      - proc: open index
+        exec:
+          operate: go
+          url: http://bucky.net
+      - proc: check UserAgent(DeviceName)
+        exec:
+          verify: assert_contained_text
+          expect: iPad
+          page: index
+          part: ua
+      - proc: check UserAgent(Browser)
+        exec:
+          verify: assert_contained_text
+          expect: Safari
+          page: index
+          part: ua

data/system_testing/test_bucky_project/system/evidences/README.md

@@ -0,0 +1 @@
+for save evidence directory.

data/system_testing/test_bucky_project/system/evidences/screen_shots/README.md

@@ -0,0 +1 @@
+for save screen shots directory.

data/system_testing/test_bucky_project/system/logs/README.md

@@ -0,0 +1 @@
+for save logs directory.

data/system_testing/test_specification.md

@@ -0,0 +1,38 @@
+# Procedures of test execution
+
+```bash
+docker-compose -f docker-compose.system-test.yml up --build -d
+
+docker exec bucky-core bats /bucky-core/system_testing/testing_code/
+# OR
+docker exec bucky-core bats /bucky-core/system_testing/testing_code/command.bats
+
+docker-compose -f docker-compose.system-test.yml down
+```
+
+# Test case specification
+※ Only Japanese now.
+※ テストケースNo.はbatsのケース説明部分に記載し、対応づけを行う
+
+| テスト条件 | テスト観点 | テストケース<br/>No. | テストケース | テスト手順 | 期待結果 |
+|:--|:--|--:|:--|:--|:--|
+| E2Eテスト実行機能 | Operateが正常に実行できるか<br/>・シナリオコードに実装されたOperateが実行できること<br/>・clickして遷移できること ※1種類のOperateができればOK<br/>ページタイトルで遷移したことを確認する | 1 | goを実行し正常に実行されること | 1. bucky run -t e2e -d -D pc -c pc_e2e_1<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>3. assert_titleメソッド実行 | goメソッドを実行後にページ遷移されていること<br/>（assert_titleメソッドの結果がOKであることを出力される文字列で判断） |
+|  | Verifyが正常に実行できるか<br/>・シナリオコードに実装されたVerifyが実行できること<br/>・titleの確認ができること ※1種類のVerifyが確認できればOK | 2 | assert_titleを実行し、正常に動作すること | 1. bucky run -t e2e -d -D pc -c pc_e2e_1<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>3. assert_titleメソッド実行 | assert_titleメソッド実行後にエラーが発生しないこと<br/>（終了後のステータスが0であること） |
+|  |  | 3 | assert_titleを実行し、期待値と実際値が異なる場合に正常に検証NG時の動作をすること | 1. bucky run -t e2e -d -D pc -c pc_e2e_2<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>3. assert_titleメソッド実行 | assert_titleメソッド実行後に検証NG判定されたことを表す文字列が表示されること |
+|  | 各デバイスのUAで正常に実行できるか | 4 | デバイスPCで実行し、正常にテストが実行されること | 1. bucky run -t e2e -d -D pc -c pc_e2e_3<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>2. assert_textメソッド実行 | assert_textでUseragentを表す文字列をチェックした結果OKであることを出力される文字列で判断<br/><br/>Linux |
+|  |  | 5 | デバイスSPで実行し、正常にテストが実行されること | 1. bucky run -t e2e -d -D sp -c sp_e2e_1<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>2. assert_textメソッド実行 | assert_textでUseragentを表す文字列をチェックした結果OKであることを出力される文字列で判断<br/><br/>Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1 |
+|  |  | 6 | デバイスTabletで実行し、正常にテストが実行されること | 1. bucky run -t e2e -d -D tablet -c tablet_e2e_1<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>2. assert_textメソッド実行 | assert_textでUseragentを表す文字列をチェックした結果OKであることを出力される文字列で判断<br/><br/>Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1 |
+|  | setup/teardown_eachが正常に動作するか | 7 | setup_eachでgoを実行し正常に実行されること | 1. bucky run -t e2e -d -D pc -c setup_each_pc_e2e_1<br/>- 以下シナリオファイル内の処理 -<br/>2. setup内でgoメソッド実行 (http://bucky.net)<br/>3. testcase内でassert_titleメソッド実行 | goメソッドを実行後にページ遷移されていること<br/>（assert_titleメソッドの結果がOKであることを出力される文字列で判断） |
+|  |  | 8 | teardown_eachでgoを実行し正常に実行されること | 1. bucky run -t e2e -d -D pc -c teardown_each_pc_e2e_1<br/>- 以下シナリオファイル内の処理 -<br/>2. teardown内でgoメソッド実行 (http://bucky.net)<br/>3. testcase内でassert_titleメソッド実行 | 例外が発生していないこと（終了後のステータスが0であること）<br/>→ 「0 failures, 0 errors」 と表示されること |
+|  |  | 9 | setup_each/teardownを実行するケースを複数ケース続けて実行して正常に動作すること | 1. bucky run -t e2e -d -D pc -c setup_teardown_each_pc_e2e_1,setup_teardown_each_pc_e2e_2 <br/>- 以下シナリオファイル内の処理 -<br/>2. setup内でgoメソッド実行 (http://bucky.net)<br/>3. assert_titleメソッド実行<br/>4. testcase内でteardown内でgoメソッド実行 (http://bucky.net)<br/>5. setup内でgoメソッド実行 (http://bucky.net)<br/>6. testcase内でassert_titleメソッド実行<br/>7. teardown内でgoメソッド実行 (http://bucky.net) | 例外が発生していないこと（終了後のステータスが0であること）<br/>→ 「0 failures, 0 errors」 と表示されること |
+| LinkStatusテスト実行機能 | 起点URLの検証が正しく実施できるか | 10 | linkstatusを実行し、起点URLが検証されること | 1. bucky run -t linkstatus -d -D pc -c pc_link_1<br/>2. http://bucky.net に対してhttpリクエストチェック実行 | 出力に http://bucky.net が含まれること |
+|  | ページ内のリンクの検証が正しく実施できるか | 11 | linkstatusを実行し、起点ページ内のリンクが検証されること | 1. bucky run -t linkstatus -d -D pc -c pc_link_1<br/>2. http://bucky.net に対してhttpリクエストチェック実行<br/>3. http://bucky.net/test_page.html に対してLinkチェック実行 | 出力に http://bucky.net/test_page.html が含まれること |
+|  | 各デバイス(PC/SP)のUAで正常に実行できるか | 12 | デバイスPCでlinkstatusを実行し、正常に動作すること | 1. bucky run -t linkstatus -d -D pc -c pc_link_1<br/>2. http://bucky.net に対してhttpリクエストチェック実行<br/>3. http://bucky.net/test_page.html に対してLinkチェック実行 | 終了後のステータスが0であること<br/>→ 「0 failures, 0 errors」 と表示されること |
+|  |  | 13 | デバイスSPでlinkstatusを実行し、正常に動作すること | 1. bucky run -t linkstatus -d -D sp -c sp_link_1<br/>2. http://bucky.net に対してhttpリクエストチェック実行<br/>3. http://bucky.net/test_page.html チェック実行 | 終了後のステータスが0であること<br/>→ 「0 failures, 0 errors」 と表示されること |
+| テスト用のプロジェクト作成機能 | 下記の構造のディレクトリ、ファイルが生成されること<br/>(./template/new 以下の内容）<br/>.<br/>├── config<br/>│ ├── bucky_config.yml<br/>│ ├── e2e_config.yml<br/>│ ├── for_spec<br/>│ │ └── test.yml<br/>│ ├── linkstatus_config.yml<br/>│ └── test_db_config.yml<br/>├── services<br/>│ └── README.md<br/>└── system<br/>├── evidences<br/>│ ├── README.md<br/>│ └── screen_shots<br/>│ └── README.md<br/>└── logs<br/>└── README.md | 14 | newコマンド実行後に期待通りのファイル、ディレクトリが作成されていること | 1. bucky new test_project | 対象ディレクトリとファイルが存在していること |
+| ページオブジェクト・パーツファイル作成機能 | 指定のサービス名、デバイスのディレクトリ以下に指定のページ名で.rbファイルと.ymlファイルが生成されること | 15 | make serviceコマンド実行後に期待通りのファイルが作成されていること | 1. (事前条件) bucky new test_project<br/>2. bucky make service test_service | 対象ディレクトリとファイルが存在していること |
+|  |  | 16 | make pageコマンド実行後に期待通りのファイルが作成されていること | 1. (事前条件) bucky new test_project<br/>2. (事前条件) bucky make service test_service<br/>3. bucky make page test_page | 対象ディレクトリとファイルが存在していること |
+| 未定義コマンド実行時の動き | 出力されるメッセージに Invalid command error. が含まれるか<br/>終了ステータスが 0 以外になるか | 17 | 未定義コマンド実行後にエラー終了すること | 1. bucky hoge fuga | 終了後のステータスが0以外であること |
+| whenを使用しての実行時の動き | 出力されるメッセージに click が含まれるか<br/>例外が発生していないこと（終了後のステータスが0であること）<br/>→ 「0 failures, 0 errors」 と表示されること | 18 | 条件指定をしたテスト実行で不具合なくprocが実行されること | 1. STAGE=development bucky run -d -D -pc -c pc_e2e_4<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>2. whenを使ったclickメソッド実行  | 例外が発生していないこと（終了後のステータスが0であること）<br/>→ 「0 failures, 0 errors」 と表示されること |
+| whenを使用しての実行時の動き | 出力されるメッセージに click が含まれないこと（終了後のステータスが0であること） | 19 | 条件指定をしないテスト実行で該当のprocが実行されないこと | 1. bucky run -d -D -pc -c pc_e2e_4<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>2. whenを使ったclickメソッドは実行されない  | 例外が発生していないこと（終了後のステータスが0であること）<br/>→ 「click」 が表示されないこと |
+| whenを使用しての実行時の動き | 出力されるメッセージに click が含まれないこと（終了後のステータスが0であること） | 20 | 違う条件を指定したテスト実行で該当のprocが実行されないこと | 1. STAGE=staging bucky run -d -D -pc -c pc_e2e_4<br/>- 以下シナリオファイル内の処理 -<br/>2. goメソッド実行 (http://bucky.net)<br/>2. whenを使ったclickメソッドは実行されない  | 例外が発生していないこと（終了後のステータスが0であること）<br/>→ 「click」 が表示されないこと |

data/system_testing/testing_code/command.bats

@@ -0,0 +1,42 @@
+#!/usr/bin/env bats
+
+BUCKY_PROJECT_NAME=bats_test
+TEST_SERVICE=test_service
+
+setup() {
+  rm -rf /tmp/$BUCKY_PROJECT_NAME
+  cd /tmp/
+  bucky new $BUCKY_PROJECT_NAME
+}
+
+teardown() {
+  rm -rf /tmp/$BUCKY_PROJECT_NAME
+}
+
+@test "#14 After executing 'new' command, expected files and directories are created" {
+  run diff /bucky-core/template/new/ /tmp/$BUCKY_PROJECT_NAME
+  [ $status -eq 0 ]
+}
+
+@test "#15 After executing 'make service' command, expected directory is created" {
+  cd /tmp/$BUCKY_PROJECT_NAME
+  bucky make service $TEST_SERVICE
+  run ls /tmp/$BUCKY_PROJECT_NAME/services/$TEST_SERVICE
+  [ $status -eq 0 ]
+}
+
+@test "#16 After executing 'make page' command, expected page and parts file are created" {
+  cd /tmp/$BUCKY_PROJECT_NAME
+  bucky make service $TEST_SERVICE
+  bucky make page test_page --service $TEST_SERVICE --device pc
+  run ls /tmp/$BUCKY_PROJECT_NAME/services/$TEST_SERVICE/pc/pageobject/test_page.rb
+  [ $status -eq 0 ]
+  run ls /tmp/$BUCKY_PROJECT_NAME/services/$TEST_SERVICE/pc/parts/test_page.yml
+  [ $status -eq 0 ]
+}
+
+@test "#17 After executing undefined command, show error message and exit" {
+  cd /tmp/$BUCKY_PROJECT_NAME
+  run bucky hoge fuga
+  [ $(expr "$output" : ".*Invalid command error.*") -ne 0 ]
+}

data/system_testing/testing_code/e2e.bats

@@ -0,0 +1,75 @@
+#!/usr/bin/env bats
+
+setup() {
+  cd /bucky-core/system_testing/test_bucky_project
+}
+
+@test "#01 After executing e2e operate go, results have no failures nor errors" {
+  run bucky run -t e2e -d -D pc -c pc_e2e_1
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#02 After executing e2e verify assert_title, results contain verify words and no failures/errors" {
+  run bucky run -t e2e -d -D pc -c pc_e2e_1
+  [ $(expr "$output" : ".*:verify.*assert_title.*") -ne 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#03 After executing e2e verify assert_title, results contain verify words and 1 failure" {
+  run bucky run -t e2e -d -D pc -c pc_e2e_2
+  [ $(expr "$output" : ".*:verify.*assert_title.*") -ne 0 ]
+  [ $(expr "$output" : ".*1 failures.*") -ne 0 ]
+}
+
+@test "#04 After executing e2e on pc , results contain 'Linux' and no failures/errors." {
+  run bucky run -t e2e -d -D pc -c pc_e2e_3
+  [ $(expr "$output" : ".*Linux.*") -ne 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#05 After executing e2e on sp , results contain 'iPhone' and no failures/errors." {
+  run bucky run -t e2e -d -D sp -c sp_e2e_1
+  [ $(expr "$output" : ".*iPhone.*") -ne 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#06 After executing e2e on tablet , results contain 'iPad' and no failures/errors." {
+  run bucky run -t e2e -d -D tablet -c tablet_e2e_1
+  [ $(expr "$output" : ".*iPad.*") -ne 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#07 After executing e2e operate go with setup each, results have no failures nor errors" {
+  run bucky run -d -c setup_each_pc_e2e_1
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#08 After executing e2e operate go with teardown each, results have no failures nor errors" {
+  run bucky run -d -c teardown_each_pc_e2e_1
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#09 When setup and teardown is added, multiple test cases execute normally, results have no failures nor errors" {
+  run bucky run -d -s setup_teardown_each_pc_e2e
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#18 When 'when condition' is added, results have no failures nor errors" {
+  export STAGE=development
+  run bucky run -t e2e -d -D pc -c pc_e2e_4
+  [ $(expr "$output" : ".*click.*") -ne 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#19 When 'when condition' is not added, results have no click procedure" {
+  run bucky run -t e2e -d -D pc -c pc_e2e_4
+  [ $(expr "$output" : ".*click.*") -eq 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#20 When 'different when condition' is added, results have no click procedure" {
+  export STAGE=staging
+  run bucky run -t e2e -d -D pc -c pc_e2e_4
+  [ $(expr "$output" : ".*click.*") -eq 0 ]
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}

data/system_testing/testing_code/linkstatus.bats

@@ -0,0 +1,24 @@
+#!/usr/bin/env bats
+
+setup() {
+  cd /bucky-core/system_testing/test_bucky_project
+}
+
+teardown() {
+  # No failures and errors
+  [ $(expr "$output" : ".*0 failures, 0 errors,.*") -ne 0 ]
+}
+
+@test "#10,#12 After executing linkstatus on pc , results contain target base url and no failures/errors." {
+  run bucky run -t linkstatus -d -D pc -c pc_link_1
+  [ $(expr "$output" : ".*http://bucky\.net.*") -ne 0 ]
+}
+
+@test "#11 After executing linkstatus on pc , results contain target link url and no failures/errors." {
+  run bucky run -t linkstatus -d -D pc -c pc_link_1
+  [ $(expr "$output" : ".*http://bucky\.net/test_page.html.*") -ne 0 ]
+}
+
+@test "#13 After executing linkstatus on sp , results have no failures nor errors" {
+  run bucky run -t linkstatus -d -D sp -c sp_link_1
+}

data/template/make_page/pc/pageobject/sample_page.rb

@@ -0,0 +1,23 @@
+# frozen_string_literal: true
+
+require 'bucky/test_equipment/pageobject/base_pageobject'
+module Services
+  module {SampleService}
+    module Pc
+      module PageObject
+        class {SamplePage} < Bucky::TestEquipment::PageObject::BasePageObject
+
+          protected
+
+          # Add some user operations for this page
+          # Sample ====================
+          # @param [Hash] args
+          # def search_freeword(**args)
+          #  freeword_form.send_keys(args[:word])
+          #  freeword_form.submit
+          # end
+        end
+      end
+    end
+  end
+end

data/template/make_page/pc/parts/sample_page.yml

@@ -0,0 +1,9 @@
+# Add some parts for this page
+
+# Sample ====================
+# freewod_form:
+#    - xpath
+#    - "//*[@id='freeword']"
+# photos:
+#    - xpaths
+#    - "//*[@class='photo']"

data/template/make_page/sp/pageobject/sample_page.rb

@@ -0,0 +1,24 @@
+# frozen_string_literal: true
+
+require 'bucky/test_equipment/pageobject/base_pageobject'
+
+module Services
+  module {SampleService}
+    module Sp
+      module PageObject
+        class {SamplePage} < Bucky::TestEquipment::PageObject::BasePageObject
+
+          protected
+
+          # Add some user operations for this page
+          # Sample ====================
+          # @param [Hash] args
+          # def search_freeword(**args)
+          #  freeword_form.send_keys(args[:word])
+          #  freeword_form.submit
+          # end
+        end
+      end
+    end
+  end
+end

data/template/make_page/sp/parts/sample_page.yml

@@ -0,0 +1,9 @@
+# add some parts for this page
+
+# sample ====================
+# freewod_form:
+#    - xpath
+#    - "//*[@id='freeword']"
+# photos:
+#    - xpaths
+#    - "//*[@class='photo']"

data/template/make_page/tablet/pageobject/sample_page.rb

@@ -0,0 +1,24 @@
+# frozen_string_literal: true
+
+require 'bucky/test_equipment/pageobject/base_pageobject'
+
+module Services
+  module {SampleService}
+    module Tablet
+      module PageObject
+        class {SamplePage} < Bucky::TestEquipment::PageObject::BasePageObject
+
+          protected
+
+          # Add some user operations for this page
+          # Sample ====================
+          # @param [Hash] args
+          # def search_freeword(**args)
+          #  freeword_form.send_keys(args[:word])
+          #  freeword_form.submit
+          # end
+        end
+      end
+    end
+  end
+end