med_pipe 0.1.0.4 → 0.1.1

Sign up to get free protection for your applications and to get access to all the features.
checksums.yaml CHANGED
@@ -1,7 +1,7 @@
1
1
  ---
2
2
  SHA256:
3
- metadata.gz: 2d62e07ad3b1678e874749b5e34e930992476342d40ddad20be2dfd5b1da6593
4
- data.tar.gz: 6d9c9dbffe01a6e7d4dd47c59a61f8233139d140600dc30d361cbe8d33c965ae
3
+ metadata.gz: 254b6d0a324f400418ad4ead68cc2741f779e77a1a18f01b0e865737d783358b
4
+ data.tar.gz: ab801a44a97d8ff5a9f6bba5ca023bd0dc1712707d20b7d3754981f6c7528228
5
5
  SHA512:
6
- metadata.gz: 198784f564acaa4e36cbfdfb8e8ded498645124ca6d6a74f07b32a6e0515f2fbb0ddb3a9df9c2c79e983f6cc3f3811c4aac5d03518237fdb4e1eaf9de6f36731
7
- data.tar.gz: 51f1a3a9e7eaca4c62e304874022da628e4bf9c85de965c24328d12b5ea5c87abe0755f3b05e8f59a857d4d5615c869f058af9780e50f75af963118562ac67c5
6
+ metadata.gz: 8d94037e54f43df01d53f95057e21597660afa3c4eedb24d107ed2ffeb5d7d5c823f4ed9f0ea28a9267bd26d58be6fc22e7dbc6eb918ddb059bbead9db85f418
7
+ data.tar.gz: 0c744341829cb8f970acbd26da6e3b6708534b18e2ad0a34cc8641b7ba48d313a6f788de486827c37b7ffd0238d33227f76130e40ddc5753159b53f12af3dee9
data/README.md CHANGED
@@ -48,6 +48,14 @@ gem "med_pipe"
48
48
  $ rails med_pipe:install:migrations
49
49
  ```
50
50
 
51
+ ### Test
52
+
53
+ Add this line to your test.rb to use factories in med_pipe
54
+
55
+ ```test.rb
56
+ config.factory_bot.definition_file_paths << MedPipe::Engine.root.join('spec/factories')
57
+ ```
58
+
51
59
  ## Contributing
52
60
  Bug reports and pull requests are welcome.
53
61
 
@@ -28,7 +28,7 @@ class MedPipe::PipelinePlanConsumer
28
28
  target_pipeline_plan = @pipeline_group.pipeline_plans.lock.status_enqueued.order(priority: :desc).first
29
29
  return if target_pipeline_plan.nil?
30
30
 
31
- target_pipeline_plan.update!(status: :running)
31
+ target_pipeline_plan.update!(status: :running, started_at: Time.current)
32
32
  target_pipeline_plan
33
33
  end
34
34
  end
@@ -1,5 +1,5 @@
1
1
  # frozen_string_literal: true
2
2
 
3
3
  module MedPipe
4
- VERSION = "0.1.0.4"
4
+ VERSION = "0.1.1"
5
5
  end
metadata CHANGED
@@ -1,14 +1,14 @@
1
1
  --- !ruby/object:Gem::Specification
2
2
  name: med_pipe
3
3
  version: !ruby/object:Gem::Version
4
- version: 0.1.0.4
4
+ version: 0.1.1
5
5
  platform: ruby
6
6
  authors:
7
7
  - mpg-taichi-sato
8
8
  autorequire:
9
9
  bindir: bin
10
10
  cert_chain: []
11
- date: 2024-11-26 00:00:00.000000000 Z
11
+ date: 2024-11-28 00:00:00.000000000 Z
12
12
  dependencies:
13
13
  - !ruby/object:Gem::Dependency
14
14
  name: rails
@@ -30,23 +30,8 @@ dependencies:
30
30
  - - "<"
31
31
  - !ruby/object:Gem::Version
32
32
  version: '8.0'
33
- description: "# MedPipe <sup>BETA</sup>\n100万 ~ 数10億程度のデータを処理するための仕組みを提供する Rails エンジンです。\n\n##
34
- Concept\n### MedPipe::Pipeline\napply で後述する PipelineTask を登録し、run で順番に実行します。\n\n###
35
- MedPipe::PipelineTask\nPipeline に登録する処理の単位です。 \nDB からの読み込みや、S3 へのアップロード等やることを分割してタスク化します。
36
- \ \n大量データを扱う際には Enumerable::Lazy を使うことで分割して処理をすることができます。 \ncall を実装する必要があります\n\n```.rb\n@param
37
- context [Hash] Stores data during pipeline execution\n@param prev_result [Object]
38
- The result of the previous task\ndef call(context, prev_result)\n yield 次のTaskに渡すデータ\nend\n```\n\n###
39
- MedPipe::PipelinePlan\nPipeline の状態、オプション、結果を保存するためのモデルです。 \nTask で使うためのオプションを渡す方法は
40
- PipelinePlan から取得するか、contextで伝搬するかの二択です。\n\n### MedPipe::PipelineGroup\n一つのジョブで実行する
41
- Plan をまとめるためのモデルです。 \n実行中に parallel_limit を 0 にすることで中断することができます。\n\n## Usage\n\n1.
42
- Reader, Uploader 等の PipelineTask を作成 [Samples](https://github.com/medpeer-dev/med_pipe/tree/main/spec/dummy/app/models/pipeline_task)\n2.
43
- PipelineRunner を作成 [Sample](https://github.com/medpeer-dev/med_pipe/blob/main/spec/dummy/app/models/sample_pipeline_runner.rb)\n3.
44
- Pipeline を並列実行するためのジョブを作成 [Sample](https://github.com/medpeer-dev/med_pipe/blob/main/spec/dummy/app/jobs/sample_execute_pipeline_job.rb)\n4.
45
- PipelinePlan を登録するコードを記述\n5. 実行\n\n## Installation\nAdd this line to your application's
46
- Gemfile:\n\n```ruby\ngem \"med_pipe\"\n```\n\n### migrationファイルの追加\n\n```shell\n$
47
- rails med_pipe:install:migrations\n```\n\n## Contributing\nBug reports and pull
48
- requests are welcome.\n\n## License\nThe gem is available as open source under the
49
- terms of the [MIT License](https://opensource.org/licenses/MIT).\n"
33
+ description: Provides a system for processing data ranging from 1 million to several
34
+ billion records
50
35
  email:
51
36
  executables: []
52
37
  extensions: []