fdl-cli 0.29.0__tar.gz → 0.31.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/CHANGELOG.md +81 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/PKG-INFO +1 -1
- fdl_cli-0.31.0/cases/retention.json +325 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/mirrors.md +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/internals/inside-a-repository.md +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/mirrors.md +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/internals/inside-a-repository.md +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/reference/cli.md +21 -7
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/reference/python.md +5 -4
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/data-files.md +32 -5
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/meta.ts +1 -1
- fdl_cli-0.31.0/docs/ja/spec/retention-cases.md +42 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/versions.md +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/reference/cli.md +21 -7
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/reference/python.md +6 -5
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/data-files.md +32 -5
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/meta.ts +1 -1
- fdl_cli-0.31.0/docs/spec/retention-cases.md +42 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/versions.md +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/pyproject.toml +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/cli.py +99 -30
- fdl_cli-0.31.0/src/fdl/config.py +70 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/layout.py +3 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/repo.py +243 -45
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_cli.py +69 -2
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_http.py +9 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_objects.py +3 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_repo.py +55 -9
- fdl_cli-0.31.0/tests/test_retention_cases.py +45 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/uv.lock +1 -1
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.github/workflows/docs.yml +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.github/workflows/publish.yml +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.github/workflows/release.yml +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.github/workflows/test.yml +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.gitignore +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.node-version +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/.python-version +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/CLAUDE.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/CONTRIBUTING.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/LICENSE +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/README.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/SECURITY.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/blume.config.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/cases/collection.json +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/cases/data-dir.json +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/concepts/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/concepts/repositories.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/concepts/versions-and-refs.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/concepts/working-metadata.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/getting-started.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/building-a-host.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/public-and-private.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/reading-without-duckdb.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/serving-over-http.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/guides/stores.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/index.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/internals/ducklake-formats.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/internals/from-write-to-read.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/internals/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/concepts/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/concepts/repositories.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/concepts/versions-and-refs.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/concepts/working-metadata.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/getting-started.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/building-a-host.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/public-and-private.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/reading-without-duckdb.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/serving-over-http.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/guides/stores.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/index.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/internals/ducklake-formats.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/internals/from-write-to-read.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/internals/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/reference/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/collection-cases.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/http.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/index.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/layout.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/reading.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/refs.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/spec/writing.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/ja/stability.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/reference/meta.ts +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/collection-cases.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/http.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/index.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/layout.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/reading.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/refs.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/spec/writing.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/docs/stability.md +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/package-lock.json +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/package.json +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/public/CNAME +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/__init__.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/catalog.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/dataset.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/diff.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/lineage.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/merge.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/objects.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/profiles.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/py.typed +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/refs.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/store.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/stores.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/src/fdl/version.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/http_repo.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_collection_cases.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_data_dir_cases.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_dataset.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_merge.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_profiles.py +0 -0
- {fdl_cli-0.29.0 → fdl_cli-0.31.0}/tests/test_stores.py +0 -0
|
@@ -1,6 +1,87 @@
|
|
|
1
1
|
# CHANGELOG
|
|
2
2
|
|
|
3
3
|
|
|
4
|
+
## v0.31.0 (2026-11-15)
|
|
5
|
+
|
|
6
|
+
### Documentation
|
|
7
|
+
|
|
8
|
+
- Keep withdrawn data out of expired.json by and message
|
|
9
|
+
([#72](https://github.com/queria-io/fdl/pull/72),
|
|
10
|
+
[`e5147f9`](https://github.com/queria-io/fdl/commit/e5147f936f39356648a7b7e1afaaaafe56492b3b))
|
|
11
|
+
|
|
12
|
+
- Leave forks out of FDL and say by is free text ([#70](https://github.com/queria-io/fdl/pull/70),
|
|
13
|
+
[`2432a0a`](https://github.com/queria-io/fdl/commit/2432a0a18528b12f46530b3aea2e0988bcd04521))
|
|
14
|
+
|
|
15
|
+
### Features
|
|
16
|
+
|
|
17
|
+
- Record why versions are taken out in expired.json message
|
|
18
|
+
([#71](https://github.com/queria-io/fdl/pull/71),
|
|
19
|
+
[`d3616b7`](https://github.com/queria-io/fdl/commit/d3616b73a2a89ff8fbfac1dde51a424f5a5ac6f9))
|
|
20
|
+
|
|
21
|
+
|
|
22
|
+
## v0.30.0 (2026-11-15)
|
|
23
|
+
|
|
24
|
+
### Bug Fixes
|
|
25
|
+
|
|
26
|
+
- Reject an --objects file that names no objects and read each version once
|
|
27
|
+
([#69](https://github.com/queria-io/fdl/pull/69),
|
|
28
|
+
[`14e91da`](https://github.com/queria-io/fdl/commit/14e91da3a022d7afdb113aa9edb3bc884386fc54))
|
|
29
|
+
|
|
30
|
+
### Features
|
|
31
|
+
|
|
32
|
+
- Keep merge bases with main and count retention on each branch
|
|
33
|
+
([#67](https://github.com/queria-io/fdl/pull/67),
|
|
34
|
+
[`054228d`](https://github.com/queria-io/fdl/commit/054228dc43319c64e2b73998af656089d9297424))
|
|
35
|
+
|
|
36
|
+
* feat!: keep merge bases with main and count retention on each branch
|
|
37
|
+
|
|
38
|
+
fdl expire now decides for every live version at once, as the spec's new "Choosing the versions to
|
|
39
|
+
take out" says: it keeps the versions refs point at, their merge bases with main, the newest
|
|
40
|
+
--keep on each branch's first-parent line, and those made since --since or within --grace. Other
|
|
41
|
+
versions, such as the parents a merge brought in other than its first and the heads of deleted
|
|
42
|
+
request refs, are taken out. cases/retention.json holds the cases every implementation agrees on.
|
|
43
|
+
|
|
44
|
+
BREAKING CHANGE: fdl expire drops --ref and takes --grace (default 7d). repo.prune takes no newest
|
|
45
|
+
version and takes grace.
|
|
46
|
+
|
|
47
|
+
* fix: read each version once when choosing what to expire, and fix the retention cases example
|
|
48
|
+
|
|
49
|
+
- Name the objects a withdrawal deleted in expired.json
|
|
50
|
+
([#68](https://github.com/queria-io/fdl/pull/68),
|
|
51
|
+
[`584e515`](https://github.com/queria-io/fdl/commit/584e5153389030d8e7a3d6ead7d69738ff46ec8f))
|
|
52
|
+
|
|
53
|
+
* feat: name the objects a withdrawal deleted in expired.json
|
|
54
|
+
|
|
55
|
+
Withdrawal now records the deleted data files (from data_dir) and assets (by sha256) as `deleted` in
|
|
56
|
+
each withdrawn version's expired.json. Mirrors delete exactly those, and hosts refuse to place
|
|
57
|
+
them again, so an old copy cannot bring withdrawn data back. Running a withdrawal again keeps the
|
|
58
|
+
names the first run wrote.
|
|
59
|
+
|
|
60
|
+
* feat: apply another repository's withdrawal by the objects it names
|
|
61
|
+
|
|
62
|
+
fdl withdraw --objects takes an expired.json (or its deleted) from the repository a mirror or fork
|
|
63
|
+
was copied from: every live version that reaches a named object is withdrawn too, and named
|
|
64
|
+
objects still there are deleted. --json prints the plan, listing refs that block it instead of
|
|
65
|
+
failing, for a host that moves them first.
|
|
66
|
+
|
|
67
|
+
* fix: read the data files of an s3:// repository with the AWS_* keys
|
|
68
|
+
|
|
69
|
+
withdraw and gc open each version's metadata to find the assets its rows reach. Over S3 DuckDB had
|
|
70
|
+
no secret for the data files, so they could not be read; the same secret fdl clone makes is now
|
|
71
|
+
used.
|
|
72
|
+
|
|
73
|
+
- Take the author from fdl config or FDL_AUTHOR_NAME when --author is left out
|
|
74
|
+
([#66](https://github.com/queria-io/fdl/pull/66),
|
|
75
|
+
[`37da487`](https://github.com/queria-io/fdl/commit/37da487e4a156263091d4f1022475d386d19694f))
|
|
76
|
+
|
|
77
|
+
* feat: take the author from fdl config or FDL_AUTHOR_NAME when --author is left out
|
|
78
|
+
|
|
79
|
+
fdl config author.name and author.email keep who makes the versions in ~/.config/fdl/config.json.
|
|
80
|
+
FDL_AUTHOR_NAME and FDL_AUTHOR_EMAIL override them, and --author overrides both.
|
|
81
|
+
|
|
82
|
+
* fix: take the author's name and email from one place, and report a broken config.json
|
|
83
|
+
|
|
84
|
+
|
|
4
85
|
## v0.29.0 (2026-11-15)
|
|
5
86
|
|
|
6
87
|
### Features
|
|
@@ -0,0 +1,325 @@
|
|
|
1
|
+
{
|
|
2
|
+
"now": "2026-11-12T00:00:00Z",
|
|
3
|
+
"grace_seconds": 86400,
|
|
4
|
+
"record": {
|
|
5
|
+
"fdl": "0.1",
|
|
6
|
+
"seq": 1,
|
|
7
|
+
"author": {
|
|
8
|
+
"name": "example"
|
|
9
|
+
},
|
|
10
|
+
"message": "",
|
|
11
|
+
"metadata": {
|
|
12
|
+
"path": "metadata.db",
|
|
13
|
+
"storage": "sqlite-3",
|
|
14
|
+
"bytes": 0,
|
|
15
|
+
"sha256": "0000000000000000000000000000000000000000000000000000000000000000"
|
|
16
|
+
},
|
|
17
|
+
"ducklake": {
|
|
18
|
+
"format": "1.0",
|
|
19
|
+
"snapshot_id": 1,
|
|
20
|
+
"snapshots": [1]
|
|
21
|
+
}
|
|
22
|
+
},
|
|
23
|
+
"cases": [
|
|
24
|
+
{
|
|
25
|
+
"name": "keeps the newest on main and what a ref points at",
|
|
26
|
+
"keep": 2,
|
|
27
|
+
"since": null,
|
|
28
|
+
"versions": [
|
|
29
|
+
{
|
|
30
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
31
|
+
"parents": [],
|
|
32
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
33
|
+
},
|
|
34
|
+
{
|
|
35
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
36
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
37
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
38
|
+
},
|
|
39
|
+
{
|
|
40
|
+
"id": "019a0000-0000-7000-8000-000000000003",
|
|
41
|
+
"parents": ["019a0000-0000-7000-8000-000000000002"],
|
|
42
|
+
"created_at": "2026-11-03T00:00:00Z"
|
|
43
|
+
},
|
|
44
|
+
{
|
|
45
|
+
"id": "019a0000-0000-7000-8000-000000000004",
|
|
46
|
+
"parents": ["019a0000-0000-7000-8000-000000000003"],
|
|
47
|
+
"created_at": "2026-11-04T00:00:00Z"
|
|
48
|
+
}
|
|
49
|
+
],
|
|
50
|
+
"expired": [],
|
|
51
|
+
"refs": {
|
|
52
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000004",
|
|
53
|
+
"refs/tags/first": "019a0000-0000-7000-8000-000000000001"
|
|
54
|
+
},
|
|
55
|
+
"take_out": ["019a0000-0000-7000-8000-000000000002"]
|
|
56
|
+
},
|
|
57
|
+
{
|
|
58
|
+
"name": "keeps the newest on each branch and its merge base with main",
|
|
59
|
+
"keep": 1,
|
|
60
|
+
"since": null,
|
|
61
|
+
"versions": [
|
|
62
|
+
{
|
|
63
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
64
|
+
"parents": [],
|
|
65
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
66
|
+
},
|
|
67
|
+
{
|
|
68
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
69
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
70
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
71
|
+
},
|
|
72
|
+
{
|
|
73
|
+
"id": "019a0000-0000-7000-8000-000000000003",
|
|
74
|
+
"parents": ["019a0000-0000-7000-8000-000000000002"],
|
|
75
|
+
"created_at": "2026-11-03T00:00:00Z"
|
|
76
|
+
},
|
|
77
|
+
{
|
|
78
|
+
"id": "019a0000-0000-7000-8000-000000000011",
|
|
79
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
80
|
+
"created_at": "2026-11-02T12:00:00Z"
|
|
81
|
+
},
|
|
82
|
+
{
|
|
83
|
+
"id": "019a0000-0000-7000-8000-000000000012",
|
|
84
|
+
"parents": ["019a0000-0000-7000-8000-000000000011"],
|
|
85
|
+
"created_at": "2026-11-03T12:00:00Z"
|
|
86
|
+
}
|
|
87
|
+
],
|
|
88
|
+
"expired": [],
|
|
89
|
+
"refs": {
|
|
90
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000003",
|
|
91
|
+
"refs/heads/fix": "019a0000-0000-7000-8000-000000000012"
|
|
92
|
+
},
|
|
93
|
+
"take_out": ["019a0000-0000-7000-8000-000000000002", "019a0000-0000-7000-8000-000000000011"]
|
|
94
|
+
},
|
|
95
|
+
{
|
|
96
|
+
"name": "takes out the parents merges brought once they fall behind their branch",
|
|
97
|
+
"keep": 2,
|
|
98
|
+
"since": null,
|
|
99
|
+
"versions": [
|
|
100
|
+
{
|
|
101
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
102
|
+
"parents": [],
|
|
103
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
104
|
+
},
|
|
105
|
+
{
|
|
106
|
+
"id": "019a0000-0000-7000-8000-000000000011",
|
|
107
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
108
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
109
|
+
},
|
|
110
|
+
{
|
|
111
|
+
"id": "019a0000-0000-7000-8000-000000000021",
|
|
112
|
+
"parents": [
|
|
113
|
+
"019a0000-0000-7000-8000-000000000001",
|
|
114
|
+
"019a0000-0000-7000-8000-000000000011"
|
|
115
|
+
],
|
|
116
|
+
"created_at": "2026-11-02T01:00:00Z"
|
|
117
|
+
},
|
|
118
|
+
{
|
|
119
|
+
"id": "019a0000-0000-7000-8000-000000000012",
|
|
120
|
+
"parents": ["019a0000-0000-7000-8000-000000000011"],
|
|
121
|
+
"created_at": "2026-11-03T00:00:00Z"
|
|
122
|
+
},
|
|
123
|
+
{
|
|
124
|
+
"id": "019a0000-0000-7000-8000-000000000022",
|
|
125
|
+
"parents": [
|
|
126
|
+
"019a0000-0000-7000-8000-000000000021",
|
|
127
|
+
"019a0000-0000-7000-8000-000000000012"
|
|
128
|
+
],
|
|
129
|
+
"created_at": "2026-11-03T01:00:00Z"
|
|
130
|
+
},
|
|
131
|
+
{
|
|
132
|
+
"id": "019a0000-0000-7000-8000-000000000013",
|
|
133
|
+
"parents": ["019a0000-0000-7000-8000-000000000012"],
|
|
134
|
+
"created_at": "2026-11-04T00:00:00Z"
|
|
135
|
+
},
|
|
136
|
+
{
|
|
137
|
+
"id": "019a0000-0000-7000-8000-000000000023",
|
|
138
|
+
"parents": [
|
|
139
|
+
"019a0000-0000-7000-8000-000000000022",
|
|
140
|
+
"019a0000-0000-7000-8000-000000000013"
|
|
141
|
+
],
|
|
142
|
+
"created_at": "2026-11-04T01:00:00Z"
|
|
143
|
+
}
|
|
144
|
+
],
|
|
145
|
+
"expired": [],
|
|
146
|
+
"refs": {
|
|
147
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000023",
|
|
148
|
+
"refs/heads/apply": "019a0000-0000-7000-8000-000000000013"
|
|
149
|
+
},
|
|
150
|
+
"take_out": [
|
|
151
|
+
"019a0000-0000-7000-8000-000000000001",
|
|
152
|
+
"019a0000-0000-7000-8000-000000000011",
|
|
153
|
+
"019a0000-0000-7000-8000-000000000021"
|
|
154
|
+
]
|
|
155
|
+
},
|
|
156
|
+
{
|
|
157
|
+
"name": "keeps the merge base of a request with main",
|
|
158
|
+
"keep": 1,
|
|
159
|
+
"since": null,
|
|
160
|
+
"versions": [
|
|
161
|
+
{
|
|
162
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
163
|
+
"parents": [],
|
|
164
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
165
|
+
},
|
|
166
|
+
{
|
|
167
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
168
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
169
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
170
|
+
},
|
|
171
|
+
{
|
|
172
|
+
"id": "019a0000-0000-7000-8000-000000000003",
|
|
173
|
+
"parents": ["019a0000-0000-7000-8000-000000000002"],
|
|
174
|
+
"created_at": "2026-11-03T00:00:00Z"
|
|
175
|
+
},
|
|
176
|
+
{
|
|
177
|
+
"id": "019a0000-0000-7000-8000-000000000004",
|
|
178
|
+
"parents": ["019a0000-0000-7000-8000-000000000003"],
|
|
179
|
+
"created_at": "2026-11-04T00:00:00Z"
|
|
180
|
+
},
|
|
181
|
+
{
|
|
182
|
+
"id": "019a0000-0000-7000-8000-000000000031",
|
|
183
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
184
|
+
"created_at": "2026-11-02T06:00:00Z"
|
|
185
|
+
}
|
|
186
|
+
],
|
|
187
|
+
"expired": [],
|
|
188
|
+
"refs": {
|
|
189
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000004",
|
|
190
|
+
"refs/requests/1": "019a0000-0000-7000-8000-000000000031"
|
|
191
|
+
},
|
|
192
|
+
"take_out": ["019a0000-0000-7000-8000-000000000002", "019a0000-0000-7000-8000-000000000003"]
|
|
193
|
+
},
|
|
194
|
+
{
|
|
195
|
+
"name": "takes out the head of a request once its ref is deleted",
|
|
196
|
+
"keep": 1,
|
|
197
|
+
"since": null,
|
|
198
|
+
"versions": [
|
|
199
|
+
{
|
|
200
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
201
|
+
"parents": [],
|
|
202
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
203
|
+
},
|
|
204
|
+
{
|
|
205
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
206
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
207
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
208
|
+
},
|
|
209
|
+
{
|
|
210
|
+
"id": "019a0000-0000-7000-8000-000000000031",
|
|
211
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
212
|
+
"created_at": "2026-11-02T06:00:00Z"
|
|
213
|
+
}
|
|
214
|
+
],
|
|
215
|
+
"expired": [],
|
|
216
|
+
"refs": {
|
|
217
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000002"
|
|
218
|
+
},
|
|
219
|
+
"take_out": ["019a0000-0000-7000-8000-000000000001", "019a0000-0000-7000-8000-000000000031"]
|
|
220
|
+
},
|
|
221
|
+
{
|
|
222
|
+
"name": "keeps a version made within the grace period that no ref points at yet",
|
|
223
|
+
"keep": 1,
|
|
224
|
+
"since": null,
|
|
225
|
+
"versions": [
|
|
226
|
+
{
|
|
227
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
228
|
+
"parents": [],
|
|
229
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
230
|
+
},
|
|
231
|
+
{
|
|
232
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
233
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
234
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
235
|
+
},
|
|
236
|
+
{
|
|
237
|
+
"id": "019a0000-0000-7000-8000-000000000003",
|
|
238
|
+
"parents": ["019a0000-0000-7000-8000-000000000002"],
|
|
239
|
+
"created_at": "2026-11-11T12:00:00Z"
|
|
240
|
+
}
|
|
241
|
+
],
|
|
242
|
+
"expired": [],
|
|
243
|
+
"refs": {
|
|
244
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000002"
|
|
245
|
+
},
|
|
246
|
+
"take_out": ["019a0000-0000-7000-8000-000000000001"]
|
|
247
|
+
},
|
|
248
|
+
{
|
|
249
|
+
"name": "keeps what was made since",
|
|
250
|
+
"keep": 1,
|
|
251
|
+
"since": "2026-11-02T00:00:00Z",
|
|
252
|
+
"versions": [
|
|
253
|
+
{
|
|
254
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
255
|
+
"parents": [],
|
|
256
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
257
|
+
},
|
|
258
|
+
{
|
|
259
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
260
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
261
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
262
|
+
},
|
|
263
|
+
{
|
|
264
|
+
"id": "019a0000-0000-7000-8000-000000000003",
|
|
265
|
+
"parents": ["019a0000-0000-7000-8000-000000000002"],
|
|
266
|
+
"created_at": "2026-11-03T00:00:00Z"
|
|
267
|
+
}
|
|
268
|
+
],
|
|
269
|
+
"expired": [],
|
|
270
|
+
"refs": {
|
|
271
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000003"
|
|
272
|
+
},
|
|
273
|
+
"take_out": ["019a0000-0000-7000-8000-000000000001"]
|
|
274
|
+
},
|
|
275
|
+
{
|
|
276
|
+
"name": "leaves versions already past retention alone",
|
|
277
|
+
"keep": 1,
|
|
278
|
+
"since": null,
|
|
279
|
+
"versions": [
|
|
280
|
+
{
|
|
281
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
282
|
+
"parents": [],
|
|
283
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
284
|
+
},
|
|
285
|
+
{
|
|
286
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
287
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
288
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
289
|
+
},
|
|
290
|
+
{
|
|
291
|
+
"id": "019a0000-0000-7000-8000-000000000003",
|
|
292
|
+
"parents": ["019a0000-0000-7000-8000-000000000002"],
|
|
293
|
+
"created_at": "2026-11-03T00:00:00Z"
|
|
294
|
+
}
|
|
295
|
+
],
|
|
296
|
+
"expired": ["019a0000-0000-7000-8000-000000000001"],
|
|
297
|
+
"refs": {
|
|
298
|
+
"refs/heads/main": "019a0000-0000-7000-8000-000000000003"
|
|
299
|
+
},
|
|
300
|
+
"take_out": ["019a0000-0000-7000-8000-000000000002"]
|
|
301
|
+
},
|
|
302
|
+
{
|
|
303
|
+
"name": "takes nothing out without refs/heads/main",
|
|
304
|
+
"keep": 1,
|
|
305
|
+
"since": null,
|
|
306
|
+
"versions": [
|
|
307
|
+
{
|
|
308
|
+
"id": "019a0000-0000-7000-8000-000000000001",
|
|
309
|
+
"parents": [],
|
|
310
|
+
"created_at": "2026-11-01T00:00:00Z"
|
|
311
|
+
},
|
|
312
|
+
{
|
|
313
|
+
"id": "019a0000-0000-7000-8000-000000000002",
|
|
314
|
+
"parents": ["019a0000-0000-7000-8000-000000000001"],
|
|
315
|
+
"created_at": "2026-11-02T00:00:00Z"
|
|
316
|
+
}
|
|
317
|
+
],
|
|
318
|
+
"expired": [],
|
|
319
|
+
"refs": {
|
|
320
|
+
"refs/heads/draft": "019a0000-0000-7000-8000-000000000002"
|
|
321
|
+
},
|
|
322
|
+
"take_out": []
|
|
323
|
+
}
|
|
324
|
+
]
|
|
325
|
+
}
|
|
@@ -50,4 +50,4 @@ Anyone can write a `version.json`, so a checksum shows the copy matches the reco
|
|
|
50
50
|
|
|
51
51
|
When the origin takes a version out of retention, the mirror sees `expired.json` appear and the metadata disappear on the next copy. Copy `expired.json` and delete the metadata files the origin deleted. A mirror that keeps them serves versions its origin no longer does.
|
|
52
52
|
|
|
53
|
-
An `expired.json` with `"reason": "withdrawn"` means the origin removed data that must not be published. Delete the metadata files, the data files and
|
|
53
|
+
An `expired.json` with `"reason": "withdrawn"` means the origin removed data that must not be published. Delete the metadata files, and the data files and assets named in its `deleted`, without waiting. Do not copy those objects again from anywhere. `fdl withdraw <mirror> --objects expired.json --yes` does this.
|
|
@@ -109,7 +109,7 @@ A tag is created with `If-None-Match: *` and never moved. Readers who attach `re
|
|
|
109
109
|
|
|
110
110
|
## Taking versions out of retention
|
|
111
111
|
|
|
112
|
-
Metadata files are small, but a dataset that is rebuilt every day keeps every Parquet file any version names. `fdl expire --keep 30` takes the versions behind the newest 30
|
|
112
|
+
Metadata files are small, but a dataset that is rebuilt every day keeps every Parquet file any version names. `fdl expire --keep 30` takes out of retention the versions behind the newest 30 on each branch, keeping those refs point at and their merge bases with main. Each goes through three steps:
|
|
113
113
|
|
|
114
114
|
1. Put `versions/<ID>/expired.json`
|
|
115
115
|
2. Delete `versions/<ID>/metadata.db` and any `metadata/`
|
|
@@ -50,4 +50,4 @@ ATTACH 'ducklake:https://mirror.example.org/towns/versions/019a3c4e-…/metadata
|
|
|
50
50
|
|
|
51
51
|
元がバージョンの保持期間を終わらせると、ミラーは次に写すときに、`expired.json` が増え、メタデータが消えたことに気づきます。`expired.json` を写し、元が消したメタデータを消してください。残しておくと、元がもう出していないバージョンをミラーが出し続けます。
|
|
52
52
|
|
|
53
|
-
`"reason": "withdrawn"` の `expired.json`
|
|
53
|
+
`"reason": "withdrawn"` の `expired.json` は、公開してはいけないデータを元が取り下げたことを意味します。メタデータと、`deleted` にあるデータファイル・アセットを、待たずに消してください。それらのオブジェクトをどこからも写し直さないでください。`fdl withdraw <mirror> --objects expired.json --yes` がこれを行います。
|
|
@@ -109,7 +109,7 @@ data/main/towns/ducklake-019a3b….parquet 2 つめだけが参照
|
|
|
109
109
|
|
|
110
110
|
## 保持期間を過ぎたバージョン
|
|
111
111
|
|
|
112
|
-
メタデータは小さくても、毎日作り直すデータセットは、どれかのバージョンが参照する Parquet ファイルをすべて持ち続けます。`fdl expire --keep 30`
|
|
112
|
+
メタデータは小さくても、毎日作り直すデータセットは、どれかのバージョンが参照する Parquet ファイルをすべて持ち続けます。`fdl expire --keep 30` は、各ブランチの新しい 30 個より古いバージョンの保持期間を終わらせます。ref が指すバージョンと、その main との共通祖先は残します。それぞれ次の 3 段階を踏みます。
|
|
113
113
|
|
|
114
114
|
1. `versions/<ID>/expired.json` を置く
|
|
115
115
|
2. `versions/<ID>/metadata.db` と `metadata/` を消す
|
|
@@ -47,10 +47,20 @@ HTTP のリポジトリでは、新しいデータファイルは `<working.sqli
|
|
|
47
47
|
|
|
48
48
|
バージョンの保持期間が過ぎているとき、メタデータの sha256 が `version.json` の記録と違うとき、メタデータがデータフォルダの外のデータファイルを指しているとき、書き出すファイルが今のフォルダに既にあるときは断られます。
|
|
49
49
|
|
|
50
|
+
## fdl config
|
|
51
|
+
|
|
52
|
+
```bash
|
|
53
|
+
fdl config author.name "Alice"
|
|
54
|
+
fdl config author.email alice@example.com
|
|
55
|
+
fdl config author.name
|
|
56
|
+
```
|
|
57
|
+
|
|
58
|
+
コミットするバージョンの作者を設定します。設定はリポジトリとは別に `~/.config/fdl/config.json`(`$XDG_CONFIG_HOME` があればその下)に保存します。値を省くと、設定した値を表示します。`fdl commit`・`fdl revert`・`fdl merge` は、作者を `--author`、環境変数 `FDL_AUTHOR_NAME` と `FDL_AUTHOR_EMAIL`、この設定の順に探し、どれにも名前が無ければ断ります。
|
|
59
|
+
|
|
50
60
|
## fdl commit
|
|
51
61
|
|
|
52
62
|
```bash
|
|
53
|
-
fdl commit <working.sqlite> -m "What changed" --author alice [--dataset dataset.json] [--allow-empty] [--assets files/]
|
|
63
|
+
fdl commit <working.sqlite> -m "What changed" [--author alice] [--dataset dataset.json] [--allow-empty] [--assets files/]
|
|
54
64
|
```
|
|
55
65
|
|
|
56
66
|
作業メタデータを、クローンした(または最後に push した)バージョンを親とする新しいバージョンに固め、`fdl push` で送るまで `<working.sqlite>.pending/` に置きます。リポジトリは何も変わりません。新しいバージョン ID と `seq` を表示します。push する前にもう一度コミットすると、まだ push していないバージョンを置き換えます。
|
|
@@ -175,7 +185,7 @@ fdl branch <remote> <name> --delete
|
|
|
175
185
|
## fdl revert
|
|
176
186
|
|
|
177
187
|
```bash
|
|
178
|
-
fdl revert <version> <working.sqlite> --author <name> [-m <message>]
|
|
188
|
+
fdl revert <version> <working.sqlite> [--author <name>] [-m <message>]
|
|
179
189
|
fdl push <working.sqlite>
|
|
180
190
|
```
|
|
181
191
|
|
|
@@ -186,7 +196,7 @@ fdl push <working.sqlite>
|
|
|
186
196
|
## fdl merge
|
|
187
197
|
|
|
188
198
|
```bash
|
|
189
|
-
fdl merge <theirs> <working.sqlite> --author <name> [-m <message>]
|
|
199
|
+
fdl merge <theirs> <working.sqlite> [--author <name>] [-m <message>]
|
|
190
200
|
fdl push <working.sqlite>
|
|
191
201
|
```
|
|
192
202
|
|
|
@@ -213,15 +223,19 @@ fdl push <working.sqlite>
|
|
|
213
223
|
## fdl withdraw
|
|
214
224
|
|
|
215
225
|
```bash
|
|
216
|
-
fdl withdraw <remote> <version>... [--yes] [--by <name>]
|
|
226
|
+
fdl withdraw <remote> [<version>...] [--objects <file>] [--json] [--yes] [--by <name>] [-m <message>]
|
|
217
227
|
```
|
|
218
228
|
|
|
219
|
-
間違って公開した個人データなど、公開してはいけないデータを持つバージョンを取り下げます([取り下げ](/ja/spec/data-files#取り下げ))。先にそのデータを除いたバージョンをコミットし、該当するバージョンを指すブランチが無い状態にします。そのうえでこのコマンドが、該当するバージョンを指すタグ、そのバージョンが参照し残すバージョンが参照しないデータファイルとアセット、メタデータを消し、`"reason": "withdrawn"`
|
|
229
|
+
間違って公開した個人データなど、公開してはいけないデータを持つバージョンを取り下げます([取り下げ](/ja/spec/data-files#取り下げ))。先にそのデータを除いたバージョンをコミットし、該当するバージョンを指すブランチが無い状態にします。そのうえでこのコマンドが、該当するバージョンを指すタグ、そのバージョンが参照し残すバージョンが参照しないデータファイルとアセット、メタデータを消し、`"reason": "withdrawn"` と消したオブジェクトの名前(`deleted`)を持つ `expired.json` を置きます。`version.json` は残します。保持期間を過ぎたバージョンを含めると、そのメタデータはもう無いので、有効なバージョンのどれも参照しないデータファイルとアセットを、猶予期間を待たずにすべて消します。
|
|
220
230
|
|
|
221
231
|
バージョンが参照するアセットは、`tree.json` に載っているものと、アセット列が持つ sha256 です。
|
|
222
232
|
|
|
223
233
|
`--yes` を付けないと、消すものを表示するだけです。残すバージョンが参照しているファイルは残すものとして表示します。それがそのデータを持つなら、そのバージョンも取り下げます。ブランチかリクエストが該当するバージョンを指しているあいだは断られます。
|
|
224
234
|
|
|
235
|
+
`--objects` は、別のリポジトリで行った取り下げを、その写し(ミラーなど)に適用します。ファイルはそのリポジトリの `expired.json` か、その `deleted` だけです。名前のあるオブジェクトを参照する有効なバージョンも、指定したバージョンと一緒に取り下げます。名前のあるオブジェクトは、どのバージョンも参照していなくても、残っていれば消します。
|
|
236
|
+
|
|
237
|
+
`--json` は計画を 1 つの JSON(`versions`・`tags`・`deleted`・`still_read`・`blocked`)で表示します。該当するバージョンを指すタグ以外の ref は、断る代わりに `blocked` に並べます。ホストがそれらを動かしてから `--yes` で実行するためです。
|
|
238
|
+
|
|
225
239
|
## fdl profile
|
|
226
240
|
|
|
227
241
|
```bash
|
|
@@ -233,10 +247,10 @@ fdl profile <remote> [--ref refs/heads/main]
|
|
|
233
247
|
## fdl expire
|
|
234
248
|
|
|
235
249
|
```bash
|
|
236
|
-
fdl expire <remote> [--keep 1] [--since 2026-10-01T00:00:00Z] [--
|
|
250
|
+
fdl expire <remote> [--keep 1] [--since 2026-10-01T00:00:00Z] [--grace 7d] [--by <name>] [-m <message>]
|
|
237
251
|
```
|
|
238
252
|
|
|
239
|
-
|
|
253
|
+
バージョンの保持期間を終わらせます。`expired.json` を置き、メタデータを消します。残すのは、各ブランチの最初の親のつながりで新しい `--keep` 個、ref が指すバージョン、その main との共通祖先、`--since` 以降または `--grace` のうちに作ったバージョンです。それ以外(マージが取り込んだ最初の親以外の親など)は保持期間を終わらせます([保持期間を終わらせるバージョンの選び方](/ja/spec/data-files#保持期間を終わらせるバージョンの選び方))。main にバージョンが無いうちは何も終わらせません。データファイルは消しません。消すのは `fdl gc` です。`--by` は保持期間を終わらせた人を、`--message` はその理由を `expired.json` に記録します。`fdl withdraw` の同じオプションも同じです。
|
|
240
254
|
|
|
241
255
|
## fdl gc
|
|
242
256
|
|
|
@@ -99,10 +99,11 @@ ref が指すバージョンを、読み手がメタデータを開く前に行
|
|
|
99
99
|
|
|
100
100
|
```python
|
|
101
101
|
repo.expire(store, version_id, *, reason="retention") -> None
|
|
102
|
-
repo.
|
|
102
|
+
repo.plan_retention(store, *, keep=1, since=None, grace=timedelta(days=7), now=None) -> list[str]
|
|
103
|
+
repo.prune(store, *, keep=1, since=None, grace=timedelta(days=7), reason="retention", by=None) -> list[str]
|
|
103
104
|
```
|
|
104
105
|
|
|
105
|
-
バージョン 1 つの保持期間を終わらせるか、`
|
|
106
|
+
バージョン 1 つの保持期間を終わらせるか、`plan_retention` が選ぶバージョンをまとめて終わらせます([保持期間を終わらせるバージョンの選び方](/ja/spec/data-files#保持期間を終わらせるバージョンの選び方))。`plan_retention` は一覧を返すだけです。ref が指すバージョンは残します。
|
|
106
107
|
|
|
107
108
|
```python
|
|
108
109
|
repo.tag(store, name, version_id) -> None
|
|
@@ -127,11 +128,11 @@ repo.update_refs_index(store) -> None
|
|
|
127
128
|
ref を読み直して `refs.json` を書き直します。`push`・`tag`・`delete_tag` は ref を動かしたあとにこれを呼びます。`refs.json` を自分で書くホストが 403 で断ったときは、済んだものとして扱います。
|
|
128
129
|
|
|
129
130
|
```python
|
|
130
|
-
repo.plan_withdrawal(store, version_ids) -> Withdrawal
|
|
131
|
+
repo.plan_withdrawal(store, version_ids, *, objects=None, refuse_refs=True) -> Withdrawal
|
|
131
132
|
repo.withdraw(store, version_ids, *, plan=None) -> Withdrawal
|
|
132
133
|
```
|
|
133
134
|
|
|
134
|
-
公開してはいけないデータを持つバージョンを取り下げます。`plan_withdrawal` は何も変えずに、消すタグ、消すデータファイル、残すバージョンが読むので残すファイルを返します。`withdraw` はタグ、データファイル、メタデータの順に消します。ブランチかリクエストが該当するバージョンを指しているあいだは、どちらも `RepoError`
|
|
135
|
+
公開してはいけないデータを持つバージョンを取り下げます。`plan_withdrawal` は何も変えずに、消すタグ、消すデータファイル、残すバージョンが読むので残すファイルを返します。`withdraw` はタグ、データファイル、メタデータの順に消します。ブランチかリクエストが該当するバージョンを指しているあいだは、どちらも `RepoError` を出します。`refuse_refs=False` のときは、`plan_withdrawal` はそれらを `blocked` に並べ、`withdraw` が `RepoError` を出します。`objects`(`expired.json` の `deleted` と同じ `{"data": [...], "assets": [...]}`)は、写し元のリポジトリで行った取り下げを適用します。それらを参照する有効なバージョンも該当するバージョンになります。
|
|
135
136
|
|
|
136
137
|
## fdl.diff
|
|
137
138
|
|
|
@@ -61,14 +61,29 @@ DuckLake 自身の片付け(`ducklake_cleanup_old_files`、`ducklake_expire_sn
|
|
|
61
61
|
3. 猶予期間のあと、上の条件に合う共有オブジェクトを消す
|
|
62
62
|
|
|
63
63
|
```json expired.json
|
|
64
|
-
{ "expired_at": "2026-12-01T00:00:00Z", "reason": "retention", "by": "nightly retention" }
|
|
64
|
+
{ "expired_at": "2026-12-01T00:00:00Z", "reason": "retention", "by": "nightly retention", "message": "Keep the newest 7 versions" }
|
|
65
65
|
```
|
|
66
66
|
|
|
67
|
-
- `by`
|
|
67
|
+
- `by` には、保持期間を終わらせた人や仕組み(定期実行のジョブなど)を書いてよい。これで履歴には、バージョンを作った人と同じく、そのデータを消した人も残る。値は自由な文字列で、FDL は意味を持たせない。書くツールやホストが値を決める
|
|
68
|
+
- `message` には、その理由を自由な文で書いてよい。`version.json` の `message` が変更の内容を書くのと同じ。読み手が動作を決めるのは `reason` で、`message` は人が読むためのもの
|
|
68
69
|
- `version.json` は残す。履歴にはそのバージョンがあったことと中身が残り、親のつながりも切れない
|
|
69
70
|
- `expired.json` を見た読み手は、`reason` が何であれ、保持期間を過ぎたものとして扱い、メタデータを開かない
|
|
70
71
|
- ref が指すバージョンの保持期間を終わらせてはいけない
|
|
71
72
|
|
|
73
|
+
### 保持期間を終わらせるバージョンの選び方
|
|
74
|
+
|
|
75
|
+
バージョンをどれだけ残すかはホストが決めます。各ブランチの新しい `keep` 個、`since` 以降に作ったもの、またはその両方です。この決め方で保持期間を終わらせる処理は、有効なバージョン全部をまとめて判定し、次のどれかに当たるバージョンを残します。
|
|
76
|
+
|
|
77
|
+
1. ref が指している
|
|
78
|
+
2. ref と `refs/heads/main` の共通祖先([書き込み](/ja/spec/writing#マージ))である。ref を main へ、または main を ref へマージするときに読む
|
|
79
|
+
3. ブランチ(`refs/heads/<名前>`)の first-parent の並びで、ブランチが指すバージョンから数えて新しい `keep` 個に入る
|
|
80
|
+
4. `since` 以降に作った
|
|
81
|
+
5. 猶予期間のうちに作った。書き手はバージョンを置いてから ref を動かす
|
|
82
|
+
|
|
83
|
+
それ以外の保持期間を終わらせます。`refs/heads/main` の無いリポジトリでは何も終わらせません。どのブランチの first-parent の並びにも無いバージョン(マージが取り込んだ最初の親以外の親、消したブランチのバージョン、ホストが閉じて消した変更リクエストの head)も、上のどれにも当たらなくなれば保持期間を終わらせます。作った時刻には `created_at` を使います。
|
|
84
|
+
|
|
85
|
+
この決め方の実装は、[保持のテストケース](/ja/spec/retention-cases)で同じ結果になります。
|
|
86
|
+
|
|
72
87
|
## 取り下げ
|
|
73
88
|
|
|
74
89
|
取り下げは、間違って公開した個人情報のように、公開してはいけないデータを消すための手順です。保持期間と違い、そのデータを持つバージョンを、有効なものも含めてすべて対象にし、猶予期間を待ちません。
|
|
@@ -76,13 +91,25 @@ DuckLake 自身の片付け(`ducklake_cleanup_old_files`、`ducklake_expire_sn
|
|
|
76
91
|
1. そのデータを除いた新しいバージョンを作り、該当するバージョンを指しているブランチをすべてそこへ動かす。新しいバージョンの親はいまのバージョンなので、前へ動かすことになる。メタデータは名指しするすべてのファイルに到達するので、新しいバージョンのメタデータにはそのデータを持つスナップショットを残さない(作業メタデータで `ducklake_expire_snapshots` を実行する)
|
|
77
92
|
2. 該当するバージョンを指すタグを消す
|
|
78
93
|
3. 個人情報を持つデータファイルや、それが写ったスクリーンショットなど、そのデータを持つ共有オブジェクトをすぐに消す。該当するバージョンから到達し、残すバージョンのどれからも到達しないものが対象。そのオブジェクトに到達するバージョンは、すべて該当するバージョンになる。該当するバージョンに保持期間を過ぎたものがあると、メタデータが無いので、それがどのオブジェクトに到達していたかが分からない。その場合は、有効なバージョンのどれからも到達しない共有オブジェクトもすべてすぐに消す
|
|
79
|
-
4. 該当するバージョンそれぞれに `"reason": "withdrawn"`
|
|
94
|
+
4. 該当するバージョンそれぞれに `"reason": "withdrawn"` と `deleted` を持つ `expired.json` を置き、メタデータを消す
|
|
80
95
|
|
|
81
96
|
共有オブジェクトをメタデータより先に消すのは、途中で止まった取り下げをやり直せるようにするためです。メタデータが残っていれば、どのファイルがそのデータを持つかが分かります。
|
|
82
97
|
|
|
83
98
|
```json expired.json
|
|
84
|
-
{
|
|
99
|
+
{
|
|
100
|
+
"expired_at": "2026-12-01T00:00:00Z",
|
|
101
|
+
"reason": "withdrawn",
|
|
102
|
+
"deleted": {
|
|
103
|
+
"data": ["main/towns/ducklake-019a3c4e-7b21-7f3a-9c55-2f0d8e1a4b6c.parquet"],
|
|
104
|
+
"assets": ["9f2c…"]
|
|
105
|
+
}
|
|
106
|
+
}
|
|
85
107
|
```
|
|
86
108
|
|
|
109
|
+
- `deleted` は手順 3 で消した共有オブジェクトの名前です。データファイルは `data_dir` からのパス、アセットは sha256 で書きます。名前だけなので、データそのものは含みません。1 回の取り下げで該当するバージョンは、どれも同じ一覧を持ちます。途中で止まった取り下げをやり直すときは、すでに書かれた名前を残します。1 回目に消したオブジェクトは、やり直しでは見つからないことがあるためです
|
|
110
|
+
- ホストは、どれかのバージョンの `deleted` にあるオブジェクトを置く push を断ります。リポジトリの間でバージョンを写す処理も、それらを写しません。そうしないと、手元の clone などの古い写しからデータが戻ります
|
|
111
|
+
- ミラーなどリポジトリの写しは、`deleted` の名前で取り下げを適用します。写しの中でそれらを参照する有効なバージョンは、写しで作ったものも含めて、すべて該当するバージョンです。名前のあるオブジェクトは、どのバージョンも参照していなくても消します
|
|
112
|
+
|
|
87
113
|
- `version.json` は、保持期間のときと同じく残す。これで、どのリポジトリも最初のバージョンまでの履歴を持つ。記録そのもの(`author`・`message`・`inputs`)にそのデータがあれば、`expired.json` を置く前に記録を書き換えてデータを除く。`author` や `message` の該当する値は `withdrawn` に置き換え、`inputs` は該当する要素を除く。`id`・`seq`・`parents` などほかの項目はそのまま残す
|
|
88
|
-
-
|
|
114
|
+
- `expired.json` の `by` と `message` は取り下げのあとも読めるので、そこにもそのデータを書いてはいけない。理由は「誤って公開した個人データ」のように一般的な言葉で書く
|
|
115
|
+
- ミラーは自分の写しを持っている。`"reason": "withdrawn"` の `expired.json` を写したミラーは、メタデータと `deleted` にある共有オブジェクトを消す。元のホストはこれを強制できないので、知っているミラーに伝える
|
|
@@ -3,5 +3,5 @@ import { defineMeta } from "blume";
|
|
|
3
3
|
export default defineMeta({
|
|
4
4
|
title: "仕様",
|
|
5
5
|
order: 5,
|
|
6
|
-
pages: ["layout", "versions", "refs", "data-files", "collection-cases", "reading", "writing", "http"],
|
|
6
|
+
pages: ["layout", "versions", "refs", "data-files", "collection-cases", "retention-cases", "reading", "writing", "http"],
|
|
7
7
|
});
|