arui-scripts 26.0.0 → 26.1.0-persistent-cache-beta-20261103084257
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/.prettierignore +1 -0
- package/.turbo/turbo-test.log +14 -7
- package/CHANGELOG.md +22 -0
- package/README.md +3 -0
- package/build/bin/commands-registry.js +13 -0
- package/build/commands/build/build-wrapper.d.ts +4 -3
- package/build/commands/build/build-wrapper.js +64 -28
- package/build/commands/build/client.js +20 -19
- package/build/commands/bundle-analyze/index.js +2 -0
- package/build/commands/cache.d.ts +2 -0
- package/build/commands/cache.js +57 -0
- package/build/commands/util/cache-diagnostics.d.ts +10 -0
- package/build/commands/util/cache-diagnostics.js +154 -0
- package/build/commands/util/create-compiler.d.ts +5 -0
- package/build/commands/util/create-compiler.js +37 -0
- package/build/commands/util/graceful-shutdown.d.ts +6 -0
- package/build/commands/util/graceful-shutdown.js +52 -0
- package/build/commands/util/rsdoctor-snapshot.js +3 -0
- package/build/commands/util/run-client-dev-server.js +26 -4
- package/build/commands/util/run-compilers.js +61 -23
- package/build/commands/util/run-server-watch-compiler.js +4 -2
- package/build/configs/app-configs/calculate-dependent-config.js +6 -1
- package/build/configs/app-configs/get-defaults.js +1 -0
- package/build/configs/app-configs/types.d.ts +11 -0
- package/build/configs/app-configs/validate-config.js +4 -0
- package/build/configs/cache/compression.d.ts +24 -0
- package/build/configs/cache/compression.js +120 -0
- package/build/configs/cache/dependencies.d.ts +4 -0
- package/build/configs/cache/dependencies.js +86 -0
- package/build/configs/cache/settings.d.ts +5 -0
- package/build/configs/cache/settings.js +99 -0
- package/build/configs/cache/storage.d.ts +17 -0
- package/build/configs/cache/storage.js +148 -0
- package/build/configs/persistent-cache.d.ts +16 -0
- package/build/configs/persistent-cache.js +275 -0
- package/build/configs/rspack.client.dev.js +3 -2
- package/build/configs/rspack.client.js +7 -5
- package/build/configs/rspack.client.prod.js +3 -2
- package/build/configs/rspack.server.dev.js +2 -1
- package/build/configs/rspack.server.js +2 -1
- package/build/configs/rspack.server.prod.js +2 -1
- package/build/configs/util/compression-plugins-for-dictionaries.js +25 -12
- package/build/configs/util/dcb-compression-plugin.d.ts +6 -4
- package/build/configs/util/dcb-compression-plugin.js +48 -82
- package/build/configs/util/persistent-compression-plugin.d.ts +3 -0
- package/build/configs/util/persistent-compression-plugin.js +41 -0
- package/build/index.d.ts +1 -1
- package/build/plugins/compression-cache.d.ts +12 -0
- package/build/plugins/compression-cache.js +49 -0
- package/build/plugins/reload-server-plugin.js +16 -0
- package/docs/cli.md +4 -1
- package/docs/commands.md +20 -0
- package/docs/persistent-cache.md +214 -0
- package/docs/settings.md +17 -0
- package/package.json +2 -1
- package/test/persistent-cache-lifecycle.cjs +124 -0
- package/test/persistent-cache.cjs +528 -0
- package/tsconfig-local.tsbuildinfo +1 -1
- package/tsconfig.eslint.json +1 -1
|
@@ -15,6 +15,7 @@ Object.defineProperty(exports, "__esModule", { value: true });
|
|
|
15
15
|
exports.CustomCompressionPlugin = void 0;
|
|
16
16
|
const crypto_1 = __importDefault(require("crypto"));
|
|
17
17
|
const serialize_javascript_1 = __importDefault(require("serialize-javascript"));
|
|
18
|
+
const compression_cache_1 = require("../../plugins/compression-cache");
|
|
18
19
|
/*
|
|
19
20
|
Based on compression-webpack-plugin, https://github.com/webpack-contrib/compression-webpack-plugin/tree/master
|
|
20
21
|
MIT License http://www.opensource.org/licenses/mit-license.php
|
|
@@ -24,101 +25,66 @@ class CustomCompressionPlugin {
|
|
|
24
25
|
constructor(options) {
|
|
25
26
|
this.options = options;
|
|
26
27
|
}
|
|
27
|
-
runCompressionAlgorithm(input, filename) {
|
|
28
|
-
return this.options.algorithm(input, { filename });
|
|
29
|
-
}
|
|
30
28
|
compress(compiler, compilation, assets) {
|
|
31
29
|
return __awaiter(this, void 0, void 0, function* () {
|
|
32
|
-
const cache = compilation.getCache('
|
|
33
|
-
const
|
|
30
|
+
const cache = compilation.getCache('arui-scripts/dcb-v2');
|
|
31
|
+
const { RawSource } = compiler.webpack.sources;
|
|
32
|
+
yield Promise.all(Object.keys(assets).map((name) => __awaiter(this, void 0, void 0, function* () {
|
|
34
33
|
const asset = compilation.getAsset(name);
|
|
35
|
-
if (!asset ||
|
|
36
|
-
|
|
37
|
-
|
|
38
|
-
|
|
39
|
-
return false;
|
|
34
|
+
if (!asset ||
|
|
35
|
+
asset.info.compressed ||
|
|
36
|
+
!compiler.webpack.ModuleFilenameHelpers.matchObject(this.options, name)) {
|
|
37
|
+
return;
|
|
40
38
|
}
|
|
41
|
-
const
|
|
42
|
-
|
|
43
|
-
|
|
39
|
+
const newFilename = compilation.getPath(this.options.filename({ filename: name }));
|
|
40
|
+
if (!newFilename)
|
|
41
|
+
return;
|
|
42
|
+
// Different dictionaries must not suppress one another's output.
|
|
43
|
+
const relatedName = `dcb-${crypto_1.default
|
|
44
|
+
.createHash('sha256')
|
|
45
|
+
.update(newFilename)
|
|
44
46
|
.digest('hex')}`;
|
|
45
|
-
if (asset.info.related
|
|
46
|
-
|
|
47
|
-
|
|
48
|
-
|
|
49
|
-
|
|
50
|
-
|
|
51
|
-
|
|
52
|
-
|
|
53
|
-
|
|
54
|
-
|
|
55
|
-
|
|
56
|
-
|
|
57
|
-
|
|
58
|
-
|
|
59
|
-
|
|
60
|
-
|
|
61
|
-
|
|
62
|
-
|
|
63
|
-
|
|
64
|
-
buffer = asset.source.source();
|
|
65
|
-
if (!Buffer.isBuffer(buffer)) {
|
|
66
|
-
buffer = Buffer.from(buffer);
|
|
67
|
-
}
|
|
47
|
+
if (Object.prototype.hasOwnProperty.call(asset.info.related || {}, relatedName))
|
|
48
|
+
return;
|
|
49
|
+
const source = asset.source.buffer();
|
|
50
|
+
if (source.length < this.options.threshold)
|
|
51
|
+
return;
|
|
52
|
+
const task = this.options.prepare(name);
|
|
53
|
+
const identity = (0, serialize_javascript_1.default)({
|
|
54
|
+
algorithm: 'dcb',
|
|
55
|
+
dictionary: task.key,
|
|
56
|
+
implementation: task.compress,
|
|
57
|
+
});
|
|
58
|
+
const cacheItem = cache.getItemCache((0, serialize_javascript_1.default)({ name, identity }), cache.getLazyHashedEtag(asset.source));
|
|
59
|
+
let compressed = yield cacheItem.getPromise();
|
|
60
|
+
if (!compressed) {
|
|
61
|
+
try {
|
|
62
|
+
const disk = (0, compression_cache_1.getCompressionCache)(compiler);
|
|
63
|
+
compressed = disk
|
|
64
|
+
? yield disk.get(source, identity, () => task.compress(source))
|
|
65
|
+
: yield task.compress(source);
|
|
68
66
|
}
|
|
69
|
-
|
|
70
|
-
|
|
71
|
-
}
|
|
72
|
-
}
|
|
73
|
-
return {
|
|
74
|
-
name,
|
|
75
|
-
source: asset.source,
|
|
76
|
-
info: asset.info,
|
|
77
|
-
buffer,
|
|
78
|
-
output,
|
|
79
|
-
cacheItem,
|
|
80
|
-
relatedName,
|
|
81
|
-
};
|
|
82
|
-
})))).filter(Boolean);
|
|
83
|
-
const { RawSource } = compiler.webpack.sources;
|
|
84
|
-
const scheduledTasks = [];
|
|
85
|
-
for (const asset of assetsForCompression) {
|
|
86
|
-
scheduledTasks.push((() => __awaiter(this, void 0, void 0, function* () {
|
|
87
|
-
if (!asset || !asset.buffer) {
|
|
67
|
+
catch (error) {
|
|
68
|
+
compilation.errors.push(error);
|
|
88
69
|
return;
|
|
89
70
|
}
|
|
90
|
-
|
|
91
|
-
|
|
92
|
-
|
|
93
|
-
|
|
94
|
-
|
|
95
|
-
|
|
96
|
-
|
|
97
|
-
|
|
98
|
-
|
|
99
|
-
|
|
100
|
-
}
|
|
101
|
-
if (output.compressed.length / buffer.length > this.options.minRatio) {
|
|
102
|
-
yield cacheItem.storePromise({ compressed: output.compressed });
|
|
103
|
-
return;
|
|
104
|
-
}
|
|
105
|
-
output.source = new RawSource(output.compressed);
|
|
106
|
-
yield cacheItem.storePromise(output);
|
|
107
|
-
}
|
|
108
|
-
const newFilename = compilation.getPath(this.options.filename({ filename: name }));
|
|
109
|
-
const newInfo = { compressed: true };
|
|
110
|
-
compilation.updateAsset(name, source, {
|
|
111
|
-
related: { [relatedName]: newFilename },
|
|
112
|
-
});
|
|
113
|
-
compilation.emitAsset(newFilename, output.source, newInfo);
|
|
114
|
-
}))());
|
|
115
|
-
}
|
|
116
|
-
yield Promise.all(scheduledTasks);
|
|
71
|
+
// Store only bytes: restore a fresh Source on every compilation.
|
|
72
|
+
yield cacheItem.storePromise(compressed);
|
|
73
|
+
}
|
|
74
|
+
if (compressed.length / source.length > this.options.minRatio)
|
|
75
|
+
return;
|
|
76
|
+
compilation.updateAsset(name, asset.source, {
|
|
77
|
+
related: Object.assign(Object.assign({}, asset.info.related), { [relatedName]: newFilename }),
|
|
78
|
+
});
|
|
79
|
+
compilation.emitAsset(newFilename, new RawSource(compressed), { compressed: true });
|
|
80
|
+
})));
|
|
117
81
|
});
|
|
118
82
|
}
|
|
119
83
|
apply(compiler) {
|
|
120
84
|
const pluginName = this.constructor.name;
|
|
121
85
|
compiler.hooks.thisCompilation.tap(pluginName, (compilation) => {
|
|
86
|
+
var _a;
|
|
87
|
+
(_a = this.options.fileDependencies) === null || _a === void 0 ? void 0 : _a.forEach((file) => compilation.fileDependencies.add(file));
|
|
122
88
|
compilation.hooks.processAssets.tapPromise({
|
|
123
89
|
name: pluginName,
|
|
124
90
|
stage: compiler.webpack.Compilation.PROCESS_ASSETS_STAGE_OPTIMIZE_TRANSFER,
|
|
@@ -0,0 +1,41 @@
|
|
|
1
|
+
"use strict";
|
|
2
|
+
var __importDefault = (this && this.__importDefault) || function (mod) {
|
|
3
|
+
return (mod && mod.__esModule) ? mod : { "default": mod };
|
|
4
|
+
};
|
|
5
|
+
Object.defineProperty(exports, "__esModule", { value: true });
|
|
6
|
+
exports.withPersistentCompression = withPersistentCompression;
|
|
7
|
+
const zlib_1 = require("zlib");
|
|
8
|
+
const serialize_javascript_1 = __importDefault(require("serialize-javascript"));
|
|
9
|
+
const compression_cache_1 = require("../../plugins/compression-cache");
|
|
10
|
+
/** Preserve the plugin instance/name/options consumed by existing overrides. */
|
|
11
|
+
function withPersistentCompression(plugin) {
|
|
12
|
+
const { apply } = plugin;
|
|
13
|
+
// compression-webpack-plugin 9 keeps the resolved function separate from public options.
|
|
14
|
+
// Give each compiler a receiver so sharing one plugin instance cannot mix cache ownership.
|
|
15
|
+
// eslint-disable-next-line no-param-reassign
|
|
16
|
+
plugin.apply = (compiler) => {
|
|
17
|
+
const instance = Object.create(plugin);
|
|
18
|
+
const run = instance.runCompressionAlgorithm.bind(instance);
|
|
19
|
+
instance.runCompressionAlgorithm = (input) => {
|
|
20
|
+
const cache = (0, compression_cache_1.getCompressionCache)(compiler);
|
|
21
|
+
let algorithm;
|
|
22
|
+
if (instance.algorithm === zlib_1.gzip)
|
|
23
|
+
algorithm = 'gzip';
|
|
24
|
+
else if (instance.algorithm === zlib_1.brotliCompress)
|
|
25
|
+
algorithm = 'brotliCompress';
|
|
26
|
+
// Custom callback algorithms may capture state not represented by their source.
|
|
27
|
+
if (!cache || !algorithm)
|
|
28
|
+
return run(input);
|
|
29
|
+
let identity;
|
|
30
|
+
try {
|
|
31
|
+
identity = (0, serialize_javascript_1.default)({ algorithm, options: instance.options.compressionOptions });
|
|
32
|
+
}
|
|
33
|
+
catch (_a) {
|
|
34
|
+
return run(input);
|
|
35
|
+
}
|
|
36
|
+
return cache.get(input, identity, () => run(input));
|
|
37
|
+
};
|
|
38
|
+
apply.call(instance, compiler);
|
|
39
|
+
};
|
|
40
|
+
return plugin;
|
|
41
|
+
}
|
package/build/index.d.ts
CHANGED
|
@@ -1,5 +1,5 @@
|
|
|
1
1
|
export type { OverrideFile } from './configs/util/apply-overrides';
|
|
2
|
-
export type { AppConfigs, CompatModuleConfig, PackageSettings } from './configs/app-configs/types';
|
|
2
|
+
export type { AppConfigs, CompatModuleConfig, PackageSettings, PersistentCacheSettings, } from './configs/app-configs/types';
|
|
3
3
|
/**
|
|
4
4
|
* Утилиты сборки docker-образа, привязанные к глобальному конфигу arui-scripts.
|
|
5
5
|
*/
|
|
@@ -0,0 +1,12 @@
|
|
|
1
|
+
import { type Compiler } from '@rspack/core';
|
|
2
|
+
import { CompressionCache } from '../configs/cache/compression';
|
|
3
|
+
export declare function getCompressionCache(compiler: Compiler): CompressionCache | undefined;
|
|
4
|
+
export declare class CompressionCachePlugin {
|
|
5
|
+
private options;
|
|
6
|
+
constructor(options: {
|
|
7
|
+
location: string;
|
|
8
|
+
readonly: boolean;
|
|
9
|
+
version?: string;
|
|
10
|
+
});
|
|
11
|
+
apply(compiler: Compiler): void;
|
|
12
|
+
}
|
|
@@ -0,0 +1,49 @@
|
|
|
1
|
+
"use strict";
|
|
2
|
+
var __importDefault = (this && this.__importDefault) || function (mod) {
|
|
3
|
+
return (mod && mod.__esModule) ? mod : { "default": mod };
|
|
4
|
+
};
|
|
5
|
+
Object.defineProperty(exports, "__esModule", { value: true });
|
|
6
|
+
exports.CompressionCachePlugin = void 0;
|
|
7
|
+
exports.getCompressionCache = getCompressionCache;
|
|
8
|
+
const path_1 = __importDefault(require("path"));
|
|
9
|
+
const compression_1 = require("../configs/cache/compression");
|
|
10
|
+
const caches = new WeakMap();
|
|
11
|
+
// eslint-disable-next-line @typescript-eslint/no-var-requires, global-require
|
|
12
|
+
const { version } = require('../../package.json');
|
|
13
|
+
function getCompressionCache(compiler) {
|
|
14
|
+
return caches.get(compiler);
|
|
15
|
+
}
|
|
16
|
+
class CompressionCachePlugin {
|
|
17
|
+
constructor(options) {
|
|
18
|
+
this.options = options;
|
|
19
|
+
}
|
|
20
|
+
apply(compiler) {
|
|
21
|
+
if (typeof compiler.options.cache !== 'object' ||
|
|
22
|
+
compiler.options.cache.type !== 'persistent')
|
|
23
|
+
return;
|
|
24
|
+
const logger = compiler.getInfrastructureLogger('arui-scripts.compressionCache');
|
|
25
|
+
const cache = new compression_1.CompressionCache({
|
|
26
|
+
directory: path_1.default.join(this.options.location, 'compression-v1'),
|
|
27
|
+
readonly: this.options.readonly,
|
|
28
|
+
version: JSON.stringify([
|
|
29
|
+
version,
|
|
30
|
+
process.versions,
|
|
31
|
+
process.platform,
|
|
32
|
+
process.arch,
|
|
33
|
+
this.options.version,
|
|
34
|
+
]),
|
|
35
|
+
warn: (error) => logger.warn('Compression cache unavailable; recomputing compressed bytes.', error),
|
|
36
|
+
});
|
|
37
|
+
caches.set(compiler, cache);
|
|
38
|
+
compiler.hooks.thisCompilation.tap('CompressionCachePlugin', (compilation) => {
|
|
39
|
+
cache.resetStats();
|
|
40
|
+
compilation.hooks.processAssets.tap({
|
|
41
|
+
name: 'CompressionCachePlugin',
|
|
42
|
+
stage: compiler.webpack.Compilation.PROCESS_ASSETS_STAGE_REPORT,
|
|
43
|
+
}, () => compilation
|
|
44
|
+
.getLogger('arui-scripts.compressionCache')
|
|
45
|
+
.info(`Compression cache: ${JSON.stringify(cache.stats)}`));
|
|
46
|
+
});
|
|
47
|
+
}
|
|
48
|
+
}
|
|
49
|
+
exports.CompressionCachePlugin = CompressionCachePlugin;
|
|
@@ -26,6 +26,22 @@ class ReloadServerPlugin {
|
|
|
26
26
|
});
|
|
27
27
|
}
|
|
28
28
|
apply(compiler) {
|
|
29
|
+
compiler.hooks.shutdown.tapAsync('ReloadServerPlugin', (callback) => {
|
|
30
|
+
const workers = this.workers.filter((worker) => !worker.isDead());
|
|
31
|
+
if (!workers.length) {
|
|
32
|
+
callback();
|
|
33
|
+
return;
|
|
34
|
+
}
|
|
35
|
+
let remaining = workers.length;
|
|
36
|
+
workers.forEach((worker) => {
|
|
37
|
+
worker.once('exit', () => {
|
|
38
|
+
remaining -= 1;
|
|
39
|
+
if (!remaining)
|
|
40
|
+
callback();
|
|
41
|
+
});
|
|
42
|
+
worker.kill('SIGTERM');
|
|
43
|
+
});
|
|
44
|
+
});
|
|
29
45
|
compiler.hooks.afterEmit.tapAsync('ReloadServerPlugin', (compilation, callback) => {
|
|
30
46
|
this.done = callback;
|
|
31
47
|
this.workers.forEach((worker) => {
|
package/docs/cli.md
CHANGED
|
@@ -20,6 +20,9 @@ npx create-arui-scripts-app my-app
|
|
|
20
20
|
|
|
21
21
|
Полный список и описание — в [docs/commands.md](commands.md):
|
|
22
22
|
`start`, `start:prod`, `build`, `docker-build`, `docker-build:compiled`, `test`, `test:vitest`,
|
|
23
|
-
`archive-build`, `bundle-analyze`, `bundle-diff`, `ensure-yarn`, `changelog`.
|
|
23
|
+
`archive-build`, `bundle-analyze`, `bundle-diff`, `cache:info`, `cache:clear`, `ensure-yarn`, `changelog`.
|
|
24
|
+
|
|
25
|
+
Постоянный кеш включается настройкой `persistentCache`. Команды `cache:info --json` и `cache:clear`
|
|
26
|
+
позволяют проверить его состояние и очистить данные. Подробнее — в [документации кеша](persistent-cache.md).
|
|
24
27
|
|
|
25
28
|
При production-сборке можно включить [проверку размера начального JS и CSS](settings.md#buildsizebudgets). Лимиты задаются через `buildSizeBudgets`; их превышение завершает сборку с ненулевым кодом.
|
package/docs/commands.md
CHANGED
|
@@ -41,6 +41,26 @@ arui-scripts start:prod
|
|
|
41
41
|
arui-scripts build
|
|
42
42
|
```
|
|
43
43
|
|
|
44
|
+
## cache:info
|
|
45
|
+
|
|
46
|
+
Показывает расположение, размер и области постоянного кеша Rspack. Флаг `--json` включает JSON-вывод.
|
|
47
|
+
Команда не запускает компиляцию; для определения настроек она загружает конфигурацию и overrides проекта.
|
|
48
|
+
|
|
49
|
+
```bash
|
|
50
|
+
arui-scripts cache:info --json
|
|
51
|
+
```
|
|
52
|
+
|
|
53
|
+
## cache:clear
|
|
54
|
+
|
|
55
|
+
Удаляет только области постоянного кеша, созданные arui-scripts. Сначала остановите dev/build:
|
|
56
|
+
при активной записи команда завершится ошибкой. Результат сборки и остальные кеши сохраняются.
|
|
57
|
+
|
|
58
|
+
```bash
|
|
59
|
+
arui-scripts cache:clear
|
|
60
|
+
```
|
|
61
|
+
|
|
62
|
+
Подробнее о настройках, ограничениях и Jenkins — в [документации кеша](persistent-cache.md).
|
|
63
|
+
|
|
44
64
|
## test
|
|
45
65
|
|
|
46
66
|
Конфигурация включает в себя:
|
|
@@ -0,0 +1,214 @@
|
|
|
1
|
+
# Постоянный кэш Rspack
|
|
2
|
+
|
|
3
|
+
Кэш сохраняет промежуточную работу на диске и использует ее при следующем запуске `start`, `start:prod` или `build`. Это особенно полезно при повторных запусках dev и восстановлении кэша в CI. Итоговая сборка всегда создается заново; кэш не заменяет `.build` и проверку типов.
|
|
4
|
+
|
|
5
|
+
По умолчанию функция выключена: dev использует прежний кэш в памяти, production собирается без постоянного кэша.
|
|
6
|
+
|
|
7
|
+
```ts
|
|
8
|
+
// arui-scripts.config.ts
|
|
9
|
+
import type { PackageSettings } from 'arui-scripts';
|
|
10
|
+
|
|
11
|
+
export default {
|
|
12
|
+
persistentCache: true,
|
|
13
|
+
} satisfies PackageSettings;
|
|
14
|
+
```
|
|
15
|
+
|
|
16
|
+
По умолчанию данные хранятся в `<project>/.cache/arui-scripts/rspack`. Добавьте `.cache/arui-scripts/` в `.gitignore` приложения
|
|
17
|
+
и в `.prettierignore`, если форматтер обходит все JSON-файлы проекта. Кеш не попадает в очищаемую папку сборки.
|
|
18
|
+
В dev его изменения игнорируются watcher.
|
|
19
|
+
|
|
20
|
+
При упаковке приложения в Docker добавьте в `.dockerignore` контекста:
|
|
21
|
+
|
|
22
|
+
```text
|
|
23
|
+
.cache/arui-scripts/
|
|
24
|
+
```
|
|
25
|
+
|
|
26
|
+
Штатный SSR-шаблон копирует проект через `ADD . /src`; `.gitignore` не исключает файлы из Docker-контекста.
|
|
27
|
+
Для нестандартного `persistentCache.directory` исключите его фактический путь относительно контекста,
|
|
28
|
+
если каталог находится внутри него. Кеш нужно сохранять средствами Jenkins отдельно от runtime-образа.
|
|
29
|
+
|
|
30
|
+
## Настройки
|
|
31
|
+
|
|
32
|
+
Вместо `true` можно передать объект:
|
|
33
|
+
|
|
34
|
+
```ts
|
|
35
|
+
persistentCache: {
|
|
36
|
+
modes: ['dev', 'production'],
|
|
37
|
+
directory: '.cache/arui-scripts/rspack',
|
|
38
|
+
version: 'my-pipeline-v1',
|
|
39
|
+
buildDependencies: ['./build-values.json'],
|
|
40
|
+
env: ['MY_COMPILE_FLAG'],
|
|
41
|
+
portable: false,
|
|
42
|
+
readonly: false,
|
|
43
|
+
compression: true,
|
|
44
|
+
}
|
|
45
|
+
```
|
|
46
|
+
|
|
47
|
+
| Поле | Значение и назначение |
|
|
48
|
+
| ------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
|
49
|
+
| `modes` | Непустой массив `dev` / `production`. По умолчанию оба. |
|
|
50
|
+
| `directory` | Путь от корня приложения или абсолютный путь к отдельному каталогу кэша. Нельзя использовать корень диска, каталог проекта, `node_modules`, buildPath или пути через symlink. |
|
|
51
|
+
| `version` | Добавка к автоматической совместимости. Измените ее, если изменилось поведение внешнего инструмента, которое невозможно отследить файлом или переменной. |
|
|
52
|
+
| `buildDependencies` | Дополнительные существующие файлы/каталоги, которые читает ваш override/plugin. Неверный путь вызывает ошибку настройки. |
|
|
53
|
+
| `env` | Имена дополнительных переменных, влияющих на компиляцию. Значения учитываются в хэше и не печатаются в `cache:info`. Не перечисляйте здесь обычные runtime-переменные. |
|
|
54
|
+
| `portable` | Переносимый формат Rspack. В версии 2.2.5 при смене абсолютного пути проекта первая сборка пересчитывается, чтобы избежать устаревших путей модулей и source maps. |
|
|
55
|
+
| `readonly` | По умолчанию `false`. Читать имеющийся кеш компиляции и сжатия, не сохранять изменения и не удалять старые записи. Отсутствующие результаты пересчитываются. |
|
|
56
|
+
| `compression` | По умолчанию `true` при включенном `persistentCache`. Сохранять результаты gzip, Brotli и DCB между сборками. `false` оставляет только native-кеш компиляции. |
|
|
57
|
+
|
|
58
|
+
Автоматически учитываются настройки arui, окончательная конфигурация обработки и выходов, Node/ОС/архитектура, app/package/lock-файлы в родительских workspace, конфиги TS с `extends`, browserslist, presets/overrides и их обычные импортируемые зависимости, theme и словари сжатия. Изменения установленного кода arui тоже инвалидируют кэш. Локальные linked-пакеты проверяются как изменяемые файлы.
|
|
59
|
+
|
|
60
|
+
Произвольный plugin может читать файлы динамически или захватывать переменные из окружения. Его автор должен перечислить такие входы через `buildDependencies`, `env` или `version`. Экземпляры plugin не сериализуются. Если остальные настройки невозможно безопасно fingerprint-ить, arui выводит предупреждение и собирает с прежней стратегией кэша.
|
|
61
|
+
|
|
62
|
+
Client/server, режимы, имена, входы/выходы и профили обработки изолированы. Порядок конфигураций в массиве не влияет на область хранения. Низкоуровневое переопределение `rspackConfig.cache` имеет приоритет: такой кэш помечен `custom`, его путь и очисткой управляет автор override.
|
|
63
|
+
|
|
64
|
+
В dev для clientOnly runtime `env-config.json` генерируется заново при новом процессе с текущим окружением. Production сохраняет прежний контракт подстановки окружения при запуске приложения. Runtime-значения не включаются в compile-time fingerprint автоматически.
|
|
65
|
+
|
|
66
|
+
## Кеш сжатия
|
|
67
|
+
|
|
68
|
+
При `persistentCache: true` production-сборка сохраняет готовые байты `.gz`, `.br` и `.dcb`
|
|
69
|
+
в подкаталоге `compression-v1` каждой области компилятора. Уровни сжатия, правила выбора файлов,
|
|
70
|
+
пороги и имена выходов остаются прежними. В dev стандартная конфигурация не сжимает ассеты.
|
|
71
|
+
|
|
72
|
+
Ключ учитывает исходные байты, алгоритм, параметры сжатия, содержимое DCB-словаря, версии
|
|
73
|
+
arui/Node/библиотеки сжатия и `persistentCache.version`. Изменение входа приводит к пересчету;
|
|
74
|
+
смена только имени файла позволяет повторно использовать те же сжатые байты.
|
|
75
|
+
Пользовательские callback-алгоритмы `CompressionPlugin` не используют дисковый кеш:
|
|
76
|
+
захваченное ими состояние невозможно надежно определить автоматически.
|
|
77
|
+
|
|
78
|
+
Записи сохраняются атомарно. При чтении проверяются ключ и SHA-256 результата;
|
|
79
|
+
поврежденная или недоступная запись пересчитывается с предупреждением. Ошибка самого
|
|
80
|
+
компрессора по-прежнему завершает сборку с ошибкой. При первом обращении в процессе удаляются
|
|
81
|
+
записи сжатия, записанные более семи дней назад; `readonly` отключает запись и эту очистку.
|
|
82
|
+
|
|
83
|
+
`cache:info` включает размер сжатых данных, `cache:clear` удаляет их вместе с native-кешем.
|
|
84
|
+
В Jenkins достаточно сохранять существующий каталог `.cache/arui-scripts/rspack` целиком.
|
|
85
|
+
Для сравнения с native-кешем без сохранения результатов сжатия используйте
|
|
86
|
+
`persistentCache: { compression: false }`.
|
|
87
|
+
|
|
88
|
+
## Диагностика и очистка
|
|
89
|
+
|
|
90
|
+
```sh
|
|
91
|
+
yarn arui-scripts cache:info
|
|
92
|
+
yarn arui-scripts cache:info --json
|
|
93
|
+
yarn arui-scripts cache:clear
|
|
94
|
+
```
|
|
95
|
+
|
|
96
|
+
Info показывает путь, режимы, размер сохраненных данных, namespaces, fingerprint и политику текущих конфигураций (`arui` / `custom` / `legacy`). Ни содержимое настроек, ни значения env не выводятся.
|
|
97
|
+
|
|
98
|
+
Clear удаляет данные только из каталога с marker владения arui-scripts. Сохраняет build output, `node_modules` и другие кэши. Отсутствующий кэш считается уже очищенным. Clear откажется работать при активной сборке, symlink внутри каталога или отсутствии marker. Сначала остановите dev/build. Если другой процесс уже пишет в ту же область, новая сборка выдаст предупреждение и продолжит без постоянного кэша.
|
|
99
|
+
|
|
100
|
+
При недоступном для записи каталоге сборка продолжится с предупреждением. Поврежденные native-данные Rspack восстанавливает пересборкой. Ошибки кода и проверки типов продолжают завершать сборку с ошибкой.
|
|
101
|
+
|
|
102
|
+
### Отладочный лог для беты и Jenkins
|
|
103
|
+
|
|
104
|
+
Включите `persistentCache: true` в приложении и добавьте переменную окружения только на время проверки:
|
|
105
|
+
|
|
106
|
+
```sh
|
|
107
|
+
ARUI_SCRIPTS_CACHE_DEBUG=1 yarn arui-scripts build
|
|
108
|
+
```
|
|
109
|
+
|
|
110
|
+
В Jenkins можно обернуть существующую команду в `withEnv(['ARUI_SCRIPTS_CACHE_DEBUG=1'])`.
|
|
111
|
+
Поддерживается также значение `true`; по умолчанию диагностика выключена. Переключение этой переменной
|
|
112
|
+
не меняет fingerprint. Лог пишется в stderr строками с префиксом `[arui-scripts cache] ` и JSON после него.
|
|
113
|
+
В каждой записи есть `schemaVersion: 1`, PID, имя компилятора, target, режим и namespace, если он известен.
|
|
114
|
+
Лог не содержит значений env, содержимого настроек, исходников или сырых сообщений native-кеша.
|
|
115
|
+
|
|
116
|
+
Основные события:
|
|
117
|
+
|
|
118
|
+
| `event` | Что проверять |
|
|
119
|
+
| --- | --- |
|
|
120
|
+
| `configured` | `cacheType: persistent`, путь `location`, `namespace`, `fingerprint`, `versionHash`, версии arui/Rspack/Node, `readonly`, `portable` и включение кеша сжатия. `reason` объясняет выключение, override или fallback. |
|
|
121
|
+
| `compilation` | `durationMs`, результат сборки, `native.snapshot`, число `native.errors`, число проверенных build dependencies и `compression.hits/misses/writes`. |
|
|
122
|
+
| `close` | `result: completed` означает завершение `compiler.close()` и освобождение записи в кеш. `persistence` различает `read-write`, `readonly` и выключенный кеш. |
|
|
123
|
+
| `diagnostic-error` | Статистику прочитать не удалось; диагностика не меняет результат сборки. |
|
|
124
|
+
|
|
125
|
+
`native.snapshot` принимает следующие значения:
|
|
126
|
+
|
|
127
|
+
- `hit`: Rspack явно подтвердил восстановление snapshot без измененных зависимостей.
|
|
128
|
+
- `invalidated`: Rspack сообщил об изменении snapshot, build dependencies или версии кеша.
|
|
129
|
+
- `cold`: snapshot прочитан, но подтверждения восстановления нет; это ожидаемо при первом запуске.
|
|
130
|
+
- `unavailable`: чтение/декодирование native-кеша завершилось ошибкой без подтвержденного восстановления.
|
|
131
|
+
- `unknown`: версия Rspack не дала достаточных данных; такой результат не считается попаданием.
|
|
132
|
+
- `in-process`: повторная компиляция в том же dev-процессе; это не доказательство восстановления с диска.
|
|
133
|
+
- `disabled`: текущий компилятор не использует постоянный native-кеш.
|
|
134
|
+
|
|
135
|
+
Для проверки Jenkins выполните два последовательных job с одинаковым checkout, Node, lock-файлом,
|
|
136
|
+
конфигурацией и исходниками. В первом ожидаются `cold`, промахи и записи сжатия; после завершения команды
|
|
137
|
+
сохраните каталог кеша. Во втором восстановите его до сборки: должны совпасть namespace/fingerprint/versionHash,
|
|
138
|
+
появиться `native.snapshot: hit` с `errors: 0`, а у компиляторов, использующих сжатие, — ненулевые hits и нулевые misses.
|
|
139
|
+
Если соответствующих ассетов нет, нулевые счетчики сжатия нормальны.
|
|
140
|
+
|
|
141
|
+
Затем измените исходник: `invalidated` и пересчет затронутых результатов ожидаемы. Смена только DCB-словаря
|
|
142
|
+
должна пересчитать DCB, сохранив попадания gzip/Brotli для неизменных входов. Для проверки результата сравните
|
|
143
|
+
артефакты с отдельной сборкой `persistentCache: false`; сами счетчики не доказывают равенство выходов.
|
|
144
|
+
|
|
145
|
+
`close: completed` подтверждает штатное закрытие компилятора, а успешный `hit` следующего процесса —
|
|
146
|
+
фактическое переиспользование сохраненных данных. Окончание сборки само по себе не считается попаданием в кеш.
|
|
147
|
+
Сообщение Rspack `make persistent cache recovery succeeded` встречается и на холодном запуске,
|
|
148
|
+
поэтому по нему одному диагностика не ставит `hit`. При смене пути checkout см. ограничение portable ниже.
|
|
149
|
+
|
|
150
|
+
## Jenkins: восстановить → собрать → сохранить
|
|
151
|
+
|
|
152
|
+
1. Установить зависимости согласно lock-файлу.
|
|
153
|
+
2. Восстановить `.cache/arui-scripts/rspack` средствами CI.
|
|
154
|
+
3. Выполнить обычную команду сборки.
|
|
155
|
+
4. После завершения сохранить тот же каталог в cache-хранилище CI.
|
|
156
|
+
5. `.build` сохранить отдельно как артефакт результата.
|
|
157
|
+
|
|
158
|
+
В cache key CI включите проект, ОС/архитектуру, Node, версию arui и hash lock-файла. Для ускорения на Rspack 2.2.5 сохраняйте одинаковый абсолютный путь checkout. При смене пути первая сборка пересчитывается, включая режим `portable: true`: проверка обнаружила старые пути модулей/source maps в native portable-восстановлении. Следующие сборки в новой папке используют кэш. Разные проекты не должны делить один каталог. Не восстанавливайте и не сохраняйте его во время работы компилятора.
|
|
159
|
+
|
|
160
|
+
Arui сохраняет кэш при штатном завершении: build ждет `compiler.close()`, dev сначала останавливает сервер/watch, затем закрывает compiler. Parent-процесс ждет остановки дочерних компиляторов. Для dev установлен предел 10 секунд; повторный сигнал завершает процесс принудительно. После SIGKILL/падения ОС сохранение не гарантируется.
|
|
161
|
+
|
|
162
|
+
### Пример для Job Cacher
|
|
163
|
+
|
|
164
|
+
Следующий фрагмент предназначен для Linux-агента и требует установленного
|
|
165
|
+
[Job Cacher](https://plugins.jenkins.io/jobcacher/). Наличие плагина в вашей Jenkins-инсталляции нужно проверить.
|
|
166
|
+
Если кешированием управляет Jenkins Shared Library, используйте ту же последовательность в ней.
|
|
167
|
+
|
|
168
|
+
```groovy
|
|
169
|
+
stage('Build') {
|
|
170
|
+
steps {
|
|
171
|
+
sh 'yarn install --immutable'
|
|
172
|
+
script {
|
|
173
|
+
def platform = sh(returnStdout: true,
|
|
174
|
+
script: 'node -p "process.platform + \'-\' + process.arch"').trim()
|
|
175
|
+
def nodeVersion = sh(returnStdout: true, script: 'node --version').trim()
|
|
176
|
+
def aruiVersion = sh(returnStdout: true, script: 'yarn arui-scripts --version').trim()
|
|
177
|
+
def lockHash = sh(returnStdout: true, script: 'sha256sum yarn.lock | cut -d " " -f 1').trim()
|
|
178
|
+
|
|
179
|
+
cache(maxCacheSize: 1024, caches: [arbitraryFileCache(
|
|
180
|
+
path: '.cache/arui-scripts/rspack',
|
|
181
|
+
cacheName: "rspack-${platform}-${nodeVersion}-${aruiVersion}-${lockHash}",
|
|
182
|
+
includes: '**/*',
|
|
183
|
+
excludes: '**/.writer.json,**/.operation.lock',
|
|
184
|
+
useDefaultExcludes: false
|
|
185
|
+
)]) {
|
|
186
|
+
sh 'yarn arui-scripts build'
|
|
187
|
+
}
|
|
188
|
+
}
|
|
189
|
+
}
|
|
190
|
+
}
|
|
191
|
+
```
|
|
192
|
+
|
|
193
|
+
В конфигурации приложения должно быть `persistentCache: true` (либо объект с `modes: ['production']`).
|
|
194
|
+
Job Cacher восстанавливает каталог перед блоком и сохраняет после его выполнения; настройка `cacheValidityDecidingFile`
|
|
195
|
+
здесь не используется, чтобы обновленная компиляция сохранялась и при неизменном lock-файле.
|
|
196
|
+
Плагин изолирует кеши по job; при собственном хранилище добавьте в ключ также идентификатор проекта/job.
|
|
197
|
+
Не давайте параллельным сборкам один живой каталог: каждая сборка работает со своей восстановленной копией.
|
|
198
|
+
Каталог `.build` публикуется отдельно средствами существующего pipeline.
|
|
199
|
+
|
|
200
|
+
Диагностические сборки `bundle-analyze` и сборки с `ARUI_SCRIPTS_RSDOCTOR_OUTPUT` выполняются без постоянного кеша,
|
|
201
|
+
чтобы профилировщик собирал свежие данные обо всем графе модулей.
|
|
202
|
+
|
|
203
|
+
## Проверка разработчиком arui-scripts
|
|
204
|
+
|
|
205
|
+
После сборки пакетов:
|
|
206
|
+
|
|
207
|
+
```sh
|
|
208
|
+
node packages/arui-scripts/test/persistent-cache.cjs
|
|
209
|
+
node packages/arui-scripts/test/persistent-cache-lifecycle.cjs
|
|
210
|
+
```
|
|
211
|
+
|
|
212
|
+
Каждый build fixture запускается отдельным процессом. Проверяется подтвержденное native-восстановление, совпадение ассетов со сборкой без кэша, инвалидация входов и перенос checkout. Время печатается для диагностики: небольшой fixture не является прогнозом ускорения большого приложения.
|
|
213
|
+
|
|
214
|
+
Lifecycle-проверка запускает настоящий dev-сервер и серверный watcher, отправляет SIGTERM родительскому процессу и проверяет завершение дочерних процессов и сохранение кэша. Ей требуется доступ к локальному порту.
|
package/docs/settings.md
CHANGED
|
@@ -270,6 +270,23 @@ const packageSettings = {
|
|
|
270
270
|
};
|
|
271
271
|
```
|
|
272
272
|
|
|
273
|
+
#### persistentCache
|
|
274
|
+
|
|
275
|
+
Сохраняет кеш компиляции Rspack между запусками `start`, `start:prod` и `build`.
|
|
276
|
+
По умолчанию `false`: dev использует кеш в памяти, production собирается без постоянного кеша.
|
|
277
|
+
|
|
278
|
+
```ts
|
|
279
|
+
const packageSettings = {
|
|
280
|
+
persistentCache: true,
|
|
281
|
+
};
|
|
282
|
+
```
|
|
283
|
+
|
|
284
|
+
Объект позволяет выбрать режимы (`modes`), каталог (`directory`), дополнительную версию (`version`),
|
|
285
|
+
файлы (`buildDependencies`) и переменные окружения (`env`), влияющие на сборку.
|
|
286
|
+
По умолчанию включаются оба режима, данные хранятся в `.cache/arui-scripts/rspack` вне каталога сборки.
|
|
287
|
+
|
|
288
|
+
Полный список настроек, правила инвалидации и пример Jenkins — в [документации кеша](persistent-cache.md).
|
|
289
|
+
|
|
273
290
|
#### installServerSourceMaps
|
|
274
291
|
Добавлять ли в серверную сборку пакет source-map-support. По умолчанию `false`.
|
|
275
292
|
|
package/package.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
{
|
|
2
2
|
"name": "arui-scripts",
|
|
3
|
-
"version": "26.
|
|
3
|
+
"version": "26.1.0-persistent-cache-beta-20261103084257",
|
|
4
4
|
"main": "./build/index.js",
|
|
5
5
|
"typings": "./build/index.d.ts",
|
|
6
6
|
"exports": {
|
|
@@ -162,6 +162,7 @@
|
|
|
162
162
|
"build": "sh bin/build.sh",
|
|
163
163
|
"cli": "node build/bin/index.js",
|
|
164
164
|
"test": "jest",
|
|
165
|
+
"test:persistent-cache": "node test/persistent-cache.cjs && node test/persistent-cache-lifecycle.cjs",
|
|
165
166
|
"test:vitest": "vitest",
|
|
166
167
|
"lint:scripts": "arui-presets-lint scripts",
|
|
167
168
|
"format": "arui-presets-lint format",
|