@d-zero/puppeteer-page-scan 4.4.10 → 4.5.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +16 -189
- package/dist/before-page-scan.d.ts +3 -0
- package/dist/before-page-scan.js +2 -0
- package/dist/types.d.ts +9 -0
- package/package.json +5 -4
package/README.md
CHANGED
|
@@ -1,214 +1,41 @@
|
|
|
1
1
|
# `@d-zero/puppeteer-page-scan`
|
|
2
2
|
|
|
3
|
-
Puppeteer
|
|
3
|
+
Puppeteer でスクリーンショット・DOM スキャン前にビューポート設定・リロード・フック実行・スクロール完了までを行うヘルパー。
|
|
4
4
|
|
|
5
|
-
##
|
|
5
|
+
## Installation
|
|
6
6
|
|
|
7
7
|
```sh
|
|
8
|
-
yarn
|
|
8
|
+
yarn add @d-zero/puppeteer-page-scan
|
|
9
9
|
```
|
|
10
10
|
|
|
11
|
-
##
|
|
12
|
-
|
|
13
|
-
### デバイスプリセット
|
|
14
|
-
|
|
15
|
-
複数のデバイスサイズ用のプリセットが利用可能です:
|
|
11
|
+
## Usage
|
|
16
12
|
|
|
17
13
|
```ts
|
|
18
|
-
import {
|
|
19
|
-
devicePresets,
|
|
20
|
-
createSizesFromDevices,
|
|
21
|
-
parseDevicesOption,
|
|
22
|
-
} from '@d-zero/puppeteer-page-scan';
|
|
23
|
-
|
|
24
|
-
// 利用可能なデバイスプリセット
|
|
25
|
-
console.log(devicePresets);
|
|
26
|
-
// {
|
|
27
|
-
// desktop: { width: 1400 },
|
|
28
|
-
// tablet: { width: 768 },
|
|
29
|
-
// mobile: { width: 375, resolution: 2 },
|
|
30
|
-
// 'desktop-hd': { width: 1920 },
|
|
31
|
-
// 'desktop-compact': { width: 1280 },
|
|
32
|
-
// 'mobile-large': { width: 414, resolution: 3 },
|
|
33
|
-
// 'mobile-small': { width: 320, resolution: 2 }
|
|
34
|
-
// }
|
|
35
|
-
|
|
36
|
-
// プリセット名からSizesオブジェクトを生成
|
|
37
|
-
const sizes = createSizesFromDevices(['desktop', 'mobile']);
|
|
38
|
-
|
|
39
|
-
// CLI用のパーサー(コンマ区切りの文字列から)
|
|
40
|
-
const parsedSizes = parseDevicesOption(['desktop', 'tablet']);
|
|
41
|
-
|
|
42
|
-
// デフォルトサイズ定数(desktop、tablet、mobileの3種類)
|
|
43
|
-
console.log(defaultSizes);
|
|
44
|
-
// {
|
|
45
|
-
// desktop: { width: 1400 },
|
|
46
|
-
// tablet: { width: 768 },
|
|
47
|
-
// mobile: { width: 375, resolution: 2 }
|
|
48
|
-
// }
|
|
49
|
-
```
|
|
50
|
-
|
|
51
|
-
### `beforePageScan`
|
|
52
|
-
|
|
53
|
-
- ビューポートの設定
|
|
54
|
-
- ページのリロード
|
|
55
|
-
- 任意のフック処理
|
|
56
|
-
- ログインなどの事前処理
|
|
57
|
-
- disclosure要素の展開(オプション)
|
|
58
|
-
- すべての`<details>`要素を開き、すべての`button[aria-expanded="false"]`要素をクリック
|
|
59
|
-
- 新しい要素が見つからなくなるまで繰り返し処理(最大1000回)
|
|
60
|
-
- 各イテレーション後に500ms待機
|
|
61
|
-
- 最大イテレーション数に達した場合はErrorを投げる
|
|
62
|
-
- ページ全体をスクロール
|
|
63
|
-
|
|
64
|
-
などを行い、スキャンに必要な状態を整えるためのヘルパー関数です。
|
|
65
|
-
|
|
66
|
-
```ts
|
|
67
|
-
import { beforePageScan } from '@d-zero/puppeteer-page-scan';
|
|
68
|
-
|
|
69
|
-
const browser = await puppeteer.launch();
|
|
70
|
-
const page = await browser.newPage();
|
|
14
|
+
import { beforePageScan, readPageHooks } from '@d-zero/puppeteer-page-scan';
|
|
71
15
|
|
|
72
16
|
await beforePageScan(page, 'https://example.com', {
|
|
73
17
|
name: 'desktop',
|
|
74
|
-
width:
|
|
75
|
-
|
|
76
|
-
listeners: {
|
|
77
|
-
setViewport() {},
|
|
78
|
-
hook() {},
|
|
79
|
-
load() {},
|
|
80
|
-
scroll() {},
|
|
81
|
-
},
|
|
82
|
-
hooks: [
|
|
83
|
-
async (page) => {
|
|
84
|
-
await page.type('#username', 'user');
|
|
85
|
-
await page.type('#password', 'password');
|
|
86
|
-
await page.click('button[type="submit"]');
|
|
87
|
-
},
|
|
88
|
-
],
|
|
89
|
-
openDisclosures: true, // オプション: disclosure要素を展開(<details>とbutton[aria-expanded="false"])
|
|
18
|
+
width: 1400,
|
|
19
|
+
openDisclosures: true,
|
|
90
20
|
});
|
|
91
21
|
```
|
|
92
22
|
|
|
93
|
-
### `readPageHooks`
|
|
94
|
-
|
|
95
|
-
ファイルパスの配列からPageHookモジュールを読み込むヘルパー関数です。各パスはESモジュールとしてインポートされ、デフォルトエクスポートを`PageHook`関数として返します。
|
|
23
|
+
### `readPageHooks` — フックモジュールの読み込み
|
|
96
24
|
|
|
97
25
|
```ts
|
|
98
|
-
|
|
99
|
-
|
|
100
|
-
// hookファイルのパスからPageHook関数の配列を取得
|
|
101
|
-
const hooks = await readPageHooks(
|
|
102
|
-
['./hooks/login.js', '/absolute/path/to/hook.js'],
|
|
103
|
-
process.cwd(), // 相対パスの基準ディレクトリ
|
|
104
|
-
);
|
|
26
|
+
const hooks = await readPageHooks(['./hooks/login.mjs'], process.cwd());
|
|
105
27
|
|
|
106
|
-
|
|
107
|
-
await beforePageScan(page, 'https://example.com', {
|
|
108
|
-
name: 'desktop',
|
|
109
|
-
width: 1200,
|
|
110
|
-
hooks,
|
|
111
|
-
});
|
|
28
|
+
await beforePageScan(page, url, { name: 'desktop', width: 1400, hooks });
|
|
112
29
|
```
|
|
113
30
|
|
|
114
|
-
|
|
115
|
-
|
|
116
|
-
- `hooks`: 読み込むhookファイルのパスの配列(絶対パスまたは相対パス)
|
|
117
|
-
- `baseDir`: 相対パスを解決するための基準ディレクトリ
|
|
118
|
-
|
|
119
|
-
**戻り値:**
|
|
31
|
+
### 子プロセスを跨ぐ場合は `PageHookSource`
|
|
120
32
|
|
|
121
|
-
|
|
122
|
-
|
|
123
|
-
**エラー:**
|
|
124
|
-
|
|
125
|
-
- モジュールが見つからない場合は`Error`を投げます
|
|
126
|
-
- デフォルトエクスポートが関数でない場合は`TypeError`を投げます
|
|
127
|
-
|
|
128
|
-
### `pageScanListener` と `pageScanLoggers`
|
|
129
|
-
|
|
130
|
-
ページスキャン処理中の各フェーズ(ビューポート設定、ページ読み込み、フック実行、スクロール)のログを出力するためのリスナー関数とロガー設定です。
|
|
33
|
+
IPC は関数を `null` 化するため、親 → 子で `PageHook[]` を直接渡せない。代わりに `PageHookSource`(パスの記述)を IPC で渡し、子プロセス内で `readPageHooks` を呼ぶ。詳細は `src/types.ts` の `PageHookSource` JSDoc。
|
|
131
34
|
|
|
132
35
|
```ts
|
|
133
|
-
|
|
134
|
-
|
|
135
|
-
// リスナーを使用(@d-zero/puppeteer-general-actionsのcreateListenerで作成済み)
|
|
136
|
-
const listeners = pageScanListener((message) => {
|
|
137
|
-
console.log(message);
|
|
138
|
-
});
|
|
139
|
-
|
|
140
|
-
await beforePageScan(page, 'https://example.com', {
|
|
141
|
-
name: 'desktop',
|
|
142
|
-
width: 1200,
|
|
143
|
-
listeners,
|
|
144
|
-
});
|
|
145
|
-
|
|
146
|
-
// カスタムロガーを作成する場合
|
|
147
|
-
import { createListener } from '@d-zero/puppeteer-general-actions';
|
|
148
|
-
|
|
149
|
-
const customListeners = createListener((log) => {
|
|
150
|
-
const loggers = pageScanLoggers(log);
|
|
151
|
-
return {
|
|
152
|
-
...loggers,
|
|
153
|
-
// 特定のフェーズをカスタマイズ
|
|
154
|
-
setViewport({ width }) {
|
|
155
|
-
log(`カスタム: ビューポート幅を${width}pxに変更`);
|
|
156
|
-
},
|
|
157
|
-
};
|
|
158
|
-
});
|
|
159
|
-
```
|
|
160
|
-
|
|
161
|
-
**ログ出力内容:**
|
|
162
|
-
|
|
163
|
-
- `setViewport`: ビューポートサイズ変更のログ
|
|
164
|
-
- `load`: ページ読み込み(初回/リロード)とタイムアウト情報
|
|
165
|
-
- `hook`: フック実行時のメッセージ
|
|
166
|
-
- `scroll`: スクロール位置と進捗状況(パーセンテージ)
|
|
167
|
-
|
|
168
|
-
## 型のエクスポート
|
|
169
|
-
|
|
170
|
-
### `Sizes`
|
|
171
|
-
|
|
172
|
-
デバイスサイズのマップ型です。キーはデバイス名、値は`Size`オブジェクトです。
|
|
173
|
-
|
|
174
|
-
```typescript
|
|
175
|
-
type Sizes = Record<string, Size>;
|
|
176
|
-
```
|
|
177
|
-
|
|
178
|
-
### `Size`
|
|
179
|
-
|
|
180
|
-
単一デバイスのサイズ設定です。
|
|
181
|
-
|
|
182
|
-
```typescript
|
|
183
|
-
type Size = {
|
|
184
|
-
width: number; // ビューポート幅(ピクセル)
|
|
185
|
-
resolution?: number; // デバイスピクセル比(省略時は1)
|
|
186
|
-
};
|
|
187
|
-
```
|
|
188
|
-
|
|
189
|
-
### `PageHook`
|
|
190
|
-
|
|
191
|
-
ページスキャン前に実行されるフック関数の型です。
|
|
192
|
-
|
|
193
|
-
```typescript
|
|
194
|
-
type PageHook = (
|
|
195
|
-
page: Page,
|
|
196
|
-
size: Size & {
|
|
197
|
-
name: string; // デバイス名
|
|
198
|
-
log: (message: string) => void; // ログ出力関数
|
|
199
|
-
},
|
|
200
|
-
) => Promise<void>;
|
|
201
|
-
```
|
|
202
|
-
|
|
203
|
-
### `PageScanPhase`
|
|
204
|
-
|
|
205
|
-
ページスキャン処理の各フェーズを表す型です。リスナーのコールバックで使用されます。
|
|
36
|
+
// 親
|
|
37
|
+
const hookSource = { paths: ['./hooks/login.mjs'], baseDir: process.cwd() };
|
|
206
38
|
|
|
207
|
-
|
|
208
|
-
|
|
209
|
-
setViewport: { name: string; width: number; resolution?: number };
|
|
210
|
-
hook: { name: string; message: string };
|
|
211
|
-
load: { name: string; type: 'open' | 'reload'; timeout: number; id: string };
|
|
212
|
-
scroll: { name: string; scrollY: number; scrollHeight: number; message: string };
|
|
213
|
-
};
|
|
39
|
+
// 子
|
|
40
|
+
const hooks = await readPageHooks(hookSource.paths, hookSource.baseDir);
|
|
214
41
|
```
|
|
@@ -1,5 +1,6 @@
|
|
|
1
1
|
import type { PageHook, PageScanPhase, Size } from './types.js';
|
|
2
2
|
import type { Listener } from '@d-zero/puppeteer-general-actions';
|
|
3
|
+
import type { DelayOptions } from '@d-zero/shared/delay';
|
|
3
4
|
import type { Page } from 'puppeteer';
|
|
4
5
|
type Options = {
|
|
5
6
|
name: string;
|
|
@@ -7,6 +8,8 @@ type Options = {
|
|
|
7
8
|
listener?: Listener<PageScanPhase>;
|
|
8
9
|
timeout?: number;
|
|
9
10
|
openDisclosures?: boolean;
|
|
11
|
+
scrollInterval?: number | DelayOptions;
|
|
12
|
+
scrollDistance?: number | DelayOptions;
|
|
10
13
|
} & Size;
|
|
11
14
|
/**
|
|
12
15
|
*
|
package/dist/before-page-scan.js
CHANGED
|
@@ -101,6 +101,8 @@ export async function beforePageScan(page, url, options) {
|
|
|
101
101
|
message: 'Start scrolling',
|
|
102
102
|
});
|
|
103
103
|
await scrollAllOver(page, {
|
|
104
|
+
interval: options?.scrollInterval,
|
|
105
|
+
distance: options?.scrollDistance,
|
|
104
106
|
logger: (scrollY, scrollHeight, message) => listener?.('scroll', { name, scrollY, scrollHeight, message }),
|
|
105
107
|
});
|
|
106
108
|
}
|
package/dist/types.d.ts
CHANGED
|
@@ -8,6 +8,15 @@ export type PageHook = (page: Page, size: Size & {
|
|
|
8
8
|
name: string;
|
|
9
9
|
log: (message: string) => void;
|
|
10
10
|
}) => Promise<void>;
|
|
11
|
+
/**
|
|
12
|
+
* 子プロセスにフックをIPCで渡すための「ロード元の記述」。
|
|
13
|
+
* 親プロセスではこの形のまま保持し、子プロセスで `readPageHooks(paths, baseDir)`
|
|
14
|
+
* を呼んで関数化する。Node IPC は関数を `null` 化するため、関数配列を直接渡せない。
|
|
15
|
+
*/
|
|
16
|
+
export type PageHookSource = {
|
|
17
|
+
readonly paths: readonly string[];
|
|
18
|
+
readonly baseDir: string;
|
|
19
|
+
};
|
|
11
20
|
export type PageScanPhase = {
|
|
12
21
|
setViewport: {
|
|
13
22
|
name: string;
|
package/package.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
{
|
|
2
2
|
"name": "@d-zero/puppeteer-page-scan",
|
|
3
|
-
"version": "4.
|
|
3
|
+
"version": "4.5.1",
|
|
4
4
|
"description": "Scanning page function for puppeteer",
|
|
5
5
|
"author": "D-ZERO",
|
|
6
6
|
"license": "MIT",
|
|
@@ -23,8 +23,9 @@
|
|
|
23
23
|
"clean": "tsc --build --clean"
|
|
24
24
|
},
|
|
25
25
|
"dependencies": {
|
|
26
|
-
"@d-zero/puppeteer-general-actions": "1.2.
|
|
27
|
-
"@d-zero/puppeteer-scroll": "
|
|
26
|
+
"@d-zero/puppeteer-general-actions": "1.2.4",
|
|
27
|
+
"@d-zero/puppeteer-scroll": "4.0.1",
|
|
28
|
+
"@d-zero/shared": "0.22.0"
|
|
28
29
|
},
|
|
29
30
|
"devDependencies": {
|
|
30
31
|
"puppeteer": "24.37.5"
|
|
@@ -37,5 +38,5 @@
|
|
|
37
38
|
"url": "https://github.com/d-zero-dev/tools.git",
|
|
38
39
|
"directory": "packages/@d-zero/puppeteer-page-scan"
|
|
39
40
|
},
|
|
40
|
-
"gitHead": "
|
|
41
|
+
"gitHead": "25b4043dcd70cf3490ddcefd76a88b22c60f7712"
|
|
41
42
|
}
|