@d-zero/puppeteer-page-scan 4.3.5 → 4.4.1
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/README.md +137 -0
- package/dist/before-page-scan.d.ts +1 -0
- package/dist/before-page-scan.js +59 -1
- package/dist/types.d.ts +1 -1
- package/package.json +6 -6
package/README.md
CHANGED
|
@@ -38,6 +38,14 @@ const sizes = createSizesFromDevices(['desktop', 'mobile']);
|
|
|
38
38
|
|
|
39
39
|
// CLI用のパーサー(コンマ区切りの文字列から)
|
|
40
40
|
const parsedSizes = parseDevicesOption(['desktop', 'tablet']);
|
|
41
|
+
|
|
42
|
+
// デフォルトサイズ定数(desktop、tablet、mobileの3種類)
|
|
43
|
+
console.log(defaultSizes);
|
|
44
|
+
// {
|
|
45
|
+
// desktop: { width: 1400 },
|
|
46
|
+
// tablet: { width: 768 },
|
|
47
|
+
// mobile: { width: 375, resolution: 2 }
|
|
48
|
+
// }
|
|
41
49
|
```
|
|
42
50
|
|
|
43
51
|
### `beforePageScan`
|
|
@@ -46,6 +54,11 @@ const parsedSizes = parseDevicesOption(['desktop', 'tablet']);
|
|
|
46
54
|
- ページのリロード
|
|
47
55
|
- 任意のフック処理
|
|
48
56
|
- ログインなどの事前処理
|
|
57
|
+
- disclosure要素の展開(オプション)
|
|
58
|
+
- すべての`<details>`要素を開き、すべての`button[aria-expanded="false"]`要素をクリック
|
|
59
|
+
- 新しい要素が見つからなくなるまで繰り返し処理(最大1000回)
|
|
60
|
+
- 各イテレーション後に500ms待機
|
|
61
|
+
- 最大イテレーション数に達した場合はErrorを投げる
|
|
49
62
|
- ページ全体をスクロール
|
|
50
63
|
|
|
51
64
|
などを行い、スキャンに必要な状態を整えるためのヘルパー関数です。
|
|
@@ -73,5 +86,129 @@ await beforePageScan(page, 'https://example.com', {
|
|
|
73
86
|
await page.click('button[type="submit"]');
|
|
74
87
|
},
|
|
75
88
|
],
|
|
89
|
+
openDisclosures: true, // オプション: disclosure要素を展開(<details>とbutton[aria-expanded="false"])
|
|
90
|
+
});
|
|
91
|
+
```
|
|
92
|
+
|
|
93
|
+
### `readPageHooks`
|
|
94
|
+
|
|
95
|
+
ファイルパスの配列からPageHookモジュールを読み込むヘルパー関数です。各パスはESモジュールとしてインポートされ、デフォルトエクスポートを`PageHook`関数として返します。
|
|
96
|
+
|
|
97
|
+
```ts
|
|
98
|
+
import { readPageHooks } from '@d-zero/puppeteer-page-scan';
|
|
99
|
+
|
|
100
|
+
// hookファイルのパスからPageHook関数の配列を取得
|
|
101
|
+
const hooks = await readPageHooks(
|
|
102
|
+
['./hooks/login.js', '/absolute/path/to/hook.js'],
|
|
103
|
+
process.cwd(), // 相対パスの基準ディレクトリ
|
|
104
|
+
);
|
|
105
|
+
|
|
106
|
+
// beforePageScanで使用
|
|
107
|
+
await beforePageScan(page, 'https://example.com', {
|
|
108
|
+
name: 'desktop',
|
|
109
|
+
width: 1200,
|
|
110
|
+
hooks,
|
|
111
|
+
});
|
|
112
|
+
```
|
|
113
|
+
|
|
114
|
+
**パラメータ:**
|
|
115
|
+
|
|
116
|
+
- `hooks`: 読み込むhookファイルのパスの配列(絶対パスまたは相対パス)
|
|
117
|
+
- `baseDir`: 相対パスを解決するための基準ディレクトリ
|
|
118
|
+
|
|
119
|
+
**戻り値:**
|
|
120
|
+
|
|
121
|
+
- `Promise<PageHook[]>`: PageHook関数の配列
|
|
122
|
+
|
|
123
|
+
**エラー:**
|
|
124
|
+
|
|
125
|
+
- モジュールが見つからない場合は`Error`を投げます
|
|
126
|
+
- デフォルトエクスポートが関数でない場合は`TypeError`を投げます
|
|
127
|
+
|
|
128
|
+
### `pageScanListener` と `pageScanLoggers`
|
|
129
|
+
|
|
130
|
+
ページスキャン処理中の各フェーズ(ビューポート設定、ページ読み込み、フック実行、スクロール)のログを出力するためのリスナー関数とロガー設定です。
|
|
131
|
+
|
|
132
|
+
```ts
|
|
133
|
+
import { pageScanListener, pageScanLoggers } from '@d-zero/puppeteer-page-scan';
|
|
134
|
+
|
|
135
|
+
// リスナーを使用(@d-zero/puppeteer-general-actionsのcreateListenerで作成済み)
|
|
136
|
+
const listeners = pageScanListener((message) => {
|
|
137
|
+
console.log(message);
|
|
76
138
|
});
|
|
139
|
+
|
|
140
|
+
await beforePageScan(page, 'https://example.com', {
|
|
141
|
+
name: 'desktop',
|
|
142
|
+
width: 1200,
|
|
143
|
+
listeners,
|
|
144
|
+
});
|
|
145
|
+
|
|
146
|
+
// カスタムロガーを作成する場合
|
|
147
|
+
import { createListener } from '@d-zero/puppeteer-general-actions';
|
|
148
|
+
|
|
149
|
+
const customListeners = createListener((log) => {
|
|
150
|
+
const loggers = pageScanLoggers(log);
|
|
151
|
+
return {
|
|
152
|
+
...loggers,
|
|
153
|
+
// 特定のフェーズをカスタマイズ
|
|
154
|
+
setViewport({ width }) {
|
|
155
|
+
log(`カスタム: ビューポート幅を${width}pxに変更`);
|
|
156
|
+
},
|
|
157
|
+
};
|
|
158
|
+
});
|
|
159
|
+
```
|
|
160
|
+
|
|
161
|
+
**ログ出力内容:**
|
|
162
|
+
|
|
163
|
+
- `setViewport`: ビューポートサイズ変更のログ
|
|
164
|
+
- `load`: ページ読み込み(初回/リロード)とタイムアウト情報
|
|
165
|
+
- `hook`: フック実行時のメッセージ
|
|
166
|
+
- `scroll`: スクロール位置と進捗状況(パーセンテージ)
|
|
167
|
+
|
|
168
|
+
## 型のエクスポート
|
|
169
|
+
|
|
170
|
+
### `Sizes`
|
|
171
|
+
|
|
172
|
+
デバイスサイズのマップ型です。キーはデバイス名、値は`Size`オブジェクトです。
|
|
173
|
+
|
|
174
|
+
```typescript
|
|
175
|
+
type Sizes = Record<string, Size>;
|
|
176
|
+
```
|
|
177
|
+
|
|
178
|
+
### `Size`
|
|
179
|
+
|
|
180
|
+
単一デバイスのサイズ設定です。
|
|
181
|
+
|
|
182
|
+
```typescript
|
|
183
|
+
type Size = {
|
|
184
|
+
width: number; // ビューポート幅(ピクセル)
|
|
185
|
+
resolution?: number; // デバイスピクセル比(省略時は1)
|
|
186
|
+
};
|
|
187
|
+
```
|
|
188
|
+
|
|
189
|
+
### `PageHook`
|
|
190
|
+
|
|
191
|
+
ページスキャン前に実行されるフック関数の型です。
|
|
192
|
+
|
|
193
|
+
```typescript
|
|
194
|
+
type PageHook = (
|
|
195
|
+
page: Page,
|
|
196
|
+
size: Size & {
|
|
197
|
+
name: string; // デバイス名
|
|
198
|
+
log: (message: string) => void; // ログ出力関数
|
|
199
|
+
},
|
|
200
|
+
) => Promise<void>;
|
|
201
|
+
```
|
|
202
|
+
|
|
203
|
+
### `PageScanPhase`
|
|
204
|
+
|
|
205
|
+
ページスキャン処理の各フェーズを表す型です。リスナーのコールバックで使用されます。
|
|
206
|
+
|
|
207
|
+
```typescript
|
|
208
|
+
type PageScanPhase = {
|
|
209
|
+
setViewport: { name: string; width: number; resolution?: number };
|
|
210
|
+
hook: { name: string; message: string };
|
|
211
|
+
load: { name: string; type: 'open' | 'reload'; timeout: number; id: string };
|
|
212
|
+
scroll: { name: string; scrollY: number; scrollHeight: number; message: string };
|
|
213
|
+
};
|
|
77
214
|
```
|
package/dist/before-page-scan.js
CHANGED
|
@@ -1,4 +1,54 @@
|
|
|
1
1
|
import { scrollAllOver } from '@d-zero/puppeteer-scroll';
|
|
2
|
+
/**
|
|
3
|
+
* Open all disclosure elements on the page
|
|
4
|
+
* This function loops until all disclosure elements are expanded,
|
|
5
|
+
* including nested elements and dynamically-created buttons.
|
|
6
|
+
* @param page
|
|
7
|
+
* @returns The total number of elements opened (details + buttons)
|
|
8
|
+
* @throws {Error} if the maximum iterations (1000) is reached
|
|
9
|
+
*/
|
|
10
|
+
async function openAllDisclosures(page) {
|
|
11
|
+
const maxIterations = 1000; // Maximum iterations to prevent infinite loops
|
|
12
|
+
let totalDetails = 0;
|
|
13
|
+
let totalButtons = 0;
|
|
14
|
+
let iteration = 0;
|
|
15
|
+
while (iteration < maxIterations) {
|
|
16
|
+
const result = await page.evaluate(() => {
|
|
17
|
+
// Open all <details> elements
|
|
18
|
+
const detailsElements = document.querySelectorAll('details:not([open])');
|
|
19
|
+
for (const details of detailsElements) {
|
|
20
|
+
details.open = true;
|
|
21
|
+
}
|
|
22
|
+
// Click all collapsed buttons
|
|
23
|
+
const collapsedButtons = document.querySelectorAll('button[aria-expanded="false"]');
|
|
24
|
+
for (const button of collapsedButtons) {
|
|
25
|
+
button.click();
|
|
26
|
+
}
|
|
27
|
+
return {
|
|
28
|
+
details: detailsElements.length,
|
|
29
|
+
buttons: collapsedButtons.length,
|
|
30
|
+
};
|
|
31
|
+
});
|
|
32
|
+
totalDetails += result.details;
|
|
33
|
+
totalButtons += result.buttons;
|
|
34
|
+
// If no elements were opened in this iteration, we're done
|
|
35
|
+
if (result.details === 0 && result.buttons === 0) {
|
|
36
|
+
break;
|
|
37
|
+
}
|
|
38
|
+
// Wait for animations and content rendering before next iteration
|
|
39
|
+
await new Promise((resolve) => setTimeout(resolve, 500));
|
|
40
|
+
iteration++;
|
|
41
|
+
}
|
|
42
|
+
// If we reached the max iterations, throw an error
|
|
43
|
+
if (iteration === maxIterations) {
|
|
44
|
+
throw new Error(`openAllDisclosures: Reached maximum iterations (${maxIterations}). ` +
|
|
45
|
+
`This may indicate an infinite loop caused by dynamically generated disclosure elements.`);
|
|
46
|
+
}
|
|
47
|
+
return {
|
|
48
|
+
details: totalDetails,
|
|
49
|
+
buttons: totalButtons,
|
|
50
|
+
};
|
|
51
|
+
}
|
|
2
52
|
/**
|
|
3
53
|
*
|
|
4
54
|
* @param page
|
|
@@ -21,7 +71,7 @@ export async function beforePageScan(page, url, options) {
|
|
|
21
71
|
deviceScaleFactor: resolution ?? 1,
|
|
22
72
|
});
|
|
23
73
|
if (page.url() === url) {
|
|
24
|
-
listener?.('load', { name, type: '
|
|
74
|
+
listener?.('load', { name, type: 'reload', timeout, id: countDownId });
|
|
25
75
|
await navigateWithFallback(page, url, timeout, true, listener, name);
|
|
26
76
|
}
|
|
27
77
|
else {
|
|
@@ -36,6 +86,14 @@ export async function beforePageScan(page, url, options) {
|
|
|
36
86
|
log: (message) => listener?.('hook', { name, message }),
|
|
37
87
|
});
|
|
38
88
|
}
|
|
89
|
+
if (options?.openDisclosures) {
|
|
90
|
+
listener?.('hook', { name, message: 'Opening all disclosures...' });
|
|
91
|
+
const result = await openAllDisclosures(page);
|
|
92
|
+
listener?.('hook', {
|
|
93
|
+
name,
|
|
94
|
+
message: `Opened ${result.details} <details> elements and clicked ${result.buttons} [aria-expanded="false"] buttons`,
|
|
95
|
+
});
|
|
96
|
+
}
|
|
39
97
|
listener?.('scroll', {
|
|
40
98
|
name,
|
|
41
99
|
scrollY: 0,
|
package/dist/types.d.ts
CHANGED
package/package.json
CHANGED
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
{
|
|
2
2
|
"name": "@d-zero/puppeteer-page-scan",
|
|
3
|
-
"version": "4.
|
|
3
|
+
"version": "4.4.1",
|
|
4
4
|
"description": "Scanning page function for puppeteer",
|
|
5
5
|
"author": "D-ZERO",
|
|
6
6
|
"license": "MIT",
|
|
@@ -23,14 +23,14 @@
|
|
|
23
23
|
"clean": "tsc --build --clean"
|
|
24
24
|
},
|
|
25
25
|
"dependencies": {
|
|
26
|
-
"@d-zero/puppeteer-general-actions": "1.2.
|
|
27
|
-
"@d-zero/puppeteer-scroll": "3.1.
|
|
26
|
+
"@d-zero/puppeteer-general-actions": "1.2.2",
|
|
27
|
+
"@d-zero/puppeteer-scroll": "3.1.9"
|
|
28
28
|
},
|
|
29
29
|
"devDependencies": {
|
|
30
|
-
"puppeteer": "24.
|
|
30
|
+
"puppeteer": "24.37.1"
|
|
31
31
|
},
|
|
32
32
|
"peerDependencies": {
|
|
33
|
-
"puppeteer": "24.
|
|
33
|
+
"puppeteer": "24.37.1"
|
|
34
34
|
},
|
|
35
|
-
"gitHead": "
|
|
35
|
+
"gitHead": "008ea25926579b061e36c1f5f4f4fc7e15cb782e"
|
|
36
36
|
}
|