proxy-pool-manager 1.0.1 → 1.0.3

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
package/README.md CHANGED
@@ -4,9 +4,10 @@
4
4
 
5
5
  ## ✨ 特性
6
6
 
7
- - 🔄 **智能代理管理**:支持从 MongoDB 加载代理,自动验证和轮换
8
- - 🌐 **HTTP 请求封装**:内置 HTTP 客户端,支持自动代理切换
9
- - 📊 **代理健康检查**:自动检测代理可用性,支持自定义检测规则
7
+ - 🪶 **轻量级模式**:无需 MongoDB,仅使用请求和队列功能
8
+ - 🔄 **智能代理管理**:支持从 MongoDB 加载代理,自动验证和轮换(可选)
9
+ - 🌐 **HTTP 请求封装**:内置 HTTP 客户端,支持自动代理切换或直接指定代理
10
+ - 📊 **代理健康检查**:自动检测代理可用性,支持自定义检测规则(可选)
10
11
  - 🎯 **多种代理策略**:支持顺序、随机、故障转移三种策略
11
12
  - 📦 **批量操作**:支持批量插入和管理代理
12
13
  - 🔍 **日志系统**:基于 Winston 的完整日志记录
@@ -21,12 +22,76 @@ npm install proxy-pool-manager
21
22
 
22
23
  ## 🚀 快速开始
23
24
 
24
- ### 基本使用
25
+ ### 轻量级模式(推荐,无需 MongoDB)
26
+
27
+ 如果你只需要使用 HTTP 请求和队列功能,不需要代理管理,可以使用轻量级模式:
25
28
 
26
29
  ```typescript
27
30
  import { createProxyRequest } from 'proxy-pool-manager';
28
31
 
29
- // 创建 SDK 实例
32
+ // 创建轻量级 SDK 实例(不连接 MongoDB)
33
+ const sdk = await createProxyRequest({
34
+ maxRetries: 3,
35
+ timeout: 30,
36
+ logLevel: 'info'
37
+ });
38
+
39
+ // 发送 GET 请求
40
+ const response = await sdk.get('https://api.example.com/data', {
41
+ params: { page: 1 }
42
+ });
43
+
44
+ // 在请求中直接指定代理(可选)
45
+ const responseWithProxy = await sdk.post('http://your-api.com/request', {
46
+ url: 'https://api.example.com/data',
47
+ method: 'GET',
48
+ proxy: 'http://proxy.example.com:8080', // 直接指定代理
49
+ timeout: 10
50
+ });
51
+
52
+ console.log(response.data);
53
+ ```
54
+
55
+ ### 轻量级模式 + 代理数组(支持异常时自动轮换)
56
+
57
+ 如果你需要代理管理但不想连接 MongoDB,可以传入代理数组:
58
+
59
+ ```typescript
60
+ import { createProxyRequest } from 'proxy-pool-manager';
61
+
62
+ // 创建轻量级 SDK 实例 + 代理数组(不连接 MongoDB)
63
+ const sdk = await createProxyRequest({
64
+ proxies: [
65
+ 'proxy1.example.com:8080:user1:pass1',
66
+ 'proxy2.example.com:8080:user2:pass2',
67
+ 'proxy3.example.com:8080:user3:pass3'
68
+ ],
69
+ proxyStrategy: 'sequential', // 顺序策略
70
+ maxRetries: 3,
71
+ timeout: 30,
72
+ logLevel: 'info'
73
+ });
74
+
75
+ // 发送请求,会自动使用代理管理器选择的代理
76
+ // 如果代理失败,会自动轮换到下一个代理并重试
77
+ const response = await sdk.post('http://your-api.com/request', {
78
+ url: 'https://api.example.com/data',
79
+ method: 'GET',
80
+ timeout: 10
81
+ });
82
+
83
+ console.log('当前使用的代理:', sdk.getCurrentProxy());
84
+ console.log('可用代理列表:', sdk.getAvailableProxies());
85
+ ```
86
+
87
+ ### 完整模式(包含代理管理功能)
88
+
89
+ 如果需要代理管理功能(自动轮换、健康检查等),需要提供 MongoDB 连接:
90
+
91
+ ```typescript
92
+ import { createProxyRequest } from 'proxy-pool-manager';
93
+
94
+ // 创建完整 SDK 实例(包含代理管理)
30
95
  const sdk = await createProxyRequest({
31
96
  mongoUri: 'mongodb://localhost:27017/proxy_db',
32
97
  proxyStrategy: 'sequential',
@@ -38,14 +103,51 @@ const sdk = await createProxyRequest({
38
103
  }
39
104
  });
40
105
 
41
- // 发送 GET 请求
106
+ // 发送 GET 请求(自动使用代理管理器选择的代理)
42
107
  const response = await sdk.get('https://api.example.com/data', {
43
108
  params: { page: 1 }
44
109
  });
45
110
 
111
+ // 或者为特定请求指定代理(优先级高于自动选择)
112
+ const responseWithSpecificProxy = await sdk.post('http://your-api.com/request', {
113
+ url: 'https://api.example.com/data',
114
+ method: 'GET',
115
+ proxy: 'http://specific-proxy.com:8080', // 请求级代理优先
116
+ timeout: 10
117
+ });
118
+
46
119
  console.log(response.data);
47
120
  ```
48
121
 
122
+ ### 完整模式 + 代理数组(支持异常时自动轮换)
123
+
124
+ 如果需要代理管理功能,并且想预先设置代理列表:
125
+
126
+ ```typescript
127
+ import { createProxyRequest } from 'proxy-pool-manager';
128
+
129
+ // 创建完整 SDK 实例 + 代理数组(连接 MongoDB)
130
+ const sdk = await createProxyRequest({
131
+ mongoUri: 'mongodb://localhost:27017/proxy_db',
132
+ proxies: [
133
+ 'proxy1.example.com:8080:user1:pass1',
134
+ 'proxy2.example.com:8080:user2:pass2',
135
+ 'proxy3.example.com:8080:user3:pass3'
136
+ ],
137
+ proxyStrategy: 'failover', // 故障转移策略
138
+ maxRetries: 3,
139
+ timeout: 30,
140
+ proxyCheckOptions: {
141
+ mainUrl: 'http://example.com/check',
142
+ timeout: 10,
143
+ }
144
+ });
145
+
146
+ // 代理会被保存到 MongoDB,并支持自动轮换
147
+ // 如果请求失败,会自动轮换到下一个代理并重试
148
+ const response = await sdk.get('https://api.example.com/data');
149
+ ```
150
+
49
151
  ### 添加代理
50
152
 
51
153
  ```typescript
@@ -111,15 +213,22 @@ const customResponse = await sdk.request({
111
213
 
112
214
  ```typescript
113
215
  interface SDKOptions {
114
- mongoUri: string; // MongoDB 连接 URI(必需)
115
- maxRetries?: number; // 最大重试次数,默认 3
116
- timeout?: number; // 请求超时时间(秒),默认 30
117
- proxyStrategy?: ProxyStrategy; // 代理策略,默认 'sequential'
118
- logLevel?: LogLevel; // 日志级别,默认 'info'
119
- instanceId?: string; // 实例 ID,用于多实例场景
120
- proxyCheckOptions: { // 代理检查配置(必需)
121
- mainUrl: string; // 代理检查主 URL(必需)
122
- testUrls?: string[]; // 额外的测试 URL
216
+ mongoUri?: string; // MongoDB 连接 URI(可选,启用代理管理时需要)
217
+ maxRetries?: number; // 最大重试次数,默认 3
218
+ timeout?: number; // 请求超时时间(秒),默认 30
219
+ proxyStrategy?: ProxyStrategy; // 代理策略,默认 'sequential'
220
+ logLevel?: LogLevel; // 日志级别,默认 'info'
221
+ instanceId?: string; // 实例 ID,用于多实例场景
222
+ proxies?: string[]; // 代理数组,支持异常时自动轮换
223
+ proxy?: string; // 单个代理
224
+ retryDelay?: number; // 重试间隔(毫秒),默认使用指数退避策略
225
+ retryDelayBase?: number; // 指数退避的基础延迟(毫秒),默认 1000
226
+ retryDelayMultiplier?: number; // 指数退避的倍数,默认 2
227
+ proxyCheckEnabled?: boolean; // 是否启用代理检查,默认 true
228
+ proxyLimit?: number; // 代理加载限制,0 表示不加载,默认 0
229
+ proxyCheckOptions?: { // 代理检查配置(启用代理管理时需要)
230
+ mainUrl: string; // 代理检查主 URL(启用代理管理时必需)
231
+ testUrls?: string[]; // 额外的测试 URL
123
232
  timeout?: number; // 检查超时时间(秒)
124
233
  successStatusCodes?: number[]; // 成功状态码列表
125
234
  checkInterval?: number; // 检查间隔(毫秒)
@@ -129,6 +238,15 @@ interface SDKOptions {
129
238
  }
130
239
  ```
131
240
 
241
+ **配置说明:**
242
+
243
+ - **轻量级模式**:不提供 `mongoUri` 和 `proxyCheckOptions`,SDK 将以轻量级模式运行,不连接 MongoDB,不初始化代理管理功能
244
+ - **轻量级模式 + 代理数组**:提供 `proxies` 或 `proxy` 但不提供 `mongoUri`,SDK 将以轻量级模式运行,代理仅存储在内存中,支持异常时自动轮换
245
+ - **完整模式**:提供 `mongoUri` 或 `proxyCheckOptions`,SDK 将启用代理管理功能
246
+ - **完整模式 + 代理数组**:同时提供 `mongoUri` 和 `proxies`,代理会被保存到 MongoDB,并支持异常时自动轮换
247
+ - **禁用代理检查**:设置 `proxyCheckEnabled: false` 可禁用代理检查
248
+ - **不加载代理**:设置 `proxyLimit: 0` 可不从数据库加载代理
249
+
132
250
  #### 方法
133
251
 
134
252
  ##### 请求方法
@@ -140,7 +258,7 @@ interface SDKOptions {
140
258
  - `patch<T>(url: string, options?: RequestOptions): Promise<HttpResponse<T>>`
141
259
  - `request<T>(config: RequestConfig): Promise<HttpResponse<T>>`
142
260
 
143
- ##### 代理管理方法
261
+ ##### 代理管理方法(仅在启用代理管理功能时可用)
144
262
 
145
263
  - `addProxy(proxyUrl: string): Promise<ProxyItem | null>` - 添加代理
146
264
  - `deleteProxy(proxyUrl: string): Promise<boolean>` - 删除代理
@@ -151,6 +269,7 @@ interface SDKOptions {
151
269
  - `checkProxy(proxy?: string): Promise<boolean>` - 检查代理可用性
152
270
  - `triggerProxyCheck(): Promise<void>` - 触发代理检查
153
271
  - `getProxyDetails(proxyUrl: string): ProxyItem | undefined` - 获取代理详情
272
+ - `hasProxyManagement(): boolean` - 检查是否启用了代理管理功能
154
273
 
155
274
  ##### 批量操作
156
275
 
@@ -171,11 +290,256 @@ interface SDKOptions {
171
290
 
172
291
  ### 代理策略
173
292
 
174
- 支持三种代理选择策略:
293
+ 支持三种代理选择策略,每种策略都有不同的使用场景和特点:
294
+
295
+ #### 1. sequential(顺序策略)
296
+
297
+ **特点:**
298
+
299
+ - 按照代理列表的顺序依次使用代理
300
+ - 每次请求后自动切换到下一个代理
301
+ - 简单、可预测,适合需要均匀分配请求的场景
302
+
303
+ **使用场景:**
304
+
305
+ - 需要均匀分配请求到各个代理
306
+ - 代理质量相近,不需要特别优化
307
+ - 需要可预测的代理使用顺序
308
+
309
+ **示例:**
310
+ ```typescript
311
+ const sdk = await createProxyRequest({
312
+ proxies: [
313
+ 'proxy1.example.com:8080:user1:pass1',
314
+ 'proxy2.example.com:8080:user2:pass2',
315
+ 'proxy3.example.com:8080:user3:pass3'
316
+ ],
317
+ proxyStrategy: 'sequential'
318
+ });
319
+
320
+ // 第一次请求使用 proxy1
321
+ const response1 = await sdk.get('https://api.example.com/data');
322
+ // 第二次请求使用 proxy2
323
+ const response2 = await sdk.get('https://api.example.com/data');
324
+ // 第三次请求使用 proxy3
325
+ const response3 = await sdk.get('https://api.example.com/data');
326
+ // 第四次请求又回到 proxy1(循环)
327
+ ```
328
+
329
+ **轮换机制:**
330
+
331
+ - 请求失败时,自动切换到下一个代理并重试
332
+ - 如果所有代理都失败,停止重试
333
+
334
+ #### 2. random(随机策略)
335
+
336
+ **特点:**
337
+
338
+ - 从可用代理中随机选择一个使用
339
+ - 避免重复使用同一个代理,直到所有代理都被使用过
340
+ - 适合需要避免代理被过度使用的场景
341
+
342
+ **使用场景:**
343
+
344
+ - 需要避免某些代理被过度使用
345
+ - 代理质量相近,随机分配即可
346
+ - 需要分散请求负载
347
+
348
+ **示例:**
349
+ ```typescript
350
+ const sdk = await createProxyRequest({
351
+ proxies: [
352
+ 'proxy1.example.com:8080:user1:pass1',
353
+ 'proxy2.example.com:8080:user2:pass2',
354
+ 'proxy3.example.com:8080:user3:pass3'
355
+ ],
356
+ proxyStrategy: 'random'
357
+ });
358
+
359
+ // 每次请求随机选择一个代理
360
+ const response1 = await sdk.get('https://api.example.com/data');
361
+ const response2 = await sdk.get('https://api.example.com/data');
362
+ const response3 = await sdk.get('https://api.example.com/data');
363
+ ```
364
+
365
+ **轮换机制:**
366
+
367
+ - 随机选择代理,避免重复使用
368
+ - 当所有代理都被使用过后,重置使用记录
369
+ - 请求失败时,从剩余未使用的代理中随机选择并重试
370
+
371
+ #### 3. failover(故障转移策略)⭐ 推荐
372
+
373
+ **特点:**
374
+
375
+ - 智能选择最佳可用代理
376
+ - 根据代理的历史表现(失败率、响应时间)自动选择最优代理
377
+ - 优先使用失败率低、响应时间短的代理
378
+ - 适合需要高可用性和性能的场景
379
+ - **不需要 MongoDB**:统计信息存储在内存中,实时更新
380
+
381
+ **选择优先级:**
382
+
383
+ 1. **连续失败次数**:优先选择连续失败次数最少的代理
384
+ 2. **失败率**:在连续失败次数相同的情况下,选择失败率最低的代理
385
+ 3. **响应时间**:在失败率相同的情况下,选择平均响应时间最短的代理
386
+
387
+ **使用场景:**
388
+
389
+ - 需要高可用性和性能的场景
390
+ - 代理质量差异较大,需要自动选择最优代理
391
+ - 需要自动排除故障代理
392
+ - 对请求成功率要求较高的场景
393
+ - **轻量级模式**:不需要 MongoDB,仅使用内存统计
394
+
395
+ **示例:**
396
+
397
+ ```typescript
398
+ // 轻量级模式 + failover(不需要 MongoDB)
399
+ const sdk1 = await createProxyRequest({
400
+ proxies: [
401
+ 'proxy1.example.com:8080:user1:pass1', // 高质量代理
402
+ 'proxy2.example.com:8080:user2:pass2', // 中等质量代理
403
+ 'proxy3.example.com:8080:user3:pass3' // 低质量代理
404
+ ],
405
+ proxyStrategy: 'failover' // 不需要 MongoDB,统计信息存储在内存中
406
+ });
407
+
408
+ // 自动选择最优代理(失败率低、响应时间短)
409
+ const response = await sdk1.get('https://api.example.com/data');
410
+ ```
411
+
412
+ ```typescript
413
+ // 完整模式 + failover(使用 MongoDB 持久化统计信息)
414
+ const sdk2 = await createProxyRequest({
415
+ mongoUri: 'mongodb://localhost:27017/proxy_db',
416
+ proxies: [
417
+ 'proxy1.example.com:8080:user1:pass1',
418
+ 'proxy2.example.com:8080:user2:pass2',
419
+ 'proxy3.example.com:8080:user3:pass3'
420
+ ],
421
+ proxyStrategy: 'failover',
422
+ proxyCheckOptions: {
423
+ mainUrl: 'http://example.com/check'
424
+ }
425
+ });
426
+
427
+ // 统计信息会被持久化到 MongoDB,重启后仍然保留历史数据
428
+ const response = await sdk2.get('https://api.example.com/data');
429
+ ```
430
+
431
+ **统计信息说明:**
432
+
433
+ - **内存模式**(不提供 `mongoUri`):
434
+ - 统计信息存储在内存中,实时更新
435
+ - 重启后统计信息会重置
436
+ - 适合临时使用或单次运行场景
437
+
438
+ - **持久化模式**(提供 `mongoUri`):
439
+ - 统计信息会保存到 MongoDB
440
+ - 重启后仍然保留历史数据
441
+ - 适合长期运行或需要历史数据的场景
442
+
443
+ **轮换机制:**
444
+
445
+ - 请求失败时,自动标记当前代理的失败次数
446
+ - 下次请求时,自动选择表现最好的代理
447
+ - 连续失败超过阈值的代理会被标记为无效,不再使用
448
+ - 代理恢复后(成功请求),会自动重新启用
449
+
450
+ **故障转移流程:**
451
+
452
+ ```text
453
+ 1. 选择最优代理(连续失败次数最少 → 失败率最低 → 响应时间最短)
454
+ 2. 发送请求
455
+ 3. 如果失败:
456
+ - 增加代理的失败计数
457
+ - 如果连续失败次数超过阈值,标记为无效
458
+ - 下次请求时自动选择下一个最优代理
459
+ 4. 如果成功:
460
+ - 重置连续失败次数
461
+ - 更新平均响应时间
462
+ - 如果之前被标记为无效,自动恢复为有效状态
463
+ ```
464
+
465
+ **性能优化:**
466
+
467
+ - 自动排除故障代理,避免重复尝试
468
+ - 优先使用高质量代理,提高成功率
469
+ - 动态调整代理优先级,适应代理质量变化
470
+
471
+ **重要说明:**
472
+
473
+ - ✅ **不需要 MongoDB**:failover 策略可以在轻量级模式下使用,统计信息存储在内存中
474
+ - ✅ **实时更新**:每次请求后,统计信息会立即更新(成功/失败次数、响应时间等)
475
+ - ✅ **自动学习**:随着请求的进行,系统会自动学习每个代理的质量,并优先使用高质量代理
476
+ - 💡 **MongoDB 的作用**:如果提供 MongoDB,统计信息会被持久化,重启后仍然保留历史数据,有助于更快地识别高质量代理
477
+
478
+ ### 重试间隔配置
479
+
480
+ 支持两种重试间隔策略:
481
+
482
+ #### 1. 指数退避策略(默认)
483
+
484
+ 每次重试前等待时间递增,适合大多数场景:
485
+
486
+ ```typescript
487
+ const sdk = await createProxyRequest({
488
+ maxRetries: 3,
489
+ retryDelayBase: 1000, // 基础延迟 1000ms(默认)
490
+ retryDelayMultiplier: 2 // 倍数 2(默认)
491
+ });
492
+
493
+ // 重试间隔:第1次 1000ms,第2次 2000ms,第3次 4000ms
494
+ ```
495
+
496
+ **计算公式:** `waitTime = retryDelayBase × retryDelayMultiplier^(attempt-1)`
497
+
498
+ **示例:**
499
+ - 第1次重试:1000ms × 2^0 = 1000ms
500
+ - 第2次重试:1000ms × 2^1 = 2000ms
501
+ - 第3次重试:1000ms × 2^2 = 4000ms
502
+
503
+ #### 2. 固定间隔策略
504
+
505
+ 每次重试前等待固定时间,适合需要稳定重试间隔的场景:
175
506
 
176
- - **sequential**(顺序):按顺序使用代理列表中的代理
177
- - **random**(随机):随机选择可用代理
178
- - **failover**(故障转移):当前代理失败时自动切换到下一个
507
+ ```typescript
508
+ const sdk = await createProxyRequest({
509
+ maxRetries: 3,
510
+ retryDelay: 2000 // 每次重试都等待 2000ms
511
+ });
512
+
513
+ // 重试间隔:每次都是 2000ms
514
+ ```
515
+
516
+ **使用场景:**
517
+ - **指数退避**:适合网络不稳定、需要避免服务器压力的场景
518
+ - **固定间隔**:适合需要稳定重试节奏、便于调试的场景
519
+
520
+ **自定义配置示例:**
521
+
522
+ ```typescript
523
+ // 快速重试(500ms 基础,1.5倍递增)
524
+ const sdk1 = await createProxyRequest({
525
+ retryDelayBase: 500,
526
+ retryDelayMultiplier: 1.5
527
+ // 重试间隔:500ms → 750ms → 1125ms
528
+ });
529
+
530
+ // 慢速重试(2000ms 基础,2倍递增)
531
+ const sdk2 = await createProxyRequest({
532
+ retryDelayBase: 2000,
533
+ retryDelayMultiplier: 2
534
+ // 重试间隔:2000ms → 4000ms → 8000ms
535
+ });
536
+
537
+ // 固定间隔 3 秒
538
+ const sdk3 = await createProxyRequest({
539
+ retryDelay: 3000
540
+ // 重试间隔:每次都是 3000ms
541
+ });
542
+ ```
179
543
 
180
544
  ### 日志级别
181
545
 
@@ -188,6 +552,98 @@ interface SDKOptions {
188
552
 
189
553
  ## 🔧 高级用法
190
554
 
555
+ ### 使用场景选择
556
+
557
+ #### 场景 1:仅需要 HTTP 请求功能(推荐轻量级模式)
558
+
559
+ ```typescript
560
+ // 不需要代理管理,只需要发送 HTTP 请求
561
+ const sdk = await createProxyRequest({
562
+ maxRetries: 3,
563
+ timeout: 30,
564
+ logLevel: 'info'
565
+ });
566
+
567
+ // 直接使用,无需 MongoDB
568
+ const response = await sdk.get('https://api.example.com/data');
569
+ ```
570
+
571
+ #### 场景 2:需要临时使用代理
572
+
573
+ ```typescript
574
+ // 轻量级模式 + 直接指定代理
575
+ const sdk = await createProxyRequest({
576
+ maxRetries: 3,
577
+ timeout: 30
578
+ });
579
+
580
+ // 在请求中直接指定代理
581
+ const response = await sdk.post('http://your-api.com/request', {
582
+ url: 'https://api.example.com/data',
583
+ method: 'GET',
584
+ proxy: 'http://proxy.example.com:8080:user:pass' // 直接指定代理
585
+ });
586
+ ```
587
+
588
+ #### 场景 2.5:使用代理数组 + 异常时自动轮换(推荐)
589
+
590
+ ```typescript
591
+ // 轻量级模式 + 代理数组(不连接 MongoDB)
592
+ const sdk = await createProxyRequest({
593
+ proxies: [
594
+ 'proxy1.example.com:8080:user1:pass1',
595
+ 'proxy2.example.com:8080:user2:pass2',
596
+ 'proxy3.example.com:8080:user3:pass3'
597
+ ],
598
+ proxyStrategy: 'failover', // 故障转移策略
599
+ maxRetries: 3,
600
+ timeout: 30
601
+ });
602
+
603
+ // 发送请求,如果代理失败会自动轮换到下一个代理
604
+ const response = await sdk.post('http://your-api.com/request', {
605
+ url: 'https://api.example.com/data',
606
+ method: 'GET',
607
+ timeout: 10
608
+ });
609
+ ```
610
+
611
+ #### 场景 3:需要代理管理功能
612
+
613
+ ```typescript
614
+ // 完整模式,启用代理管理
615
+ const sdk = await createProxyRequest({
616
+ mongoUri: 'mongodb://localhost:27017/proxy_db',
617
+ proxyCheckOptions: {
618
+ mainUrl: 'http://example.com/check',
619
+ timeout: 10,
620
+ }
621
+ });
622
+
623
+ // 添加代理到管理器
624
+ await sdk.addProxy('proxy1.example.com:8080:user1:pass1');
625
+
626
+ // 自动使用代理管理器选择的代理
627
+ const response = await sdk.get('https://api.example.com/data');
628
+ ```
629
+
630
+ #### 场景 4:禁用代理检查,但仍使用代理管理
631
+
632
+ ```typescript
633
+ // 使用代理管理,但禁用代理检查
634
+ const sdk = await createProxyRequest({
635
+ mongoUri: 'mongodb://localhost:27017/proxy_db',
636
+ proxyCheckEnabled: false, // 禁用代理检查
637
+ proxyLimit: 0, // 不加载代理
638
+ proxyCheckOptions: {
639
+ mainUrl: 'http://example.com/check', // 仍然需要提供(用于后续启用)
640
+ }
641
+ });
642
+
643
+ // 手动添加代理,不进行自动检查
644
+ await sdk.addProxy('proxy.example.com:8080:user:pass');
645
+ ```
646
+
191
647
  ### 多实例场景
192
648
 
193
649
  ```typescript
@@ -231,15 +687,141 @@ const sdk = await createProxyRequest({
231
687
  });
232
688
  ```
233
689
 
234
- ### 请求级代理指定
690
+ ### 代理使用方式
691
+
692
+ #### 1. 直接指定代理(轻量级模式和完整模式都支持)
235
693
 
236
694
  ```typescript
237
- // 为特定请求指定代理
238
- const response = await sdk.get('https://api.example.com/data', {
239
- proxy: 'specific-proxy.com:8080:user:pass'
695
+ // 为特定请求指定代理(优先级最高)
696
+ const response = await sdk.post('http://your-api.com/request', {
697
+ url: 'https://api.example.com/data',
698
+ method: 'GET',
699
+ proxy: 'http://proxy.example.com:8080:user:pass', // 直接指定代理
700
+ timeout: 10
240
701
  });
241
702
  ```
242
703
 
704
+ #### 2. 使用代理数组(支持异常时自动轮换)
705
+
706
+ ```typescript
707
+ // 创建 SDK 时传入代理数组
708
+ const sdk = await createProxyRequest({
709
+ proxies: [
710
+ 'proxy1.example.com:8080:user1:pass1',
711
+ 'proxy2.example.com:8080:user2:pass2',
712
+ 'proxy3.example.com:8080:user3:pass3'
713
+ ],
714
+ proxyStrategy: 'sequential', // 顺序策略
715
+ maxRetries: 3
716
+ });
717
+
718
+ // 发送请求,会自动使用代理管理器选择的代理
719
+ // 如果代理失败,会自动轮换到下一个代理并重试
720
+ const response = await sdk.post('http://your-api.com/request', {
721
+ url: 'https://api.example.com/data',
722
+ method: 'GET',
723
+ timeout: 10
724
+ });
725
+
726
+ // 查看当前使用的代理
727
+ console.log('当前代理:', sdk.getCurrentProxy());
728
+ console.log('可用代理:', sdk.getAvailableProxies());
729
+ ```
730
+
731
+ #### 3. 自动使用代理管理器选择的代理(完整模式)
732
+
733
+ ```typescript
734
+ // 先添加代理到管理器
735
+ await sdk.addProxy('proxy1.example.com:8080:user1:pass1');
736
+ await sdk.addProxy('proxy2.example.com:8080:user2:pass2');
737
+
738
+ // 不指定代理,自动使用代理管理器选择的代理
739
+ const response = await sdk.post('http://your-api.com/request', {
740
+ url: 'https://api.example.com/data',
741
+ method: 'GET',
742
+ // 不指定 proxy,会自动使用 ProxyManager 选择的代理
743
+ timeout: 10
744
+ });
745
+ ```
746
+
747
+ #### 4. 代理优先级
748
+
749
+ 代理使用遵循以下优先级:
750
+
751
+ 1. **请求级代理**(`options.proxy`)- 最高优先级,总是优先使用
752
+ 2. **代理管理器自动选择** - 如果启用了代理管理且没有指定请求级代理
753
+ 3. **无代理** - 如果都没有,则直接请求(不使用代理)
754
+
755
+ #### 5. 异常时自动轮换
756
+
757
+ 当请求失败时(超时、连接错误等),系统会自动轮换到下一个代理并重试:
758
+
759
+ ```typescript
760
+ const sdk = await createProxyRequest({
761
+ proxies: [
762
+ 'proxy1.example.com:8080:user1:pass1',
763
+ 'proxy2.example.com:8080:user2:pass2',
764
+ 'proxy3.example.com:8080:user3:pass3'
765
+ ],
766
+ proxyStrategy: 'failover', // 推荐使用故障转移策略
767
+ maxRetries: 3 // 最多重试3次,每次失败会自动轮换代理
768
+ });
769
+
770
+ // 如果 proxy1 失败,会自动尝试 proxy2,再失败会尝试 proxy3
771
+ const response = await sdk.get('https://api.example.com/data');
772
+ ```
773
+
774
+ **轮换机制说明:**
775
+
776
+ - 只有在使用代理管理器选择的代理时才会轮换(如果请求中直接指定了代理,不会轮换)
777
+ - 支持两种重试间隔策略:
778
+ - **指数退避策略**(默认):每次重试前等待时间递增,公式为 `retryDelayBase × retryDelayMultiplier^(attempt-1)`
779
+ - 默认值:基础延迟 1000ms,倍数 2
780
+ - 示例:第1次重试等待 1000ms,第2次等待 2000ms,第3次等待 4000ms
781
+ - **固定间隔策略**:设置 `retryDelay` 后,每次重试前等待固定时间
782
+ - 示例:设置 `retryDelay: 2000`,每次重试都等待 2000ms
783
+ - 支持三种代理策略,每种策略的轮换方式不同:
784
+ - **sequential**:按顺序切换到下一个代理
785
+ - **random**:从剩余未使用的代理中随机选择
786
+ - **failover**:自动选择表现最好的代理(推荐)
787
+
788
+ **不同策略的轮换行为:**
789
+
790
+ | 策略 | 首次选择 | 失败后轮换 | 特点 |
791
+ |------|---------|-----------|------|
792
+ | sequential | 第一个代理 | 按顺序切换到下一个 | 简单、可预测 |
793
+ | random | 随机选择 | 从剩余代理中随机选择 | 分散负载 |
794
+ | failover | 最优代理 | 选择下一个最优代理 | 智能、高效 ⭐ |
795
+
796
+ **故障检测:**
797
+
798
+ 系统会自动检测以下类型的错误并触发代理轮换:
799
+
800
+ - 连接超时(TimeoutError)
801
+ - 连接被拒绝(ECONNREFUSED)
802
+ - 网络错误(网络相关关键词)
803
+ - HTTP 错误(根据配置)
804
+
805
+ **代理状态管理:**
806
+
807
+ - 连续失败超过阈值的代理会被标记为无效
808
+ - 无效代理不会参与选择,直到恢复
809
+ - 代理恢复后(成功请求),会自动重新启用
810
+
811
+ #### 6. 检查代理管理功能状态
812
+
813
+ ```typescript
814
+ // 检查是否启用了代理管理功能
815
+ if (sdk.hasProxyManagement()) {
816
+ console.log('代理管理功能已启用');
817
+ // 可以使用代理管理相关方法
818
+ await sdk.addProxy('proxy.example.com:8080');
819
+ } else {
820
+ console.log('轻量级模式,仅支持直接指定代理');
821
+ // 只能通过 options.proxy 指定代理
822
+ }
823
+ ```
824
+
243
825
  ### 代理统计信息
244
826
 
245
827
  ```typescript
@@ -645,9 +1227,24 @@ import type {
645
1227
 
646
1228
  ## ⚠️ 注意事项
647
1229
 
648
- 1. **MongoDB 连接**:确保 MongoDB 服务正在运行且连接 URI 正确
649
- 2. **代理格式**:代理 URL 格式为 `host:port:username:password`
650
- 3. **初始化等待**:SDK 初始化是异步的,使用 `waitForReady()` 确保初始化完成
651
- 4. **资源清理**:使用完毕后调用 `destroy()` 方法清理资源
652
- 5. **并发限制**:代理检查的并发数可通过 `maxConcurrentChecks` 配置
1230
+ 1. **轻量级模式 vs 完整模式**:
1231
+ - **轻量级模式**:不提供 `mongoUri` `proxyCheckOptions`,不连接 MongoDB,仅使用请求和队列功能
1232
+ - **完整模式**:提供 `mongoUri` 或 `proxyCheckOptions`,启用代理管理功能,需要 MongoDB 连接
1233
+
1234
+ 2. **MongoDB 连接**:仅在启用代理管理功能时需要,确保 MongoDB 服务正在运行且连接 URI 正确
1235
+
1236
+ 3. **代理格式**:代理 URL 格式为 `host:port:username:password` 或 `http://host:port:username:password`
1237
+
1238
+ 4. **代理使用**:
1239
+ - 轻量级模式下,只能通过 `options.proxy` 直接指定代理
1240
+ - 完整模式下,可以自动使用代理管理器选择的代理,也可以直接指定代理(优先级更高)
1241
+
1242
+ 5. **初始化等待**:SDK 初始化是异步的,使用 `waitForReady()` 确保初始化完成
1243
+
1244
+ 6. **资源清理**:使用完毕后调用 `destroy()` 方法清理资源
1245
+
1246
+ 7. **并发限制**:代理检查的并发数可通过 `maxConcurrentChecks` 配置
653
1247
 
1248
+ 8. **禁用功能**:
1249
+ - 设置 `proxyCheckEnabled: false` 可禁用代理检查
1250
+ - 设置 `proxyLimit: 0` 可不从数据库加载代理