nodejs_chromium 1.1.4 → 1.1.6

package/index.js

@@ -1,95 +1,191 @@
 require('nodejs_patch');
 const puppeteer = require("puppeteer");
 const chrome = require("./src/chrome.js");
+const { exec } = require("child_process");
 global.__UA__ = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36';
+const mob_ua = 'Mozilla/5.0 (Linux; Android 13;Build/TKQ1.220905.001) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/116.0.0.0 Mobile Safari/537.36';
+let browser;
+
+
+async function NormalClose(path) {
+
+	const fs = require("fs");
+	/**
+	 * 禁止显示【要恢复页面吗？chromium 未正确关闭。】
+	 * PATH为chrome.userDataDir
+	 * 修改`PATH\Default\Preferences`文件，
+	 * 将`"profile.exit_type":“Crashed"` 改为`"Normal"`。
+	 */
+	let file = `${path}/Default/Preferences`;
+	// console.log({file});
+	if (!fs.existsSync(file)) return;
+	let text = fs.readFileSync(file);
+	let json = JSON.parse(text);
+	//原值可能为：Crashed
+	json.profile.exit_type = 'Normal';
+	// console.log('json.profile.exit_type', json.profile.exit_type);
+	fs.writeFileSync(file, JSON.stringify(json));
+}
+
+
+async function newBrowser(params) {
+	try {
+
+		let {
+			id = 'myChrome',
+				visible = false, //是否打开浏览器
+				width = 1024, //宽
+				height = 768, //高
+				scale = 1, //缩放比例
+				touch = false, //支持触摸
+				mobile = false, //手机版
+				dumpio = false, //如果为 true，则将浏览器进程 stdout 和 stderr 通过管道传输到 process.stdout 和 process.stderr。
+				devtools = false, //打开devtools
+				cache = false, //禁用缓存
+				incognito = true, //使用无痕模式启动
+				path = void 0, //Chrome路径，linux下必填
+				slowMo = 1, //每一步停留时间
+				env = void 0, //string,指定浏览器可见的环境变量。process.env 的内容。
+				proxy = null, //代理，如：https://proxy.com:789/
+				wait = true, //是否等待初始页面准备好。当用户明确禁用该功能时很有用（例如 Chrome 的 --no-startup-window）
+				timeout = 0, //等待浏览器启动的最长时间（以毫秒为单位）。 0 禁用超时。
+		} = params;
+
+		let option = {
+			userDataDir: `runtime/.cache/${id}`,
+			timeout, //最大允许超时间，默认为3000，最小215，一般不要设置
+			slowMo, //每一步停留时间，不能太大，否则会太慢，特别是在类似写入很多Cookies时，每写入一个都要等一下。
+			headless: visible ? false : 'new', //'new',设置是否在无头模式下运行浏览器,false=会启动浏览器，true=无界面
+			devtools, //打开调试
+			ignoreHTTPSErrors: true, //忽略 HTTPS 错误。屏蔽跳转不同域名的报错
+			dumpio, //是否将浏览器的标准输入/输出流（stdio）的内容输出到 Node.js 的 stdout 和 stderr。
+			env,
+			waitForInitialPage: wait,
+			defaultViewport: {
+				width,
+				height,
+				hasTouch: touch,
+				deviceScaleFactor: scale, //缩放比例
+				isMobile: mobile,
+			},
+			defaultArgs: [
+				'--disable-extensions', //禁止启动扩展
+				'--no-sandbox', //禁用沙箱模式
+				'--disable-setuid-sandbox', //禁用设置用户身份沙盒
+				'--disable-web-security', //禁用同源策略
+			],
+			ignoreDefaultArgs: [
+				"--enable-automation", //忽略默认的 --enable-automation 参数，这有助于防止某些网站检测到自动化行为。
+			],
+			args: [
+				'--enable-chrome-browser-cloud-management', //Cloud Browser Client Management (CBCM)
+				'--disable-web-security', //禁用浏览器的同源策略（Same-Origin Policy）和跨站请求伪造（CSRF）保护
+				`--window-size=${width},${height}`,
+				'--no-sandbox', //禁用沙箱模式
+				'--disable-autofill-backend', //禁止自动填充
+				'--disable-setuid-sandbox', //禁用 setuid 沙箱。这是另一种沙箱模式，通常用于 Linux 系统上。
+				// '--disable-infobars', //禁用自动化控制时显示的信息栏，告诉用户浏览器正在被自动化工具控制。
+				'--disable-gpu', //禁用 GPU 加速。这通常用于在服务器环境或某些不支持 GPU 加速的平台上运行 Chrome。
+				'--disable-blink-features=AutomationControlled', //防止检测 blink 引擎特性判断是否处于自动化控制状态。
+				'--lang=zh-CN', //设置中文环境
+				'--disable-extensions', //禁止启动扩展
+				'--disable-dev-shm-usage', //Linux系统中使用普通的文件系统缓存避免因为/dev/shm大小不足而导致的问题
+			]
+		}
+		await NormalClose(option.userDataDir); //禁止显示【要恢复页面吗？chromium 未正确关闭。】
+
+		if (proxy) option.defaultArgs.push(`--proxy-server=${proxy}`);
+		if (incognito) option.args.push('--incognito', '--disable-infobars'); //使用无痕模式启动
+		if (!cache) option.args.push('--disable-cache'); //禁缓存
+		if (path) option.executablePath = path; //指定chrome安装路径
+
+		browser = await puppeteer.launch(option);
+		return browser;
+	}
+	catch (e) {
+		let mt = e.message.match(/\(ver\. (\d+\.\d+\.\d+\.\d+)\)/);
+		if (mt) {
+			return { error: `chrome(${mt})未安装`, install: 1 };
+		}
+		else {
+			console.log('checkInstall', e.message);
+			return { error: e.message };
+		}
+	}
+}
+
 
 async function newChrome(params) {
-	let {
-		id = 'myChrome',
-			visible = false, //是否打开浏览器
-			width = 1024, //宽
-			height = 768, //高
-			scale = 1, //缩放比例
-			touch = false, //支持触摸
-			mobile = false, //手机版
-			dumpio = false, //如果为 true，则将浏览器进程 stdout 和 stderr 通过管道传输到 process.stdout 和 process.stderr。
-			devtools = false, //打开devtools
-			cache = false, //禁用缓存
-			incognito = true, //使用无痕模式启动
-			path = void 0, //Chrome路径，linux下必填
-			slowMo = 1, //每一步停留时间
-			ua = void 0, //若不指定ua则用__UA__
-			env = void 0, //string,指定浏览器可见的环境变量。process.env 的内容。
-			proxy = null, //代理，如：https://proxy.com:789/
-			cookies = null, //若cookies=false，则不处理cookies，不指定则由chrome处理，若=文件路径
-			abort = [], //要禁止的类型，常见["font","image","ping","stylesheet","document","fetch","script","xhr"]
-			headers = {},
-			wait = true, //是否等待初始页面准备好。当用户明确禁用该功能时很有用（例如 Chrome 的 --no-startup-window）
-			timeout = 0, //等待浏览器启动的最长时间（以毫秒为单位）。 0 禁用超时。
-	} = params;
-
-	let option = {
-		userDataDir: `runtime/.cache/${id}`,
-		timeout, //最大允许超时间，默认为3000，最小215，一般不要设置
-		slowMo, //每一步停留时间，不能太大，否则会太慢，特别是在类似写入很多Cookies时，每写入一个都要等一下。
-		headless: visible ? false : 'new', //'new',设置是否在无头模式下运行浏览器,false=会启动浏览器，true=无界面
-		devtools, //打开调试
-		ignoreHTTPSErrors: true, //忽略 HTTPS 错误。屏蔽跳转不同域名的报错
-		dumpio, //是否将浏览器的标准输入/输出流（stdio）的内容输出到 Node.js 的 stdout 和 stderr。
-		env,
-		waitForInitialPage: wait,
-		defaultViewport: {
-			width,
-			height,
-			hasTouch: touch,
-			deviceScaleFactor: scale, //缩放比例
-			isMobile: !!mobile,
-		},
-		defaultArgs: [
-			'--disable-extensions', //禁止启动扩展
-			'--no-sandbox', //禁用沙箱模式
-			'--disable-setuid-sandbox', //禁用设置用户身份沙盒
-			'--disable-web-security', //禁用同源策略
-		],
-		ignoreDefaultArgs: [
-			"--enable-automation", //忽略默认的 --enable-automation 参数，这有助于防止某些网站检测到自动化行为。
-		],
-		args: [
-			'--enable-chrome-browser-cloud-management', //Cloud Browser Client Management (CBCM)
-			'--disable-web-security', //禁用浏览器的同源策略（Same-Origin Policy）和跨站请求伪造（CSRF）保护
-			`--window-size=${width},${height}`,
-			'--no-sandbox', //禁用沙箱模式
-			'--disable-autofill-backend', //禁止自动填充
-			'--disable-setuid-sandbox', //禁用 setuid 沙箱。这是另一种沙箱模式，通常用于 Linux 系统上。
-			// '--disable-infobars', //禁用自动化控制时显示的信息栏，告诉用户浏览器正在被自动化工具控制。
-			'--disable-gpu', //禁用 GPU 加速。这通常用于在服务器环境或某些不支持 GPU 加速的平台上运行 Chrome。
-			'--disable-blink-features=AutomationControlled', //防止检测 blink 引擎特性判断是否处于自动化控制状态。
-			'--lang=zh-CN', //设置中文环境
-			'--disable-extensions', //禁止启动扩展
-			'--disable-dev-shm-usage', //Linux系统中使用普通的文件系统缓存避免因为/dev/shm大小不足而导致的问题
-		]
+	try {
+		let {
+			id = 'myChrome',
+				visible = false, //是否打开浏览器
+				mobile = false, //手机版
+				ua = void 0, //若不指定ua则用__UA__
+				cookies = null, //若cookies=false，则不处理cookies，不指定则由chrome处理，若=文件路径
+				abort = [], //要禁止的类型，常见["font","image","ping","stylesheet","document","fetch","script","xhr"]
+				headers = {},
+		} = params;
+
+		await newBrowser(params);
+
+		// const version = await browser.version();
+		const page = (await browser.pages())[0];
+		// const page = await browser.newPage();
+		await page.setRequestInterception(true); //允许拦截
+
+		if (ua) await page.setUserAgent(ua);
+		else if (mobile) await page.setUserAgent(mob_ua);
+		else await page.setUserAgent(__UA__);
+
+		await page.evaluateOnNewDocument(() => {
+			const newProto = navigator.__proto__;
+			delete newProto.webdriver; //删除 navigator.webdriver字段，防止检测到自动化行为
+			navigator.__proto__ = newProto;
+		});
+
+		if (cookies !== false) cookies = `runtime/.cache/${id}/cookies.json`;
+		const pageOption = { cookies, visible, abort, headers };
+		return new chrome(browser, page, pageOption);
 	}
+	catch (err) {
+		return { error: err.message };
+	}
+
+}
 
-	if (proxy) option.defaultArgs.push(`--proxy-server=${proxy}`);
-	if (incognito) option.args.push('--incognito', '--disable-infobars'); //使用无痕模式启动
-	if (!cache) option.args.push('--disable-cache'); //禁缓存
-	if (path) option.executablePath = path; //指定chrome安装路径
-
-	const browser = await puppeteer.launch(option);
-	const page = (await browser.pages())[0];
-	// const page = await browser.newPage();
-	await page.setRequestInterception(true); //允许拦截
-	if (ua) await page.setUserAgent(ua);
-	await page.evaluateOnNewDocument(() => {
-		const newProto = navigator.__proto__;
-		delete newProto.webdriver; //删除 navigator.webdriver字段，防止检测到自动化行为
-		navigator.__proto__ = newProto;
+async function run_install(command) {
+	console.log({ command });
+	return new Promise(async (trueCall, exitCall) => {
+		exec(command, (error, stdout, stderr) => {
+			stderr = stderr.replace('\n', '').trim();
+			stdout = stdout.replace('\n', '').trim();
+			console.log({ error, stdout, stderr });
+			if (error) return trueCall({ error });
+			if (stderr) return trueCall({ error: stderr });
+			if (stdout) return trueCall({ success: stdout });
+		});
 	});
+}
 
-	if (cookies !== false) cookies = `${option.userDataDir}/cookies.json`;
-	const pageOption = { cookies, visible, abort, headers };
-	return new chrome(browser, page, pageOption);
+async function checkInstall(install = false) {
+	try {
+		const path = await puppeteer.executablePath();
+		if (path) return { success: path };
+		return { error: 'none' };
+	}
+	catch (e) {
+		if (!install) return { error: e.message };
+		let mt = e.message.match(/\(ver\. (\d+\.\d+\.\d+\.\d+)\)/);
+		if (mt) {
+			return await run_install('npx puppeteer browsers install chrome');
+		}
+		else {
+			console.log('checkInstall', e.message);
+			return { error: e.message };
+		}
+	}
 }
 
 
-module.exports = { newChrome }
+module.exports = { newChrome, checkInstall }

package/package.json

@@ -1,15 +1,15 @@
-{
-  "name": "nodejs_chromium",
-  "version": "1.1.4",
-  "description": "",
-  "main": "index.js",
-  "scripts": {
-    "test": "echo \"Error: no test specified\" && exit 1"
-  },
-  "dependencies": {
-    "nodejs_patch": ">1.0.5",
-    "puppeteer": ">22.0.0"
-  },
-  "author": "fazo@qq.com",
-  "license": "ISC"
-}
+{
+	"name": "nodejs_chromium",
+	"version": "1.1.6",
+	"description": "for pupeteer chromium",
+	"main": "index.js",
+	"scripts": {
+		"test": "echo \"Error: no test specified\" && exit 1"
+	},
+	"dependencies": {
+		"nodejs_patch": ">1.0.5",
+		"puppeteer": ">22.6.0"
+	},
+	"author": "laoCC",
+	"license": "ISC"
+}

package/src/chrome.js

@@ -588,6 +588,7 @@ module.exports = class {
 
 		value.type = await request.resourceType();
 		// value.redirect = await response.redirectURL();
+		if (value.type === 'fetch') value.type = 'xhr';
 		if (value.type === 'xhr') value.type = 'AJAX';
 		value.url = await response.url();
 		value.headers = { request: request.headers(), response: headers };
@@ -602,7 +603,7 @@ module.exports = class {
 		if (headers['set-cookie']) value.cookies = await this.cookies.parse(headers['set-cookie']);
 		value.remote = await response.remoteAddress(); //目标服务器
 		if (value.status === 301 || value.status === 302) return value;
-		if (['image', 'font', 'other', 'script', 'stylesheet', 'document', 'ping', 'fetch'].has(value.type)) return value;
+		if (['image', 'font', 'other', 'script', 'stylesheet', 'document', 'ping'].has(value.type)) return value;
 		if (value.content) {
 			if (value.content.startsWith('application/vnd')) return value;
 			if (value.content.startsWith('application/xml')) return value;

package/src/cookies.js

@@ -1,6 +1,4 @@
 const fs = require("fs");
-const { parse: parseUrl } = require("url");
-
 
 module.exports = class {
 	page = void 0;
@@ -29,14 +27,6 @@ module.exports = class {
 		});
 	}
 
-	/**
-
-	 // const url = parseUrl(this.page.url());
-	 // const host = '.' + url.host.split('.').slice(-2).join('.');
-	 // let cookiesVal = read(file, 'utf8');
-	 // cookiesVal = this.jsonArray(cookiesVal, host);
-
-	 */
 	/**
 	 * 解析网页set-cookies的值
 	 *