dsh-world 0.7.5 → 0.8.0
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- package/CHANGELOG.md +541 -446
- package/CONTRIBUTING.md +174 -163
- package/INSTALL.md +314 -314
- package/NOTES.md +98 -5
- package/README.md +332 -258
- package/client/index.js +1126 -986
- package/lib/compaction.d.ts +7 -1
- package/lib/compaction.js +8 -3
- package/lib/console/routes.d.ts +11 -3
- package/lib/console/routes.js +12 -7
- package/lib/console/snapshot.d.ts +2 -0
- package/lib/console/snapshot.js +1 -0
- package/lib/ecosystem/computer/browser/browser.d.ts +34 -0
- package/lib/ecosystem/computer/browser/browser.js +101 -0
- package/lib/ecosystem/computer/browser/cdp.d.ts +22 -0
- package/lib/ecosystem/computer/browser/cdp.js +91 -0
- package/lib/ecosystem/computer/browser/edge.d.ts +15 -0
- package/lib/ecosystem/computer/browser/edge.js +80 -0
- package/lib/ecosystem/computer/browser/page.d.ts +41 -0
- package/lib/ecosystem/computer/browser/page.js +140 -0
- package/lib/ecosystem/computer/browser/pageLib.d.ts +7 -0
- package/lib/ecosystem/computer/browser/pageLib.js +106 -0
- package/lib/ecosystem/computer/desktop/desktop.d.ts +91 -0
- package/lib/ecosystem/computer/desktop/desktop.js +322 -0
- package/lib/ecosystem/computer/desktop/driver.d.ts +34 -0
- package/lib/ecosystem/computer/desktop/driver.js +197 -0
- package/lib/ecosystem/computer/desktop/processes.d.ts +5 -0
- package/lib/ecosystem/computer/desktop/processes.js +15 -0
- package/lib/ecosystem/computer/desktop/recording.d.ts +77 -0
- package/lib/ecosystem/computer/desktop/recording.js +187 -0
- package/lib/ecosystem/computer/desktop/screen.d.ts +33 -0
- package/lib/ecosystem/computer/desktop/screen.js +182 -0
- package/lib/ecosystem/computer/desktop/turns.d.ts +58 -0
- package/lib/ecosystem/computer/desktop/turns.js +94 -0
- package/lib/ecosystem/computer/desktop/watching.d.ts +25 -0
- package/lib/ecosystem/computer/desktop/watching.js +81 -0
- package/lib/ecosystem/computer/inbox/inbox.d.ts +32 -0
- package/lib/ecosystem/computer/inbox/inbox.js +142 -0
- package/lib/ecosystem/computer/index.d.ts +82 -0
- package/lib/ecosystem/computer/index.js +133 -0
- package/lib/ecosystem/computer/procedures/alarm.d.ts +13 -0
- package/lib/ecosystem/computer/procedures/alarm.js +46 -0
- package/lib/ecosystem/computer/procedures/archive.d.ts +32 -0
- package/lib/ecosystem/computer/procedures/archive.js +68 -0
- package/lib/ecosystem/computer/procedures/catalog.d.ts +7 -0
- package/lib/ecosystem/computer/procedures/catalog.js +75 -0
- package/lib/ecosystem/computer/procedures/format.d.ts +167 -0
- package/lib/ecosystem/computer/procedures/format.js +332 -0
- package/lib/ecosystem/computer/procedures/library.d.ts +53 -0
- package/lib/ecosystem/computer/procedures/library.js +178 -0
- package/lib/ecosystem/computer/procedures/run.d.ts +80 -0
- package/lib/ecosystem/computer/procedures/run.js +245 -0
- package/lib/ecosystem/computer/tools.d.ts +21 -0
- package/lib/ecosystem/computer/tools.js +197 -0
- package/lib/ecosystem/qq-native/images.d.ts +8 -1
- package/lib/ecosystem/qq-native/images.js +34 -15
- package/lib/ecosystem/qq-native/index.js +5 -5
- package/lib/ecosystem/shared/turn.d.ts +3 -0
- package/lib/ecosystem/shared/turn.js +13 -3
- package/lib/ecosystem/wechat/home.d.ts +1 -0
- package/lib/ecosystem/wechat/home.js +9 -3
- package/lib/ecosystem/wechat/images.js +3 -5
- package/lib/ecosystem/wechat/index.d.ts +6 -0
- package/lib/ecosystem/wechat/index.js +3 -1
- package/lib/ecosystem/wechat/presence.d.ts +5 -1
- package/lib/ecosystem/wechat/presence.js +22 -13
- package/lib/ecosystem/wechat/reading.d.ts +1 -1
- package/lib/ecosystem/wechat/reading.js +2 -2
- package/lib/elsewhere.d.ts +34 -0
- package/lib/elsewhere.js +40 -0
- package/lib/history.d.ts +5 -0
- package/lib/history.js +7 -1
- package/lib/hostContract.d.ts +6 -0
- package/lib/images.d.ts +30 -0
- package/lib/images.js +101 -0
- package/lib/index.d.ts +4 -0
- package/lib/index.js +98 -6
- package/lib/life/photoTools.js +4 -15
- package/lib/life/runtime.d.ts +12 -2
- package/lib/life/runtime.js +93 -12
- package/lib/life/toolRegistry.d.ts +9 -3
- package/lib/life/toolRegistry.js +46 -27
- package/lib/life/turnCost.d.ts +16 -0
- package/lib/life/turnCost.js +44 -0
- package/lib/life/types.d.ts +17 -0
- package/lib/memoryTools.d.ts +4 -2
- package/lib/memoryTools.js +25 -5
- package/lib/mood.d.ts +5 -1
- package/lib/mood.js +25 -8
- package/lib/promptSection.d.ts +3 -0
- package/lib/promptSection.js +29 -42
- package/lib/runtime.js +44 -17
- package/lib/sessionNews.d.ts +17 -0
- package/lib/sessionNews.js +55 -0
- package/lib/store.d.ts +6 -0
- package/lib/store.js +17 -3
- package/lib/types.d.ts +4 -0
- package/lib/worldAdd.d.ts +9 -0
- package/lib/worldAdd.js +39 -0
- package/lib/worldPrompt.d.ts +3 -2
- package/lib/worldPrompt.js +3 -2
- package/lib/worldRoutes.d.ts +5 -2
- package/lib/worldRoutes.js +29 -4
- package/lib/worldSwitch.d.ts +8 -2
- package/lib/worldSwitch.js +11 -5
- package/package.json +132 -129
- package/src/ecosystem/README.md +2 -1
- package/src/ecosystem/computer/NOTICE.md +27 -0
- package/src/ecosystem/computer/README.md +244 -0
- package/src/ecosystem/computer/desktop/win32.ps1 +858 -0
- package/src/ecosystem/wechat/windows/README.md +4 -2
- package/src/ecosystem/wechat/windows/engine/NOTICE.md +6 -0
- package/src/ecosystem/wechat/windows/engine/profiles.json +28 -0
- package/templates/world-prompt-memory.md +10 -10
- package/templates/world-prompt.md +65 -65
package/lib/worldSwitch.js
CHANGED
|
@@ -30,6 +30,8 @@ export function createWorldSwitch(worldDir, configuredScope = 'workspace', confi
|
|
|
30
30
|
...(validWechatBuffer(stored?.wechatBufferSeconds) ? { wechatBufferSeconds: stored.wechatBufferSeconds } : {}),
|
|
31
31
|
...(typeof stored?.wechatEnabled === 'boolean' ? { wechatEnabled: stored.wechatEnabled } : {}),
|
|
32
32
|
...(typeof stored?.qqEnabled === 'boolean' ? { qqEnabled: stored.qqEnabled } : {}),
|
|
33
|
+
...(typeof stored?.computerEnabled === 'boolean' ? { computerEnabled: stored.computerEnabled } : {}),
|
|
34
|
+
...(typeof stored?.desktopEnabled === 'boolean' ? { desktopEnabled: stored.desktopEnabled } : {}),
|
|
33
35
|
...(stored?.compactAfterReview === false ? { compactAfterReview: false } : {}),
|
|
34
36
|
...(stored?.compactionSwapped === true ? { compactionSwapped: true } : {}),
|
|
35
37
|
...(validClockTime(stored?.reviewTime) ? { reviewTime: stored.reviewTime } : {}),
|
|
@@ -55,7 +57,7 @@ export function createWorldSwitch(worldDir, configuredScope = 'workspace', confi
|
|
|
55
57
|
throw new Error('工作区权限必须为非空字符串');
|
|
56
58
|
save({ ...settings, workspacePermission: permission });
|
|
57
59
|
},
|
|
58
|
-
/**
|
|
60
|
+
/** After each evening look back her home is compacted, which is when the 我是谁 she has just rewritten takes effect; on unless the partner turns it off. */
|
|
59
61
|
compactAfterReview: () => settings.compactAfterReview !== false,
|
|
60
62
|
setCompactAfterReview(on) {
|
|
61
63
|
const { compactAfterReview: _old, ...rest } = settings;
|
|
@@ -85,16 +87,20 @@ export function createWorldSwitch(worldDir, configuredScope = 'workspace', confi
|
|
|
85
87
|
save(hours === undefined || hours === DEFAULT_COLD_HOURS ? rest : { ...rest, coldHours: hours });
|
|
86
88
|
},
|
|
87
89
|
/**
|
|
88
|
-
* The console's switches for the WeChat and
|
|
90
|
+
* The console's switches for the WeChat, QQ and computer modules; all are off until someone turns them on. QQ's SDK is an
|
|
89
91
|
* optional dependency, so its code is not even loaded before then. WeChat used to default to on, so a world that
|
|
90
92
|
* never stored a choice but whose WeChat module has already run (it keeps its outbox) stays on after the upgrade.
|
|
91
93
|
*/
|
|
92
94
|
wechatEnabled: () => settings.wechatEnabled ?? existsSync(join(worldDir, 'wechat-outbox.sqlite')),
|
|
93
95
|
qqEnabled: () => settings.qqEnabled === true,
|
|
96
|
+
/** Her own browser: off until someone turns it on. */
|
|
97
|
+
computerEnabled: () => settings.computerEnabled === true,
|
|
98
|
+
/** Her use of the partner's computer: off until someone turns it on. */
|
|
99
|
+
desktopEnabled: () => settings.desktopEnabled === true,
|
|
94
100
|
setModules(next) {
|
|
95
|
-
const { wechatEnabled, qqEnabled, ...rest } = settings;
|
|
96
|
-
const wechat = next.wechat ?? wechatEnabled ?? existsSync(join(worldDir, 'wechat-outbox.sqlite')), qq = next.qq ?? qqEnabled === true;
|
|
97
|
-
save({ ...rest, wechatEnabled: wechat, ...(qq ? { qqEnabled: true } : {}) });
|
|
101
|
+
const { wechatEnabled, qqEnabled, computerEnabled, desktopEnabled, ...rest } = settings;
|
|
102
|
+
const wechat = next.wechat ?? wechatEnabled ?? existsSync(join(worldDir, 'wechat-outbox.sqlite')), qq = next.qq ?? qqEnabled === true, computer = next.computer ?? computerEnabled === true, desktop = next.desktop ?? desktopEnabled === true;
|
|
103
|
+
save({ ...rest, wechatEnabled: wechat, ...(qq ? { qqEnabled: true } : {}), ...(computer ? { computerEnabled: true } : {}), ...(desktop ? { desktopEnabled: true } : {}) });
|
|
98
104
|
},
|
|
99
105
|
/** Her evening look back and her morning wake when nothing is pending; the configured `fallbackWakeTime` is the morning's default. */
|
|
100
106
|
reviewTime: () => settings.reviewTime ?? DEFAULT_REVIEW_TIME,
|
package/package.json
CHANGED
|
@@ -1,129 +1,132 @@
|
|
|
1
|
-
{
|
|
2
|
-
"name": "dsh-world",
|
|
3
|
-
"version": "0.
|
|
4
|
-
"description": "Cross-session memory, persona and life routines for DSH, with a world console, tool-free compaction, native QQ and Windows WeChat messaging, group history and quoted replies",
|
|
5
|
-
"license": "MIT",
|
|
6
|
-
"publishConfig": {
|
|
7
|
-
"registry": "https://registry.npmjs.org/",
|
|
8
|
-
"access": "public"
|
|
9
|
-
},
|
|
10
|
-
"repository": {
|
|
11
|
-
"type": "git",
|
|
12
|
-
"url": "git+https://github.com/chenkezhen480/dsh-world.git"
|
|
13
|
-
},
|
|
14
|
-
"type": "module",
|
|
15
|
-
"main": "lib/index.js",
|
|
16
|
-
"types": "lib/index.d.ts",
|
|
17
|
-
"exports": {
|
|
18
|
-
".": {
|
|
19
|
-
"types": "./lib/index.d.ts",
|
|
20
|
-
"default": "./lib/index.js"
|
|
21
|
-
},
|
|
22
|
-
"./compaction": {
|
|
23
|
-
"types": "./lib/compaction.d.ts",
|
|
24
|
-
"default": "./lib/compaction.js"
|
|
25
|
-
},
|
|
26
|
-
"./client": "./client/index.js",
|
|
27
|
-
"./package.json": "./package.json"
|
|
28
|
-
},
|
|
29
|
-
"files": [
|
|
30
|
-
"lib",
|
|
31
|
-
"client",
|
|
32
|
-
"src/ecosystem/wechat/windows",
|
|
33
|
-
"src/ecosystem/README.md",
|
|
34
|
-
"
|
|
35
|
-
"
|
|
36
|
-
"
|
|
37
|
-
"
|
|
38
|
-
"
|
|
39
|
-
"
|
|
40
|
-
"
|
|
41
|
-
"
|
|
42
|
-
"
|
|
43
|
-
"
|
|
44
|
-
"
|
|
45
|
-
"scripts/
|
|
46
|
-
|
|
47
|
-
|
|
48
|
-
"
|
|
49
|
-
|
|
50
|
-
|
|
51
|
-
|
|
52
|
-
"
|
|
53
|
-
|
|
54
|
-
|
|
55
|
-
"
|
|
56
|
-
"
|
|
57
|
-
|
|
58
|
-
|
|
59
|
-
"
|
|
60
|
-
|
|
61
|
-
|
|
62
|
-
"
|
|
63
|
-
"
|
|
64
|
-
|
|
65
|
-
|
|
66
|
-
"
|
|
67
|
-
|
|
68
|
-
|
|
69
|
-
"
|
|
70
|
-
|
|
71
|
-
|
|
72
|
-
|
|
73
|
-
"0.2.
|
|
74
|
-
|
|
75
|
-
|
|
76
|
-
|
|
77
|
-
|
|
78
|
-
|
|
79
|
-
},
|
|
80
|
-
"
|
|
81
|
-
"
|
|
82
|
-
|
|
83
|
-
|
|
84
|
-
"@
|
|
85
|
-
"@deepseek-ai/dsh-
|
|
86
|
-
"@deepseek-ai/dsh-
|
|
87
|
-
"@deepseek-ai/
|
|
88
|
-
"@deepseek-ai/dsh-
|
|
89
|
-
"@deepseek-ai/dsh-
|
|
90
|
-
"@deepseek-ai/dsh-
|
|
91
|
-
"@deepseek-ai/dsh-
|
|
92
|
-
"@deepseek-ai/dsh-
|
|
93
|
-
"@deepseek-ai/
|
|
94
|
-
"@deepseek-ai/dsh-
|
|
95
|
-
|
|
96
|
-
|
|
97
|
-
"@
|
|
98
|
-
|
|
99
|
-
|
|
100
|
-
"@
|
|
101
|
-
"optional": true
|
|
102
|
-
},
|
|
103
|
-
"@deepseek-ai/dsh-
|
|
104
|
-
"optional": true
|
|
105
|
-
}
|
|
106
|
-
|
|
107
|
-
|
|
108
|
-
|
|
109
|
-
|
|
110
|
-
|
|
111
|
-
"@
|
|
112
|
-
"@deepseek-ai/dsh-
|
|
113
|
-
"@deepseek-ai/dsh-
|
|
114
|
-
"@deepseek-ai/dsh-
|
|
115
|
-
"@deepseek-ai/dsh-
|
|
116
|
-
"@
|
|
117
|
-
"
|
|
118
|
-
"@deepseek-ai/
|
|
119
|
-
"@
|
|
120
|
-
"
|
|
121
|
-
"@deepseek-ai/
|
|
122
|
-
"@deepseek-ai/
|
|
123
|
-
"@deepseek-ai/dsh-
|
|
124
|
-
"@deepseek-ai/dsh-
|
|
125
|
-
"@deepseek-ai/dsh-
|
|
126
|
-
"@deepseek-ai/dsh-
|
|
127
|
-
"@deepseek-ai/dsh-
|
|
128
|
-
|
|
129
|
-
|
|
1
|
+
{
|
|
2
|
+
"name": "dsh-world",
|
|
3
|
+
"version": "0.8.0",
|
|
4
|
+
"description": "Cross-session memory, persona and life routines for DSH, with a world console, tool-free compaction, native QQ and Windows WeChat messaging, group history and quoted replies",
|
|
5
|
+
"license": "MIT",
|
|
6
|
+
"publishConfig": {
|
|
7
|
+
"registry": "https://registry.npmjs.org/",
|
|
8
|
+
"access": "public"
|
|
9
|
+
},
|
|
10
|
+
"repository": {
|
|
11
|
+
"type": "git",
|
|
12
|
+
"url": "git+https://github.com/chenkezhen480/dsh-world.git"
|
|
13
|
+
},
|
|
14
|
+
"type": "module",
|
|
15
|
+
"main": "lib/index.js",
|
|
16
|
+
"types": "lib/index.d.ts",
|
|
17
|
+
"exports": {
|
|
18
|
+
".": {
|
|
19
|
+
"types": "./lib/index.d.ts",
|
|
20
|
+
"default": "./lib/index.js"
|
|
21
|
+
},
|
|
22
|
+
"./compaction": {
|
|
23
|
+
"types": "./lib/compaction.d.ts",
|
|
24
|
+
"default": "./lib/compaction.js"
|
|
25
|
+
},
|
|
26
|
+
"./client": "./client/index.js",
|
|
27
|
+
"./package.json": "./package.json"
|
|
28
|
+
},
|
|
29
|
+
"files": [
|
|
30
|
+
"lib",
|
|
31
|
+
"client",
|
|
32
|
+
"src/ecosystem/wechat/windows",
|
|
33
|
+
"src/ecosystem/README.md",
|
|
34
|
+
"src/ecosystem/computer/README.md",
|
|
35
|
+
"src/ecosystem/computer/NOTICE.md",
|
|
36
|
+
"src/ecosystem/computer/desktop/win32.ps1",
|
|
37
|
+
"templates",
|
|
38
|
+
"cordis.patch.yml",
|
|
39
|
+
"README.md",
|
|
40
|
+
"INSTALL.md",
|
|
41
|
+
"CONTRIBUTING.md",
|
|
42
|
+
"CHANGELOG.md",
|
|
43
|
+
"NOTES.md",
|
|
44
|
+
"assets",
|
|
45
|
+
"scripts/enable-tool-free-compaction.ps1",
|
|
46
|
+
"scripts/update-world.mjs",
|
|
47
|
+
"scripts/import-stickers.mjs",
|
|
48
|
+
"scripts/compact-home.mjs"
|
|
49
|
+
],
|
|
50
|
+
"engines": {
|
|
51
|
+
"node": ">=22.16.0",
|
|
52
|
+
"dsh": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0"
|
|
53
|
+
},
|
|
54
|
+
"scripts": {
|
|
55
|
+
"build": "node -e \"require('fs').rmSync('lib',{recursive:true,force:true})\" && tsc -p tsconfig.build.json",
|
|
56
|
+
"typecheck": "tsc --noEmit",
|
|
57
|
+
"test": "node --experimental-strip-types --disable-warning=ExperimentalWarning --test",
|
|
58
|
+
"test:package": "node scripts/check-package.mjs",
|
|
59
|
+
"prepack": "npm run typecheck && npm run build"
|
|
60
|
+
},
|
|
61
|
+
"dsh": {
|
|
62
|
+
"bundle": {
|
|
63
|
+
"patch": "./cordis.patch.yml"
|
|
64
|
+
},
|
|
65
|
+
"client": {
|
|
66
|
+
"inject": [
|
|
67
|
+
"@deepseek-ai/dsh-client-ui-settings"
|
|
68
|
+
],
|
|
69
|
+
"platform": "web"
|
|
70
|
+
},
|
|
71
|
+
"compatibility": {
|
|
72
|
+
"dshReleases": {
|
|
73
|
+
"0.2.1-rc.2": "compatible",
|
|
74
|
+
"0.2.1-rc.3": "compatible",
|
|
75
|
+
"0.2.1-rc.5": "compatible",
|
|
76
|
+
"0.2.2-rc.1": "compatible"
|
|
77
|
+
}
|
|
78
|
+
}
|
|
79
|
+
},
|
|
80
|
+
"dependencies": {
|
|
81
|
+
"ws": "^8.18.0"
|
|
82
|
+
},
|
|
83
|
+
"peerDependencies": {
|
|
84
|
+
"@snowluma/sdk": "^2.2.1",
|
|
85
|
+
"@deepseek-ai/dsh-plugin-manager": ">=0.2.1-rc.3 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
86
|
+
"@deepseek-ai/dsh-atomic-write": ">=0.2.1-rc.3 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
87
|
+
"@deepseek-ai/cordis": "~4.0.5 || ~4.1.0",
|
|
88
|
+
"@deepseek-ai/dsh-agent": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
89
|
+
"@deepseek-ai/dsh-attachment": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
90
|
+
"@deepseek-ai/dsh-compaction": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
91
|
+
"@deepseek-ai/dsh-home-paths": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
92
|
+
"@deepseek-ai/dsh-llm": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
93
|
+
"@deepseek-ai/dsh-session": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
94
|
+
"@deepseek-ai/dsh-session-persistence": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
95
|
+
"@deepseek-ai/dsh-tools": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0",
|
|
96
|
+
"@deepseek-ai/schemastery": "~3.18.5 || ~3.19.0",
|
|
97
|
+
"@deepseek-ai/dsh-commands": ">=0.2.1-rc.2 <0.3.0-0 || >=0.2.2-rc.1 <0.3.0-0"
|
|
98
|
+
},
|
|
99
|
+
"peerDependenciesMeta": {
|
|
100
|
+
"@snowluma/sdk": {
|
|
101
|
+
"optional": true
|
|
102
|
+
},
|
|
103
|
+
"@deepseek-ai/dsh-plugin-manager": {
|
|
104
|
+
"optional": true
|
|
105
|
+
},
|
|
106
|
+
"@deepseek-ai/dsh-atomic-write": {
|
|
107
|
+
"optional": true
|
|
108
|
+
}
|
|
109
|
+
},
|
|
110
|
+
"devDependencies": {
|
|
111
|
+
"@snowluma/sdk": "2.2.1",
|
|
112
|
+
"@deepseek-ai/dsh-agent-loop": "0.2.1-rc.2",
|
|
113
|
+
"@deepseek-ai/dsh-compaction-basic": "0.2.1-rc.2",
|
|
114
|
+
"@deepseek-ai/dsh-session-persistence-jsonl": "0.2.1-rc.2",
|
|
115
|
+
"@deepseek-ai/dsh-session-projection": "0.2.1-rc.2",
|
|
116
|
+
"@deepseek-ai/dsh-system-prompt": "0.2.1-rc.2",
|
|
117
|
+
"@deepseek-ai/dsh-token-meter": "0.2.1-rc.2",
|
|
118
|
+
"@deepseek-ai/dsh-tools": "0.2.1-rc.2",
|
|
119
|
+
"@types/node": "^22.16.0",
|
|
120
|
+
"typescript": "^5.9.3",
|
|
121
|
+
"@deepseek-ai/cordis": "4.0.5",
|
|
122
|
+
"@deepseek-ai/schemastery": "3.18.5",
|
|
123
|
+
"@deepseek-ai/dsh-agent": "0.2.1-rc.2",
|
|
124
|
+
"@deepseek-ai/dsh-attachment": "0.2.1-rc.2",
|
|
125
|
+
"@deepseek-ai/dsh-commands": "0.2.1-rc.2",
|
|
126
|
+
"@deepseek-ai/dsh-compaction": "0.2.1-rc.2",
|
|
127
|
+
"@deepseek-ai/dsh-home-paths": "0.2.1-rc.2",
|
|
128
|
+
"@deepseek-ai/dsh-llm": "0.2.1-rc.2",
|
|
129
|
+
"@deepseek-ai/dsh-session": "0.2.1-rc.2",
|
|
130
|
+
"@deepseek-ai/dsh-session-persistence": "0.2.1-rc.2"
|
|
131
|
+
}
|
|
132
|
+
}
|
package/src/ecosystem/README.md
CHANGED
|
@@ -9,8 +9,9 @@
|
|
|
9
9
|
- `qq-native/`:QQ 的原生通道——直连 OneBot 的 WebSocket(收发、去重、白名单、群里被叫到才接、主动开口引擎),以及「阳台」那条给本机别的程序用的线(`native-bridge.ts`,对面跑的是 `src/qq-line.ts`)。
|
|
10
10
|
- `shared/`:通用来源身份、群上下文、平台会话路由和消息出口。
|
|
11
11
|
- `bridge/`:桌宠及其他本地程序向家的通用桥。
|
|
12
|
+
- `computer/`:她自己的浏览器(系统 Edge、CDP)、页面原语和她按分类学会的操作(`computer_use` 查、`procedure_run` 跑);只在家会话。见 [说明](computer/README.md)。
|
|
12
13
|
|
|
13
|
-
|
|
14
|
+
各平台自身逻辑放在各自目录;B 站等网页平台由她用 `computer/` 自己学,不再新增平台目录。平台适配器使用共同的身份和会话协议,通过现有归档服务保存正文,不各建一份记忆。
|
|
14
15
|
|
|
15
16
|
QQ 额外依赖 SnowLuma SDK(`@snowluma/sdk`)。首次手动开启 QQ 时,缺失的 SDK 由宿主包管理器按需安装,禁用安装脚本,完成后提示重启;正常启动和模型请求不会安装依赖。也可自行安装兼容版本,不修补其文件,不自动升级 Node,见 [安装说明](../../INSTALL.md)。QQ 按持久化开关动态加载,关闭状态在世界停启和插件重载后保留;初始化失败不拖停内核、生活线和微信。
|
|
16
17
|
|
|
@@ -0,0 +1,27 @@
|
|
|
1
|
+
# 来源说明
|
|
2
|
+
|
|
3
|
+
`browser/edge.ts`(浏览器查找与启动参数、`DevToolsActivePort` 读取)、`browser/cdp.ts`(最小 CDP 会话)和 `browser/pageLib.ts`(页面内登记表、角色与名称、可见性规则)移植并改写自 [dsh-inner-browser-use](https://www.npmjs.com/package/dsh-inner-browser-use) 0.47.28 的 `sidecar.js` 与 `read.js`。
|
|
4
|
+
|
|
5
|
+
原许可如下:
|
|
6
|
+
|
|
7
|
+
MIT License
|
|
8
|
+
|
|
9
|
+
Copyright (c) 2026 regrevia
|
|
10
|
+
|
|
11
|
+
Permission is hereby granted, free of charge, to any person obtaining a copy
|
|
12
|
+
of this software and associated documentation files (the "Software"), to deal
|
|
13
|
+
in the Software without restriction, including without limitation the rights
|
|
14
|
+
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
|
15
|
+
copies of the Software, and to permit persons to whom the Software is
|
|
16
|
+
furnished to do so, subject to the following conditions:
|
|
17
|
+
|
|
18
|
+
The above copyright notice and this permission notice shall be included in all
|
|
19
|
+
copies or substantial portions of the Software.
|
|
20
|
+
|
|
21
|
+
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
|
22
|
+
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
|
23
|
+
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
|
24
|
+
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
|
25
|
+
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
|
26
|
+
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
|
27
|
+
SOFTWARE.
|
|
@@ -0,0 +1,244 @@
|
|
|
1
|
+
# 她自己的浏览器与她学会的操作
|
|
2
|
+
|
|
3
|
+
DSH 端代码在 `src/ecosystem/computer/`。插件只提供一个她自己的浏览器和一组通用的页面原语;不含任何平台(B 站等)的代码。某个网站怎么用,由她自己用原语摸索,走顺了就按分类存进她的操作目录,以后直接回放;网站改版把操作弄坏了,由她自己重新走通再存。使用当前的家,不创建第二份 AI、人设或记忆。
|
|
4
|
+
|
|
5
|
+
## 开启
|
|
6
|
+
|
|
7
|
+
- 配置里写 `computer: true`,重载插件或重启 DSH。没写时控制台不显示这一项。
|
|
8
|
+
- 控制台概览的「接入」卡片里出现开关「她的浏览器」,默认关;卡片下有 Edge 状态(找不到 Edge / 未打开 / 运行中)、她按分类学会的操作、每类有没有她写的说明、各自最近一次结果,以及「打开她的浏览器」按钮。
|
|
9
|
+
- 第一次用时她的浏览器窗口出现在桌面上。要登录某个网站,请在那个窗口里自己扫码或输入,登录态留在 `<world>/browser/`。
|
|
10
|
+
|
|
11
|
+
## 浏览器
|
|
12
|
+
|
|
13
|
+
- 用系统自带的 Microsoft Edge(也会找 Chrome),以 `<world>/browser/` 为独立配置目录,开可见窗口,通过 DevTools 协议(CDP)控制。不是你日常用的那份 Edge,也看不到你的书签和登录。启动时关掉扩展和同步(`--disable-extensions`、`--disable-sync`):Edge 可能用 Windows 账号自动登录新配置,把你的扩展和书签、自动填充同步进来,扩展还会在每次启动时弹出欢迎窗口、往她读的网页里插东西。已经同步进来的数据不会自动清除,要清就在她的浏览器里打开 `edge://settings/profiles` 退出账号并清除这台设备上的数据。
|
|
14
|
+
- 所有操作都是浏览器内部派发的输入事件,**不使用你的鼠标和键盘**,窗口被别的东西挡住也照常工作。
|
|
15
|
+
- 编号在同一个标签页里不重复;页面里元素没了,旧编号会报错让她重读,不会点到别的元素上。点击时目标被别的元素盖住会拒绝。输入会替换输入框里原有的内容。
|
|
16
|
+
- 世界停止或关闭模块时,插件断开连接并清空等待中的操作,不关 Edge 进程(关掉会丢她开着的页面),由你自己关。Edge 被关掉后,下次她用时重新打开。
|
|
17
|
+
|
|
18
|
+
## 她用电脑
|
|
19
|
+
|
|
20
|
+
除了她自己的浏览器,她也能用你的电脑:调出桌面上的程序、看、点、输入。
|
|
21
|
+
|
|
22
|
+
- **开启**:配置里写 `computer: true` 和 `desktop: true`,控制台「接入」里多一个开关「她用电脑」,默认关。只支持 Windows,别的系统上打开会登记一条故障"她用电脑目前只支持 Windows"。
|
|
23
|
+
- **不装任何东西**:底下是插件自带的一个 PowerShell 脚本 `desktop/win32.ps1`,用 Windows 自己的接口:`PrintWindow` 截窗口、`PostMessage` 投鼠标和键盘消息、`ShowWindow` 还原窗口、UI Automation 点托盘图标、开始菜单(`Get-StartApps`)启动程序。没有 npm 依赖,也没有原生库。
|
|
24
|
+
- **在后台操作**:点击、输入、按键都直接投给那个窗口,**不移动你的鼠标指针、不抢焦点**,你在用电脑时她也能用;被别的窗口挡住也照样截得到、点得到。Ctrl、Shift、Alt 组合键要让程序读到修饰键,会短暂共用那个程序的键盘状态,随即还原。
|
|
25
|
+
- **调出程序**:`open` 先找开着的窗口;最小化的原地还原、不激活。没有窗口就去托盘找它的图标(先看任务栏上的,再看「显示隐藏的图标」里的)点一下,这是程序自己把窗口调出来;从外面强行显示它藏起来的窗口不行,那样的窗口不刷新也不接收输入(她用 PowerShell 试过)。托盘里也没有才从开始菜单启动。点托盘或启动之后,程序会把自己拉到前台,所以随即把焦点还给你原来的窗口。程序已经在跑却既没有窗口也没有托盘图标时不再启动:微信 4.x 再启动一次会多开一个,这一步用系统的 `tasklist` 查进程。
|
|
26
|
+
- **窗口不见了**:每次截图、放大之前都先确认窗口还在、没有最小化,不在就告诉她重新 `open`。微信主界面按 Esc 会收进托盘。
|
|
27
|
+
- **收回**:关掉「她用电脑」开关。正在执行和排队的动作立刻失败,脚本进程结束。不需要等她这一回合结束。
|
|
28
|
+
- **怎么看**:只给截图,像人一样看图操作。截图是窗口的客户区,按真实像素截(脚本是每显示器 DPI 感知的,缩放屏上坐标也对),长边缩到约 1280 像素;她按图上的像素点,插件换算回窗口。每次操作完都会再给一张新截图,让她自己确认做对了没有;点击之后的截图上用红圈标出实际点到的位置(她在微信发表框上两次点在「发表」按钮上沿外面一点,自己看不出偏在哪):投递的消息程序收没收、有没有反应,Windows 不会告诉发送方。不做 OCR:她自己能看图。
|
|
29
|
+
- **出错隔离**:脚本在单独的子进程里。退出或一次调用 30 秒没回应都会登记故障,下一次用时重新启动;连续两次一启动就死(比如 PowerShell 编译不了它带的 C#),就停在故障里,不反复拉起,直到开关关了再开。
|
|
30
|
+
- **记录**:控制台「她的浏览器」卡片下显示脚本在不在跑、她最近 5 个动作(动作、程序、成没成),不记她输入的文字。截图只经过临时文件,读完就删。
|
|
31
|
+
|
|
32
|
+
`desktop` 一个工具,`action` 取一种:
|
|
33
|
+
|
|
34
|
+
| action | 作用 |
|
|
35
|
+
| --- | --- |
|
|
36
|
+
| `open` | `app` 写程序名(窗口标题、程序文件名或开始菜单里的名字,比如「微信」):开着的用它的窗口,托盘里的从托盘点开,没开的启动;不写 `app` 就列出开着的窗口 |
|
|
37
|
+
| `shot` | 再截一张当前窗口 |
|
|
38
|
+
| `click` | `x`、`y`(截图上的像素);`double` 为真双击,`right` 为真右键;`hold` 是按住的秒数(长按,最多 10 秒,可和 `right` 一起用) |
|
|
39
|
+
| `drag` | 从 `x`、`y` 按住拖到 `x2`、`y2` 再松开,中间分 20 步移过去;`hold` 是先按住几秒再开始拖(要长按才能拖起来的东西),`right` 用右键 |
|
|
40
|
+
| `type` | `text`;先给 `x`、`y` 就先点那里;`submit` 为真时再按回车 |
|
|
41
|
+
| `press` | `key`:回车、Tab、Esc、空格、退格、Delete、Home/End、翻页、方向键、F1–F12、单个字母或数字,可加 `ctrl+`、`shift+`、`alt+`;`hold` 是按住的秒数(最多 10 秒,比如游戏里按住 w 走路) |
|
|
42
|
+
| `scroll` | `direction` 为 up/down/left/right,滚三格;可加 `x`、`y`,默认窗口中间 |
|
|
43
|
+
| `zoom` | 截图上 `x`、`y` 到 `x2`、`y2` 的一块,按窗口原分辨率截下再放大(最多 4 倍) |
|
|
44
|
+
|
|
45
|
+
程序的对话框和面板(微信的「朋友圈」发表框、「选择文件」)是主窗口之外单独的窗口,截图里没有它们;每次截图后都会告诉她这个程序还开着哪些别的窗口,`open` 写窗口标题就切过去。
|
|
46
|
+
|
|
47
|
+
桌面上走通的步骤也能存进操作目录:后台模式走通的写 `"where": "desktop"`,前台模式走通的写 `"where": "screen"`。步骤取 `open`(程序名或窗口标题)、`click {x,y,double?,right?,hold?}`、`drag {x,y,x2,y2,right?,hold?}`、`type {text,x?,y?}`、`press`(可加 `hold`)、`scroll {direction,x?,y?}`、`wait {seconds}`;向外发出的步骤照样标 `outward`。`x`、`y` 是截图上的像素:`desktop` 是那个窗口的截图(窗口挪了位置不影响,大小变了按比例跟着变),`screen` 是整个屏幕的截图(回放前先截一张,按这块屏幕的大小换算)。每种只在它自己的模式下回放:`screen` 的操作在后台模式下跑会被拒绝,并告诉她要请伙伴切到前台。回放时步与步之间不停,而手动做时她每一步之间都隔着几秒,点完才弹出来的窗口(「选择文件」、发表框)她从没意识到要等。所以:操作时,截图后告诉她这个程序的窗口出现了或关掉了哪些、在上一次输入之后多少秒内;保存时,紧跟在输入后面、中间没有 `wait` 的 `open`(切到窗口)和一个 `outward` 都没标的操作会被指出来(只提醒,照样保存);回放在这样的 `open` 上停下时,也会说可能是窗口还没出来。`procedure_run` 不调模型逐步回放,跑完(或在哪一步停下)把最后一张截图给她,由她看做成了没有。不能用 `onAlarm`、`summary`、`messages`:桌面上读不出文字,也不该在闹钟前没人看着时动伙伴的电脑。
|
|
48
|
+
|
|
49
|
+
### 两种模式:后台和前台
|
|
50
|
+
|
|
51
|
+
「她用电脑」打开就是**后台模式**:她看某一个窗口的截图,输入直接投给那个窗口,不动你的鼠标、不抢焦点,你用着电脑她也能用。它够不着以管理员权限运行的程序(很多游戏和它们的启动器):截图和点击都会被 Windows 挡掉。遇到这种窗口她会直接被告知「后台模式截不到、也点不了它,请伙伴切到前台模式」,不会换别的办法硬做。
|
|
52
|
+
|
|
53
|
+
控制台「接入」里的「她用电脑」是一个三选一:关闭 / 后台 / 前台。**前台模式**:
|
|
54
|
+
|
|
55
|
+
- 切到前台时弹出一次 Windows 的管理员权限确认(「她用电脑」原来关着的,会先打开它再切)。确认后插件起一个以管理员权限运行的助手,这一次一直有效,之后每一步都不用再确认。拒绝或 2 分钟内没确认,开关就不打开,控制台上说明原因。
|
|
56
|
+
- 它不记在 `world.json` 里:换回后台、关掉「她用电脑」、或者 DSH 退出重启,管理员助手就结束,下次要用得重新确认。
|
|
57
|
+
- 开着的时候她的 `desktop` 工具换成前台版:看整个屏幕(多块屏幕拼在一起),用真的鼠标和键盘按截图上的位置操作,游戏和管理员程序都能用。你的鼠标会跟着动,最前面的窗口会变,所以这是你把电脑交给她的时候用的。
|
|
58
|
+
- 管理员助手只做截图、鼠标、键盘和画提示这几件事;列窗口、从开始菜单启动程序仍由普通权限的助手做,她打开的程序不会以管理员身份运行。它和 DSH 之间走一条只有这次知道名字的管道,先对一次性的口令,别的程序连不上。
|
|
59
|
+
- 提示是整个屏幕一圈蓝色柔光加顶上的胶囊;它们不会出现在她的截图里。叫停的方式和后台一样。
|
|
60
|
+
- 前台模式下走通的步骤存成 `"where": "screen"` 的操作,以后在前台模式下用 `procedure_run` 回放(游戏里的每日任务这类重复的事,跑一次只算一步)。
|
|
61
|
+
- 游戏的用户协议通常禁止自动化操作,长时间让她代打有封号的风险,由你自己决定。
|
|
62
|
+
|
|
63
|
+
### 她操作时你看得到,也随时能叫停
|
|
64
|
+
|
|
65
|
+
她用 `desktop` 动手时(看截图、点、输入、录制都算;回看录好的不算),屏幕顶部正中浮出一个深色胶囊:蓝点缓慢呼吸,写着「<她的名字>正在操作」,旁边是「连按两下 Esc 停下」和一个「停下」按钮;她操作的那个窗口四周有一圈蓝色的柔光边。后台模式下最后一次动作约 5 秒后两者消失;前台模式下她每一步要想一会儿,所以停约 30 秒才消失,边框是贴着整个屏幕边缘的一圈。长录制期间一直在。前台模式里游戏自己也常是「总在最前」的窗口,她每点一下游戏就会盖过来,所以胶囊和边框会一直被放回最前面;游戏若是「独占全屏」,任何窗口都盖不上去,要在游戏设置里改成「无边框窗口」或「窗口」才看得到。胶囊上的字全由程序决定,不显示她填的程序名;操作的是哪个窗口看边框就知道。它们不抢焦点,也不出现在她的窗口列表里;边框不挡鼠标。
|
|
66
|
+
|
|
67
|
+
叫停:半秒内连按两下 Esc,或点胶囊上的「停下」。单按一下 Esc 照常给你自己的程序。按下后:
|
|
68
|
+
|
|
69
|
+
- 她正在做的那一步作废,她收到「伙伴按了停下……别重试,先问问伙伴」;正在录的立刻停在那里,之后不再给那个窗口发任何按键(包括自动暂停)。
|
|
70
|
+
- 按下时她没有正在做的那一步(比如胶囊还没消失,或者她在长录制期间去做别的了),会另外送一句话进她的家告诉她。
|
|
71
|
+
- 在你下一次跟她说话之前,她所有动电脑的操作都会被拒绝;回看已经录好的还可以。你开口(DSH 里、桥、微信或 QQ 进家里的话都算)就放开。
|
|
72
|
+
|
|
73
|
+
胶囊画不出来时她照常操作,问题记在控制台的健康状态里。
|
|
74
|
+
|
|
75
|
+
### 看会动的东西(视频)
|
|
76
|
+
|
|
77
|
+
她一次只能看静止的图,所以"看视频"是先录、再看录下来的:
|
|
78
|
+
|
|
79
|
+
- **录**:`desktop record`,先让视频播起来,再录当前窗口。`seconds` 是录多久(最多 600 秒),`every` 是每几秒截一帧(默认 1 秒,最多 600 帧)。120 秒以内会等到录完,直接给全片的拼图;更长的马上返回,她可以去做别的,录完再看。一次录的是她定的那一段,不是视频本身的长度:录完会提醒她,视频还没放完可以再录一次接着看,再录会换掉上一段;不想再看了就停下,不用看完。
|
|
80
|
+
- **停**:`desktop stop` 把正在录的长录制中途停下,已经录到的照样能看。
|
|
81
|
+
- **录完自动暂停**:录制结束(或被 `stop`)时如果画面还在动,程序替她按一下空格,绝大多数播放器是暂停;随后再看两眼确认停没停住,并如实告诉她。下一次录同一个窗口时先按一下空格接着放。她自己动过那个窗口(点击、按键、输入、滚动)之后就不再自动接着放。画面本来就不动时不按,免得把暂停的视频按成播放。这是一次碰运气的按键:播放器没有焦点时空格可能滚动页面。不想要就带 `pause: false`。
|
|
82
|
+
- **粗看**:`desktop review` 不带参数,从整段录制里均匀取 12 帧拼成一张图,每格左上角标着第几秒。一张图的花费看完全片。
|
|
83
|
+
- **细看**:带 `from`、`to`(秒)看其中一段,同样最多 12 帧;带 `at`(秒)看那一帧的原图。看的是录下来的帧,不用重放。
|
|
84
|
+
|
|
85
|
+
录制就是按固定间隔对那个窗口截图,用的是和 `shot` 同一种后台截图:窗口被盖住也能录,不抢焦点;窗口最小化或收进托盘就录不了,会停下并告诉她。帧存在系统临时目录里,下一次录制开始、或者关掉「她用电脑」时删掉。
|
|
86
|
+
|
|
87
|
+
做不到的:没有声音;动作和节奏这类靠连续画面才看得出的东西会丢;有版权保护的视频和少数直接用显卡出画面的播放器截出来是黑的或不动的。几乎每一帧都和上一帧一样时她会被告知"画面没在动";这是把每帧缩成 16×16 的灰度图来比的,暂停画面上转动的加载圈不算在动。
|
|
88
|
+
|
|
89
|
+
## 信箱
|
|
90
|
+
|
|
91
|
+
没有通道的地方,她怎么知道有人找她:程序替她看任务栏,有程序在叫时汇总成一句话送进家里。看不看、回不回由她定,程序不替她打开任何东西。跟着「她用电脑」的开关走:后台、前台都开着,关掉就停(只支持 Windows),没有单独的配置。
|
|
92
|
+
|
|
93
|
+
- **看什么**。任务栏上所有程序的两种动静:按钮在闪(程序要你注意它),和系统通知(带一小段原话,最多 60 字)。不按平台写任何东西;程序名取它自己的说明(比如「Microsoft Edge」),不读窗口标题,标题里可能有消息内容。
|
|
94
|
+
- **不看什么**。走自己通道的程序不算:微信模块开着时的微信、QQ 模块开着时的 QQ,免得同一条消息到她那里两次。
|
|
95
|
+
- **任务栏之外的不管**。网页、朋友圈这类任务栏上没有动静的地方,程序不去看;每句话末尾提醒她这些要自己去看,看过的地方和怎么看记进自己的笔记,一点一点教她。
|
|
96
|
+
- **什么时候告诉她**。动静往往一阵一阵来:最后一个动静之后 10 秒内没有新的,就把这一阵合成一句话送过去,每个程序一行。她正在一轮里时不打断,等她闲下来再送。
|
|
97
|
+
- **不落盘**。启动时已经在通知列表里的算旧的;关着的那段时间里来的不会补报。
|
|
98
|
+
- **看不到就是故障**。读不到通知(没有权限)、听不到任务栏、助手起不来,都会出现在控制台的健康状态里。
|
|
99
|
+
- 每 2 秒问一次,用的是和「她用电脑」同一个脚本、另一个子进程,她操作得慢的时候信箱不跟着等。
|
|
100
|
+
|
|
101
|
+
## 工具
|
|
102
|
+
|
|
103
|
+
只挂在家会话里,工作间和别的会话看不到。
|
|
104
|
+
|
|
105
|
+
| 工具 | 作用 |
|
|
106
|
+
| --- | --- |
|
|
107
|
+
| `page_open` | 在她的浏览器当前标签页打开地址,返回页面内容(同 `page_read`) |
|
|
108
|
+
| `page_read` | 读页面:每个可操作元素一行 `[编号] 角色 名称`,之后附可见文字;`page` 翻页,`ref` 只看某元素里面 |
|
|
109
|
+
| `page_click` | 点编号对应的元素 |
|
|
110
|
+
| `page_type` | 在编号对应的输入框里整段输入(中文也行);`submit` 为真时再按回车 |
|
|
111
|
+
| `page_press` | 按一个键 |
|
|
112
|
+
| `page_scroll` | 向上或向下滚一屏左右,可指定元素 |
|
|
113
|
+
| `page_wait` | 等某段文字出现(最多 60 秒),或检查某个编号还在不在 |
|
|
114
|
+
| `page_shot` | 截当前页面一张图附在下一条消息里;只在读文字看不明白时用 |
|
|
115
|
+
| `page_eval` | 在当前页面里执行一段 JS,返回 JSON;十秒超时,结果截到 2000 字;只在她的浏览器页面里执行 |
|
|
116
|
+
| `computer_use` | 用电脑之前说这次要用的程序或网站(`target` 只写对象,比如「微信」「B站」),返回这一类里她写的说明、操作名和文件所在的文件夹;不说就只列出有哪些分类 |
|
|
117
|
+
| `procedure_run` | 跑一个学会的操作:`path` 写 `分类/操作`,`args` 是它声明的参数;不调模型,逐步回放 |
|
|
118
|
+
| `procedure_save` | 把走通的步骤存成一个操作,放进它的分类;不带 `json` 调用时返回完整的格式说明(格式很长,只在要写时才给她,不随每一步发送) |
|
|
119
|
+
| `procedure_note` | 写某一类的说明(对应哪个程序或网站、网址和别称、要注意什么),整份替换,最多 1000 字 |
|
|
120
|
+
| `desktop` | 她用你的电脑(只在「她用电脑」开着时有),见上一节 |
|
|
121
|
+
|
|
122
|
+
返回都很短:页面读取按页截断,脚本结果截断,截图不会自动附带。
|
|
123
|
+
|
|
124
|
+
## 操作目录
|
|
125
|
+
|
|
126
|
+
她学会的东西不再一个操作注册一个工具,工具列表固定是上面这 13 个,不随她学新东西而变(保存操作也不会让宿主的提示词缓存失效)。用法是先 `computer_use` 说要用什么,看到相关的操作再 `procedure_run`;没有合适的就用 `page_*` 自己做,走通了 `procedure_save` 存进来,再用 `procedure_note` 写这一类的说明。
|
|
127
|
+
|
|
128
|
+
`computer_use` 只认对象,做模糊匹配,和记忆检索一样不建索引、不做向量:她说的词只和分类名、她写的说明比,逐词比,大小写不论。一个词包含另一个就算对上(「B站私信」对上「B站」,「打开微信」对上「微信」);不包含时,相邻两字有六成以上相同也算(「bilbili」对上「bilibili」);只是零散地有几个字相同不算,免得说明里的「消息框」把「发送消息」带出来。操作名和描述不参与:同叫「发送消息」,B 站的和微信的是两回事,一起召回只会分散注意力。所以 `computer_use` 写「微信」能找到微信那一类,写「发送消息」什么也找不到。一次只返回一类:她写的说明(截到 500 字)、一行操作名(按文件时间从新到旧,最近保存或手改过的在前)、文件所在的文件夹。操作都是简短的一件事,名字就说清了做什么,所以不附描述、不分页;要看某个操作的参数和步骤,她自己读那个 `<名字>.json`。好几类对得一样好时,只列出这几类的名字,让她说具体是哪一类;一个都对不上时,照实说没有,列出已有的分类,并提醒她:要是其中一类,就在它的说明里补上这个叫法。
|
|
129
|
+
|
|
130
|
+
## 操作文件
|
|
131
|
+
|
|
132
|
+
`<world>/procedures/<分类>/<名字>.json`,每类她自己写的说明是 `<分类>/目录.md`。`procedure_save` 的说明里写明了这个目录,她可以用文件工具直接读和改,改了下次查目录、跑操作时就生效。保存时插件先校验,不合格不落盘并说明哪里不对(文件里写了不认识的键也会被拒绝,免得一个拼写错误悄悄变成"任意链接");同名覆盖前,旧版本存成 `<名字>.v<n>.json`,说明的旧版本存成 `目录.v<n>.md`。格式不合格的文件、文件名和 `name` 对不上的、`category` 和所在文件夹对不上的,都跳过并登记故障,不影响其他操作。
|
|
133
|
+
|
|
134
|
+
顶层字段:
|
|
135
|
+
|
|
136
|
+
| 字段 | 说明 |
|
|
137
|
+
| --- | --- |
|
|
138
|
+
| `name` | 操作名,也是文件名:文字(中文也行)、数字、下划线、连字符,1 到 40 个字,不能是「目录」 |
|
|
139
|
+
| `category` | 分类,也是文件夹名,规则同 `name`;不写时保存进「未分类」,手放的文件取所在文件夹 |
|
|
140
|
+
| `description` | 她自己写的说明 |
|
|
141
|
+
| `params` | `{ 名字: { type: string|number|boolean, required?, description? } }` |
|
|
142
|
+
| `steps` | 1 到 40 步,每步只有一个动作 |
|
|
143
|
+
| `onAlarm` | 为真时每次闹钟前自动跑一次;不能有必填参数,也不能有向外发出的步骤 |
|
|
144
|
+
| `summary` | 闹钟前那一行的模板,可用 `{{count}}` 和脚本 `as` 存下的值 |
|
|
145
|
+
| `messages` | 把 `extract` 的行写进归档,见下文 |
|
|
146
|
+
|
|
147
|
+
步骤(文字里的 `{{参数}}` 会代入):
|
|
148
|
+
|
|
149
|
+
| 动作 | 写法 |
|
|
150
|
+
| --- | --- |
|
|
151
|
+
| `open` | 地址 |
|
|
152
|
+
| `click` | 锚点 |
|
|
153
|
+
| `type` | `{ into: 锚点, text }` |
|
|
154
|
+
| `press` | 键名(与 `page_press` 相同) |
|
|
155
|
+
| `wait` | `{ text|anchor|url, seconds? }`,最多 60 秒 |
|
|
156
|
+
| `check` | `{ text|anchor|url }`,最多等 3 秒,还不满足就停 |
|
|
157
|
+
| `extract` | `{ list: 锚点, fields: { 名: 锚点, 可加 attr }, limit? }`,`limit` 默认 8、最多 20,字段最多 12 个;字段只写 `attr` 时读列表项自己的属性 |
|
|
158
|
+
| `script` | JS,可 `return`;`as` 把结果存成值 |
|
|
159
|
+
|
|
160
|
+
`extract` 和带 `as` 的 `script` 可加 `allowEmpty: true`,表示这一步本来就可能是空的(比如没有未读),见下文。
|
|
161
|
+
|
|
162
|
+
`click`、`type`、`press`、`script` 可加 `outward: true`,表示这一步会向外发出东西。锚点是 `{ role?, name?, text?, css?, nth? }`,`role`、`name` 取 `page_read` 里看到的,至少给一个;`nth` 从 0 数。操作里不存坐标,也不存快照编号。
|
|
163
|
+
|
|
164
|
+
```json
|
|
165
|
+
{
|
|
166
|
+
"name": "看未读",
|
|
167
|
+
"category": "bilibili",
|
|
168
|
+
"description": "看 B 站消息页的未读",
|
|
169
|
+
"onAlarm": true,
|
|
170
|
+
"summary": "私信 {{count}} 条",
|
|
171
|
+
"steps": [
|
|
172
|
+
{ "open": "https://message.bilibili.com/" },
|
|
173
|
+
{ "wait": { "text": "我的消息" } },
|
|
174
|
+
{ "extract": { "list": { "role": "listitem" }, "fields": { "who": { "role": "link" }, "text": { "role": "paragraph" } }, "limit": 8 }, "allowEmpty": true }
|
|
175
|
+
]
|
|
176
|
+
}
|
|
177
|
+
```
|
|
178
|
+
|
|
179
|
+
回放遇到找不到的锚点或不满足的 `check` 就停,返回第几步、期望什么、当前页面的简短快照。带 `outward` 的步骤失败一律报"未完成",不自动重试。
|
|
180
|
+
|
|
181
|
+
**空的也算没跑通。**`extract` 一条都没有、某个字段每一条都是空的、带 `as` 的 `script` 结果为空(`null`、空字符串、空列表或全空的对象),都按失败报出第几步,不再返回"完成。"或空结果。网站改版后选择器找不到东西,最常见的样子就是"什么都没有",不报错的话她会以为"没有新私信"。本来就可能为空的那一步标 `allowEmpty: true`。
|
|
182
|
+
|
|
183
|
+
**新版不行就退回旧版。**最新版没跑通、而且还没有任何向外的动作时,按从新到旧再试最近 2 个旧版本(`<名字>.v<n>.json`,和较新版本完全相同的、已经不合格式的、参数对不上这次调用的跳过)。网站灰度或 A/B 测试时新旧页面会同时存在,为新页面修的版本到旧页面上可能跑不通。旧版本跑通了就用它的结果,后面附一句"最新版第几步没跑通,这次退回第几版",控制台里也记着;闹钟前那一行后面注"用的第几版"。全都不行时,报最新版的失败。
|
|
184
|
+
|
|
185
|
+
这两条的依据是模拟站点上的对比实验:空结果算失败后,不报错的失败从 105 次回放降到 0;退回旧版后,修复把旧页面修坏的从 9 次降到 0,学会、改版、修复全程走通的操作从 9/25 升到 16/25。
|
|
186
|
+
|
|
187
|
+
## 闹钟前回放
|
|
188
|
+
|
|
189
|
+
闹钟响起前,插件在一个单独的标签页里依次跑所有 `onAlarm` 的操作(整体约 60 秒,单个约 20 秒),跑完关掉这个标签页,不打扰她正在用的页面。每个操作留一行(以 `分类/操作` 开头),接在闹钟文字(和微信群动态)后面,成功或失败都照实写:
|
|
190
|
+
|
|
191
|
+
```
|
|
192
|
+
bilibili/看未读:私信 2(阿明)
|
|
193
|
+
bilibili/看未读 没跑通(第 3 步找不到「回复我的」)
|
|
194
|
+
```
|
|
195
|
+
|
|
196
|
+
失败或超时不会拖住闹钟:闹钟不带这一行照样送出,同时登记一条故障。闹钟前的回放不在任何会话里,**不写归档**。
|
|
197
|
+
|
|
198
|
+
## 归档
|
|
199
|
+
|
|
200
|
+
操作可以用 `messages` 声明:`extract` 出来的哪些行是消息、各字段对应归档的哪一项。字段是 `channel`、`conversationType`(`private` 或 `group`)、`accountId`、`conversationId`、`messageId`、`speakerId`、`content` 必填,`speakerName`、`conversationName`、`occurredAt`、`outgoing` 可选;除 `channel` 和 `conversationType` 写死外,其余是 `{{字段}}` 模板,`outgoing` 算出 `true` 表示是她自己说的。
|
|
201
|
+
|
|
202
|
+
- 只有她自己在家会话里用 `procedure_run` 跑操作时读到的才进归档(`archive.sqlite`,`memory_find` 能找到);按平台消息 ID 去重,再读一遍不会重复。
|
|
203
|
+
- 只在归档范围内写入;会话不在范围里时,结果注明"没有记"。
|
|
204
|
+
- 身份字段缺失或不合格的行跳过,结果里写"跳过 n 条"。
|
|
205
|
+
- 写归档失败不会让她的操作失败:读到的结果照给,后面补一句没记进去的原因。
|
|
206
|
+
|
|
207
|
+
## 文件位置
|
|
208
|
+
|
|
209
|
+
| 位置 | 是什么 |
|
|
210
|
+
| --- | --- |
|
|
211
|
+
| `<world>/browser/` | 她的浏览器配置,**含各网站的登录态**,不要外传、不要放进云盘或仓库 |
|
|
212
|
+
| `<world>/procedures/` | 她的操作 `<分类>/<名字>.json`、旧版本 `<名字>.v<n>.json`(每个名字只留最近 2 个,保存时删掉更早的;说明 `目录.v<n>.md` 同样)、她写的说明 `<分类>/目录.md`;这些是她的原件,插件只在她保存时写 |
|
|
213
|
+
|
|
214
|
+
备份世界目录时这两个都会带上,注意第一个的内容。
|
|
215
|
+
|
|
216
|
+
## 对三批人
|
|
217
|
+
|
|
218
|
+
1. **没用过插件的新用户**:默认关闭,什么都不变。打开后目录是空的,`computer_use` 照实说"还没有学会的操作",从零开始由她摸索;归档里没有平台记录,直到她的操作第一次读到消息。
|
|
219
|
+
2. **已经用过插件的老用户**:不加表,不改任何已有文件。新增目录 `<world>/browser/` 和 `<world>/procedures/`。模板、她自己的 `alarm.md`、日记、自述不动;闹钟前的那一行接在模板渲染之后。操作文件和说明是她的原件,插件只在她保存时写,并保留旧版本。
|
|
220
|
+
- 在这个功能的开发版里存过工具的:`procedures/` 下平铺的 `<名字>.json` 原地读成「未分类」,不搬、不改名,旧版本照样能退回;原来的 `my_<名字>` 工具没有了,改成 `procedure_run("未分类/<名字>")`。想归到某一类,就带上 `category` 重新保存一次(平铺的旧文件留着,不要了自己删)。带 `extract` 的操作如果本来就可能读到空,升级后会报"没跑通",在那一步加 `allowEmpty: true` 即可;旧版本文件不改写,只在最新版失败时读来试。
|
|
221
|
+
- 她用电脑:默认关,升级后什么都不变;不加表,不写任何文件。打开后多一个 `desktop` 工具,关掉就撤走。
|
|
222
|
+
3. **宿主里已有会话的用户**:补读只回放会话消息,平台记录只在她的操作真正运行时写入,补读既不产生也不遗漏它们;范围外的会话不会因为操作或补读进入归档。
|
|
223
|
+
|
|
224
|
+
信箱对三批人:跟着「她用电脑」,那个开关默认关,没打开的什么都不发生;已经开着「她用电脑」的老用户升级后信箱就开始听,控制台那一行写着;老用户的归档、日记、已有操作都不受影响,信箱不写任何文件;只有宿主会话的用户也一样,信箱里的东西不进归档,只有她自己去读的内容才会进。
|
|
225
|
+
|
|
226
|
+
## 风险
|
|
227
|
+
|
|
228
|
+
让程序操作网页,可能触发平台的风控,也可能违反平台的服务条款,账号可能被限制或封禁。建议只用专门的小号,不要用你重要的账号登录她的浏览器。插件不保证不被识别为自动化,也没有可靠的"安全频率"。对谁开口不设限:她能用这个浏览器做你的账号做得到的事,包括发私信和评论,需要约束就在人设和世界提示词里写明。
|
|
229
|
+
|
|
230
|
+
她用电脑时,能看到她打开的窗口里的一切,能用你在这台电脑上登录着的所有账号(微信、你浏览器里的网站)。自动操作可能触发平台风控,微信尤其敏感。她在后台操作,你在用电脑时也照样能动;随时关掉「她用电脑」就收回。
|
|
231
|
+
|
|
232
|
+
本机上任何程序都能读 `<世界目录>/browser/DevToolsActivePort`,据此驱动她已登录的浏览器,所以不要以同一个系统用户运行不可信的程序。
|
|
233
|
+
|
|
234
|
+
## 验证边界
|
|
235
|
+
|
|
236
|
+
已在 Windows 11 家庭中文版(10.0.26200)、Microsoft Edge 156.0.4314.58 上用真实浏览器测过启动、调试端口(不需要 `--remote-allow-origins`)和页面原语。
|
|
237
|
+
|
|
238
|
+
尚未验证:macOS 和 Linux;只有 Chrome 没有 Edge 的机器;真实的 B 站页面;真实 DSH 宿主里的工具注册。
|
|
239
|
+
|
|
240
|
+
她用电脑:在同一台机器上(2560×1600,175% 缩放)用 `win32.ps1` 测过,全程你的鼠标位置和前台窗口都没变:第一次调用要编译脚本里的 C#,约 2 秒;截微信 4.x 的窗口 1280×1029,约 0.1 秒。在微信搜索框上后台点击、输入 `test`、退格、`ctrl+a` 全选都生效;`ctrl+a` 起初不生效,因为 Qt 读的是左 Ctrl(`VK_LCONTROL`),两个都设上才行。后台按 Esc 把微信收进托盘,再 `open 微信`:先点「显示隐藏的图标」再点微信的图标,微信正常弹出。它弹出后会把自己拉到前台,并且按 Windows 的前台锁不让别的进程拿回来,所以还焦点之前先发一个不带按键的键盘事件(键码 0,没有程序响应它),让插件这边算作"最后有输入的进程";之后焦点还给原来的窗口并保持住。真机测试设 `DSH_WORLD_DESKTOP_TEST=1`,只读。中文输入起初是乱码(投递用了 ANSI 版的 `PostMessage`),改成 `PostMessageW`。微信的「朋友圈」发表框打开时,主窗口不接收输入(像对话框一样把主窗口挡住)。从开始菜单启动记事本跑通了,焦点也还回来了;Win11 的记事本不接收投递的字符。尚未验证:改过之后在微信里输入中文;最小化窗口的原地还原;她看截图点坐标的准确度;DPI 不感知的老程序上坐标对不对。
|
|
241
|
+
|
|
242
|
+
## 来源
|
|
243
|
+
|
|
244
|
+
浏览器的查找与启动、最小 CDP 会话、页面内元素登记表,移植并改写自 [dsh-inner-browser-use](https://www.npmjs.com/package/dsh-inner-browser-use) 0.47.28(MIT),保留署名与许可,见 [NOTICE](NOTICE.md)。没有取它的画面镜像、媒体下载、登录保险箱和阅读器,也没有取它所有会话共用的工具注册方式。它的兼容文档写明不支持 Windows,Windows 部分是自己实测的。操作目录没有现成基础。
|