wsbuilder 1.2.13__tar.gz → 1.4.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- {wsbuilder-1.2.13/src/wsbuilder.egg-info → wsbuilder-1.4.0}/PKG-INFO +35 -3
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/README.md +30 -0
- wsbuilder-1.4.0/docs/ai-predict.md +244 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/api-map.md +25 -1
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/cache.md +4 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/http-versions.md +4 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/http.md +9 -1
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/ia.md +32 -0
- wsbuilder-1.4.0/docs/llm.md +181 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/persistence.md +8 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/proxy.md +2 -0
- wsbuilder-1.4.0/docs/rpc.md +182 -0
- wsbuilder-1.4.0/docs/tasks.md +107 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/mkdocs.yml +2 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/pyproject.toml +6 -3
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/__init__.py +66 -13
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/app.py +50 -6
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/cache.py +11 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/caches.py +4 -1
- wsbuilder-1.4.0/src/wsbuilder/codec.py +555 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/db_replicas.py +57 -19
- wsbuilder-1.4.0/src/wsbuilder/gguf.py +790 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/hpack.py +71 -22
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/http.py +37 -16
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/http2.py +25 -7
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/http3.py +32 -16
- wsbuilder-1.4.0/src/wsbuilder/http3_client.py +536 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/http3_server.py +121 -9
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/ia.py +235 -75
- wsbuilder-1.4.0/src/wsbuilder/ia_audio.py +93 -0
- wsbuilder-1.4.0/src/wsbuilder/ia_text.py +100 -0
- wsbuilder-1.4.0/src/wsbuilder/llm.py +1151 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/metrics.py +6 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/orm.py +49 -20
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/proxyi.py +4 -0
- wsbuilder-1.4.0/src/wsbuilder/quic/client.py +290 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/connection.py +76 -9
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/frames.py +7 -1
- wsbuilder-1.4.0/src/wsbuilder/quic/tls.py +1175 -0
- wsbuilder-1.4.0/src/wsbuilder/rpc.py +588 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/server.py +28 -1
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/tasks.py +174 -38
- {wsbuilder-1.2.13 → wsbuilder-1.4.0/src/wsbuilder.egg-info}/PKG-INFO +35 -3
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder.egg-info/SOURCES.txt +17 -0
- wsbuilder-1.4.0/src/wsbuilder.egg-info/requires.txt +9 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_cache.py +29 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_caches.py +29 -2
- wsbuilder-1.4.0/tests/test_codec.py +244 -0
- wsbuilder-1.4.0/tests/test_gguf.py +224 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http.py +25 -1
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http3.py +22 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http3_server.py +5 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http3_streaming.py +29 -0
- wsbuilder-1.4.0/tests/test_ia.py +457 -0
- wsbuilder-1.4.0/tests/test_ia_text_audio.py +165 -0
- wsbuilder-1.4.0/tests/test_llm.py +676 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_metrics.py +13 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_optional_extras.py +33 -1
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_orm_replicas.py +97 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_proxyi.py +8 -0
- wsbuilder-1.4.0/tests/test_quic_client.py +399 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_quic_recovery.py +6 -2
- wsbuilder-1.4.0/tests/test_response_lifecycle.py +124 -0
- wsbuilder-1.4.0/tests/test_rpc.py +379 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_server.py +53 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_server_errors.py +118 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_tasks.py +193 -0
- wsbuilder-1.2.13/docs/ai-predict.md +0 -139
- wsbuilder-1.2.13/docs/tasks.md +0 -85
- wsbuilder-1.2.13/src/wsbuilder/quic/tls.py +0 -618
- wsbuilder-1.2.13/src/wsbuilder.egg-info/requires.txt +0 -6
- wsbuilder-1.2.13/tests/test_ia.py +0 -199
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/LICENSE +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/MANIFEST.in +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/404.html +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/CNAME +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/advanced.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/app-http.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/architecture.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/assets/wsbuilder-mark.svg +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/beginners.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/cache-security.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/capabilities.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/data-orm.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/dns.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/full-project.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/getting-started.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/help/index.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/index.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/install.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/intermediate.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/mdns.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/network-edge.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/observability-tasks.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/observability.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/reference/index.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/security.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/stylesheets/extra.css +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/tls-certificates.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/docs/websocket.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/examples/full-project/.gitignore +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/examples/full-project/README.md +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/examples/full-project/app.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/examples/full-project/pyproject.toml +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/examples/full-project/upstream.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/setup.cfg +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/__main__.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/_coerce.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/_pragma.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/constants.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/cookies.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/dns.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/framework.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/headers.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/http1.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/http3_websocket.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/logs.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/mdns.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/pki.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/predicts.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/qpack.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/__init__.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/address.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/crypto.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/packet.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/recovery.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/quic/varint.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/security.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder/ws.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder.egg-info/dependency_links.txt +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder.egg-info/entry_points.txt +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/src/wsbuilder.egg-info/top_level.txt +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_app_threads.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_contributing_policy.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_demo_monitor.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_dns.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_docs.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_documentation_files.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_example_full_project.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_headers_cookies.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_hpack.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http1.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http2.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_http3_streaming_udp.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_logs.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_mdns.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_orm.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_pki.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_pr_identity_policy.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_predicts.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_proxyi_routing.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_quic_address.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_quic_crypto.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_quic_protocol.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_quic_tls.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_security.py +0 -0
- {wsbuilder-1.2.13 → wsbuilder-1.4.0}/tests/test_ws.py +0 -0
|
@@ -1,6 +1,6 @@
|
|
|
1
1
|
Metadata-Version: 2.4
|
|
2
2
|
Name: wsbuilder
|
|
3
|
-
Version: 1.
|
|
3
|
+
Version: 1.4.0
|
|
4
4
|
Summary: Lightweight HTTP + WebSocket framework for Python.
|
|
5
5
|
Author: wsbuilder Authors
|
|
6
6
|
License-Expression: MIT
|
|
@@ -8,7 +8,7 @@ Project-URL: Homepage, https://github.com/jorgelsc-dev/wsbuilder
|
|
|
8
8
|
Project-URL: Documentation, https://wsbuilder.jorgelsc.dev/
|
|
9
9
|
Project-URL: Repository, https://github.com/jorgelsc-dev/wsbuilder
|
|
10
10
|
Project-URL: Issues, https://github.com/jorgelsc-dev/wsbuilder/issues
|
|
11
|
-
Keywords: websocket,http,framework,server,python
|
|
11
|
+
Keywords: websocket,http,http3,quic,rpc,cbor,llm,gguf,framework,server,python
|
|
12
12
|
Classifier: Development Status :: 3 - Alpha
|
|
13
13
|
Classifier: Intended Audience :: Developers
|
|
14
14
|
Classifier: Operating System :: OS Independent
|
|
@@ -24,9 +24,11 @@ Requires-Python: >=3.11
|
|
|
24
24
|
Description-Content-Type: text/markdown
|
|
25
25
|
License-File: LICENSE
|
|
26
26
|
Provides-Extra: tls
|
|
27
|
-
Requires-Dist: cryptography>=
|
|
27
|
+
Requires-Dist: cryptography>=43; extra == "tls"
|
|
28
28
|
Provides-Extra: mdns
|
|
29
29
|
Requires-Dist: zeroconf>=0.131; extra == "mdns"
|
|
30
|
+
Provides-Extra: llm
|
|
31
|
+
Requires-Dist: llama-cpp-python>=0.3; extra == "llm"
|
|
30
32
|
Dynamic: license-file
|
|
31
33
|
|
|
32
34
|
# wsbuilder
|
|
@@ -44,7 +46,11 @@ Sirve para crear:
|
|
|
44
46
|
- rate limiting, ACL, listas de IP y bloqueo temporal.
|
|
45
47
|
- metricas JSON, stream NDJSON, logs y tareas en background.
|
|
46
48
|
- DNS local, mDNS y descubrimiento de servicios, reverse proxy y balanceo.
|
|
49
|
+
- comunicacion entre microservicios en binario (CBOR) sobre HTTP/3 cifrado,
|
|
50
|
+
con identidad de servicio por mTLS.
|
|
47
51
|
- prediccion simple y redes neuronales basicas desde Python puro.
|
|
52
|
+
- modelos de lenguaje (LLM): importar, guardar y descargar GGUF/safetensors,
|
|
53
|
+
ejecutarlos con llama.cpp u Ollama y servirlos con API compatible con OpenAI.
|
|
48
54
|
|
|
49
55
|
## Ruta de documentacion
|
|
50
56
|
|
|
@@ -64,6 +70,8 @@ Tambien puedes leer:
|
|
|
64
70
|
- [Arquitectura](docs/architecture.md)
|
|
65
71
|
- [API publica](docs/api-map.md)
|
|
66
72
|
- [mDNS y DNS-SD](docs/mdns.md) (extra opcional `wsbuilder[mdns]`)
|
|
73
|
+
- [Modelos de lenguaje (LLM)](docs/llm.md) (GGUF, Hugging Face, llama.cpp/Ollama; ejecucion local con `wsbuilder[llm]`)
|
|
74
|
+
- [RPC entre servicios](docs/rpc.md) (CBOR sobre HTTP/3; HTTP/3 usa el extra `wsbuilder[tls]`)
|
|
67
75
|
- [Proyecto integral](docs/full-project.md)
|
|
68
76
|
|
|
69
77
|
## Instalacion rapida
|
|
@@ -153,7 +161,31 @@ La demo incluye:
|
|
|
153
161
|
| Seguridad | `security.py` | `SecurityPolicy`, `ACLRule`, `SecurityDecision` |
|
|
154
162
|
| Observabilidad | `metrics.py`, `logs.py`, `tasks.py` | `AppMetrics`, `NDJSONLog`, `TaskManager` |
|
|
155
163
|
| Red y edge | `dns.py`, `mdns.py`, `proxyi.py` | `LocalDNSServer`, `LocalMDNSServer`, `discover_mdns_services`, `ProxyI` |
|
|
164
|
+
| Entre servicios | `rpc.py`, `codec.py`, `http3_client.py` | `App.rpc`, `RpcClient`, `RpcError`, `cbor_dumps`, `Http3Client` |
|
|
156
165
|
| IA y prediccion | `ia.py`, `predicts.py` | `DataSet`, `NeuralNetwork`, `Predictor` |
|
|
166
|
+
| Modelos de lenguaje | `llm.py`, `gguf.py` | `ModelStore`, `LanguageModel`, `GGUFReader`, `GGUFWriter`, `App.enable_llm` |
|
|
167
|
+
|
|
168
|
+
## Comunicacion entre servicios
|
|
169
|
+
|
|
170
|
+
Los servicios se llaman entre si con el payload en CBOR (binario, alrededor de
|
|
171
|
+
un 30 % mas pequeno que JSON y sin base64 para `bytes`) sobre una conexion
|
|
172
|
+
HTTP/3 reutilizada y cifrada con TLS 1.3:
|
|
173
|
+
|
|
174
|
+
```python
|
|
175
|
+
from wsbuilder import App, RpcClient
|
|
176
|
+
|
|
177
|
+
app = App()
|
|
178
|
+
|
|
179
|
+
@app.rpc("/users.get")
|
|
180
|
+
def get_user(request, payload):
|
|
181
|
+
return {"id": payload["id"], "name": "Ada"}
|
|
182
|
+
|
|
183
|
+
# En otro servicio:
|
|
184
|
+
with RpcClient("https://users.internal:8443", trust=ca) as users:
|
|
185
|
+
user = users.call("/users.get", {"id": 7})
|
|
186
|
+
```
|
|
187
|
+
|
|
188
|
+
Detalles, mTLS y limites en [RPC entre servicios](docs/rpc.md).
|
|
157
189
|
|
|
158
190
|
## Ejemplo con datos
|
|
159
191
|
|
|
@@ -13,7 +13,11 @@ Sirve para crear:
|
|
|
13
13
|
- rate limiting, ACL, listas de IP y bloqueo temporal.
|
|
14
14
|
- metricas JSON, stream NDJSON, logs y tareas en background.
|
|
15
15
|
- DNS local, mDNS y descubrimiento de servicios, reverse proxy y balanceo.
|
|
16
|
+
- comunicacion entre microservicios en binario (CBOR) sobre HTTP/3 cifrado,
|
|
17
|
+
con identidad de servicio por mTLS.
|
|
16
18
|
- prediccion simple y redes neuronales basicas desde Python puro.
|
|
19
|
+
- modelos de lenguaje (LLM): importar, guardar y descargar GGUF/safetensors,
|
|
20
|
+
ejecutarlos con llama.cpp u Ollama y servirlos con API compatible con OpenAI.
|
|
17
21
|
|
|
18
22
|
## Ruta de documentacion
|
|
19
23
|
|
|
@@ -33,6 +37,8 @@ Tambien puedes leer:
|
|
|
33
37
|
- [Arquitectura](docs/architecture.md)
|
|
34
38
|
- [API publica](docs/api-map.md)
|
|
35
39
|
- [mDNS y DNS-SD](docs/mdns.md) (extra opcional `wsbuilder[mdns]`)
|
|
40
|
+
- [Modelos de lenguaje (LLM)](docs/llm.md) (GGUF, Hugging Face, llama.cpp/Ollama; ejecucion local con `wsbuilder[llm]`)
|
|
41
|
+
- [RPC entre servicios](docs/rpc.md) (CBOR sobre HTTP/3; HTTP/3 usa el extra `wsbuilder[tls]`)
|
|
36
42
|
- [Proyecto integral](docs/full-project.md)
|
|
37
43
|
|
|
38
44
|
## Instalacion rapida
|
|
@@ -122,7 +128,31 @@ La demo incluye:
|
|
|
122
128
|
| Seguridad | `security.py` | `SecurityPolicy`, `ACLRule`, `SecurityDecision` |
|
|
123
129
|
| Observabilidad | `metrics.py`, `logs.py`, `tasks.py` | `AppMetrics`, `NDJSONLog`, `TaskManager` |
|
|
124
130
|
| Red y edge | `dns.py`, `mdns.py`, `proxyi.py` | `LocalDNSServer`, `LocalMDNSServer`, `discover_mdns_services`, `ProxyI` |
|
|
131
|
+
| Entre servicios | `rpc.py`, `codec.py`, `http3_client.py` | `App.rpc`, `RpcClient`, `RpcError`, `cbor_dumps`, `Http3Client` |
|
|
125
132
|
| IA y prediccion | `ia.py`, `predicts.py` | `DataSet`, `NeuralNetwork`, `Predictor` |
|
|
133
|
+
| Modelos de lenguaje | `llm.py`, `gguf.py` | `ModelStore`, `LanguageModel`, `GGUFReader`, `GGUFWriter`, `App.enable_llm` |
|
|
134
|
+
|
|
135
|
+
## Comunicacion entre servicios
|
|
136
|
+
|
|
137
|
+
Los servicios se llaman entre si con el payload en CBOR (binario, alrededor de
|
|
138
|
+
un 30 % mas pequeno que JSON y sin base64 para `bytes`) sobre una conexion
|
|
139
|
+
HTTP/3 reutilizada y cifrada con TLS 1.3:
|
|
140
|
+
|
|
141
|
+
```python
|
|
142
|
+
from wsbuilder import App, RpcClient
|
|
143
|
+
|
|
144
|
+
app = App()
|
|
145
|
+
|
|
146
|
+
@app.rpc("/users.get")
|
|
147
|
+
def get_user(request, payload):
|
|
148
|
+
return {"id": payload["id"], "name": "Ada"}
|
|
149
|
+
|
|
150
|
+
# En otro servicio:
|
|
151
|
+
with RpcClient("https://users.internal:8443", trust=ca) as users:
|
|
152
|
+
user = users.call("/users.get", {"id": 7})
|
|
153
|
+
```
|
|
154
|
+
|
|
155
|
+
Detalles, mTLS y limites en [RPC entre servicios](docs/rpc.md).
|
|
126
156
|
|
|
127
157
|
## Ejemplo con datos
|
|
128
158
|
|
|
@@ -0,0 +1,244 @@
|
|
|
1
|
+
# IA y Prediccion
|
|
2
|
+
|
|
3
|
+
## `DataSet`
|
|
4
|
+
|
|
5
|
+
`DataSet` es el contenedor basico para pares `X` y `Y`.
|
|
6
|
+
|
|
7
|
+
```python
|
|
8
|
+
from wsbuilder import DataSet
|
|
9
|
+
|
|
10
|
+
dataset = DataSet(
|
|
11
|
+
[[1, 2], [2, 3], [3, 4], [4, 5]],
|
|
12
|
+
[[0], [1], [1], [1]],
|
|
13
|
+
)
|
|
14
|
+
train, test = dataset.split(train_ratio=0.75, shuffle=False)
|
|
15
|
+
```
|
|
16
|
+
|
|
17
|
+
Metodos utiles:
|
|
18
|
+
|
|
19
|
+
- `sample_count`, `feature_count`, `target_count`
|
|
20
|
+
- `copy()`, `as_xy()`
|
|
21
|
+
- `shuffle()`, `split()`, `batches()`
|
|
22
|
+
- `describe_features()`, `describe_targets()`
|
|
23
|
+
- `standardize()`, `normalize_min_max()`
|
|
24
|
+
|
|
25
|
+
`split()` puede mezclar datos con `shuffle=True` y `seed` para resultados
|
|
26
|
+
repetibles. `batches()` permite entrenar por lotes.
|
|
27
|
+
|
|
28
|
+
## `NeuralNetwork`
|
|
29
|
+
|
|
30
|
+
La red neuronal es completamente Python puro.
|
|
31
|
+
|
|
32
|
+
```python
|
|
33
|
+
from wsbuilder import NeuralNetwork
|
|
34
|
+
|
|
35
|
+
net = NeuralNetwork(
|
|
36
|
+
seed=7,
|
|
37
|
+
learning_rate=0.3,
|
|
38
|
+
loss="binary_cross_entropy",
|
|
39
|
+
task="classification",
|
|
40
|
+
)
|
|
41
|
+
net.add_dense(6, input_size=2, activation="tanh")
|
|
42
|
+
net.add_dense(1, activation="sigmoid")
|
|
43
|
+
history = net.fit(
|
|
44
|
+
[[0, 0], [0, 1], [1, 0], [1, 1]],
|
|
45
|
+
[[0], [1], [1], [0]],
|
|
46
|
+
epochs=5000,
|
|
47
|
+
batch_size=4,
|
|
48
|
+
shuffle=False,
|
|
49
|
+
)
|
|
50
|
+
```
|
|
51
|
+
|
|
52
|
+
Capacidades mas visibles:
|
|
53
|
+
|
|
54
|
+
- `fit` para regresion.
|
|
55
|
+
- `fit_classification` para etiquetas simbolicas.
|
|
56
|
+
- `predict`, `predict_batch`, `predict_proba`, `predict_class`.
|
|
57
|
+
- `evaluate`, `accuracy`, `classification_metrics`.
|
|
58
|
+
- `predict_with_metrics` para reportes de error y confianza.
|
|
59
|
+
|
|
60
|
+
Activaciones soportadas por la red:
|
|
61
|
+
|
|
62
|
+
- `linear`
|
|
63
|
+
- `sigmoid`
|
|
64
|
+
- `tanh`
|
|
65
|
+
- `relu`
|
|
66
|
+
- `leaky_relu`
|
|
67
|
+
- `softmax`
|
|
68
|
+
|
|
69
|
+
Losses soportadas:
|
|
70
|
+
|
|
71
|
+
- `mse`
|
|
72
|
+
- `binary_cross_entropy`
|
|
73
|
+
- `categorical_cross_entropy`
|
|
74
|
+
|
|
75
|
+
## `DenseLayer`
|
|
76
|
+
|
|
77
|
+
`DenseLayer` permite definir capas manuales y se usa como bloque interno del
|
|
78
|
+
`NeuralNetwork`.
|
|
79
|
+
|
|
80
|
+
Tambien puedes crear capas con `net.add_dense(units, input_size=..., activation=...)`,
|
|
81
|
+
que es la forma mas directa para usuarios de la libreria.
|
|
82
|
+
|
|
83
|
+
## Estadistica y error
|
|
84
|
+
|
|
85
|
+
Helpers exportados:
|
|
86
|
+
|
|
87
|
+
- `describe_data(values)`
|
|
88
|
+
- `evaluate_errors(expected, predicted, permissible_error=...)`
|
|
89
|
+
|
|
90
|
+
Devuelven `DataSummary` y `ErrorSummary`, ambos con la propiedad `uncertainty`.
|
|
91
|
+
|
|
92
|
+
## Entrenamiento en background
|
|
93
|
+
|
|
94
|
+
```python
|
|
95
|
+
from wsbuilder import NeuralNetwork, TaskManager, submit_training_task
|
|
96
|
+
|
|
97
|
+
X = [[0, 0], [0, 1], [1, 0], [1, 1]]
|
|
98
|
+
labels = ["no", "yes", "yes", "no"]
|
|
99
|
+
|
|
100
|
+
net = NeuralNetwork(
|
|
101
|
+
seed=7,
|
|
102
|
+
learning_rate=0.3,
|
|
103
|
+
loss="binary_cross_entropy",
|
|
104
|
+
task="classification",
|
|
105
|
+
)
|
|
106
|
+
net.add_dense(6, input_size=2, activation="tanh")
|
|
107
|
+
net.add_dense(1, activation="sigmoid")
|
|
108
|
+
|
|
109
|
+
tasks = TaskManager(max_concurrent=1)
|
|
110
|
+
task = submit_training_task(
|
|
111
|
+
tasks,
|
|
112
|
+
net,
|
|
113
|
+
X,
|
|
114
|
+
labels,
|
|
115
|
+
classification=True,
|
|
116
|
+
epochs=1000,
|
|
117
|
+
batch_size=4,
|
|
118
|
+
shuffle=False,
|
|
119
|
+
name="ia-train",
|
|
120
|
+
)
|
|
121
|
+
history = task.get(timeout=5)
|
|
122
|
+
```
|
|
123
|
+
|
|
124
|
+
## Texto Unicode y tokens
|
|
125
|
+
|
|
126
|
+
`ByteTokenizer` representa texto como IDs de bytes UTF-8 entre 0 y 255. No
|
|
127
|
+
necesita vocabulario entrenado y conserva exactamente el texto valido, incluidos
|
|
128
|
+
acentos, arabe, chino, emoji y codigo fuente. No aplica normalizacion. Estos IDs
|
|
129
|
+
no son los tokens de un modelo externo ni una estimacion de su facturacion.
|
|
130
|
+
|
|
131
|
+
```python
|
|
132
|
+
from wsbuilder import ByteTokenizer
|
|
133
|
+
|
|
134
|
+
tokenizer = ByteTokenizer(max_bytes=1_000_000)
|
|
135
|
+
text = "Hola, 世界! مرحبا 👋\nprint('hola')"
|
|
136
|
+
tokens = tokenizer.encode(text)
|
|
137
|
+
assert tokenizer.decode(tokens) == text
|
|
138
|
+
assert tokenizer.vocab_size == 256
|
|
139
|
+
```
|
|
140
|
+
|
|
141
|
+
`encode` rechaza texto que exceda `max_bytes`; `decode` rechaza secuencias
|
|
142
|
+
demasiado largas, IDs no enteros o fuera de rango y bytes que no formen UTF-8
|
|
143
|
+
valido. Un token individual puede ser solo parte de un caracter multibyte:
|
|
144
|
+
decodifica secuencias completas. No pases IDs de longitud variable directamente
|
|
145
|
+
a una capa densa de dimension fija.
|
|
146
|
+
|
|
147
|
+
### Vectores de texto para la red
|
|
148
|
+
|
|
149
|
+
`HashingTextVectorizer` convierte ngramas de caracteres Unicode en vectores de
|
|
150
|
+
dimension fija usando un hash estable. Funciona tambien con idiomas que no
|
|
151
|
+
separan palabras con espacios; no necesita `fit` ni un vocabulario mutable.
|
|
152
|
+
Dos ngramas pueden caer en la misma posicion (colisiones). Estos vectores
|
|
153
|
+
describen patrones de caracteres, no son embeddings semanticos preentrenados.
|
|
154
|
+
|
|
155
|
+
```python
|
|
156
|
+
from wsbuilder import DataSet, HashingTextVectorizer, NeuralNetwork
|
|
157
|
+
|
|
158
|
+
vectorizer = HashingTextVectorizer(n_features=64, ngram_range=(1, 3))
|
|
159
|
+
texts = ["hola", "buen dia", "adios", "hasta luego"]
|
|
160
|
+
X = vectorizer.transform_batch(texts)
|
|
161
|
+
dataset = DataSet(X, [[1], [1], [0], [0]])
|
|
162
|
+
|
|
163
|
+
model = NeuralNetwork(
|
|
164
|
+
seed=7, learning_rate=0.3,
|
|
165
|
+
loss="binary_cross_entropy", task="classification",
|
|
166
|
+
)
|
|
167
|
+
model.add_dense(8, input_size=64, activation="tanh")
|
|
168
|
+
model.add_dense(1, activation="sigmoid")
|
|
169
|
+
model.fit_classification(
|
|
170
|
+
dataset.X, ["saludo", "saludo", "despedida", "despedida"],
|
|
171
|
+
epochs=300, batch_size=4, shuffle=False,
|
|
172
|
+
)
|
|
173
|
+
label = model.predict_class(vectorizer.transform("hola"))
|
|
174
|
+
```
|
|
175
|
+
|
|
176
|
+
Este conjunto diminuto ilustra la API; no demuestra comprension del lenguaje ni
|
|
177
|
+
generalizacion a otros idiomas. Conserva la misma configuracion del vectorizador
|
|
178
|
+
en entrenamiento e inferencia. El texto vacio produce un vector de ceros.
|
|
179
|
+
`max_chars` limita la longitud por texto (100 000 por defecto).
|
|
180
|
+
Por defecto se aplica `casefold` (`lowercase=True`), normalizacion Unicode NFC
|
|
181
|
+
y norma euclidea unitaria (`normalize=True`). NFC se aplica incluso con
|
|
182
|
+
`lowercase=False`; el tokenizador reversible no realiza estas transformaciones.
|
|
183
|
+
`n_features` admite 1 a 65 536 y los extremos de `ngram_range`, 1 a 8.
|
|
184
|
+
`transform_batch` no limita el numero de documentos: procesa tus colecciones
|
|
185
|
+
en lotes acotados.
|
|
186
|
+
|
|
187
|
+
## Audio WAV y caracteristicas
|
|
188
|
+
|
|
189
|
+
`load_wav` lee una ruta o un archivo binario seekable con WAV PCM entero de
|
|
190
|
+
8, 16, 24 o 32 bits. Convierte los canales a mono mediante su promedio: canales
|
|
191
|
+
en contrafase pueden cancelarse. No remuestrea ni decodifica MP3, AAC o audio
|
|
192
|
+
comprimido. No cierra el archivo proporcionado por el llamador.
|
|
193
|
+
|
|
194
|
+
```python
|
|
195
|
+
from wsbuilder import AudioData, NeuralNetwork, audio_features, load_wav
|
|
196
|
+
|
|
197
|
+
audio = load_wav("grabacion.wav", max_frames=1_000_000, max_channels=8)
|
|
198
|
+
features = audio_features(audio)
|
|
199
|
+
# Orden: duracion en segundos, media, RMS, pico absoluto, cruces por cero.
|
|
200
|
+
assert len(features) == 5
|
|
201
|
+
|
|
202
|
+
silence = AudioData(samples=(0.0,) * 8000, sample_rate=8000)
|
|
203
|
+
assert audio_features(silence) == [1.0, 0.0, 0.0, 0.0, 0.0]
|
|
204
|
+
|
|
205
|
+
audio_model = NeuralNetwork(seed=7)
|
|
206
|
+
audio_model.add_dense(1, input_size=5, activation="linear")
|
|
207
|
+
# Entrenar audio_model.fit(...) con ejemplos y objetivos propios antes de inferir.
|
|
208
|
+
```
|
|
209
|
+
|
|
210
|
+
Los limites de frames y canales se verifican antes de leer las muestras; los
|
|
211
|
+
archivos truncados se rechazan. Un frame contiene una muestra por canal, por lo
|
|
212
|
+
que un millon de frames equivale aproximadamente a 20,8 segundos a 48 kHz.
|
|
213
|
+
`AudioData` contiene una tupla de muestras mono finitas entre -1 y 1 y una
|
|
214
|
+
frecuencia entera en Hz positiva. `duration` devuelve la duracion en segundos;
|
|
215
|
+
una tupla vacia produce cinco caracteristicas cero. Los cruces por cero son
|
|
216
|
+
la fraccion de pares adyacentes que cambian de signo, considerando cero positivo.
|
|
217
|
+
Las caracteristicas resumen amplitud y duracion: no transcriben voz, reconocen
|
|
218
|
+
idiomas ni generan audio. Usa la misma frecuencia de muestreo para comparar
|
|
219
|
+
tasas de cruces por cero; divide los datos de entrenamiento y evaluacion por
|
|
220
|
+
grabacion para evitar evaluar sobre fragmentos del mismo audio.
|
|
221
|
+
|
|
222
|
+
Texto y audio pueden combinarse concatenando sus vectores y configurando
|
|
223
|
+
`input_size` con la suma de dimensiones. Entrena con ejemplos emparejados y
|
|
224
|
+
escalas consistentes; concatenar vectores no aporta por si solo comprension
|
|
225
|
+
multimodal. Los adaptadores no cambian las condiciones de concurrencia de
|
|
226
|
+
`NeuralNetwork`: evita compartir una instancia entre entrenamientos e
|
|
227
|
+
inferencias simultaneos.
|
|
228
|
+
|
|
229
|
+
## `Predictor`
|
|
230
|
+
|
|
231
|
+
`Predictor` es una utilidad matematica aparte para regresion lineal simple.
|
|
232
|
+
|
|
233
|
+
```python
|
|
234
|
+
from wsbuilder import Predictor
|
|
235
|
+
|
|
236
|
+
predictor = Predictor()
|
|
237
|
+
predictor.fit([[1], [2], [3], [4]], [[2], [4], [6], [8]])
|
|
238
|
+
prediction, sigma, lower, upper = predictor.predict([5])
|
|
239
|
+
```
|
|
240
|
+
|
|
241
|
+
Es util cuando quieres prediccion rapida sin configurar una red neuronal.
|
|
242
|
+
|
|
243
|
+
Despues de `fit`, la instancia expone informacion como `rank`, coeficientes y
|
|
244
|
+
residuos internos usados para calcular desviacion e intervalo estimado.
|
|
@@ -16,7 +16,7 @@ Para ejemplos completos por nivel, lee [Principiantes](beginners.md),
|
|
|
16
16
|
|
|
17
17
|
Metodos habituales:
|
|
18
18
|
|
|
19
|
-
- `App.view`, `App.api`, `App.route`, `App.ws`
|
|
19
|
+
- `App.view`, `App.api`, `App.rpc`, `App.route`, `App.ws`
|
|
20
20
|
- `App.enable_metrics`, `App.enable_security`, `App.enable_caches`,
|
|
21
21
|
`App.enable_logs`, `App.enable_docs`
|
|
22
22
|
- `App.dispatch`, `App.describe`, `App.run`, `App.close`
|
|
@@ -68,6 +68,17 @@ Filtros `QuerySet` documentados:
|
|
|
68
68
|
| Cabeceras | `normalize_header_name`, `get_header`, `has_header`, `set_header`, `add_header` |
|
|
69
69
|
| Cookies | `parse_cookie_header`, `get_cookie`, `build_set_cookie` |
|
|
70
70
|
|
|
71
|
+
## Comunicacion entre servicios
|
|
72
|
+
|
|
73
|
+
| Grupo | Exportaciones |
|
|
74
|
+
| --- | --- |
|
|
75
|
+
| RPC | `RpcClient`, `RpcError`, `RpcTransportError`, `RpcCodec`, `rpc_endpoint` |
|
|
76
|
+
| Codec CBOR | `cbor_dumps`, `cbor_loads`, `CBORTag`, `CBORSimple`, `CBORDecodeError`, `CBOREncodeError` |
|
|
77
|
+
| HTTP/3 cliente (extra `tls`) | `Http3Client`, `Http3Response`, `Http3Error` |
|
|
78
|
+
|
|
79
|
+
Metodo de la app: `App.rpc(path, methods=("POST",), *, codec="cbor")`. Guia
|
|
80
|
+
completa en [RPC entre servicios](rpc.md).
|
|
81
|
+
|
|
71
82
|
## DNS y proxy
|
|
72
83
|
|
|
73
84
|
| Grupo | Exportaciones |
|
|
@@ -101,6 +112,19 @@ Filtros `QuerySet` documentados:
|
|
|
101
112
|
| Redes | `DenseLayer`, `NeuralNetwork`, `submit_training_task` |
|
|
102
113
|
| Analisis | `describe_data`, `evaluate_errors` |
|
|
103
114
|
| Prediccion | `Predictor` |
|
|
115
|
+
| Persistencia de redes | `NeuralNetwork.save`, `NeuralNetwork.load` (GGUF) |
|
|
116
|
+
|
|
117
|
+
## Modelos de lenguaje
|
|
118
|
+
|
|
119
|
+
| Grupo | Exportaciones |
|
|
120
|
+
| --- | --- |
|
|
121
|
+
| Almacen | `ModelStore`, `ModelRecord` |
|
|
122
|
+
| Descargas | `download_file`, `huggingface_files`, `huggingface_url`, `DownloadError` |
|
|
123
|
+
| Ejecucion | `LanguageModel`, `LlamaCppBackend` (extra `llm`), `OpenAICompatibleBackend` |
|
|
124
|
+
| HTTP | `install_llm`, `App.enable_llm` |
|
|
125
|
+
| GGUF | `GGUFReader`, `GGUFWriter`, `GGMLType`, `GGUFError`, `read_gguf_metadata` |
|
|
126
|
+
|
|
127
|
+
Guia completa en [Modelos de lenguaje](llm.md).
|
|
104
128
|
|
|
105
129
|
## Modulos directos utiles
|
|
106
130
|
|
|
@@ -81,6 +81,10 @@ install_metrics(app, app_name="cache-demo")
|
|
|
81
81
|
```
|
|
82
82
|
|
|
83
83
|
Cuando la cache esta activa, `App.dispatch()` puede responder con `X-WSBuilder-Cache: HIT`.
|
|
84
|
+
Las claves de respuestas distinguen el `Host` y el esquema del transporte
|
|
85
|
+
(`http` o `https`); las cabeceras reenviadas no cambian ese esquema.
|
|
86
|
+
`App.close()` cierra las caches instaladas, también cuando usan un `attr_name`
|
|
87
|
+
personalizado, y evita cerrar dos veces un store compartido.
|
|
84
88
|
|
|
85
89
|
## Lo que conviene recordar
|
|
86
90
|
|
|
@@ -105,6 +105,10 @@ threading.Thread(target=h3.serve_forever, daemon=True).start()
|
|
|
105
105
|
Un cliente no descubre HTTP/3 solo: llega por la cabecera `Alt-Svc` que anuncia
|
|
106
106
|
una respuesta HTTP/1 o HTTP/2.
|
|
107
107
|
|
|
108
|
+
Una peticion HTTP/3 con `Content-Length` debe usar digitos ASCII y coincidir con
|
|
109
|
+
los DATA recibidos al finalizar. Una longitud invalida termina ese stream con
|
|
110
|
+
`H3_MESSAGE_ERROR`, sin ejecutar el handler ni interrumpir las otras peticiones.
|
|
111
|
+
|
|
108
112
|
```python
|
|
109
113
|
@app.api("/algo")
|
|
110
114
|
def algo(request):
|
|
@@ -35,7 +35,10 @@ Response.stream(iter(["a", "b", "c"]), content_type="text/plain")
|
|
|
35
35
|
|
|
36
36
|
`Response.stream` devuelve una respuesta en streaming con soporte para generadores, iterables y objetos con `read()`.
|
|
37
37
|
Al terminar el envio (o si el cliente se desconecta) el servidor llama a
|
|
38
|
-
`close()` sobre el origen del stream cuando existe.
|
|
38
|
+
`close()` sobre el origen del stream cuando existe. Tambien lo cierra sin
|
|
39
|
+
consumirlo para `HEAD` y para los estados sin cuerpo (`1xx`, `204`, `304`).
|
|
40
|
+
Esto se aplica a HTTP/1, HTTP/2 y HTTP/3. Un `Content-Length` explicito en `HEAD`
|
|
41
|
+
o `304` describe la representacion; los estados `1xx` y `204` lo omiten.
|
|
39
42
|
|
|
40
43
|
`Response.headers` es un diccionario con un valor por nombre. Un valor puede ser
|
|
41
44
|
una lista o tupla para enviar el campo repetido, que es lo que necesita
|
|
@@ -127,3 +130,8 @@ def sum_view(request):
|
|
|
127
130
|
- `parse_http_request` para parseo de requests en bruto.
|
|
128
131
|
- `send_http_response` si necesitas escribir respuestas manualmente.
|
|
129
132
|
- `parse_query_string` para utilidades ligeras de query strings.
|
|
133
|
+
|
|
134
|
+
`send_http_response` devuelve `True` al completar el envio y `False` si falla
|
|
135
|
+
la escritura o el productor. En HTTP/1, una respuesta incompleta obliga a cerrar
|
|
136
|
+
la conexion antes de procesar otra peticion. Los errores de validacion de
|
|
137
|
+
cabeceras anteriores al envio siguen lanzando `ValueError`.
|
|
@@ -13,6 +13,38 @@ WSBuilder incluye herramientas sencillas de data science y redes neuronales hech
|
|
|
13
13
|
- `describe_data`
|
|
14
14
|
- `evaluate_errors`
|
|
15
15
|
- `submit_training_task`
|
|
16
|
+
- `ByteTokenizer`
|
|
17
|
+
- `HashingTextVectorizer`
|
|
18
|
+
- `AudioData`, `load_wav`, `audio_features`
|
|
19
|
+
- `NeuralNetwork.save`, `NeuralNetwork.load` (GGUF)
|
|
20
|
+
- [Modelos de lenguaje](llm.md): `ModelStore`, `LanguageModel`, `GGUFReader`, `GGUFWriter`
|
|
21
|
+
|
|
22
|
+
## Texto, tokens y audio
|
|
23
|
+
|
|
24
|
+
La IA acepta texto Unicode, incluidos idiomas sin espacios, emoji y codigo,
|
|
25
|
+
mediante tokens UTF-8 reversibles y vectores numericos de caracteres. Tambien
|
|
26
|
+
convierte audio WAV PCM en muestras mono y caracteristicas numericas para
|
|
27
|
+
entrenar o ejecutar las redes existentes. Todo funciona con la biblioteca
|
|
28
|
+
estandar, sin descargar modelos ni enviar datos a servicios externos.
|
|
29
|
+
|
|
30
|
+
Consulta los [ejemplos de texto y audio](ai-predict.md#texto-unicode-y-tokens).
|
|
31
|
+
Estos adaptadores preparan datos: no incorporan un modelo de conversacion,
|
|
32
|
+
traduccion, reconocimiento de voz, generacion de audio, imagen o video.
|
|
33
|
+
|
|
34
|
+
## Modelos de lenguaje y archivos GGUF
|
|
35
|
+
|
|
36
|
+
Para modelos de lenguaje (LLM) existe [`wsbuilder.llm`](llm.md). Permite
|
|
37
|
+
importar, guardar, exportar y descargar modelos GGUF y safetensors (por ejemplo
|
|
38
|
+
desde Hugging Face, con verificacion SHA-256), ejecutarlos con llama.cpp
|
|
39
|
+
(extra `wsbuilder[llm]`) o mediante un servidor compatible con OpenAI como
|
|
40
|
+
Ollama, y servirlos por HTTP.
|
|
41
|
+
|
|
42
|
+
Las redes propias tambien se guardan y cargan en GGUF:
|
|
43
|
+
|
|
44
|
+
```python
|
|
45
|
+
network.save("modelo.gguf", name="mi-red")
|
|
46
|
+
network = NeuralNetwork.load("modelo.gguf")
|
|
47
|
+
```
|
|
16
48
|
|
|
17
49
|
## Datos
|
|
18
50
|
|