gruplac-json 0.1.0__tar.gz

gruplac_json-0.1.0/.gitignore

@@ -0,0 +1,17 @@
+__pycache__/
+*.py[cod]
+*.egg-info/
+build/
+dist/
+.venv/
+venv/
+.pytest_cache/
+.ruff_cache/
+.coverage
+coverage.xml
+htmlcov/
+# Add here any generated outputs or data files that hold personal data (e.g. downloaded pages)
+# Never commit credentials
+.env
+.pypirc
+*apikey*

gruplac_json-0.1.0/CHANGELOG.md

@@ -0,0 +1,25 @@
+# Changelog
+
+The format follows [Keep a Changelog](https://keepachangelog.com/en/1.1.0/) and versions follow [Semantic Versioning](https://semver.org/).
+
+## [Unreleased]
+
+## [0.1.0] - 2026-11-02
+
+### Added
+- Parser of the public GrupLAC page: basic data, institutions, strategic plan, research lines, members
+  ("Integrantes del grupo") with COD_RH and linkage period, bibliographic production as ImpactU works, projects,
+  scientific events and every other section in `other_products`, with the structured fields of each item.
+- Same record schema as cvlac-json for the same products (depends on cvlac-json for its helpers); the four social
+  appropriation sections merged into "Apropiación social del conocimiento".
+- Member affiliations: authors matched to members by name get their COD_RH and, when the product's year is in their
+  linkage period, the group as affiliation with `gruplac.provenance: "gruplac members"`.
+- Scienti ids from the group's records in apis.colav.co (`group_id`), with the other members' records of the same
+  product in `scienti.also`; items without authors on the page get the members who registered them in Scienti.
+- ROR ids of the group's institutions and of thesis institutions.
+- COL code <-> GrupLAC number table (6,936 groups, 2026-10-31) shipped with the package.
+- Items of Guías de práctica clínica and Proyectos de ley, which come after a blank header row.
+- Command line `gruplac-json COL|NRO` with `--html`, `--save-html`, `--scienti`, `--ror`, `--apikey`.
+
+[Unreleased]: https://github.com/restrepo/gruplac-json/compare/v0.1.0...HEAD
+[0.1.0]: https://github.com/restrepo/gruplac-json/releases/tag/v0.1.0

gruplac_json-0.1.0/LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 Diego Restrepo
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

gruplac_json-0.1.0/PKG-INFO

@@ -0,0 +1,110 @@
+Metadata-Version: 2.5
+Name: gruplac-json
+Version: 0.1.0
+Summary: Turn a research group's public GrupLAC page (Minciencias, Colombia) into one JSON document, in the cvlac-json schema, with member affiliations and Scienti ids.
+Project-URL: Homepage, https://github.com/restrepo/gruplac-json
+Project-URL: Repository, https://github.com/restrepo/gruplac-json
+Project-URL: Issues, https://github.com/restrepo/gruplac-json/issues
+Project-URL: Changelog, https://github.com/restrepo/gruplac-json/blob/main/CHANGELOG.md
+Author-email: Diego Restrepo <restrepo@udea.edu.co>
+License-Expression: MIT
+License-File: LICENSE
+Keywords: bibliometrics,colombia,cris,cvlac,gruplac,impactu,minciencias,research groups,scienti
+Classifier: Development Status :: 3 - Alpha
+Classifier: Environment :: Console
+Classifier: Intended Audience :: Science/Research
+Classifier: Natural Language :: Spanish
+Classifier: Operating System :: OS Independent
+Classifier: Programming Language :: Python :: 3
+Classifier: Programming Language :: Python :: 3 :: Only
+Classifier: Topic :: Scientific/Engineering :: Information Analysis
+Classifier: Typing :: Typed
+Requires-Python: >=3.10
+Requires-Dist: cvlac-json>=0.7
+Provides-Extra: dev
+Requires-Dist: build>=1.2; extra == 'dev'
+Requires-Dist: pytest-cov>=5; extra == 'dev'
+Requires-Dist: pytest>=8; extra == 'dev'
+Requires-Dist: ruff==0.17.3; extra == 'dev'
+Requires-Dist: twine>=5; extra == 'dev'
+Description-Content-Type: text/markdown
+
+# gruplac-json
+
+Convierte la página pública del **GrupLAC** de un grupo de investigación (Minciencias, Colombia) en un único documento JSON: datos básicos, instituciones (con su ROR), plan estratégico, líneas de investigación, integrantes con su COD_RH y su periodo de vinculación, producción bibliográfica en el esquema de obras de [ImpactU](https://impactu.colav.co), proyectos, eventos y todos los demás productos (`other_products`), con autores, título, lugar, fechas, identificadores, enlaces y los demás datos rotulados de cada ítem.
+
+Es la pareja de [cvlac-json](https://github.com/restrepo/cvlac-json): los productos que existen en ambos tienen la misma forma, y usa sus herramientas de ROR y de Scienti.
+
+- **Afiliaciones de los integrantes:** cada autor de un producto que aparece en "Integrantes del grupo" recibe su COD_RH y, si el año del producto está en su periodo "Inicio - Fin Vinculación", el grupo como afiliación, con la procedencia (`gruplac.provenance: "gruplac members"`), como hace cvlac-json con la experiencia.
+- Con una clave de [apis.colav.co](https://apis.colav.co), agrega los **identificadores Scienti** (`COD_RH-COD_PRODUCTO`, `-COD_PROYECTO`, `-COD_EVENTO`, `-COD_RED`) de los registros del grupo que coinciden. Los productos sin autores en la página (consultorías, conceptos técnicos, procesos de apropiación social…) reciben como autores a los integrantes que registraron ese producto en Scienti.
+
+## Instalación
+
+```bash
+pip install gruplac-json
+```
+
+## Uso en la terminal
+
+```bash
+gruplac-json COL0008423                        # escribe gruplac_COL0008423.json
+gruplac-json 1676                              # el número de GrupLAC, con o sin ceros a la izquierda
+gruplac-json COL0008423 --save-html g.html     # guarda también la página descargada
+gruplac-json COL0008423 --html g.html.gz       # analiza una página guardada (.html o .html.gz), sin descargar
+gruplac-json COL0008423 -o -                   # JSON por la salida estándar
+gruplac-json COL0008423 --scienti off --ror off
+```
+
+| Opción | Efecto |
+| --- | --- |
+| `--scienti auto` (por defecto) | Si hay clave de apis.colav.co, agrega los ids Scienti de los registros del grupo que coinciden. |
+| `--scienti off` | No consulta Scienti. |
+| `--institution`, `--model-year` | Volcado de Scienti (`udea`, `univalle`, `uec`, `unaula`) y año del modelo. Por defecto se prueban en ese orden. |
+| `--apikey CLAVE` | Clave de apis.colav.co para esta ejecución. |
+| `--ror auto` / `off` | Consulta o no el registro ROR (instituciones del grupo y de las tesis). |
+
+El código COL se traduce al número de GrupLAC con la tabla de los 6.936 grupos de la búsqueda de grupos de Minciencias (31 de octubre de 2026), incluida en el paquete. Un grupo que no esté en la tabla se puede pedir por su número de GrupLAC; sin código COL no se consulta Scienti.
+
+La clave de apis.colav.co se toma, en este orden, de `--apikey`, de la variable de entorno `COLAV_APIKEY` o del archivo `~/.config/colav/apikey`. Nunca se imprime.
+
+## Uso como biblioteca
+
+```python
+from gruplac_json import extract
+
+data = extract("COL0008423", scienti="off")  # descarga y analiza la página
+print(data["name"], len(data["members"]), len(data["works"]))
+
+from gruplac_json.parser import decode
+
+html = decode(open("g.html", "rb").read())
+data = extract("COL0008423", html=html, ror=False)
+```
+
+## Esquema del JSON
+
+El esquema completo, campo por campo, está en [docs/gruplac_json_esquema.md](docs/gruplac_json_esquema.md).
+
+## Desarrollo
+
+```bash
+git clone https://github.com/restrepo/gruplac-json.git
+cd gruplac-json
+python -m pip install -e ".[dev]"
+python -m pytest
+ruff check . && ruff format --check .
+```
+
+Las pruebas no usan la red: corren sobre una página sintética (`tests/fixtures/gruplac_sintetico.html`) con personas y productos ficticios y la misma estructura HTML del GrupLAC.
+
+Cómo publicar una versión nueva en PyPI: [PUBLISHING.md](PUBLISHING.md) y [CHANGELOG.md](CHANGELOG.md).
+
+## Avisos
+
+- La página del GrupLAC es pública, pero contiene datos personales (nombres de los integrantes, correo del grupo). Úselos de acuerdo con la normativa de protección de datos que aplique.
+- Sea moderado con el servidor de Minciencias: haga una pausa de uno o dos segundos entre grupos cuando procese muchos.
+- Las afiliaciones de los productos son **inferidas** del periodo de vinculación (el autor era integrante del grupo ese año); el GrupLAC no las declara. Los coautores que no son integrantes no tienen afiliación.
+
+## Licencia
+
+[MIT](LICENSE)

gruplac_json-0.1.0/README.md

@@ -0,0 +1,79 @@
+# gruplac-json
+
+Convierte la página pública del **GrupLAC** de un grupo de investigación (Minciencias, Colombia) en un único documento JSON: datos básicos, instituciones (con su ROR), plan estratégico, líneas de investigación, integrantes con su COD_RH y su periodo de vinculación, producción bibliográfica en el esquema de obras de [ImpactU](https://impactu.colav.co), proyectos, eventos y todos los demás productos (`other_products`), con autores, título, lugar, fechas, identificadores, enlaces y los demás datos rotulados de cada ítem.
+
+Es la pareja de [cvlac-json](https://github.com/restrepo/cvlac-json): los productos que existen en ambos tienen la misma forma, y usa sus herramientas de ROR y de Scienti.
+
+- **Afiliaciones de los integrantes:** cada autor de un producto que aparece en "Integrantes del grupo" recibe su COD_RH y, si el año del producto está en su periodo "Inicio - Fin Vinculación", el grupo como afiliación, con la procedencia (`gruplac.provenance: "gruplac members"`), como hace cvlac-json con la experiencia.
+- Con una clave de [apis.colav.co](https://apis.colav.co), agrega los **identificadores Scienti** (`COD_RH-COD_PRODUCTO`, `-COD_PROYECTO`, `-COD_EVENTO`, `-COD_RED`) de los registros del grupo que coinciden. Los productos sin autores en la página (consultorías, conceptos técnicos, procesos de apropiación social…) reciben como autores a los integrantes que registraron ese producto en Scienti.
+
+## Instalación
+
+```bash
+pip install gruplac-json
+```
+
+## Uso en la terminal
+
+```bash
+gruplac-json COL0008423                        # escribe gruplac_COL0008423.json
+gruplac-json 1676                              # el número de GrupLAC, con o sin ceros a la izquierda
+gruplac-json COL0008423 --save-html g.html     # guarda también la página descargada
+gruplac-json COL0008423 --html g.html.gz       # analiza una página guardada (.html o .html.gz), sin descargar
+gruplac-json COL0008423 -o -                   # JSON por la salida estándar
+gruplac-json COL0008423 --scienti off --ror off
+```
+
+| Opción | Efecto |
+| --- | --- |
+| `--scienti auto` (por defecto) | Si hay clave de apis.colav.co, agrega los ids Scienti de los registros del grupo que coinciden. |
+| `--scienti off` | No consulta Scienti. |
+| `--institution`, `--model-year` | Volcado de Scienti (`udea`, `univalle`, `uec`, `unaula`) y año del modelo. Por defecto se prueban en ese orden. |
+| `--apikey CLAVE` | Clave de apis.colav.co para esta ejecución. |
+| `--ror auto` / `off` | Consulta o no el registro ROR (instituciones del grupo y de las tesis). |
+
+El código COL se traduce al número de GrupLAC con la tabla de los 6.936 grupos de la búsqueda de grupos de Minciencias (31 de octubre de 2026), incluida en el paquete. Un grupo que no esté en la tabla se puede pedir por su número de GrupLAC; sin código COL no se consulta Scienti.
+
+La clave de apis.colav.co se toma, en este orden, de `--apikey`, de la variable de entorno `COLAV_APIKEY` o del archivo `~/.config/colav/apikey`. Nunca se imprime.
+
+## Uso como biblioteca
+
+```python
+from gruplac_json import extract
+
+data = extract("COL0008423", scienti="off")  # descarga y analiza la página
+print(data["name"], len(data["members"]), len(data["works"]))
+
+from gruplac_json.parser import decode
+
+html = decode(open("g.html", "rb").read())
+data = extract("COL0008423", html=html, ror=False)
+```
+
+## Esquema del JSON
+
+El esquema completo, campo por campo, está en [docs/gruplac_json_esquema.md](docs/gruplac_json_esquema.md).
+
+## Desarrollo
+
+```bash
+git clone https://github.com/restrepo/gruplac-json.git
+cd gruplac-json
+python -m pip install -e ".[dev]"
+python -m pytest
+ruff check . && ruff format --check .
+```
+
+Las pruebas no usan la red: corren sobre una página sintética (`tests/fixtures/gruplac_sintetico.html`) con personas y productos ficticios y la misma estructura HTML del GrupLAC.
+
+Cómo publicar una versión nueva en PyPI: [PUBLISHING.md](PUBLISHING.md) y [CHANGELOG.md](CHANGELOG.md).
+
+## Avisos
+
+- La página del GrupLAC es pública, pero contiene datos personales (nombres de los integrantes, correo del grupo). Úselos de acuerdo con la normativa de protección de datos que aplique.
+- Sea moderado con el servidor de Minciencias: haga una pausa de uno o dos segundos entre grupos cuando procese muchos.
+- Las afiliaciones de los productos son **inferidas** del periodo de vinculación (el autor era integrante del grupo ese año); el GrupLAC no las declara. Los coautores que no son integrantes no tienen afiliación.
+
+## Licencia
+
+[MIT](LICENSE)

gruplac_json-0.1.0/docs/gruplac_json_esquema.md

@@ -0,0 +1,206 @@
+# Esquema del JSON extraído del GrupLAC
+
+Este documento describe el JSON que produce el paquete **gruplac-json** (comando `gruplac-json` o función `gruplac_json.extract()`) a partir de la página pública del GrupLAC de un grupo de investigación:
+
+```
+https://scienti.minciencias.gov.co/gruplac/jsp/visualiza/visualizagr.jsp?nro=NRO
+```
+
+Los registros siguen el esquema de [cvlac-json](https://github.com/restrepo/cvlac-json/blob/main/docs/cvlac_json_esquema.md) siempre que el producto es el mismo: `works` tiene la forma de las obras de ImpactU, y `projects`, `events` y `other_products` las de cvlac-json. Este documento explica sobre todo lo que cambia. El esquema se construyó con las 6.936 páginas de la búsqueda de grupos de Minciencias (descargadas del 31 de octubre al 1 de noviembre de 2026), con nueve grupos que juntos tienen ítems en todas las secciones.
+
+## 1. Cómo se genera
+
+```bash
+gruplac-json COL|NRO [-o salida.json] [--html pagina.html[.gz]] [--save-html pagina.html]
+             [--scienti auto|off] [--institution udea] [--model-year 2024] [--apikey CLAVE] [--ror auto|off]
+```
+
+| Fuente | Qué aporta | Opción |
+| --- | --- | --- |
+| Página pública del GrupLAC | **Todos los registros** | Siempre |
+| Tabla de grupos de Minciencias (en el paquete) | Código COL ↔ número de GrupLAC | Siempre |
+| Scienti (apis.colav.co, con clave), consultado por el código COL del grupo | Ids Scienti de los ítems que coinciden, y autores de los ítems que no los listan | `--scienti auto` (por defecto) |
+| ROR (api.ror.org) | ROR de las instituciones del grupo y de las tesis | `--ror auto` (por defecto) |
+
+## 2. Convenciones generales
+
+Las de cvlac-json (§2 de su esquema): los mismos campos en todos los registros de una colección (`[]` o `null` donde no hay dato), los campos vacíos en toda la colección se eliminan, los textos se conservan como en la página, y `provenance` / `source` siguen la convención de ImpactU, aquí con `gruplac` en lugar de `cvlac`. Excepción: los ítems de `other_products` siempre tienen `authors`, aunque sea `[]`.
+
+Las secciones vacías (el GrupLAC muestra siempre las 87, la mayoría sin ítems) no aparecen.
+
+## 3. Nivel superior
+
+| Campo | Tipo | Descripción |
+| --- | --- | --- |
+| `nro` | string | Número de GrupLAC (14 dígitos). |
+| `col` | string o null | Código del grupo en Minciencias (`COL0008423`); `null` si la tabla no conoce el número. |
+| `url`, `retrieved` | string | Página leída y fecha de la extracción (UTC). |
+| `name` | string | Nombre del grupo. |
+| `profile` | object | "Datos básicos" (§4). |
+| `institutions` | array | `{name, status, ror}`: instituciones del grupo; `status` es "Avalado" u otro; `ror` es `{id, name, match}` o `null`. |
+| `strategic_plan` | object | "Plan Estratégico": `Plan de trabajo`, `Estado del arte`, `Objetivos`, `Retos`, `Visión`…, como en la página. |
+| `research_lines` | array | `{name}`: líneas de investigación declaradas. |
+| `members` | array | "Integrantes del grupo" (§5). |
+| `works` | array | Producción bibliográfica, en el esquema de obras de ImpactU (§6). |
+| `projects` | array | Proyectos (§7). |
+| `events` | array | Eventos científicos (§7). |
+| `other_products` | object | Las demás secciones, por título (§8). |
+| `section_categories` | object | Sección → categoría de la página: "PRODUCCIÓN BIBLIOGRÁFICA", "PRODUCCIÓN TÉCNICA Y TECNOLÓGICA", "APROPIACIÓN SOCIAL Y DIVULGACIÓN PÚBLICA DE LA CIENCIA", "Producción en arte, arquitectura y diseño", "ACTIVIDADES DE FORMACIÓN", "ACTIVIDADES COMO EVALUADOR", "PRODUCCIÓN DE FORMACIÓN Y EXTENSIÓN"… |
+| `counts` | object | Conteos (§10). |
+| `affiliations_from_members` | object | Resumen de la asignación de integrantes y afiliaciones (§9). |
+| `scienti` | object | Resumen del cruce con Scienti; solo con clave (§11). |
+
+## 4. `profile`
+
+| Campo | Tipo | Ejemplo |
+| --- | --- | --- |
+| `raw` | object | Las filas de "Datos básicos", con las etiquetas como en la página. |
+| `formed` | object | `{"year": 1979, "month": 12}` ("Año y mes de formación"). |
+| `department`, `city` | string | "ANTIOQUIA", "MEDELLÍN". |
+| `leader` | string | Nombre del líder. |
+| `certified` | object o null | `{"value": "Si", "date": "2016-01-21"}`. |
+| `website`, `email` | string o null | Como en la página. |
+| `classification` | object o null | `{"category": "A1", "text": "con vigencia hasta …"}`. |
+| `knowledge_area` | array de string | `["Ciencias Naturales", "Ciencias Físicas", "Física de Partículas y Campos"]`. |
+| `national_program`, `national_program_secondary` | string o null | Programas nacionales de CTI. |
+
+## 5. `members[]`
+
+| Campo | Tipo | Descripción |
+| --- | --- | --- |
+| `full_name` | string | Nombre como en la tabla. |
+| `cod_rh` | string | COD_RH (del enlace a su CvLAC). |
+| `url` | string | Enlace al CvLAC. |
+| `linkage` | string | "Vinculación": Integrante, Estudiante… |
+| `hours` | integer | Horas de dedicación. |
+| `period` | string | Texto original, "2012/1 - Actual". |
+| `start`, `end` | object | `{year, month}`; `end` es `null` si el periodo sigue abierto. |
+| `open_end` | boolean | `true` si termina en "Actual". |
+
+## 6. `works[]`
+
+Las secciones Artículos publicados, Otros artículos publicados, Libros publicados, Libros de formación, Libros de divulgación y/o Compilación de divulgación, Manuales y Guías Especializadas, Otros Libros publicados, Capítulos de libro publicados, Documentos de trabajo, Otra publicación divulgativa, Traducciones, Traducciones Filológicas y Edición de Fuentes, Notas científicas y Publicaciones editoriales no especializadas (esta última, como en cvlac-json).
+
+Mismos campos que en cvlac-json (§10 de su esquema), con estas diferencias:
+
+- `id` es `gruplac:NRO:n` (n = orden en la página).
+- `types[]`: nivel 0 "Producción bibliográfica", nivel 1 la clase de la sección (Artículo, Libro, Capítulo de libro…), nivel 2 el tipo en negrilla del ítem ("Publicado en revista especializada", "Libro resultado de investigación"…), con `source: "gruplac"`.
+- `authors[]` son los de "Autores:" (el GrupLAC lista solo a los integrantes que registraron el producto y a sus coautores en el CvLAC). Los integrantes llevan su COD_RH en `id` y en `external_ids` y, si el año está en su periodo, la afiliación al grupo (§9).
+- `source.publisher.country` es el país de la revista o editorial, como en cvlac-json.
+- `gruplac` reemplaza a `cvlac`: `section`, `endorsed` (marca de verificación), `country`, `fields` (pares etiqueta → valor rotulados), `text` (texto completo) y `scienti` (§11).
+
+## 7. `projects[]` y `events[]`
+
+| `projects[]` | Descripción |
+| --- | --- |
+| `type`, `title` | "Investigación y desarrollo", "Extensión y responsabilidad social CTI"…, y el título. |
+| `endorsed` | Marca de verificación. |
+| `start`, `end` | `{year, month}`; `end` es `null` si el proyecto sigue ("Actual"). |
+| `ongoing` | `true` si termina en "Actual". |
+| `text` | Texto completo. |
+| `scienti`, `external_ids` | Coincidencia con Scienti (§11). |
+
+| `events[]` | Descripción |
+| --- | --- |
+| `name`, `type` | Nombre y tipo (Congreso, Encuentro, Seminario, Simposio, Taller, Otro). |
+| `scope` | "Ámbito". |
+| `start`, `end` | `AAAA-MM-DD`. |
+| `place` | Ciudad. |
+| `participation` | "Tipos de participación", p. ej. `["Ponente"]`. |
+| `institutions[]` | `{name, link}` de "Instituciones asociadas" (`link`: Patrocinadora, Organizadora…). |
+| `text`, `endorsed`, `scienti` | |
+
+## 8. `other_products`
+
+Un objeto cuyas claves son los títulos de las demás secciones del GrupLAC, con los ítems en el orden de la página. Las cuatro secciones de apropiación social del conocimiento (fortalecimiento o solución de asuntos de interés social; trabajo conjunto entre un Centro de Ciencia y un grupo; generación de insumos de política pública y normatividad; fortalecimiento de cadenas productivas) van juntas en "Apropiación social del conocimiento", como en cvlac-json, con `type` "Apropiación social del conocimiento - <título de la sección>". Las secciones de arte, arquitectura y diseño (Obras o productos, Industrias creativas y culturales, Eventos Artísticos, Talleres de Creación) son filas de encabezado dentro de una sola tabla de la página; aquí son secciones normales.
+
+Cada ítem tiene los campos de cvlac-json (§13 de su esquema) que se puedan leer de su texto, y algunos propios del GrupLAC:
+
+| Campo | Tipo | De dónde sale |
+| --- | --- | --- |
+| `type` | string | El tipo en negrilla ("Consultoría científica", "Computacional", "Marcas", "Spin-off"…). En Redes de Conocimiento Especializado es la clase de red ("Real", "Virtual"). |
+| `endorsed` | boolean | Marca de verificación. |
+| `title` | string | El texto tras el tipo, o el valor de "Nombre del producto", "Nombre del proceso", "Nombre del curso", "Programa académico", "Nombre del evento", "Nombre del taller", "Nombre de la empresa creativa o cultural". |
+| `authors[]` | array | **Siempre presente.** Las personas de "Autores:", como en las obras (§6), con `{full_name, id, external_ids, affiliations}`. En tesis, `type` `advisor`/`co-advisor` (Tutor(es)/Cotutor(es), según "Tipo de orientación") y `student` (Nombre del estudiante); en jurados, `jury` y `student` (Nombre del orientado). Muchas secciones no listan autores (consultorías, conceptos e informes técnicos, contenido digital, apropiación social, redes, estrategias…): ahí la lista queda vacía, salvo que Scienti diga qué integrantes registraron el producto (§11). |
+| `authors_inferred` | boolean | `true` si los autores vienen de los registros Scienti. |
+| `country`, `city`, `place` | string | "Colombia, 2020" al inicio de la línea, "Ciudad", "en MEDELLÍN", "Lugar", "Lugar de realización". |
+| `institution` | string | "Institución", "Institución solicitante", "Institución que emite el registro", "Institución en la cual prestó el servicio". En tesis es `{name, id, ror_name, ror_match}`, como en cvlac-json. |
+| `funder` | string | "Institución financiadora". |
+| `certifier` | string | "Institución certificadora". |
+| `participating_institutions` | string | "Instituciones participantes", "Entidades vinculadas". |
+| `date` | string | `AAAA-MM-DD`, `AAAA-MM` o `AAAA`: fecha de creación, presentación (también "Año: …, Mes: …"), envío, obtención, publicación, registro ante cámara, del acto administrativo, de solicitud, o el año de la línea. |
+| `start`, `end` | string | Fechas de inicio y fin ("Fecha de inicio", "Año de inicio"/"Mes de inicio", "desde … hasta …"). |
+| `year` | integer o null | Año de `date`, `start` o `end`, o del texto. Es el año que se compara con el periodo del integrante. |
+| `duration` | object | `{value, unit}` cuando la etiqueta trae la unidad ("Duración (semanas): 3"). |
+| `pages` | integer | Tesis: "Número de páginas". |
+| `project` | string | "Nombre del proyecto", "Proyecto de investigación". |
+| `program`, `role`, `assessment` | string | "Programa académico", "Tipo de orientación", "Valoración". |
+| `audience`, `differential_focus` | array de string | "público objetivo" y "Enfoque diferencial", separados por ";". |
+| `scope`, `availability`, `language`, `medium`, `genre`, `circulation`, `format`, `license`, `topic`, `purpose`, `holder`, `database`, `description`, `commercial_name`, `participants_count`, `discipline`, `distinction`, `selection`, `cycle`, `edition`, `series`, `broadcaster`, `fairs`, `original_authors`, `original_language`, `translation_language` | string | Ámbito, Disponibilidad, Idioma, Medio de divulgación o de circulación, Género literario, Tipo de circulación, Tipo de formato, Licencia, Tema, Finalidad u Objeto, Titular, Base de datos, Descripción, Nombre comercial, Nro de participantes, Disciplina o ámbito de origen, Distinción obtenida, Mecanismo de selección, Tipo de ciclo, Edición, Serie, Emisora, Nombre de las ferias, y los datos de las traducciones. |
+| `identifiers[]` | array | `{source, id}`: `contract` (Número del contrato), `registration` (Número de registro), `nit`, `concept number`, `administrative act`, `snies`, `doi`, `isbn`. |
+| `links[]` | array | `{url, label}`: enlaces `<a>` y URL escritas en el texto ("medio de verificación", "Sitio web"…). |
+| `text` | string | Texto completo del ítem. |
+| `fields` | object | Todos los pares etiqueta → valor, como en la página (los vacíos se quitan). |
+| `scienti` | object | Coincidencia con Scienti (§11). |
+
+## 9. Afiliaciones y `affiliations_from_members`
+
+Un autor es **integrante** cuando su nombre en "Autores:" coincide con el de un solo integrante de la tabla:
+
+- `exact`: las mismas palabras, sin tildes ni mayúsculas ("OSCAR ALBERTO ZAPATA NORENA" = "Oscar Alberto Zapata Norena").
+- `words`: las mismas palabras en otro orden, o un nombre contenido en el otro con al menos tres palabras ("ROBERTO TORRES CORREDOR" ⊂ "Roberto Armando Torres Corredor").
+- `spelling`: las mismas palabras salvo una, que difiere en una letra o en dos letras vecinas intercambiadas ("GIRLADO" / "GIRALDO").
+- `scienti`: el autor se agregó desde un registro Scienti de ese integrante (§11).
+
+El integrante recibe su COD_RH en `id` y en `external_ids` (`{provenance: "gruplac", source: "scienti", id}`) y, **si el año del producto está en su periodo** "Inicio - Fin Vinculación" (hasta el año actual si dice "Actual"), el grupo como afiliación:
+
+```json
+{
+  "id": "COL0008423",
+  "name": "Grupo de Fenomenologia de Interacciones Fundamentales",
+  "types": [{"source": "minciencias", "type": "group"}],
+  "external_ids": [{"provenance": "gruplac", "source": "minciencias", "id": "COL0008423"},
+                   {"provenance": "gruplac", "source": "gruplac", "id": "00000000001676"}],
+  "years": [2012, 2013, "…", 2026],
+  "gruplac": {"provenance": "gruplac members", "member": "Oscar Alberto Zapata Norena", "linkage": "Integrante",
+              "hours": 20, "period": "2012/1 - Actual", "name_match": "exact"}
+}
+```
+
+Es la misma idea que las afiliaciones de cvlac-json ("cvlac experience"): significa "era integrante del grupo ese año", no que la página declare dónde se hizo el producto. Los autores que no son integrantes tienen `id: null` y `affiliations: []`. En las tesis, el tutor y los estudiantes también reciben la institución de la tesis con su ROR (`gruplac.provenance: "gruplac thesis"`).
+
+`affiliations_from_members`: `members`, `members_with_cod_rh`, `authors`, `authors_matched`, `name_match` (por regla), `works_with_affiliation`, `products_with_affiliation`, `rule` y `ror_lookup_errors`.
+
+## 10. `counts`
+
+`members`, `works`, `projects`, `events`, `works:<sección>`, `<título de sección>` (ítems de cada lista de `other_products`), `endorsed_works`, `works_with_affiliation` y `products_with_affiliation` (con al menos un autor con la afiliación al grupo).
+
+## 11. Coincidencias con Scienti
+
+Se piden a apis.colav.co los registros del grupo (`/scienti/product`, `/project`, `/event` y `/network` con `group_id=COL…`), en el primer volcado (udea, univalle, uec, unaula) que los tenga. Cada registro es la entrada del CvLAC de un integrante, así que un producto del grupo puede coincidir con varios: uno por cada integrante que lo registró.
+
+- Las reglas son las de cvlac-json: mismo DOI; mismo título (≥ 25 caracteres y 4 palabras) con año, ISSN, ISBN o revista; un título truncado con el mismo año; y, en proyectos, eventos y redes, mismo nombre y año.
+- El mejor registro va a `scienti` (`id`, `by`, `evidence`, `shared`, `scienti_title`, `scienti_year`); los demás registros del mismo producto (mismo DOI, o mismo título y año) van a `scienti.also`. En las obras, todos se agregan a `external_ids` con `source: "scienti"`, y en los proyectos a `external_ids`.
+- Los ítems sin autores en la página reciben como autores a los integrantes cuyos COD_RH tienen esos registros (`authors_inferred: true`).
+
+Objeto `scienti` del nivel superior: `institution`, `model_year`, `source`, `group_id`, `products` (registros de productos del grupo), `products_matched`, `matched` (`works`, `other_products`, `projects`, `events`, `networks`), `records`, `items_with_authors_from_scienti`, `rules`, `not_on_page` (registros de productos sin ítem en la página) y `not_on_page_note`.
+
+## 12. Valores observados (7.170 páginas guardadas, 2026-11-02)
+
+Las 7.170 páginas descargadas el 31 de octubre y el 1 de noviembre de 2026 (los 6.936 grupos de la búsqueda de Minciencias y 234 más que conoce ImpactU) se analizaron sin errores. Algunas cifras, sumadas sobre todos los grupos:
+
+| Sección | Ítems | Con título | Con año | Autores que son integrantes | Ítems con afiliación al grupo |
+| --- | --- | --- | --- | --- | --- |
+| Artículos publicados | 588.181 | 100 % | 100 % | 59 % | 91 % |
+| Capítulos de libro publicados | 169.019 | 100 % | 100 % | 72 % | 93 % |
+| Libros publicados | 61.299 | 100 % | 100 % | 65 % | 93 % |
+| Trabajos dirigidos/turorías | 869.980 | 100 % | 100 % | 48 % | 91 % |
+| Jurado/Comisiones evaluadoras de trabajo de grado | 390.944 | 100 % | 100 % | 49 % | 94 % |
+| Eventos Científicos | 650.438 | 100 % | 100 % | — | — |
+| Proyectos | 334.728 | 100 % | 99 % | — | — |
+| Consultorías científico-tecnológicas | 58.218 | 100 % | 100 % | sin autores en la página | |
+| Apropiación social del conocimiento (4 secciones) | 32.186 | 100 % | 100 % | sin autores en la página | |
+| Obras o productos | 23.026 | 94 % | 100 % | sin autores en la página | |
+| Integrantes del grupo | 301.377 | | | | |
+
+"Autores que son integrantes" cuenta personas de "Autores:" (en tesis y jurados también estudiantes, que pocas veces son integrantes). "Con afiliación al grupo" cuenta ítems con al menos un integrante cuyo periodo contiene el año del ítem. Las secciones Guías de práctica clínica y Proyectos de ley ponen una fila de encabezado vacía antes de sus ítems (868 ítems en total); se leen como parte de su sección.

gruplac_json-0.1.0/pyproject.toml

@@ -0,0 +1,72 @@
+[build-system]
+requires = ["hatchling>=1.24", "hatch-vcs>=0.4"]
+build-backend = "hatchling.build"
+
+[project]
+name = "gruplac-json"
+dynamic = ["version"]
+description = "Turn a research group's public GrupLAC page (Minciencias, Colombia) into one JSON document, in the cvlac-json schema, with member affiliations and Scienti ids."
+readme = "README.md"
+license = "MIT"
+license-files = ["LICENSE"]
+requires-python = ">=3.10"
+authors = [{ name = "Diego Restrepo", email = "restrepo@udea.edu.co" }]
+keywords = ["gruplac", "cvlac", "scienti", "minciencias", "colombia", "bibliometrics", "cris", "impactu", "research groups"]
+classifiers = [
+    "Development Status :: 3 - Alpha",
+    "Environment :: Console",
+    "Intended Audience :: Science/Research",
+    "Natural Language :: Spanish",
+    "Operating System :: OS Independent",
+    "Programming Language :: Python :: 3",
+    "Programming Language :: Python :: 3 :: Only",
+    "Topic :: Scientific/Engineering :: Information Analysis",
+    "Typing :: Typed",
+]
+dependencies = ["cvlac-json>=0.7"]   # shares the record schema, ROR and Scienti helpers
+
+[project.optional-dependencies]
+dev = ["pytest>=8", "pytest-cov>=5", "ruff==0.17.3", "build>=1.2", "twine>=5"]
+
+[project.scripts]
+gruplac-json = "gruplac_json.cli:main"
+
+[project.urls]
+Homepage = "https://github.com/restrepo/gruplac-json"
+Repository = "https://github.com/restrepo/gruplac-json"
+Issues = "https://github.com/restrepo/gruplac-json/issues"
+Changelog = "https://github.com/restrepo/gruplac-json/blob/main/CHANGELOG.md"
+
+# Version from the git tag (v0.1.0 -> 0.1.0); commits after a tag get 0.1.1.devN
+[tool.hatch.version]
+source = "vcs"
+
+[tool.hatch.version.raw-options]
+local_scheme = "no-local-version"   # PyPI and TestPyPI reject local versions (+g1234abc)
+
+[tool.hatch.build.targets.sdist]
+include = ["src/", "tests/", "docs/", "README.md", "CHANGELOG.md", "LICENSE"]
+
+[tool.hatch.build.targets.wheel]
+packages = ["src/gruplac_json"]
+
+[tool.pytest.ini_options]
+testpaths = ["tests"]
+addopts = "-ra --strict-markers"
+
+[tool.coverage.run]
+source = ["gruplac_json"]
+branch = true
+
+[tool.ruff]
+line-length = 130
+target-version = "py310"
+src = ["src", "tests"]
+
+[tool.ruff.lint]
+select = ["E", "F", "W", "I", "B", "UP", "SIM", "RUF"]
+ignore = [
+    "E731",    # small lambdas assigned to names
+    "SIM108",  # ternaries are not always clearer
+    "RUF001", "RUF002", "RUF003",  # Spanish text with accents and typographic quotes
+]

gruplac_json-0.1.0/src/gruplac_json/__init__.py

@@ -0,0 +1,17 @@
+"""gruplac-json: turn a public GrupLAC page (Minciencias, Colombia) into one JSON document.
+
+>>> from gruplac_json import extract
+>>> data = extract("COL0008423")            # downloads the page; Scienti ids if an apis.colav.co key is set
+>>> data["name"], len(data["members"]), len(data["works"])
+"""
+
+from importlib.metadata import PackageNotFoundError, version
+
+try:
+    __version__ = version("gruplac-json")
+except PackageNotFoundError:  # running from a source tree that was never installed
+    __version__ = "0.0.0"
+
+from .parser import build, extract, fetch, resolve
+
+__all__ = ["__version__", "build", "extract", "fetch", "resolve"]

gruplac_json-0.1.0/src/gruplac_json/__main__.py

@@ -0,0 +1,3 @@
+from .cli import main
+
+raise SystemExit(main())

gruplac_json-0.1.0/src/gruplac_json/cli.py

@@ -0,0 +1,68 @@
+"""Command line entry point: `gruplac-json`."""
+
+import argparse
+import gzip
+import json
+import sys
+
+from . import __version__
+from .parser import decode, extract, fetch, resolve
+
+
+def main(argv=None):
+    ap = argparse.ArgumentParser(
+        prog="gruplac-json",
+        description="Build a JSON from a research group's public GrupLAC page (Minciencias, Colombia)",
+    )
+    ap.add_argument("group", help="COL code (COL0008423) or GrupLAC number (00000000001676; leading zeros optional)")
+    ap.add_argument("-o", "--output", help="output file (default gruplac_<COL or number>.json; '-' for stdout)")
+    ap.add_argument("--html", help="parse a saved page (.html or .html.gz) instead of downloading it")
+    ap.add_argument("--save-html", help="also save the downloaded page here")
+    ap.add_argument("--scienti", choices=["auto", "off"], default="auto", help="add Scienti ids (needs an apis.colav.co key)")
+    ap.add_argument("--institution", help="Scienti dump (udea, univalle, uec, unaula); default: try them in turn")
+    ap.add_argument("--model-year", help="Scienti model year (default: the dump's latest)")
+    ap.add_argument("--apikey", help="apis.colav.co key (else $COLAV_APIKEY or ~/.config/colav/apikey)")
+    ap.add_argument("--ror", choices=["auto", "off"], default="auto", help="look institutions up in the ROR registry")
+    ap.add_argument("--version", action="version", version=f"%(prog)s {__version__}")
+    a = ap.parse_args(argv)
+    log = lambda *x: print(*x, file=sys.stderr)
+    try:
+        nro, col = resolve(a.group)
+    except ValueError as e:
+        ap.error(str(e))
+    if a.html:
+        with open(a.html, "rb") as fh:
+            raw = fh.read()
+        html = decode(gzip.decompress(raw) if raw[:2] == b"\x1f\x8b" else raw)
+    else:
+        html = fetch(nro)
+        if a.save_html:
+            with open(a.save_html, "w", encoding="latin-1", errors="xmlcharrefreplace") as fh:  # as the page declares
+                fh.write(html)
+    data = extract(
+        col or nro,
+        html=html,
+        scienti=a.scienti,
+        institution=a.institution,
+        model_year=a.model_year,
+        apikey=a.apikey,
+        ror=a.ror == "auto",
+        log=log,
+    )
+    out = a.output or f"gruplac_{col or nro}.json"
+    text = json.dumps(data, ensure_ascii=False, indent=1)
+    if out == "-":
+        print(text)
+    else:
+        with open(out, "w", encoding="utf-8") as fh:
+            fh.write(text + "\n")
+        c = data["counts"]
+        log(
+            f"{out}: {data['name']} - {c['members']} members, {c['works']} works, {c['projects']} projects, "
+            f"{c['events']} events, {sum(len(v) for v in data['other_products'].values())} other products"
+        )
+    return 0
+
+
+if __name__ == "__main__":
+    raise SystemExit(main())