colsemantics 0.1.0__py3-none-any.whl
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- colsemantics/__init__.py +248 -0
- colsemantics/_taxonomy.py +177 -0
- colsemantics/detectors.py +362 -0
- colsemantics/evidence.py +82 -0
- colsemantics/py.typed +0 -0
- colsemantics/tokens.py +131 -0
- colsemantics/vocabulary.py +171 -0
- colsemantics-0.1.0.dist-info/METADATA +162 -0
- colsemantics-0.1.0.dist-info/RECORD +12 -0
- colsemantics-0.1.0.dist-info/WHEEL +5 -0
- colsemantics-0.1.0.dist-info/licenses/LICENSE +21 -0
- colsemantics-0.1.0.dist-info/top_level.txt +1 -0
|
@@ -0,0 +1,171 @@
|
|
|
1
|
+
"""Vocabulários da inferência semântica: abreviaturas e gazetteers de valor.
|
|
2
|
+
|
|
3
|
+
Só dado, sem lógica. Duas famílias:
|
|
4
|
+
|
|
5
|
+
- **Abreviaturas** — sistemas corporativos brasileiros abreviam de forma
|
|
6
|
+
sistemática (`cd_dpto_lot`, `nr_seq_mvto`, `vl_tot_liq`). Um dicionário
|
|
7
|
+
curado resolve o caso frequente; o resto cai na reconstrução por
|
|
8
|
+
subsequência (ver `tokens.expandir_abreviatura`).
|
|
9
|
+
- **Gazetteers** — conjuntos fechados de valores que identificam a coluna pelo
|
|
10
|
+
*conteúdo*, independentemente de como ela foi batizada. Uma coluna chamada
|
|
11
|
+
`f27` cujos valores são as 27 siglas de UF é uma coluna de localização, e
|
|
12
|
+
nenhuma análise do nome chegaria lá.
|
|
13
|
+
"""
|
|
14
|
+
from typing import Any
|
|
15
|
+
|
|
16
|
+
from . import _taxonomy as config
|
|
17
|
+
|
|
18
|
+
# ── Abreviaturas ────────────────────────────────────────────────────────────
|
|
19
|
+
# token abreviado -> lista de expansões possíveis, da mais provável para a
|
|
20
|
+
# menos. Múltiplas expansões são o caso interessante: `dep` sozinho é
|
|
21
|
+
# ambíguo e só o contexto da tabela desempata.
|
|
22
|
+
ABREVIATURAS: dict[str, list[str]] = {
|
|
23
|
+
# papel / estrutura do nome
|
|
24
|
+
"cd": ["codigo"], "cod": ["codigo"], "cdg": ["codigo"],
|
|
25
|
+
"dt": ["data"], "dta": ["data"], "hr": ["hora"],
|
|
26
|
+
"vl": ["valor"], "vlr": ["valor"], "val": ["valor"],
|
|
27
|
+
"qt": ["quantidade"], "qtd": ["quantidade"], "qtde": ["quantidade"],
|
|
28
|
+
"nr": ["numero"], "num": ["numero"], "nro": ["numero"],
|
|
29
|
+
"nm": ["nome"], "ds": ["descricao"], "dsc": ["descricao"], "desc": ["descricao"],
|
|
30
|
+
"tp": ["tipo"], "fl": ["flag"], "flg": ["flag"], "sg": ["sigla"],
|
|
31
|
+
"pc": ["percentual"], "perc": ["percentual"], "pct": ["percentual"],
|
|
32
|
+
"id": ["identificador"], "seq": ["sequencial"], "sq": ["sequencial"], "st": ["status"],
|
|
33
|
+
"ind": ["indicador"], "mt": ["matricula"], "mat": ["matricula"],
|
|
34
|
+
# entidades de RH e estrutura organizacional
|
|
35
|
+
"dep": ["departamento", "dependente", "deposito"],
|
|
36
|
+
"dpto": ["departamento"], "depto": ["departamento"], "dept": ["departamento"],
|
|
37
|
+
"lot": ["lotacao"], "lotac": ["lotacao"],
|
|
38
|
+
"func": ["funcionario"], "fnc": ["funcionario"], "colab": ["colaborador"],
|
|
39
|
+
"emp": ["empresa", "empregado"], "empr": ["empresa"],
|
|
40
|
+
"cargo": ["cargo"], "cgo": ["cargo"], "fun": ["funcao"],
|
|
41
|
+
"adm": ["admissao"], "dem": ["demissao"], "nasc": ["nascimento"],
|
|
42
|
+
"sal": ["salario"], "rem": ["remuneracao"], "benef": ["beneficio"],
|
|
43
|
+
"ferias": ["ferias"], "afast": ["afastamento"], "desl": ["desligamento"],
|
|
44
|
+
"sit": ["situacao"], "escol": ["escolaridade"], "esc": ["escolaridade"],
|
|
45
|
+
# negócio e localização
|
|
46
|
+
"mvto": ["movimento"], "mov": ["movimento"], "movto": ["movimento"],
|
|
47
|
+
"cli": ["cliente"], "clnt": ["cliente"], "forn": ["fornecedor"],
|
|
48
|
+
"prod": ["produto"], "prd": ["produto"], "ped": ["pedido"],
|
|
49
|
+
"nf": ["nota"], "ctr": ["contrato"], "ctt": ["contato"],
|
|
50
|
+
"mun": ["municipio"], "cid": ["cidade"], "est": ["estado"],
|
|
51
|
+
"ender": ["endereco"], "end": ["endereco"], "bai": ["bairro"],
|
|
52
|
+
"reg": ["regiao"], "fil": ["filial"], "uni": ["unidade"],
|
|
53
|
+
# temporais e agregações
|
|
54
|
+
"ini": ["inicio"], "fim": ["fim"], "venc": ["vencimento"],
|
|
55
|
+
"ref": ["referencia"], "comp": ["competencia"], "vig": ["vigencia"],
|
|
56
|
+
"cad": ["cadastro"], "hist": ["historico"], "obs": ["observacao"],
|
|
57
|
+
"resp": ["responsavel"], "tot": ["total"], "liq": ["liquido"],
|
|
58
|
+
"brt": ["bruto"], "med": ["media"], "acum": ["acumulado"],
|
|
59
|
+
"curs": ["curso"], "trein": ["treinamento"], "cap": ["capacitacao"],
|
|
60
|
+
"aval": ["avaliacao"], "res": ["resultado"], "nota": ["nota"],
|
|
61
|
+
}
|
|
62
|
+
|
|
63
|
+
# ── Gazetteers ──────────────────────────────────────────────────────────────
|
|
64
|
+
# Cada entrada declara um conjunto fechado de valores. A coluna é atribuída à
|
|
65
|
+
# categoria quando a fração dos seus valores distintos contida no conjunto
|
|
66
|
+
# supera `cobertura_minima`.
|
|
67
|
+
|
|
68
|
+
_UFS = {
|
|
69
|
+
"ac", "al", "ap", "am", "ba", "ce", "df", "es", "go", "ma", "mt", "ms",
|
|
70
|
+
"mg", "pa", "pb", "pr", "pe", "pi", "rj", "rn", "rs", "ro", "rr", "sc",
|
|
71
|
+
"sp", "se", "to",
|
|
72
|
+
}
|
|
73
|
+
|
|
74
|
+
_CAPITAIS = {
|
|
75
|
+
"rio branco", "maceio", "macapa", "manaus", "salvador", "fortaleza",
|
|
76
|
+
"brasilia", "vitoria", "goiania", "sao luis", "cuiaba", "campo grande",
|
|
77
|
+
"belo horizonte", "belem", "joao pessoa", "curitiba", "recife", "teresina",
|
|
78
|
+
"rio de janeiro", "natal", "porto alegre", "porto velho", "boa vista",
|
|
79
|
+
"florianopolis", "sao paulo", "aracaju", "palmas",
|
|
80
|
+
}
|
|
81
|
+
|
|
82
|
+
_REGIOES = {"norte", "nordeste", "centro-oeste", "centro oeste", "sudeste", "sul"}
|
|
83
|
+
|
|
84
|
+
_SEXO = {
|
|
85
|
+
"m", "f", "masculino", "feminino", "homem", "mulher", "male", "female",
|
|
86
|
+
"outro", "nao binario", "prefiro nao informar",
|
|
87
|
+
}
|
|
88
|
+
|
|
89
|
+
_BOOLEANOS = {
|
|
90
|
+
"s", "n", "sim", "nao", "true", "false", "verdadeiro", "falso",
|
|
91
|
+
"v", "f", "y", "yes", "no", "0", "1", "t",
|
|
92
|
+
}
|
|
93
|
+
|
|
94
|
+
_STATUS_ATIVIDADE = {
|
|
95
|
+
"ativo", "inativo", "ativa", "inativa", "habilitado", "desabilitado",
|
|
96
|
+
"bloqueado", "desbloqueado", "cancelado", "suspenso", "pendente",
|
|
97
|
+
"aprovado", "reprovado", "em analise", "concluido", "aberto", "fechado",
|
|
98
|
+
}
|
|
99
|
+
|
|
100
|
+
_ESTADO_CIVIL = {
|
|
101
|
+
"solteiro", "solteira", "casado", "casada", "divorciado", "divorciada",
|
|
102
|
+
"viuvo", "viuva", "separado", "separada", "uniao estavel", "amasiado",
|
|
103
|
+
}
|
|
104
|
+
|
|
105
|
+
_ESCOLARIDADE = {
|
|
106
|
+
"fundamental", "fundamental incompleto", "fundamental completo",
|
|
107
|
+
"medio", "medio incompleto", "medio completo", "ensino medio",
|
|
108
|
+
"superior", "superior incompleto", "superior completo", "graduacao",
|
|
109
|
+
"pos-graduacao", "pos graduacao", "especializacao", "mba",
|
|
110
|
+
"mestrado", "doutorado", "pos-doutorado", "analfabeto",
|
|
111
|
+
}
|
|
112
|
+
|
|
113
|
+
_MESES = {
|
|
114
|
+
"janeiro", "fevereiro", "marco", "abril", "maio", "junho", "julho",
|
|
115
|
+
"agosto", "setembro", "outubro", "novembro", "dezembro",
|
|
116
|
+
"jan", "fev", "mar", "abr", "mai", "jun", "jul", "ago", "set", "out",
|
|
117
|
+
"nov", "dez", "january", "february", "march", "april", "may", "june",
|
|
118
|
+
"july", "august", "september", "october", "november", "december",
|
|
119
|
+
}
|
|
120
|
+
|
|
121
|
+
_DIAS_SEMANA = {
|
|
122
|
+
"segunda", "terca", "quarta", "quinta", "sexta", "sabado", "domingo",
|
|
123
|
+
"segunda-feira", "terca-feira", "quarta-feira", "quinta-feira", "sexta-feira",
|
|
124
|
+
"monday", "tuesday", "wednesday", "thursday", "friday", "saturday", "sunday",
|
|
125
|
+
}
|
|
126
|
+
|
|
127
|
+
_MOEDAS = {"brl", "usd", "eur", "gbp", "ars", "clp", "jpy", "chf", "cad", "r$", "us$"}
|
|
128
|
+
|
|
129
|
+
_TURNOS = {"manha", "tarde", "noite", "madrugada", "integral", "comercial", "diurno", "noturno"}
|
|
130
|
+
|
|
131
|
+
_RACA_COR = {"branca", "preta", "parda", "amarela", "indigena", "nao declarada", "nao informada"}
|
|
132
|
+
|
|
133
|
+
_PORTE_CONTRATO = {
|
|
134
|
+
"clt", "pj", "estagio", "estagiario", "aprendiz", "temporario", "terceirizado",
|
|
135
|
+
"autonomo", "cooperado", "efetivo", "trainee", "socio", "diretor estatutario",
|
|
136
|
+
}
|
|
137
|
+
|
|
138
|
+
# `eixo` diz se o gazetteer identifica o papel da coluna ou o domínio dela.
|
|
139
|
+
GAZETTEERS: list[dict[str, Any]] = [
|
|
140
|
+
{"nome": "UF brasileira", "valores": _UFS, "categoria": "Localização Geográfica",
|
|
141
|
+
"eixo": "dominio", "cobertura_minima": 0.85, "peso": 0.95, "max_distintos": 30},
|
|
142
|
+
{"nome": "capital brasileira", "valores": _CAPITAIS, "categoria": "Localização Geográfica",
|
|
143
|
+
"eixo": "dominio", "cobertura_minima": 0.7, "peso": 0.9, "max_distintos": 40},
|
|
144
|
+
{"nome": "região do Brasil", "valores": _REGIOES, "categoria": "Localização Geográfica",
|
|
145
|
+
"eixo": "dominio", "cobertura_minima": 0.9, "peso": 0.9, "max_distintos": 8},
|
|
146
|
+
{"nome": "sexo/gênero", "valores": _SEXO, "categoria": "Perfil do Colaborador",
|
|
147
|
+
"eixo": "dominio", "cobertura_minima": 0.9, "peso": 0.85, "max_distintos": 8},
|
|
148
|
+
{"nome": "raça/cor (IBGE)", "valores": _RACA_COR, "categoria": "Perfil do Colaborador",
|
|
149
|
+
"eixo": "dominio", "cobertura_minima": 0.8, "peso": 0.9, "max_distintos": 10},
|
|
150
|
+
{"nome": "estado civil", "valores": _ESTADO_CIVIL, "categoria": "Perfil do Colaborador",
|
|
151
|
+
"eixo": "dominio", "cobertura_minima": 0.8, "peso": 0.9, "max_distintos": 15},
|
|
152
|
+
{"nome": "escolaridade", "valores": _ESCOLARIDADE, "categoria": "Perfil do Colaborador",
|
|
153
|
+
"eixo": "dominio", "cobertura_minima": 0.7, "peso": 0.9, "max_distintos": 25},
|
|
154
|
+
{"nome": "vínculo/contrato", "valores": _PORTE_CONTRATO, "categoria": "Cargo / Função",
|
|
155
|
+
"eixo": "dominio", "cobertura_minima": 0.8, "peso": 0.85, "max_distintos": 20},
|
|
156
|
+
{"nome": "booleano textual", "valores": _BOOLEANOS,
|
|
157
|
+
"categoria": "Status / Indicador / Flag", "eixo": "papel",
|
|
158
|
+
"cobertura_minima": 1.0, "peso": 0.8, "max_distintos": 4},
|
|
159
|
+
{"nome": "status de atividade", "valores": _STATUS_ATIVIDADE,
|
|
160
|
+
"categoria": "Status / Indicador / Flag", "eixo": "papel",
|
|
161
|
+
"cobertura_minima": 0.8, "peso": 0.85, "max_distintos": 15},
|
|
162
|
+
{"nome": "mês", "valores": _MESES, "categoria": config.SEMANTICA_DATA_CALENDARIO,
|
|
163
|
+
"eixo": "papel", "cobertura_minima": 0.9, "peso": 0.85, "max_distintos": 14},
|
|
164
|
+
{"nome": "dia da semana", "valores": _DIAS_SEMANA,
|
|
165
|
+
"categoria": config.SEMANTICA_DATA_CALENDARIO, "eixo": "papel",
|
|
166
|
+
"cobertura_minima": 0.9, "peso": 0.85, "max_distintos": 10},
|
|
167
|
+
{"nome": "moeda ISO", "valores": _MOEDAS, "categoria": "Valor Financeiro",
|
|
168
|
+
"eixo": "papel", "cobertura_minima": 0.9, "peso": 0.8, "max_distintos": 12},
|
|
169
|
+
{"nome": "turno", "valores": _TURNOS, "categoria": "Cargo / Função",
|
|
170
|
+
"eixo": "dominio", "cobertura_minima": 0.9, "peso": 0.75, "max_distintos": 10},
|
|
171
|
+
]
|
|
@@ -0,0 +1,162 @@
|
|
|
1
|
+
Metadata-Version: 2.4
|
|
2
|
+
Name: colsemantics
|
|
3
|
+
Version: 0.1.0
|
|
4
|
+
Summary: Inferência semântica de colunas: descobre o papel (o que a coluna é) e o domínio (do que ela fala) a partir do nome, de abreviações corporativas e do conteúdo.
|
|
5
|
+
Author: Caio
|
|
6
|
+
License-Expression: MIT
|
|
7
|
+
Project-URL: Homepage, https://github.com/Caio-Analytics/colsemantics
|
|
8
|
+
Keywords: semantic,data-profiling,column-inference,pii,etl,pandas
|
|
9
|
+
Classifier: Development Status :: 3 - Alpha
|
|
10
|
+
Classifier: Intended Audience :: Developers
|
|
11
|
+
Classifier: Programming Language :: Python :: 3
|
|
12
|
+
Classifier: Programming Language :: Python :: 3.10
|
|
13
|
+
Classifier: Programming Language :: Python :: 3.11
|
|
14
|
+
Classifier: Programming Language :: Python :: 3.12
|
|
15
|
+
Classifier: Topic :: Software Development :: Libraries :: Python Modules
|
|
16
|
+
Classifier: Typing :: Typed
|
|
17
|
+
Requires-Python: >=3.10
|
|
18
|
+
Description-Content-Type: text/markdown
|
|
19
|
+
License-File: LICENSE
|
|
20
|
+
Requires-Dist: rapidfuzz>=3.0
|
|
21
|
+
Requires-Dist: unidecode>=1.3
|
|
22
|
+
Provides-Extra: dev
|
|
23
|
+
Requires-Dist: pytest>=8; extra == "dev"
|
|
24
|
+
Requires-Dist: mypy>=1.10; extra == "dev"
|
|
25
|
+
Requires-Dist: ruff>=0.6; extra == "dev"
|
|
26
|
+
Dynamic: license-file
|
|
27
|
+
|
|
28
|
+
# colsemantics
|
|
29
|
+
|
|
30
|
+
**Descobre o que uma coluna *é* e do que ela *fala* — a partir do nome, de
|
|
31
|
+
abreviações corporativas e do conteúdo.**
|
|
32
|
+
|
|
33
|
+
`cd_dpto_lot` não está em nenhum dicionário. Mas a abreviatura reconstrói
|
|
34
|
+
`codigo` / `departamento` / `lotacao`, o conteúdo confirma baixa
|
|
35
|
+
cardinalidade, e o resultado é uma coluna com **papel** "Chave Identificadora"
|
|
36
|
+
e **domínio** "Estrutura Organizacional" — com a confiança e a evidência que
|
|
37
|
+
levaram a essa conclusão.
|
|
38
|
+
|
|
39
|
+
```python
|
|
40
|
+
from colsemantics import inferir_semantica
|
|
41
|
+
|
|
42
|
+
inferir_semantica("cd_dpto_lot")
|
|
43
|
+
# {
|
|
44
|
+
# "semantica": "Chave Identificadora (ID)",
|
|
45
|
+
# "papel": "Chave Identificadora (ID)",
|
|
46
|
+
# "dominio": "Estrutura Organizacional",
|
|
47
|
+
# "confianca_score": 0.87,
|
|
48
|
+
# "origem": "abreviatura 'cd' → 'codigo' + abreviatura 'lot' → 'lotacao'",
|
|
49
|
+
# "conclusiva": True,
|
|
50
|
+
# "hipoteses": [...],
|
|
51
|
+
# }
|
|
52
|
+
```
|
|
53
|
+
|
|
54
|
+
## Por que isso é diferente de inferir `dtype`
|
|
55
|
+
|
|
56
|
+
Toda ferramenta de profiling te diz que uma coluna é `int64` ou `object`.
|
|
57
|
+
Nenhuma te diz que `f27` é geografia porque os valores são siglas de UF, ou
|
|
58
|
+
que `DEPARTMENT_NAME` não é dado pessoal mesmo terminando em `_NAME`. É essa
|
|
59
|
+
segunda pergunta — **papel** (o que a coluna é: chave, data, valor
|
|
60
|
+
financeiro...) e **domínio** (do que ela fala: estrutura organizacional,
|
|
61
|
+
cargo, localidade...) — que `colsemantics` responde.
|
|
62
|
+
|
|
63
|
+
## Como funciona
|
|
64
|
+
|
|
65
|
+
A inferência é uma **cascata de detectores independentes**, não um
|
|
66
|
+
`if/elif` em que o primeiro match vence:
|
|
67
|
+
|
|
68
|
+
1. **Padrão de conteúdo validado** (CPF, CNPJ, e-mail...) — a pista mais forte que existe.
|
|
69
|
+
2. **Token forte** — match exato contra um dicionário curado, com abreviações expandidas (`vl` → `valor`).
|
|
70
|
+
3. **Fuzzy (Jaro-Winkler)** — nome parecido com uma palavra-chave de domínio, tolera erro de digitação.
|
|
71
|
+
4. **Gazetteer de conteúdo** — os valores da coluna batem com um conjunto fechado conhecido (UFs, meses, sexo/gênero...), independente do nome.
|
|
72
|
+
5. **Assinatura estrutural** — a *forma* dos dados (inteiro crescente e único, decimal de 2 casas assimétrico à direita...) sugere o papel.
|
|
73
|
+
6. **Contexto da tabela** — colunas vizinhas já resolvidas desambiguam abreviaturas ambíguas (`dep` é departamento, dependente ou depósito — sozinho é insolúvel, trivial se a tabela já fala de RH).
|
|
74
|
+
|
|
75
|
+
Cada detector emite evidência com peso; a combinação é **noisy-OR**
|
|
76
|
+
(`1 - Π(1 - peso)`), não "o primeiro que responder". Pistas fracas se somam.
|
|
77
|
+
|
|
78
|
+
## Instalação
|
|
79
|
+
|
|
80
|
+
```bash
|
|
81
|
+
pip install colsemantics
|
|
82
|
+
```
|
|
83
|
+
|
|
84
|
+
## Uso
|
|
85
|
+
|
|
86
|
+
### Uma coluna isolada
|
|
87
|
+
|
|
88
|
+
```python
|
|
89
|
+
from colsemantics import inferir_semantica
|
|
90
|
+
|
|
91
|
+
inferir_semantica("nome_departamento")
|
|
92
|
+
# semântica = "Estrutura Organizacional" (domínio vence: "nome" é só a forma)
|
|
93
|
+
|
|
94
|
+
inferir_semantica("uf")
|
|
95
|
+
# semântica = "Localização Geográfica"
|
|
96
|
+
```
|
|
97
|
+
|
|
98
|
+
### Com o conteúdo da coluna (resolve nomes opacos)
|
|
99
|
+
|
|
100
|
+
```python
|
|
101
|
+
from colsemantics import PerfilConteudo, inferir_semantica
|
|
102
|
+
|
|
103
|
+
perfil = PerfilConteudo(
|
|
104
|
+
tipo_dados="Texto",
|
|
105
|
+
valores_distintos=["SP", "RJ", "MG", "BA"],
|
|
106
|
+
n_unicos=4,
|
|
107
|
+
ratio_unicidade=4 / 40,
|
|
108
|
+
)
|
|
109
|
+
inferir_semantica("f27", perfil=perfil)["semantica"]
|
|
110
|
+
# "Localização Geográfica" — nenhuma análise do nome chegaria lá
|
|
111
|
+
```
|
|
112
|
+
|
|
113
|
+
`PerfilConteudo` é um dataclass simples — todos os campos são opcionais além
|
|
114
|
+
dos primeiros, então passe só o que você já sabe sobre a coluna:
|
|
115
|
+
|
|
116
|
+
| campo | o que é |
|
|
117
|
+
|---|---|
|
|
118
|
+
| `tipo_dados` | `"Texto"`, `"Número Inteiro"`, `"Número Decimal"`, `"Booleano"`... |
|
|
119
|
+
| `valores_distintos` | amostra de valores únicos (usada pelo gazetteer) |
|
|
120
|
+
| `n_unicos`, `ratio_unicidade` | cardinalidade |
|
|
121
|
+
| `str_len_media`, `comprimento_fixo` | forma do texto |
|
|
122
|
+
| `assimetria`, `minimo`, `casas_decimais_fixas` | forma do número |
|
|
123
|
+
| `monotonica_crescente` | sinal de chave sequencial |
|
|
124
|
+
|
|
125
|
+
### Uma tabela inteira (desambiguação por contexto)
|
|
126
|
+
|
|
127
|
+
```python
|
|
128
|
+
from colsemantics import inferir_semanticas_da_tabela
|
|
129
|
+
|
|
130
|
+
resultados = inferir_semanticas_da_tabela([
|
|
131
|
+
{"nome": "matricula", "padrao": "Nenhum", "perfil": None},
|
|
132
|
+
{"nome": "nome_func", "padrao": "Nenhum", "perfil": None},
|
|
133
|
+
{"nome": "cod_dep", "padrao": "Nenhum", "perfil": None},
|
|
134
|
+
{"nome": "diretoria", "padrao": "Nenhum", "perfil": None},
|
|
135
|
+
])
|
|
136
|
+
# "cod_dep" sozinho é ambíguo (departamento? dependente? depósito?).
|
|
137
|
+
# Com "diretoria" na mesma tabela, o contexto resolve para "Estrutura Organizacional".
|
|
138
|
+
```
|
|
139
|
+
|
|
140
|
+
`padrao` é o que seu próprio detector de padrão estruturado encontrou no
|
|
141
|
+
conteúdo (`"CPF"`, `"CNPJ"`, `"UUID"`, `"E-mail"`, `"Telefone"`, `"CEP"` ou
|
|
142
|
+
`"Nenhum"`) — `colsemantics` não faz essa detecção, só consome o resultado.
|
|
143
|
+
|
|
144
|
+
## O que a saída traz
|
|
145
|
+
|
|
146
|
+
```python
|
|
147
|
+
{
|
|
148
|
+
"semantica": str, # papel estrutural, ou domínio quando o papel é só formal
|
|
149
|
+
"papel": str | None,
|
|
150
|
+
"dominio": str | None,
|
|
151
|
+
"confianca_score": float, # 0-1, noisy-OR das evidências
|
|
152
|
+
"origem": str, # por que — as evidências que decidiram
|
|
153
|
+
"conclusiva": bool, # False = havia ambiguidade, olhe "hipoteses"
|
|
154
|
+
"hipoteses": list[dict], # até 4 alternativas ranqueadas, com evidência cada
|
|
155
|
+
}
|
|
156
|
+
```
|
|
157
|
+
|
|
158
|
+
## Licença
|
|
159
|
+
|
|
160
|
+
MIT. Extraído do módulo de inferência semântica do
|
|
161
|
+
[Recon](https://github.com/Caio-Analytics/Recon), ferramenta de profiling de
|
|
162
|
+
dados desconhecidos.
|
|
@@ -0,0 +1,12 @@
|
|
|
1
|
+
colsemantics/__init__.py,sha256=aAWZZsyfcwrEPgZSdopebTsAJo-4ZLBsvi1JNxzj4E0,10116
|
|
2
|
+
colsemantics/_taxonomy.py,sha256=m8Rax0mMbFbu-BRhxNWd_Gr93Xb7KTieGVxcUeeLb28,9578
|
|
3
|
+
colsemantics/detectors.py,sha256=zYg3PoA_PWRbweLujgVMAymcRVNCg-yVP_8ZYJEdLOk,16029
|
|
4
|
+
colsemantics/evidence.py,sha256=l3nsLwHBIi7S6DsuK33qsRAsYEfC3PVQZycqzX1QJ9I,2908
|
|
5
|
+
colsemantics/py.typed,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
|
|
6
|
+
colsemantics/tokens.py,sha256=N2-44wwCElpEtKi7urS25zkGefL8FepXSBB_r0Smzzg,5327
|
|
7
|
+
colsemantics/vocabulary.py,sha256=svs1vnCLh0aV5YBmf1ZGmwMeAlIXQaavCzr6EsOGXo8,9415
|
|
8
|
+
colsemantics-0.1.0.dist-info/licenses/LICENSE,sha256=sQpwczYXxWmnzvgvCoxtDzGF0RYEMhI9DscvYMOSEQw,1097
|
|
9
|
+
colsemantics-0.1.0.dist-info/METADATA,sha256=yKIIHuoG0JEWkm74p23pZiclX3Po0ExyERN4jjojbPM,6343
|
|
10
|
+
colsemantics-0.1.0.dist-info/WHEEL,sha256=YVMoNqKzERt-wjUZwJ33xBGAwnFl-4cqbYkTtWa4itE,91
|
|
11
|
+
colsemantics-0.1.0.dist-info/top_level.txt,sha256=ug0S5k_I63n1hSdm7Uu98afG6rldRVhXnEnx3wE93yc,13
|
|
12
|
+
colsemantics-0.1.0.dist-info/RECORD,,
|
|
@@ -0,0 +1,21 @@
|
|
|
1
|
+
MIT License
|
|
2
|
+
|
|
3
|
+
Copyright (c) 2026 Caio (https://github.com/Caio-Analytics)
|
|
4
|
+
|
|
5
|
+
Permission is hereby granted, free of charge, to any person obtaining a copy
|
|
6
|
+
of this software and associated documentation files (the "Software"), to deal
|
|
7
|
+
in the Software without restriction, including without limitation the rights
|
|
8
|
+
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
|
9
|
+
copies of the Software, and to permit persons to whom the Software is
|
|
10
|
+
furnished to do so, subject to the following conditions:
|
|
11
|
+
|
|
12
|
+
The above copyright notice and this permission notice shall be included in all
|
|
13
|
+
copies or substantial portions of the Software.
|
|
14
|
+
|
|
15
|
+
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
|
16
|
+
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
|
17
|
+
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
|
18
|
+
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
|
19
|
+
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
|
20
|
+
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
|
21
|
+
SOFTWARE.
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
colsemantics
|