orange3-text-analysis 0.0.1__py3-none-any.whl

orange3_text_analysis-0.0.1.data/data/help/orange3-text-analysis/index.html

@@ -0,0 +1,29 @@
+<!DOCTYPE html>
+<html lang="pt-BR">
+<head>
+  <meta charset="utf-8">
+  <title>Text Analysis — add-on do Orange</title>
+</head>
+<body>
+  <h1>Text Analysis — add-on do Orange</h1>
+  <p>
+    Add-on do <a href="https://orangedatamining.com">Orange Data Mining</a>
+    para limpar, traduzir e classificar textos (ex.: análise de sentimento)
+    com modelos do <a href="https://huggingface.co">Hugging Face</a>.
+    Os widgets aparecem na categoria <strong>Text Analysis</strong> da barra
+    lateral do Orange.
+  </p>
+
+  <h2>Widgets</h2>
+  <ul>
+    <li><strong>Limpeza de Texto</strong> — limpa o texto e cria uma nova
+      coluna com o resultado.</li>
+    <li><strong>Tradução</strong> — traduz textos entre português, inglês e
+      outros idiomas.</li>
+    <li><strong>Modelo Hugging Face</strong> — transforma um modelo de
+      classificação de texto do Hugging Face em um modelo do Orange.</li>
+  </ul>
+
+  <p>Veja o <code>README.md</code> do projeto para detalhes de instalação e uso.</p>
+</body>
+</html>

orange3_text_analysis-0.0.1.dist-info/METADATA

@@ -0,0 +1,151 @@
+Metadata-Version: 2.4
+Name: orange3-text-analysis
+Version: 0.0.1
+Summary: Add-on do Orange: limpeza, tradução e classificação de textos com modelos do Hugging Face
+Home-page: http://orange.biolab.si/download
+Author: Mayki dos Santos Oliveira, Brasil BR
+Author-email: maykioliveira97@gmail.com
+Keywords: orange3 add-on
+Requires-Python: >=3.12
+Description-Content-Type: text/markdown
+License-File: LICENSE
+Requires-Dist: transformers
+Requires-Dist: torch
+Requires-Dist: sentencepiece
+Requires-Dist: protobuf
+Requires-Dist: ftfy
+Requires-Dist: emoji
+Requires-Dist: orange3>=3.40.0
+Requires-Dist: pyqt5>=5.15.11
+Dynamic: author
+Dynamic: author-email
+Dynamic: home-page
+Dynamic: license-file
+
+# Text Analysis — add-on do Orange
+
+Add-on do [Orange Data Mining](https://orangedatamining.com) para limpar,
+traduzir e classificar textos (ex.: análise de sentimento) com modelos do
+[Hugging Face](https://huggingface.co). Os widgets aparecem na categoria
+**Text Analysis** da barra lateral do Orange.
+
+## Requisitos
+
+- **Orange 3** (testado com a versão 3.40) e **Python 3.9 ou superior**
+- **Orange3-Text** (opcional, recomendado): fornece o widget Corpus e os
+  demais widgets de texto
+
+Bibliotecas Python (instaladas automaticamente com o add-on):
+
+| Biblioteca | Para que é usada |
+|---|---|
+| `transformers` | Carregar e executar os modelos do Hugging Face |
+| `torch` | Motor de execução dos modelos (CPU ou GPU) |
+| `sentencepiece` | Tokenizadores de modelos multilíngues (XLM-RoBERTa, T5, M2M100) |
+| `protobuf` | Leitura dos arquivos de tokenizador SentencePiece |
+| `ftfy` | Correção de codificação quebrada (ex.: `péssimo` → `péssimo`) |
+| `emoji` | Remoção de emojis e conversão em texto em português |
+
+## Instalação
+
+O add-on deve ser instalado **no mesmo Python que o Orange usa**.
+
+**Pelo terminal**, dentro da pasta do projeto (troque `python` pelo
+executável do Python do Orange, se for outro):
+
+```bash
+python -m pip install .
+```
+
+**Pelo próprio Orange**, colando no widget *Python Script* e clicando em
+*Run* (ajuste o caminho da pasta):
+
+```python
+import sys, subprocess
+pasta = "/caminho/para/orange3-text-analysis"
+r = subprocess.run([sys.executable, "-m", "pip", "install", pasta],
+                   capture_output=True, text=True)
+print(r.stdout[-1500:]); print(r.stderr[-1500:])
+```
+
+Depois, **reinicie o Orange**.
+
+Para desenvolvimento, instale em modo editável (as alterações no código
+valem após reiniciar o Orange, sem reinstalar):
+
+```bash
+python -m pip install -e .
+```
+
+> **Atualizando a partir do `orange3-sentimento`:** desinstale o pacote
+> antigo com `python -m pip uninstall orange3-sentimento`, senão os widgets
+> aparecem duplicados. Modelos `.pkcls` salvos com o pacote antigo precisam
+> ser gerados de novo.
+
+## Widgets
+
+### Limpeza de Texto
+
+Limpa o texto e cria uma nova coluna com o resultado, mostrando uma prévia
+antes/depois. Opções: corrigir codificação quebrada, remover HTML, links,
+e-mails e menções (remover ou trocar pelos marcadores `http`, `email` e
+`@user`), hashtags, emojis (remover ou converter em texto), números,
+caracteres repetidos (`muuuuito` → `muuuito`), espaços excessivos,
+minúsculas, acentos e pontuação, além de descartar textos curtos e
+duplicados.
+
+### Tradução
+
+Traduz textos com `unicamp-dl/translation-pt-en-t5` (português → inglês),
+`unicamp-dl/translation-en-pt-t5` (inglês → português) ou
+`facebook/m2m100_418M` (100 idiomas, com listas de idioma de origem e
+destino). Pode criar uma nova coluna ou substituir o texto original. Divide
+textos longos em frases, roda em segundo plano com barra de progresso e usa
+a GPU, se houver.
+
+### Modelo Hugging Face
+
+Transforma um modelo de classificação de texto do Hugging Face (ex.:
+`cardiffnlp/twitter-xlm-roberta-base-sentiment`) em um modelo do Orange,
+compatível com *Predictions*, *Save Model* e *Load Model*. Lê os rótulos do
+próprio modelo, aceita parâmetros avançados em JSON e, ao receber o corpus
+rotulado na entrada, usa a variável-alvo dele para que o *Predictions*
+calcule as métricas de avaliação.
+
+## Fluxo de exemplo
+
+```
+Corpus → Limpeza de Texto ─┬─► Modelo Hugging Face ──► Predictions
+                           └─────────────────────────► Predictions
+```
+
+Para usar um modelo disponível só em inglês, inclua o widget **Tradução**
+(português → inglês) depois da Limpeza de Texto.
+
+## Estrutura do projeto
+
+```
+orange3-text-analysis/
+├── README.md
+├── pyproject.toml
+├── docs/
+├── tests/
+└── src/
+    └── text_analises/
+        ├── modelo.py        # adaptador Hugging Face → modelo do Orange
+        ├── limpeza.py       # funções de limpeza de texto
+        ├── traducao.py      # funções de tradução
+        └── widgets/
+            ├── owsentimentohf.py
+            ├── owlimpezatexto.py
+            ├── owtraducao.py
+            └── icons/
+```
+
+## Observações
+
+- Cada modelo é baixado do Hugging Face no primeiro uso (de centenas de MB
+  a cerca de 2 GB) e fica em cache em `~/.cache/huggingface`.
+- Em sistemas com vírgula decimal (ex.: português do Brasil), o add-on
+  ajusta temporariamente a formatação numérica ao carregar os modelos,
+  evitando o erro do `protobuf` com tokenizadores SentencePiece.

orange3_text_analysis-0.0.1.dist-info/RECORD

@@ -0,0 +1,18 @@
+orange3_text_analysis-0.0.1.data/data/help/orange3-text-analysis/index.html,sha256=jem4PyUt13238T_T_oIC8dNKelfHwxDN2tsN6oJRsMM,1025
+orange3_text_analysis-0.0.1.dist-info/licenses/LICENSE,sha256=OXLcl0T2SZ8Pmy2_dmlvKuetivmyPd5m1q-Gyd-zaYY,35149
+text_analysis/__init__.py,sha256=47DEQpj8HBSa-_TImW-5JCeuQeRkm5NMpJWZG3hSuFU,0
+text_analysis/limpeza.py,sha256=Eo3HdFRbbyhav4FeEQBTKp3fI-ymQfN3-pXdNoo5FAw,4023
+text_analysis/modelo.py,sha256=FL3LTVyp6ob_r0nH2hxa-YaSr7S1MuodA7r8tBQ1SPM,10455
+text_analysis/traducao.py,sha256=AHc2zYxFo-h_6OqgRDtjl1-UChDy1dTApW9bigu2GZc,6548
+text_analysis/widgets/__init__.py,sha256=TI_MlFgipZLG4dn_3nxAXi8V1fXdpfg6ItFphnsNSaE,266
+text_analysis/widgets/owlimpezatexto.py,sha256=R2xE520jsmW2Ij2iEwAdgR73os0Z6jUhrk1_acQXFG0,11684
+text_analysis/widgets/owsentimentohf.py,sha256=OUHBbj5JcmdWP8jeMEqK8xfza0-t6BNekaQHWkFg_E4,9435
+text_analysis/widgets/owtraducao.py,sha256=O_WbYlP6ni9h3IkayQ1ZKh3xSkPtchti6cktWrHKbLo,12234
+text_analysis/widgets/icons/limpeza.svg,sha256=p5OdvoF6vpYJfENk3AALAafViCxinOv9_MY6T2ftmkM,426
+text_analysis/widgets/icons/sentimento.svg,sha256=81lF5J704xiCERZjtt9RI_UeyCgZGufIeul2bsuIRno,337
+text_analysis/widgets/icons/traducao.svg,sha256=UMaILaGYPIkO4SrM-72Mw8HXcBoSz1Wx7tz6komOgv8,439
+orange3_text_analysis-0.0.1.dist-info/METADATA,sha256=ao_qG6Monw2PQNN3dIEdvExxURuG_vZ16fXpgOjJ0bc,5393
+orange3_text_analysis-0.0.1.dist-info/WHEEL,sha256=YVMoNqKzERt-wjUZwJ33xBGAwnFl-4cqbYkTtWa4itE,91
+orange3_text_analysis-0.0.1.dist-info/entry_points.txt,sha256=V9XPdxkFjxzXXJgjJY2gRXsIShqZGKJi2yUPVg3ggIQ,102
+orange3_text_analysis-0.0.1.dist-info/top_level.txt,sha256=1Owxhl879ZlbNiyJnsxLqwxoOAeaPbXFP_RPwACP6HA,14
+orange3_text_analysis-0.0.1.dist-info/RECORD,,

orange3_text_analysis-0.0.1.dist-info/WHEEL

@@ -0,0 +1,5 @@
+Wheel-Version: 1.0
+Generator: setuptools (84.0.0)
+Root-Is-Purelib: true
+Tag: py3-none-any
+

orange3_text_analysis-0.0.1.dist-info/entry_points.txt

@@ -0,0 +1,5 @@
+[orange.widgets]
+Text Analysis = text_analysis.widgets
+
+[orange3.addon]
+text_analysis = text_analysis