turkce-uslup 0.1.0__tar.gz
This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
- turkce_uslup-0.1.0/LICENSE +21 -0
- turkce_uslup-0.1.0/PKG-INFO +140 -0
- turkce_uslup-0.1.0/README.md +117 -0
- turkce_uslup-0.1.0/pyproject.toml +29 -0
- turkce_uslup-0.1.0/setup.cfg +4 -0
- turkce_uslup-0.1.0/tests/test_uslup.py +34 -0
- turkce_uslup-0.1.0/turkce_uslup/__init__.py +93 -0
- turkce_uslup-0.1.0/turkce_uslup/kurallar.py +73 -0
- turkce_uslup-0.1.0/turkce_uslup/model/uslup.npz +0 -0
- turkce_uslup-0.1.0/turkce_uslup/model.py +152 -0
- turkce_uslup-0.1.0/turkce_uslup.egg-info/PKG-INFO +140 -0
- turkce_uslup-0.1.0/turkce_uslup.egg-info/SOURCES.txt +13 -0
- turkce_uslup-0.1.0/turkce_uslup.egg-info/dependency_links.txt +1 -0
- turkce_uslup-0.1.0/turkce_uslup.egg-info/requires.txt +11 -0
- turkce_uslup-0.1.0/turkce_uslup.egg-info/top_level.txt +1 -0
|
@@ -0,0 +1,21 @@
|
|
|
1
|
+
MIT License
|
|
2
|
+
|
|
3
|
+
Copyright (c) 2026 Mehmet Veysel Delibaş
|
|
4
|
+
|
|
5
|
+
Permission is hereby granted, free of charge, to any person obtaining a copy
|
|
6
|
+
of this software and associated documentation files (the "Software"), to deal
|
|
7
|
+
in the Software without restriction, including without limitation the rights
|
|
8
|
+
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
|
|
9
|
+
copies of the Software, and to permit persons to whom the Software is
|
|
10
|
+
furnished to do so, subject to the following conditions:
|
|
11
|
+
|
|
12
|
+
The above copyright notice and this permission notice shall be included in all
|
|
13
|
+
copies or substantial portions of the Software.
|
|
14
|
+
|
|
15
|
+
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
|
|
16
|
+
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
|
|
17
|
+
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
|
|
18
|
+
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
|
|
19
|
+
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
|
|
20
|
+
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
|
|
21
|
+
SOFTWARE.
|
|
@@ -0,0 +1,140 @@
|
|
|
1
|
+
Metadata-Version: 2.4
|
|
2
|
+
Name: turkce-uslup
|
|
3
|
+
Version: 0.1.0
|
|
4
|
+
Summary: Türkçe metnin üslubu (haber, bilgi, talimat/duyuru, deneme, anlatı, masal, sohbet) ve seslendirme okuma ayarı; yalnız numpy
|
|
5
|
+
Author: Mehmet Veysel Delibaş
|
|
6
|
+
License-Expression: MIT AND CC-BY-SA-4.0
|
|
7
|
+
Project-URL: Homepage, https://github.com/seslen-tr/turkce-uslup
|
|
8
|
+
Project-URL: Source, https://github.com/seslen-tr/turkce-uslup
|
|
9
|
+
Project-URL: Issues, https://github.com/seslen-tr/turkce-uslup/issues
|
|
10
|
+
Requires-Python: >=3.9
|
|
11
|
+
Description-Content-Type: text/markdown
|
|
12
|
+
License-File: LICENSE
|
|
13
|
+
Requires-Dist: numpy
|
|
14
|
+
Provides-Extra: bert
|
|
15
|
+
Requires-Dist: onnxruntime>=1.16; extra == "bert"
|
|
16
|
+
Requires-Dist: tokenizers>=0.15; extra == "bert"
|
|
17
|
+
Requires-Dist: huggingface_hub>=0.20; extra == "bert"
|
|
18
|
+
Provides-Extra: egitim
|
|
19
|
+
Requires-Dist: scikit-learn; extra == "egitim"
|
|
20
|
+
Requires-Dist: pyarrow; extra == "egitim"
|
|
21
|
+
Requires-Dist: huggingface_hub; extra == "egitim"
|
|
22
|
+
Dynamic: license-file
|
|
23
|
+
|
|
24
|
+
# turkce-uslup
|
|
25
|
+
|
|
26
|
+
> **English:** Detects the genre of a Turkish text (news, informative, instructions/announcement, essay, narrative, fairy tale, conversation) and suggests reading settings for TTS: speed, pitch range, pause between sentences and after commas. Ships with a 1.3 MB TF-IDF model (numpy only, works offline); an optional fine-tuned BERTurk model is downloaded from Hugging Face.
|
|
27
|
+
|
|
28
|
+
Türkçe metnin **üslubunu** bulur ve seslendirme için **okuma ayarı** önerir: hız, tonlama genişliği,
|
|
29
|
+
cümle arası duraklama, virgül duraklaması. Bağımlılığı yalnız numpy, model 1,3 MB, yanıtı anlıktır.
|
|
30
|
+
|
|
31
|
+
```python
|
|
32
|
+
from turkce_uslup import uslup, okuma_ayari
|
|
33
|
+
|
|
34
|
+
r = uslup("Bir varmış bir yokmuş, evvel zaman içinde küçük bir köyde yaşlı bir değirmenci yaşarmış.")
|
|
35
|
+
r.uslup # 'masal'
|
|
36
|
+
r.ayar # Okuma(hiz=0.88, tonlama=1.3, duraklama_ms=700, virgul_ms=100)
|
|
37
|
+
|
|
38
|
+
okuma_ayari("haber", hiz=1.2) # stüdyoda değiştirilen ayar: üslubun geri kalanı korunur
|
|
39
|
+
```
|
|
40
|
+
|
|
41
|
+
## Neden
|
|
42
|
+
|
|
43
|
+
Aynı nötr cümle üsluba göre başka okunur. Haber tempolu ve düz okunur. Masal yavaş, hareketli ve
|
|
44
|
+
duraklamalı okunur. Sohbet rahat ve hızlı akar. Duygu (neşeli, üzgün…) cümlenin tonudur; üslup ise
|
|
45
|
+
metnin bütününün türüdür. İkisi birbirinden ayrı ayarlanmalıdır. Duygu için kardeş proje
|
|
46
|
+
[turkce-duygu](https://github.com/seslen-tr/turkce-duygu)'ya bakın.
|
|
47
|
+
|
|
48
|
+
## Üsluplar ve okuma ayarları
|
|
49
|
+
|
|
50
|
+
| Üslup | Örnek | hız | tonlama | duraklama | virgül |
|
|
51
|
+
|---|---|---|---|---|---|
|
|
52
|
+
| haber | ulusal gazete haberi | 1,05 | 0,9 | 350 ms | — |
|
|
53
|
+
| bilgi | ansiklopedi, biyografi | 1,0 | 1,0 | 400 ms | — |
|
|
54
|
+
| talimat | kullanım kılavuzu, sesli duyuru | 0,95 | 0,85 | 500 ms | +80 ms |
|
|
55
|
+
| deneme | deneme, köşe yazısı, popüler kültür | 0,97 | 1,0 | 450 ms | — |
|
|
56
|
+
| anlati | hikâye, roman | 0,93 | 1,15 | 550 ms | +60 ms |
|
|
57
|
+
| masal | masal (tekerlemeyle tanınır) | 0,88 | 1,3 | 700 ms | +100 ms |
|
|
58
|
+
| sohbet | diyalog, konuşma dili | 1,07 | 1,1 | 250 ms | — |
|
|
59
|
+
|
|
60
|
+
**Ayarların anlamı:**
|
|
61
|
+
- **hız:** 1 = sesin doğal hızı.
|
|
62
|
+
- **tonlama:** perdenin ortalama etrafındaki dalgalanmasının çarpanı. 1 doğal, büyükse daha hareketli.
|
|
63
|
+
- **duraklama:** cümleler arası sessizlik.
|
|
64
|
+
- **virgül:** virgülde eklenen sessizlik.
|
|
65
|
+
|
|
66
|
+
Değerler genel okuma pratiğine dayanan **başlangıç değerleridir**, ölçülmüş Türkçe normlar değildir.
|
|
67
|
+
Kulakla ayarlanır ve her biri `okuma_ayari(..., alan=değer)` ile değiştirilebilir.
|
|
68
|
+
|
|
69
|
+
## Nasıl çalışır
|
|
70
|
+
|
|
71
|
+
1. **Kurallar.** Masal tekerlemeleri: "bir varmış bir yokmuş" (TDK, "bir masala başlarken … söylenen bir
|
|
72
|
+
tekerleme"), "evvel zaman içinde", "kalbur saman içinde", "onlar ermiş muradına". Duyuru kalıpları:
|
|
73
|
+
"sayın yolcularımız", "değerli müşterilerimiz", "dikkatinize sunarız". Yönerge dizileri: tarif,
|
|
74
|
+
kılavuz ve yönergeler kibar emir kipiyle yazılır (-(y)In, -(y)InIz; Göksel & Kerslake §21.4.4.2).
|
|
75
|
+
En az iki cümle bu kiple bitiyorsa ya da bir cümle sıra sözüyle ("önce", "ardından", "son olarak")
|
|
76
|
+
başlayıp bu kiple bitiyorsa talimat sayılır. Kişi ekleri (yanılıyor-sunuz, yap-tınız) ve konuşmadaki
|
|
77
|
+
ünlemli buyruklar ("Bekleyin!") hariç tutulur. Bu kural doğrulama ve sınav kümelerinde doğruluğu
|
|
78
|
+
değiştirmedi; modelin talimatta zayıf kaldığı gerçek yönergeleri yakalar.
|
|
79
|
+
2. **Model.** İki model var; `varsayilan()` BERTurk varsa onu, yoksa TF-IDF'i kullanır
|
|
80
|
+
(`TURKCE_USLUP_MOTOR=tfidf` ile TF-IDF'e zorlanır). Metnin üslubu, cümlelerin log-olasılıklarının
|
|
81
|
+
ortalamasıdır.
|
|
82
|
+
- **BERTurk** ([dbmdz/bert-base-turkish-cased](https://huggingface.co/dbmdz/bert-base-turkish-cased))
|
|
83
|
+
ince ayarı, ONNX olarak (`model/bert_onnx`, 443 MB, cümle başına ~10–25 ms). ONNX ↔ PyTorch en büyük
|
|
84
|
+
olasılık farkı 5·10⁻⁶. int8 sıkıştırma doğrulamada 0,5 puan kaybettirdiği için fp32. Gerekenler:
|
|
85
|
+
onnxruntime, tokenizers.
|
|
86
|
+
- **TF-IDF** (karakter 2-5 gram, sözcük, noktalama) + çok sınıflı lojistik regresyon (`model/uslup.npz`).
|
|
87
|
+
Çalışma anında yalnız numpy; sklearn çıktısıyla birebir aynı (en büyük olasılık farkı 4·10⁻⁷).
|
|
88
|
+
Hafif yedek.
|
|
89
|
+
|
|
90
|
+
| Üslup | Eğitim verisi | Lisans |
|
|
91
|
+
|---|---|---|
|
|
92
|
+
| haber, talimat, deneme, bilgi (bir kısmı) | [UD Turkish-BOUN](https://github.com/UniversalDependencies/UD_Turkish-BOUN) (Türkçe Ulusal Derlem'den; tür cümle kimliğinde) | CC BY-SA 4.0 |
|
|
93
|
+
| bilgi | Türkçe Vikipedi | CC BY-SA 4.0 |
|
|
94
|
+
| anlati | Common Voice Türkçe cümle derlemi | CC0 |
|
|
95
|
+
| sohbet | [XED](https://github.com/Helsinki-NLP/XED) Türkçe altyazılar | CC BY 4.0 |
|
|
96
|
+
|
|
97
|
+
## Doğruluk
|
|
98
|
+
|
|
99
|
+
Sınav kümesinde ölçüldü (1.604 cümle; eğitimde ve ayar seçiminde kullanılmadı).
|
|
100
|
+
|
|
101
|
+
| Ölçü | BERTurk | TF-IDF |
|
|
102
|
+
|---|---|---|
|
|
103
|
+
| Tek cümle (6 üslup, şans %17) | **%68,5** | %52,5 |
|
|
104
|
+
| Metin, 3 cümle | **%89,9** | %71,2 |
|
|
105
|
+
| Metin, 5 cümle | **%96,1** | %77,0 |
|
|
106
|
+
| Metin, 10 cümle | **%99,7** | %90,6 |
|
|
107
|
+
|
|
108
|
+
İkisinin birleşimi (log-olasılık ortalaması) BERTurk'ten anlamlı ölçüde iyi değil (tek cümle %68,6).
|
|
109
|
+
Kaynak kaynak sonuçlar `degerlendirme/bert_sonuc.json` dosyasında.
|
|
110
|
+
|
|
111
|
+
"Metin": aynı üsluptan rastgele seçilen k cümle. Veride gerçek paragraf yoktur.
|
|
112
|
+
|
|
113
|
+
**Sınırlar:**
|
|
114
|
+
- **Kaynak etkisi.** "bilgi" üslubunda Vikipedi cümleleri %99 (TF-IDF %89) doğru bulunur, BOUN
|
|
115
|
+
biyografileri yalnız %37 (TF-IDF %23). Model türün yanında kaynağın yazım tarzını da öğreniyor.
|
|
116
|
+
- **Talimat verisi tek kaynaklı.** Eğitimdeki talimat cümleleri BOUN'un "ins" türünden; gündelik tarif ve
|
|
117
|
+
kullanım yönergelerini model çoğu zaman "deneme" sanıyor. Bu yüzden kural eklendi (yukarıda).
|
|
118
|
+
- **Benzer türler karışır.** Gazete haberi, deneme ve biyografi birbirine benzer yazı dilleridir.
|
|
119
|
+
- **Tek cümle güvenilir değildir.** Kısa metinlerde stüdyoda elle seçim önerilir.
|
|
120
|
+
- **Kurallar yalnız açık kalıpları tanır.** Tekerlemesiz bir masal model tarafından "anlatı" olarak
|
|
121
|
+
bulunur.
|
|
122
|
+
|
|
123
|
+
## Yeniden eğitmek
|
|
124
|
+
|
|
125
|
+
```
|
|
126
|
+
pip install turkce-uslup[egitim]
|
|
127
|
+
python egit/veri.py # kaynaklar sabit sürümlerden; MD5'e göre bölme
|
|
128
|
+
python egit/egit.py # TF-IDF: birkaç dakika, işlemcide
|
|
129
|
+
python degerlendirme/olc.py
|
|
130
|
+
python egit/egit_bert.py # BERTurk: GPU'da birkaç dakika (RTX 3050'de ~6 dk), işlemcide saatler
|
|
131
|
+
python egit/aktar_bert.py # ONNX + eşdeğerlik kapısı → model/bert_onnx
|
|
132
|
+
```
|
|
133
|
+
|
|
134
|
+
## Lisans
|
|
135
|
+
|
|
136
|
+
Kod MIT ([LICENSE](LICENSE)). Modeller (`model/uslup.npz`, `model/bert_onnx`) UD Turkish-BOUN ve Vikipedi
|
|
137
|
+
türevi olduğu için **CC BY-SA 4.0**; BERTurk başlangıç modeli MIT; XED (CC BY 4.0) ve Common Voice (CC0) atıfları yukarıda.
|
|
138
|
+
|
|
139
|
+
Kardeş projeler: [turkce-duygu](https://github.com/seslen-tr/turkce-duygu), [turkce-vurgu](https://github.com/seslen-tr/turkce-vurgu),
|
|
140
|
+
[turkce-normalize](https://github.com/seslen-tr/turkce-normalize), [turkce-plbert](https://github.com/seslen-tr/turkce-plbert), [turkce-tts-sinav](https://github.com/seslen-tr/turkce-tts-sinav).
|
|
@@ -0,0 +1,117 @@
|
|
|
1
|
+
# turkce-uslup
|
|
2
|
+
|
|
3
|
+
> **English:** Detects the genre of a Turkish text (news, informative, instructions/announcement, essay, narrative, fairy tale, conversation) and suggests reading settings for TTS: speed, pitch range, pause between sentences and after commas. Ships with a 1.3 MB TF-IDF model (numpy only, works offline); an optional fine-tuned BERTurk model is downloaded from Hugging Face.
|
|
4
|
+
|
|
5
|
+
Türkçe metnin **üslubunu** bulur ve seslendirme için **okuma ayarı** önerir: hız, tonlama genişliği,
|
|
6
|
+
cümle arası duraklama, virgül duraklaması. Bağımlılığı yalnız numpy, model 1,3 MB, yanıtı anlıktır.
|
|
7
|
+
|
|
8
|
+
```python
|
|
9
|
+
from turkce_uslup import uslup, okuma_ayari
|
|
10
|
+
|
|
11
|
+
r = uslup("Bir varmış bir yokmuş, evvel zaman içinde küçük bir köyde yaşlı bir değirmenci yaşarmış.")
|
|
12
|
+
r.uslup # 'masal'
|
|
13
|
+
r.ayar # Okuma(hiz=0.88, tonlama=1.3, duraklama_ms=700, virgul_ms=100)
|
|
14
|
+
|
|
15
|
+
okuma_ayari("haber", hiz=1.2) # stüdyoda değiştirilen ayar: üslubun geri kalanı korunur
|
|
16
|
+
```
|
|
17
|
+
|
|
18
|
+
## Neden
|
|
19
|
+
|
|
20
|
+
Aynı nötr cümle üsluba göre başka okunur. Haber tempolu ve düz okunur. Masal yavaş, hareketli ve
|
|
21
|
+
duraklamalı okunur. Sohbet rahat ve hızlı akar. Duygu (neşeli, üzgün…) cümlenin tonudur; üslup ise
|
|
22
|
+
metnin bütününün türüdür. İkisi birbirinden ayrı ayarlanmalıdır. Duygu için kardeş proje
|
|
23
|
+
[turkce-duygu](https://github.com/seslen-tr/turkce-duygu)'ya bakın.
|
|
24
|
+
|
|
25
|
+
## Üsluplar ve okuma ayarları
|
|
26
|
+
|
|
27
|
+
| Üslup | Örnek | hız | tonlama | duraklama | virgül |
|
|
28
|
+
|---|---|---|---|---|---|
|
|
29
|
+
| haber | ulusal gazete haberi | 1,05 | 0,9 | 350 ms | — |
|
|
30
|
+
| bilgi | ansiklopedi, biyografi | 1,0 | 1,0 | 400 ms | — |
|
|
31
|
+
| talimat | kullanım kılavuzu, sesli duyuru | 0,95 | 0,85 | 500 ms | +80 ms |
|
|
32
|
+
| deneme | deneme, köşe yazısı, popüler kültür | 0,97 | 1,0 | 450 ms | — |
|
|
33
|
+
| anlati | hikâye, roman | 0,93 | 1,15 | 550 ms | +60 ms |
|
|
34
|
+
| masal | masal (tekerlemeyle tanınır) | 0,88 | 1,3 | 700 ms | +100 ms |
|
|
35
|
+
| sohbet | diyalog, konuşma dili | 1,07 | 1,1 | 250 ms | — |
|
|
36
|
+
|
|
37
|
+
**Ayarların anlamı:**
|
|
38
|
+
- **hız:** 1 = sesin doğal hızı.
|
|
39
|
+
- **tonlama:** perdenin ortalama etrafındaki dalgalanmasının çarpanı. 1 doğal, büyükse daha hareketli.
|
|
40
|
+
- **duraklama:** cümleler arası sessizlik.
|
|
41
|
+
- **virgül:** virgülde eklenen sessizlik.
|
|
42
|
+
|
|
43
|
+
Değerler genel okuma pratiğine dayanan **başlangıç değerleridir**, ölçülmüş Türkçe normlar değildir.
|
|
44
|
+
Kulakla ayarlanır ve her biri `okuma_ayari(..., alan=değer)` ile değiştirilebilir.
|
|
45
|
+
|
|
46
|
+
## Nasıl çalışır
|
|
47
|
+
|
|
48
|
+
1. **Kurallar.** Masal tekerlemeleri: "bir varmış bir yokmuş" (TDK, "bir masala başlarken … söylenen bir
|
|
49
|
+
tekerleme"), "evvel zaman içinde", "kalbur saman içinde", "onlar ermiş muradına". Duyuru kalıpları:
|
|
50
|
+
"sayın yolcularımız", "değerli müşterilerimiz", "dikkatinize sunarız". Yönerge dizileri: tarif,
|
|
51
|
+
kılavuz ve yönergeler kibar emir kipiyle yazılır (-(y)In, -(y)InIz; Göksel & Kerslake §21.4.4.2).
|
|
52
|
+
En az iki cümle bu kiple bitiyorsa ya da bir cümle sıra sözüyle ("önce", "ardından", "son olarak")
|
|
53
|
+
başlayıp bu kiple bitiyorsa talimat sayılır. Kişi ekleri (yanılıyor-sunuz, yap-tınız) ve konuşmadaki
|
|
54
|
+
ünlemli buyruklar ("Bekleyin!") hariç tutulur. Bu kural doğrulama ve sınav kümelerinde doğruluğu
|
|
55
|
+
değiştirmedi; modelin talimatta zayıf kaldığı gerçek yönergeleri yakalar.
|
|
56
|
+
2. **Model.** İki model var; `varsayilan()` BERTurk varsa onu, yoksa TF-IDF'i kullanır
|
|
57
|
+
(`TURKCE_USLUP_MOTOR=tfidf` ile TF-IDF'e zorlanır). Metnin üslubu, cümlelerin log-olasılıklarının
|
|
58
|
+
ortalamasıdır.
|
|
59
|
+
- **BERTurk** ([dbmdz/bert-base-turkish-cased](https://huggingface.co/dbmdz/bert-base-turkish-cased))
|
|
60
|
+
ince ayarı, ONNX olarak (`model/bert_onnx`, 443 MB, cümle başına ~10–25 ms). ONNX ↔ PyTorch en büyük
|
|
61
|
+
olasılık farkı 5·10⁻⁶. int8 sıkıştırma doğrulamada 0,5 puan kaybettirdiği için fp32. Gerekenler:
|
|
62
|
+
onnxruntime, tokenizers.
|
|
63
|
+
- **TF-IDF** (karakter 2-5 gram, sözcük, noktalama) + çok sınıflı lojistik regresyon (`model/uslup.npz`).
|
|
64
|
+
Çalışma anında yalnız numpy; sklearn çıktısıyla birebir aynı (en büyük olasılık farkı 4·10⁻⁷).
|
|
65
|
+
Hafif yedek.
|
|
66
|
+
|
|
67
|
+
| Üslup | Eğitim verisi | Lisans |
|
|
68
|
+
|---|---|---|
|
|
69
|
+
| haber, talimat, deneme, bilgi (bir kısmı) | [UD Turkish-BOUN](https://github.com/UniversalDependencies/UD_Turkish-BOUN) (Türkçe Ulusal Derlem'den; tür cümle kimliğinde) | CC BY-SA 4.0 |
|
|
70
|
+
| bilgi | Türkçe Vikipedi | CC BY-SA 4.0 |
|
|
71
|
+
| anlati | Common Voice Türkçe cümle derlemi | CC0 |
|
|
72
|
+
| sohbet | [XED](https://github.com/Helsinki-NLP/XED) Türkçe altyazılar | CC BY 4.0 |
|
|
73
|
+
|
|
74
|
+
## Doğruluk
|
|
75
|
+
|
|
76
|
+
Sınav kümesinde ölçüldü (1.604 cümle; eğitimde ve ayar seçiminde kullanılmadı).
|
|
77
|
+
|
|
78
|
+
| Ölçü | BERTurk | TF-IDF |
|
|
79
|
+
|---|---|---|
|
|
80
|
+
| Tek cümle (6 üslup, şans %17) | **%68,5** | %52,5 |
|
|
81
|
+
| Metin, 3 cümle | **%89,9** | %71,2 |
|
|
82
|
+
| Metin, 5 cümle | **%96,1** | %77,0 |
|
|
83
|
+
| Metin, 10 cümle | **%99,7** | %90,6 |
|
|
84
|
+
|
|
85
|
+
İkisinin birleşimi (log-olasılık ortalaması) BERTurk'ten anlamlı ölçüde iyi değil (tek cümle %68,6).
|
|
86
|
+
Kaynak kaynak sonuçlar `degerlendirme/bert_sonuc.json` dosyasında.
|
|
87
|
+
|
|
88
|
+
"Metin": aynı üsluptan rastgele seçilen k cümle. Veride gerçek paragraf yoktur.
|
|
89
|
+
|
|
90
|
+
**Sınırlar:**
|
|
91
|
+
- **Kaynak etkisi.** "bilgi" üslubunda Vikipedi cümleleri %99 (TF-IDF %89) doğru bulunur, BOUN
|
|
92
|
+
biyografileri yalnız %37 (TF-IDF %23). Model türün yanında kaynağın yazım tarzını da öğreniyor.
|
|
93
|
+
- **Talimat verisi tek kaynaklı.** Eğitimdeki talimat cümleleri BOUN'un "ins" türünden; gündelik tarif ve
|
|
94
|
+
kullanım yönergelerini model çoğu zaman "deneme" sanıyor. Bu yüzden kural eklendi (yukarıda).
|
|
95
|
+
- **Benzer türler karışır.** Gazete haberi, deneme ve biyografi birbirine benzer yazı dilleridir.
|
|
96
|
+
- **Tek cümle güvenilir değildir.** Kısa metinlerde stüdyoda elle seçim önerilir.
|
|
97
|
+
- **Kurallar yalnız açık kalıpları tanır.** Tekerlemesiz bir masal model tarafından "anlatı" olarak
|
|
98
|
+
bulunur.
|
|
99
|
+
|
|
100
|
+
## Yeniden eğitmek
|
|
101
|
+
|
|
102
|
+
```
|
|
103
|
+
pip install turkce-uslup[egitim]
|
|
104
|
+
python egit/veri.py # kaynaklar sabit sürümlerden; MD5'e göre bölme
|
|
105
|
+
python egit/egit.py # TF-IDF: birkaç dakika, işlemcide
|
|
106
|
+
python degerlendirme/olc.py
|
|
107
|
+
python egit/egit_bert.py # BERTurk: GPU'da birkaç dakika (RTX 3050'de ~6 dk), işlemcide saatler
|
|
108
|
+
python egit/aktar_bert.py # ONNX + eşdeğerlik kapısı → model/bert_onnx
|
|
109
|
+
```
|
|
110
|
+
|
|
111
|
+
## Lisans
|
|
112
|
+
|
|
113
|
+
Kod MIT ([LICENSE](LICENSE)). Modeller (`model/uslup.npz`, `model/bert_onnx`) UD Turkish-BOUN ve Vikipedi
|
|
114
|
+
türevi olduğu için **CC BY-SA 4.0**; BERTurk başlangıç modeli MIT; XED (CC BY 4.0) ve Common Voice (CC0) atıfları yukarıda.
|
|
115
|
+
|
|
116
|
+
Kardeş projeler: [turkce-duygu](https://github.com/seslen-tr/turkce-duygu), [turkce-vurgu](https://github.com/seslen-tr/turkce-vurgu),
|
|
117
|
+
[turkce-normalize](https://github.com/seslen-tr/turkce-normalize), [turkce-plbert](https://github.com/seslen-tr/turkce-plbert), [turkce-tts-sinav](https://github.com/seslen-tr/turkce-tts-sinav).
|
|
@@ -0,0 +1,29 @@
|
|
|
1
|
+
[build-system]
|
|
2
|
+
requires = ["setuptools>=77"]
|
|
3
|
+
build-backend = "setuptools.build_meta"
|
|
4
|
+
|
|
5
|
+
[project]
|
|
6
|
+
name = "turkce-uslup"
|
|
7
|
+
version = "0.1.0"
|
|
8
|
+
description = "Türkçe metnin üslubu (haber, bilgi, talimat/duyuru, deneme, anlatı, masal, sohbet) ve seslendirme okuma ayarı; yalnız numpy"
|
|
9
|
+
readme = "README.md"
|
|
10
|
+
license = "MIT AND CC-BY-SA-4.0"
|
|
11
|
+
license-files = ["LICENSE"]
|
|
12
|
+
authors = [{ name = "Mehmet Veysel Delibaş" }]
|
|
13
|
+
requires-python = ">=3.9"
|
|
14
|
+
dependencies = ["numpy"]
|
|
15
|
+
|
|
16
|
+
[project.urls]
|
|
17
|
+
Homepage = "https://github.com/seslen-tr/turkce-uslup"
|
|
18
|
+
Source = "https://github.com/seslen-tr/turkce-uslup"
|
|
19
|
+
Issues = "https://github.com/seslen-tr/turkce-uslup/issues"
|
|
20
|
+
|
|
21
|
+
[project.optional-dependencies]
|
|
22
|
+
bert = ["onnxruntime>=1.16", "tokenizers>=0.15", "huggingface_hub>=0.20"]
|
|
23
|
+
egitim = ["scikit-learn", "pyarrow", "huggingface_hub"]
|
|
24
|
+
|
|
25
|
+
[tool.setuptools.packages.find]
|
|
26
|
+
include = ["turkce_uslup*"]
|
|
27
|
+
|
|
28
|
+
[tool.setuptools.package-data]
|
|
29
|
+
turkce_uslup = ["model/uslup.npz"]
|
|
@@ -0,0 +1,34 @@
|
|
|
1
|
+
from turkce_uslup import OKUMA, okuma_ayari, uslup
|
|
2
|
+
|
|
3
|
+
|
|
4
|
+
def test_masal_tekerlemesi(): # TDK: "bir varmış bir yokmuş" masal tekerlemesi
|
|
5
|
+
r = uslup("Bir varmış bir yokmuş, evvel zaman içinde bir padişah varmış.")
|
|
6
|
+
assert r.uslup == "masal" and r.ayar == OKUMA["masal"]
|
|
7
|
+
|
|
8
|
+
|
|
9
|
+
def test_duyuru():
|
|
10
|
+
assert uslup("Sayın yolcularımız, uçağımız birazdan iniş yapacaktır.").uslup == "talimat"
|
|
11
|
+
|
|
12
|
+
|
|
13
|
+
def test_stuyo_ayari_degisir():
|
|
14
|
+
a = okuma_ayari("haber", hiz=1.2)
|
|
15
|
+
assert a.hiz == 1.2 and a.tonlama == OKUMA["haber"].tonlama
|
|
16
|
+
|
|
17
|
+
|
|
18
|
+
def test_model_metin():
|
|
19
|
+
metin = ("Hey, nereye gidiyorsun öyle? Dur bir dakika, ben de geliyorum. Tamam, acele etme. "
|
|
20
|
+
"Hadi ama, geç kalacağız. Peki peki, geliyorum işte.")
|
|
21
|
+
assert uslup(metin).uslup == "sohbet"
|
|
22
|
+
|
|
23
|
+
|
|
24
|
+
def test_yonerge_dizisi(): # G&K §21.4.4.2: yönergeler kibar emir kipiyle
|
|
25
|
+
assert uslup("Tencereye iki su bardağı su ekleyin. Kısık ateşte pişirin.").uslup == "talimat"
|
|
26
|
+
assert uslup("Ardından karışımı fırına verin.").uslup == "talimat" # sıra sözü + emir
|
|
27
|
+
assert uslup("Formu doldurun. Ardından imzalayıp teslim edin.").uslup == "talimat"
|
|
28
|
+
|
|
29
|
+
|
|
30
|
+
def test_kisi_eki_emir_degil(): # -sInIz, -DIn: emir ekine benzer ama kişi ekidir
|
|
31
|
+
from turkce_uslup.kurallar import kural_uslubu
|
|
32
|
+
assert kural_uslubu("Bazılarınız beni kandırdığınızı sanıyorsunuz. Ama yanılıyorsunuz.") is None
|
|
33
|
+
assert kural_uslubu("Dün akşam ne yaptınız? Sinemaya gittiniz. Eve döndünüz.") is None
|
|
34
|
+
assert kural_uslubu("Bekleyin! Ben size göstereceğim.") is None # konuşmadaki buyruk
|
|
@@ -0,0 +1,93 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""
|
|
3
|
+
TÜRKÇE ÜSLUP — Türkçe metnin türünü (haber, bilgi, talimat/duyuru, deneme, anlatı, masal, sohbet) bulur
|
|
4
|
+
ve seslendirme için okuma ayarı önerir: hız, tonlama genişliği, cümle arası duraklama.
|
|
5
|
+
|
|
6
|
+
from turkce_uslup import uslup, okuma_ayari
|
|
7
|
+
r = uslup("Bir varmış bir yokmuş, evvel zaman içinde bir padişah varmış...")
|
|
8
|
+
r.uslup, r.ayar # 'masal', Okuma(hiz=0.88, tonlama=1.3, duraklama_ms=700, ...)
|
|
9
|
+
okuma_ayari("haber", hiz=1.1) # stüdyoda değiştirilen ayar
|
|
10
|
+
|
|
11
|
+
Üslup metnin bütününün özelliğidir: tek cümlede güvenilir değildir, birkaç cümleden sonra güçlenir.
|
|
12
|
+
Model yoksa yalnız kurallar (masal tekerlemeleri, duyuru kalıpları) çalışır, gerisi "bilgi" sayılır.
|
|
13
|
+
"""
|
|
14
|
+
from __future__ import annotations
|
|
15
|
+
|
|
16
|
+
import re
|
|
17
|
+
from dataclasses import asdict, dataclass, field, replace
|
|
18
|
+
|
|
19
|
+
from .kurallar import kural_uslubu
|
|
20
|
+
|
|
21
|
+
__all__ = ["uslup", "okuma_ayari", "Okuma", "Sonuc", "USLUPLAR", "OKUMA"]
|
|
22
|
+
__version__ = "0.1.0"
|
|
23
|
+
|
|
24
|
+
USLUPLAR = ("haber", "bilgi", "talimat", "deneme", "anlati", "masal", "sohbet")
|
|
25
|
+
AD = {"haber": "haber", "bilgi": "bilgi / ansiklopedi", "talimat": "talimat / duyuru", "deneme": "deneme / köşe yazısı",
|
|
26
|
+
"anlati": "hikâye / anlatı", "masal": "masal", "sohbet": "sohbet / diyalog"}
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
@dataclass(frozen=True)
|
|
30
|
+
class Okuma:
|
|
31
|
+
"""Seslendirme ayarı. hiz: 1 = modelin doğal hızı; tonlama: perde dalgalanmasının çarpanı (1 = doğal,
|
|
32
|
+
>1 daha hareketli); duraklama_ms: cümleler arası sessizlik; virgul_ms: virgülde ek sessizlik."""
|
|
33
|
+
hiz: float = 1.0
|
|
34
|
+
tonlama: float = 1.0
|
|
35
|
+
duraklama_ms: int = 400
|
|
36
|
+
virgul_ms: int = 0
|
|
37
|
+
|
|
38
|
+
|
|
39
|
+
# Başlangıç değerleri: genel okuma pratiği (haber tempolu ve düz, masal yavaş ve hareketli, sohbet rahat
|
|
40
|
+
# ve hızlı). Ölçülmüş Türkçe değerler değildir; kulakla ayarlanır ve stüdyoda değiştirilebilir.
|
|
41
|
+
OKUMA = {
|
|
42
|
+
"haber": Okuma(hiz=1.05, tonlama=0.9, duraklama_ms=350),
|
|
43
|
+
"bilgi": Okuma(hiz=1.0, tonlama=1.0, duraklama_ms=400),
|
|
44
|
+
"talimat": Okuma(hiz=0.95, tonlama=0.85, duraklama_ms=500, virgul_ms=80),
|
|
45
|
+
"deneme": Okuma(hiz=0.97, tonlama=1.0, duraklama_ms=450),
|
|
46
|
+
"anlati": Okuma(hiz=0.93, tonlama=1.15, duraklama_ms=550, virgul_ms=60),
|
|
47
|
+
"masal": Okuma(hiz=0.88, tonlama=1.3, duraklama_ms=700, virgul_ms=100),
|
|
48
|
+
"sohbet": Okuma(hiz=1.07, tonlama=1.1, duraklama_ms=250),
|
|
49
|
+
}
|
|
50
|
+
|
|
51
|
+
|
|
52
|
+
def okuma_ayari(ad: str, **degisiklik) -> Okuma:
|
|
53
|
+
"""Üslubun varsayılan ayarı, istenen alanlar değiştirilmiş olarak (stüdyo kaydırıcıları)."""
|
|
54
|
+
return replace(OKUMA[ad], **degisiklik)
|
|
55
|
+
|
|
56
|
+
|
|
57
|
+
@dataclass
|
|
58
|
+
class Sonuc:
|
|
59
|
+
uslup: str
|
|
60
|
+
ayar: Okuma
|
|
61
|
+
gerekce: str
|
|
62
|
+
olasiliklar: dict[str, float] = field(default_factory=dict)
|
|
63
|
+
|
|
64
|
+
def sozluk(self) -> dict:
|
|
65
|
+
return {"uslup": self.uslup, "ad": AD[self.uslup], "ayar": asdict(self.ayar), "gerekce": self.gerekce,
|
|
66
|
+
"olasiliklar": self.olasiliklar}
|
|
67
|
+
|
|
68
|
+
|
|
69
|
+
def _cumleler(metin: str) -> list[str]:
|
|
70
|
+
try:
|
|
71
|
+
from turkce_normalize import cumleleri_ayir
|
|
72
|
+
return [c for c in cumleleri_ayir(metin, 0) if c.strip()]
|
|
73
|
+
except ImportError:
|
|
74
|
+
return [c for c in re.split(r"(?<=[.!?…])\s+", metin.strip()) if c]
|
|
75
|
+
|
|
76
|
+
|
|
77
|
+
def uslup(metin: str, model=None) -> Sonuc:
|
|
78
|
+
"""Metnin üslubu ve okuma ayarı. Önce kurallar (kaynaklı kalıplar), sonra model (varsa)."""
|
|
79
|
+
k = kural_uslubu(metin)
|
|
80
|
+
if k:
|
|
81
|
+
ad, neden = k
|
|
82
|
+
return Sonuc(ad, OKUMA[ad], f"kural: {neden}")
|
|
83
|
+
if model is None:
|
|
84
|
+
try:
|
|
85
|
+
from .model import varsayilan
|
|
86
|
+
model = varsayilan()
|
|
87
|
+
except FileNotFoundError:
|
|
88
|
+
return Sonuc("bilgi", OKUMA["bilgi"], "model yok, varsayılan")
|
|
89
|
+
cumleler = _cumleler(metin) or [metin]
|
|
90
|
+
p = model.metin_olasiligi(cumleler)
|
|
91
|
+
olas = {u: round(float(x), 4) for u, x in zip(model.usluplar, p)}
|
|
92
|
+
ad = max(olas, key=olas.get)
|
|
93
|
+
return Sonuc(ad, OKUMA[ad], f"model ({len(cumleler)} cümle, %{100 * olas[ad]:.0f})", olas)
|
|
@@ -0,0 +1,73 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""
|
|
3
|
+
KURALLAR — modelin göremediği ya da veride olmayan, kalıplaşmış açılışlar.
|
|
4
|
+
|
|
5
|
+
masal TDK: "bir varmış bir yokmuş" — "bir masala başlarken, 'eskiden' anlamında söylenen bir
|
|
6
|
+
tekerleme". Aynı geleneğin öteki başlangıç ve bitiş tekerlemeleri: "evvel zaman içinde,
|
|
7
|
+
kalbur saman içinde", "develer tellal iken, pireler berber iken", "onlar ermiş muradına",
|
|
8
|
+
"gökten üç elma düşmüş".
|
|
9
|
+
talimat Sesli duyuru (TDK: anons) açılışları: "sayın yolcularımız", "değerli müşterilerimiz",
|
|
10
|
+
"dikkatinize sunarız", "anons"; yönerge açılışları "kullanım kılavuzu", "adım adım".
|
|
11
|
+
talimat Yönerge dizisi: tarif, kılavuz ve yönergeler 2. çoğul / kibar emir kipiyle yazılır
|
|
12
|
+
(-(y)In, -(y)InIz; G&K §21.4.4.2). En az iki cümle ve cümlelerin yarısı bu kiple bitiyorsa ya da
|
|
13
|
+
bir cümle sıra sözüyle (önce, ardından, daha sonra, son olarak…) başlayıp bu kiple bitiyorsa.
|
|
14
|
+
Yalnız noktayla biten cümleler: konuşmadaki buyruklar ("Bekleyin!") çoğunlukla ünlemle biter.
|
|
15
|
+
Model burada zayıf: eğitimdeki talimat örnekleri tek kaynaktan (UD BOUN "ins") geliyor.
|
|
16
|
+
"""
|
|
17
|
+
from __future__ import annotations
|
|
18
|
+
|
|
19
|
+
import re
|
|
20
|
+
import unicodedata
|
|
21
|
+
|
|
22
|
+
_MASAL = re.compile(r"bir\s+varmış\s+bir\s+yokmuş|evvel\s+zaman\s+içinde|kalbur\s+saman\s+içinde|develer\s+tellal\s+iken|"
|
|
23
|
+
r"pireler\s+berber\s+iken|ermiş\s+muradına|gökten\s+üç\s+elma\s+düşmüş")
|
|
24
|
+
_DUYURU = re.compile(r"\b(?:sayın|değerli)\s+(?:yolcularımız|müşterilerimiz|ziyaretçilerimiz|velilerimiz|"
|
|
25
|
+
r"izleyicilerimiz|dinleyicilerimiz|seyircilerimiz|hemşehrilerimiz|vatandaşlarımız)\b|"
|
|
26
|
+
r"dikkatinize\s+sunarız|\banons\b")
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
_EMIR = re.compile(r"(?:[aeıioöuü]y)?[ıiuü]n(?:[ıiuü]z)?$")
|
|
30
|
+
# Aynı sesle biten, emir olmayan sık sözcükler (ad, sıfat, edat, ilgi/tamlayan eki almış sık adlar)
|
|
31
|
+
_EMIR_DEGIL = {"gün", "dün", "bütün", "için", "uzun", "kadın", "yakın", "akın", "ekin", "keskin", "yorgun",
|
|
32
|
+
"olgun", "durgun", "dalgın", "kalın", "sakin", "zengin", "bugün", "düğün", "salgın", "yangın",
|
|
33
|
+
"sonun", "benim", "senin", "onun", "bizim", "sizin", "kimin", "neyin", "hangisinin", "derin",
|
|
34
|
+
"serin", "engin", "yazın", "kışın", "sabahın", "akşamın", "gecenin"}
|
|
35
|
+
_SIRA = re.compile(r"^(?:önce|ilk\s+olarak|ilk\s+önce|öncelikle|ardından|daha\s+sonra|sonra|son\s+olarak|en\s+son)\b")
|
|
36
|
+
|
|
37
|
+
|
|
38
|
+
# Emir ekine benzeyen kişi ekleri: -sIn(Iz) (yanılıyorsunuz, olacaksın, etsin), geçmiş zaman -DIn(Iz)
|
|
39
|
+
# (demiştin, kurdunuz). Geçmiş zamanı "edin / gidin" gibi kısa emirlerden uzunluk ayırır.
|
|
40
|
+
_KISI = re.compile(r"s[ıiuü]n(?:[ıiuü]z)?$")
|
|
41
|
+
_GECMIS = re.compile(r"[dt][ıiuü]n(?:[ıiuü]z)?$")
|
|
42
|
+
_KISA_EMIR = {"edin", "ediniz", "gidin", "gidiniz"}
|
|
43
|
+
|
|
44
|
+
|
|
45
|
+
def _emirle_biter(cumle: str) -> bool:
|
|
46
|
+
w = re.findall(r"[a-zçğıöşüâîû]+", cumle)
|
|
47
|
+
if not w or cumle.rstrip()[-1:] not in (".", ""):
|
|
48
|
+
return False
|
|
49
|
+
s = w[-1]
|
|
50
|
+
if s in _KISA_EMIR:
|
|
51
|
+
return True
|
|
52
|
+
if len(s) <= 3 or s in _EMIR_DEGIL or not _EMIR.search(s) or _KISI.search(s):
|
|
53
|
+
return False
|
|
54
|
+
return not (_GECMIS.search(s) and len(s) > 5)
|
|
55
|
+
|
|
56
|
+
|
|
57
|
+
def _kucuk(s: str) -> str:
|
|
58
|
+
return unicodedata.normalize("NFC", s.replace("I", "ı").replace("İ", "i")).lower()
|
|
59
|
+
|
|
60
|
+
|
|
61
|
+
def kural_uslubu(metin: str) -> tuple[str, str] | None:
|
|
62
|
+
k = _kucuk(metin)
|
|
63
|
+
if (m := _MASAL.search(k)):
|
|
64
|
+
return "masal", f"masal tekerlemesi ({m.group(0)})"
|
|
65
|
+
if (m := _DUYURU.search(k[:200])):
|
|
66
|
+
return "talimat", f"duyuru kalıbı ({m.group(0)})"
|
|
67
|
+
cumleler = [c.strip() for c in re.split(r"(?<=[.!?…])\s+", k) if c.strip()]
|
|
68
|
+
emir = [c for c in cumleler if _emirle_biter(c)]
|
|
69
|
+
if len(emir) >= 2 and len(emir) * 2 >= len(cumleler):
|
|
70
|
+
return "talimat", f"yönerge dizisi ({len(emir)}/{len(cumleler)} cümle emir kipiyle bitiyor)"
|
|
71
|
+
if any(_SIRA.match(c) for c in emir):
|
|
72
|
+
return "talimat", "sıra sözü + emir kipi"
|
|
73
|
+
return None
|
|
Binary file
|
|
@@ -0,0 +1,152 @@
|
|
|
1
|
+
# -*- coding: utf-8 -*-
|
|
2
|
+
"""
|
|
3
|
+
ÜSLUP MODELLERİ
|
|
4
|
+
BertUslupModeli BERTurk ince ayarı, ONNX (model/bert_onnx; egit/egit_bert.py + egit/aktar_bert.py).
|
|
5
|
+
Sınavda tek cümle %68,5, 5 cümlelik metin %96,1. Gerekenler: onnxruntime, tokenizers.
|
|
6
|
+
UslupModeli TF-IDF (karakter 2-5 gram + sözcük + noktalama) + lojistik regresyon; yalnız numpy
|
|
7
|
+
(model/uslup.npz). Tek cümle %52,5, 5 cümle %77,0. Hafif yedek.
|
|
8
|
+
varsayilan(): BERTurk varsa o, yoksa TF-IDF. TURKCE_USLUP_MOTOR=tfidf ile TF-IDF'e zorlanır.
|
|
9
|
+
TF-IDF modeli pakette gelir (turkce_uslup/model/uslup.npz). BERTurk yerelde yoksa Hugging Face'ten iner
|
|
10
|
+
(TURKCE_USLUP_HF deposu, ilk kullanımda; TURKCE_USLUP_INDIRME=0 ya da HF_HUB_OFFLINE=1 ile kapalı):
|
|
11
|
+
pip install "turkce-uslup[bert]".
|
|
12
|
+
"""
|
|
13
|
+
from __future__ import annotations
|
|
14
|
+
|
|
15
|
+
import math
|
|
16
|
+
import os
|
|
17
|
+
import re
|
|
18
|
+
import unicodedata
|
|
19
|
+
from collections import Counter
|
|
20
|
+
from functools import lru_cache
|
|
21
|
+
from pathlib import Path
|
|
22
|
+
|
|
23
|
+
import numpy as np
|
|
24
|
+
|
|
25
|
+
_PAKET = Path(__file__).resolve().parent
|
|
26
|
+
HF_DEPO = os.environ.get("TURKCE_USLUP_HF", "seslen-tr/turkce-uslup")
|
|
27
|
+
|
|
28
|
+
|
|
29
|
+
def _hf_indir() -> Path | None:
|
|
30
|
+
"""BERTurk üslup modeli yerelde yoksa Hugging Face'ten (bert_onnx/). Kurulu değilse ya da kapalıysa None."""
|
|
31
|
+
if os.environ.get("TURKCE_USLUP_INDIRME") == "0":
|
|
32
|
+
return None
|
|
33
|
+
try:
|
|
34
|
+
from huggingface_hub import snapshot_download
|
|
35
|
+
return Path(snapshot_download(HF_DEPO, allow_patterns=["bert_onnx/*"])) / "bert_onnx"
|
|
36
|
+
except Exception:
|
|
37
|
+
return None
|
|
38
|
+
|
|
39
|
+
|
|
40
|
+
def kucuk(s: str) -> str:
|
|
41
|
+
return unicodedata.normalize("NFC", s.replace("I", "ı").replace("İ", "i")).lower()
|
|
42
|
+
|
|
43
|
+
|
|
44
|
+
def ozellikler(metin: str) -> list[str]:
|
|
45
|
+
"""Karakter 2-5 gramları (sözcük sınırlı), sözcükler, noktalama ve biçim ipuçları."""
|
|
46
|
+
k = kucuk(metin)
|
|
47
|
+
out = []
|
|
48
|
+
for w in re.findall(r"[a-zçğıöşüâîû]+", k):
|
|
49
|
+
p = f" {w} "
|
|
50
|
+
out += [p[i:i + n] for n in range(2, 6) for i in range(len(p) - n + 1)]
|
|
51
|
+
out.append("S:" + w)
|
|
52
|
+
out += ["N:" + c for c in re.findall(r"[?!…:;\"“”'()\-–—%]", metin)]
|
|
53
|
+
if re.search(r"\d", metin):
|
|
54
|
+
out.append("B:rakam")
|
|
55
|
+
if metin[:1].isupper():
|
|
56
|
+
out.append("B:buyuk_bas")
|
|
57
|
+
n = len(metin.split())
|
|
58
|
+
out.append("B:uzunluk_" + ("kisa" if n <= 6 else "orta" if n <= 15 else "uzun"))
|
|
59
|
+
return out
|
|
60
|
+
|
|
61
|
+
|
|
62
|
+
def _klasor(klasor: str | Path | None) -> Path:
|
|
63
|
+
for a in ([Path(klasor)] if klasor else []) + ([Path(os.environ["TURKCE_USLUP_MODEL"])]
|
|
64
|
+
if os.environ.get("TURKCE_USLUP_MODEL") else []) \
|
|
65
|
+
+ [_PAKET / "model", _PAKET.parent / "model"]:
|
|
66
|
+
if (a / "uslup.npz").exists():
|
|
67
|
+
return a
|
|
68
|
+
raise FileNotFoundError("üslup modeli (uslup.npz) bulunamadı; TURKCE_USLUP_MODEL ile klasörü gösterin")
|
|
69
|
+
|
|
70
|
+
|
|
71
|
+
class UslupModeli:
|
|
72
|
+
def __init__(self, klasor: str | Path | None = None):
|
|
73
|
+
v = np.load(_klasor(klasor) / "uslup.npz", allow_pickle=False)
|
|
74
|
+
self.usluplar: list[str] = [str(x) for x in v["usluplar"]]
|
|
75
|
+
self.sozluk = {str(s): i for i, s in enumerate(v["sozluk"])}
|
|
76
|
+
self.idf, self.w, self.b = v["idf"], v["agirlik"], v["sapma"]
|
|
77
|
+
|
|
78
|
+
def logit(self, cumleler: list[str]) -> np.ndarray:
|
|
79
|
+
out = np.zeros((len(cumleler), len(self.usluplar)), dtype=np.float32)
|
|
80
|
+
for r, c in enumerate(cumleler):
|
|
81
|
+
say = Counter(i for i in (self.sozluk.get(f) for f in ozellikler(c)) if i is not None)
|
|
82
|
+
if not say:
|
|
83
|
+
out[r] = self.b
|
|
84
|
+
continue
|
|
85
|
+
idx = np.fromiter(say.keys(), dtype=np.int64)
|
|
86
|
+
deg = np.array([1 + math.log(n) for n in say.values()], dtype=np.float32) * self.idf[idx]
|
|
87
|
+
deg /= np.linalg.norm(deg) or 1.0
|
|
88
|
+
out[r] = self.w[:, idx] @ deg + self.b
|
|
89
|
+
return out
|
|
90
|
+
|
|
91
|
+
def olasiliklar(self, cumleler: list[str]) -> np.ndarray:
|
|
92
|
+
z = self.logit(cumleler)
|
|
93
|
+
z = np.exp(z - z.max(1, keepdims=True))
|
|
94
|
+
return z / z.sum(1, keepdims=True)
|
|
95
|
+
|
|
96
|
+
def metin_olasiligi(self, cumleler: list[str]) -> np.ndarray:
|
|
97
|
+
"""Metnin üslubu: cümlelerin log-olasılık ortalaması (üslup metnin özelliğidir, tek cümle gürültülü)."""
|
|
98
|
+
lp = np.log(self.olasiliklar(cumleler) + 1e-9).mean(0)
|
|
99
|
+
z = np.exp(lp - lp.max())
|
|
100
|
+
return z / z.sum()
|
|
101
|
+
|
|
102
|
+
|
|
103
|
+
class BertUslupModeli:
|
|
104
|
+
def __init__(self, klasor: str | Path | None = None, is_parcacigi: int = 0):
|
|
105
|
+
import json
|
|
106
|
+
|
|
107
|
+
import onnxruntime as ort
|
|
108
|
+
from tokenizers import Tokenizer
|
|
109
|
+
k = _bert_klasor(klasor)
|
|
110
|
+
ayar = json.loads((k / "etiketler.json").read_text(encoding="utf-8"))
|
|
111
|
+
self.usluplar: list[str] = ayar["usluplar"]
|
|
112
|
+
self.tok = Tokenizer.from_file(str(k / "tokenizer.json"))
|
|
113
|
+
self.tok.enable_truncation(int(ayar.get("uzunluk", 96)))
|
|
114
|
+
self.tok.enable_padding(pad_id=self.tok.token_to_id("[PAD]") or 0)
|
|
115
|
+
se = ort.SessionOptions()
|
|
116
|
+
if is_parcacigi:
|
|
117
|
+
se.intra_op_num_threads = is_parcacigi
|
|
118
|
+
self.oturum = ort.InferenceSession(str(k / "uslup.onnx"), se, providers=["CPUExecutionProvider"])
|
|
119
|
+
|
|
120
|
+
def olasiliklar(self, cumleler: list[str]) -> np.ndarray:
|
|
121
|
+
if not cumleler:
|
|
122
|
+
return np.zeros((0, len(self.usluplar)), dtype=np.float32)
|
|
123
|
+
kod = self.tok.encode_batch(cumleler)
|
|
124
|
+
g = {"input_ids": np.array([e.ids for e in kod], dtype=np.int64),
|
|
125
|
+
"attention_mask": np.array([e.attention_mask for e in kod], dtype=np.int64),
|
|
126
|
+
"token_type_ids": np.array([e.type_ids for e in kod], dtype=np.int64)}
|
|
127
|
+
z = self.oturum.run(None, g)[0]
|
|
128
|
+
z = np.exp(z - z.max(1, keepdims=True))
|
|
129
|
+
return z / z.sum(1, keepdims=True)
|
|
130
|
+
|
|
131
|
+
metin_olasiligi = UslupModeli.metin_olasiligi
|
|
132
|
+
|
|
133
|
+
|
|
134
|
+
def _bert_klasor(klasor: str | Path | None) -> Path:
|
|
135
|
+
for a in ([Path(klasor)] if klasor else []) + ([Path(os.environ["TURKCE_USLUP_BERT"])]
|
|
136
|
+
if os.environ.get("TURKCE_USLUP_BERT") else []) + [_PAKET / "model" / "bert_onnx", _PAKET.parent / "model" / "bert_onnx"]:
|
|
137
|
+
if (a / "uslup.onnx").exists():
|
|
138
|
+
return a
|
|
139
|
+
if (a := _hf_indir()) is not None and (a / "uslup.onnx").exists():
|
|
140
|
+
return a
|
|
141
|
+
raise FileNotFoundError(f"BERTurk üslup modeli (bert_onnx/uslup.onnx) bulunamadı; pip install \"turkce-uslup[bert]\" "
|
|
142
|
+
f"ile Hugging Face'ten ({HF_DEPO}) iner ya da TURKCE_USLUP_BERT ile klasörü gösterin")
|
|
143
|
+
|
|
144
|
+
|
|
145
|
+
@lru_cache(maxsize=1)
|
|
146
|
+
def varsayilan() -> "BertUslupModeli | UslupModeli":
|
|
147
|
+
if os.environ.get("TURKCE_USLUP_MOTOR", "").lower() != "tfidf":
|
|
148
|
+
try:
|
|
149
|
+
return BertUslupModeli()
|
|
150
|
+
except (FileNotFoundError, ImportError):
|
|
151
|
+
pass
|
|
152
|
+
return UslupModeli()
|
|
@@ -0,0 +1,140 @@
|
|
|
1
|
+
Metadata-Version: 2.4
|
|
2
|
+
Name: turkce-uslup
|
|
3
|
+
Version: 0.1.0
|
|
4
|
+
Summary: Türkçe metnin üslubu (haber, bilgi, talimat/duyuru, deneme, anlatı, masal, sohbet) ve seslendirme okuma ayarı; yalnız numpy
|
|
5
|
+
Author: Mehmet Veysel Delibaş
|
|
6
|
+
License-Expression: MIT AND CC-BY-SA-4.0
|
|
7
|
+
Project-URL: Homepage, https://github.com/seslen-tr/turkce-uslup
|
|
8
|
+
Project-URL: Source, https://github.com/seslen-tr/turkce-uslup
|
|
9
|
+
Project-URL: Issues, https://github.com/seslen-tr/turkce-uslup/issues
|
|
10
|
+
Requires-Python: >=3.9
|
|
11
|
+
Description-Content-Type: text/markdown
|
|
12
|
+
License-File: LICENSE
|
|
13
|
+
Requires-Dist: numpy
|
|
14
|
+
Provides-Extra: bert
|
|
15
|
+
Requires-Dist: onnxruntime>=1.16; extra == "bert"
|
|
16
|
+
Requires-Dist: tokenizers>=0.15; extra == "bert"
|
|
17
|
+
Requires-Dist: huggingface_hub>=0.20; extra == "bert"
|
|
18
|
+
Provides-Extra: egitim
|
|
19
|
+
Requires-Dist: scikit-learn; extra == "egitim"
|
|
20
|
+
Requires-Dist: pyarrow; extra == "egitim"
|
|
21
|
+
Requires-Dist: huggingface_hub; extra == "egitim"
|
|
22
|
+
Dynamic: license-file
|
|
23
|
+
|
|
24
|
+
# turkce-uslup
|
|
25
|
+
|
|
26
|
+
> **English:** Detects the genre of a Turkish text (news, informative, instructions/announcement, essay, narrative, fairy tale, conversation) and suggests reading settings for TTS: speed, pitch range, pause between sentences and after commas. Ships with a 1.3 MB TF-IDF model (numpy only, works offline); an optional fine-tuned BERTurk model is downloaded from Hugging Face.
|
|
27
|
+
|
|
28
|
+
Türkçe metnin **üslubunu** bulur ve seslendirme için **okuma ayarı** önerir: hız, tonlama genişliği,
|
|
29
|
+
cümle arası duraklama, virgül duraklaması. Bağımlılığı yalnız numpy, model 1,3 MB, yanıtı anlıktır.
|
|
30
|
+
|
|
31
|
+
```python
|
|
32
|
+
from turkce_uslup import uslup, okuma_ayari
|
|
33
|
+
|
|
34
|
+
r = uslup("Bir varmış bir yokmuş, evvel zaman içinde küçük bir köyde yaşlı bir değirmenci yaşarmış.")
|
|
35
|
+
r.uslup # 'masal'
|
|
36
|
+
r.ayar # Okuma(hiz=0.88, tonlama=1.3, duraklama_ms=700, virgul_ms=100)
|
|
37
|
+
|
|
38
|
+
okuma_ayari("haber", hiz=1.2) # stüdyoda değiştirilen ayar: üslubun geri kalanı korunur
|
|
39
|
+
```
|
|
40
|
+
|
|
41
|
+
## Neden
|
|
42
|
+
|
|
43
|
+
Aynı nötr cümle üsluba göre başka okunur. Haber tempolu ve düz okunur. Masal yavaş, hareketli ve
|
|
44
|
+
duraklamalı okunur. Sohbet rahat ve hızlı akar. Duygu (neşeli, üzgün…) cümlenin tonudur; üslup ise
|
|
45
|
+
metnin bütününün türüdür. İkisi birbirinden ayrı ayarlanmalıdır. Duygu için kardeş proje
|
|
46
|
+
[turkce-duygu](https://github.com/seslen-tr/turkce-duygu)'ya bakın.
|
|
47
|
+
|
|
48
|
+
## Üsluplar ve okuma ayarları
|
|
49
|
+
|
|
50
|
+
| Üslup | Örnek | hız | tonlama | duraklama | virgül |
|
|
51
|
+
|---|---|---|---|---|---|
|
|
52
|
+
| haber | ulusal gazete haberi | 1,05 | 0,9 | 350 ms | — |
|
|
53
|
+
| bilgi | ansiklopedi, biyografi | 1,0 | 1,0 | 400 ms | — |
|
|
54
|
+
| talimat | kullanım kılavuzu, sesli duyuru | 0,95 | 0,85 | 500 ms | +80 ms |
|
|
55
|
+
| deneme | deneme, köşe yazısı, popüler kültür | 0,97 | 1,0 | 450 ms | — |
|
|
56
|
+
| anlati | hikâye, roman | 0,93 | 1,15 | 550 ms | +60 ms |
|
|
57
|
+
| masal | masal (tekerlemeyle tanınır) | 0,88 | 1,3 | 700 ms | +100 ms |
|
|
58
|
+
| sohbet | diyalog, konuşma dili | 1,07 | 1,1 | 250 ms | — |
|
|
59
|
+
|
|
60
|
+
**Ayarların anlamı:**
|
|
61
|
+
- **hız:** 1 = sesin doğal hızı.
|
|
62
|
+
- **tonlama:** perdenin ortalama etrafındaki dalgalanmasının çarpanı. 1 doğal, büyükse daha hareketli.
|
|
63
|
+
- **duraklama:** cümleler arası sessizlik.
|
|
64
|
+
- **virgül:** virgülde eklenen sessizlik.
|
|
65
|
+
|
|
66
|
+
Değerler genel okuma pratiğine dayanan **başlangıç değerleridir**, ölçülmüş Türkçe normlar değildir.
|
|
67
|
+
Kulakla ayarlanır ve her biri `okuma_ayari(..., alan=değer)` ile değiştirilebilir.
|
|
68
|
+
|
|
69
|
+
## Nasıl çalışır
|
|
70
|
+
|
|
71
|
+
1. **Kurallar.** Masal tekerlemeleri: "bir varmış bir yokmuş" (TDK, "bir masala başlarken … söylenen bir
|
|
72
|
+
tekerleme"), "evvel zaman içinde", "kalbur saman içinde", "onlar ermiş muradına". Duyuru kalıpları:
|
|
73
|
+
"sayın yolcularımız", "değerli müşterilerimiz", "dikkatinize sunarız". Yönerge dizileri: tarif,
|
|
74
|
+
kılavuz ve yönergeler kibar emir kipiyle yazılır (-(y)In, -(y)InIz; Göksel & Kerslake §21.4.4.2).
|
|
75
|
+
En az iki cümle bu kiple bitiyorsa ya da bir cümle sıra sözüyle ("önce", "ardından", "son olarak")
|
|
76
|
+
başlayıp bu kiple bitiyorsa talimat sayılır. Kişi ekleri (yanılıyor-sunuz, yap-tınız) ve konuşmadaki
|
|
77
|
+
ünlemli buyruklar ("Bekleyin!") hariç tutulur. Bu kural doğrulama ve sınav kümelerinde doğruluğu
|
|
78
|
+
değiştirmedi; modelin talimatta zayıf kaldığı gerçek yönergeleri yakalar.
|
|
79
|
+
2. **Model.** İki model var; `varsayilan()` BERTurk varsa onu, yoksa TF-IDF'i kullanır
|
|
80
|
+
(`TURKCE_USLUP_MOTOR=tfidf` ile TF-IDF'e zorlanır). Metnin üslubu, cümlelerin log-olasılıklarının
|
|
81
|
+
ortalamasıdır.
|
|
82
|
+
- **BERTurk** ([dbmdz/bert-base-turkish-cased](https://huggingface.co/dbmdz/bert-base-turkish-cased))
|
|
83
|
+
ince ayarı, ONNX olarak (`model/bert_onnx`, 443 MB, cümle başına ~10–25 ms). ONNX ↔ PyTorch en büyük
|
|
84
|
+
olasılık farkı 5·10⁻⁶. int8 sıkıştırma doğrulamada 0,5 puan kaybettirdiği için fp32. Gerekenler:
|
|
85
|
+
onnxruntime, tokenizers.
|
|
86
|
+
- **TF-IDF** (karakter 2-5 gram, sözcük, noktalama) + çok sınıflı lojistik regresyon (`model/uslup.npz`).
|
|
87
|
+
Çalışma anında yalnız numpy; sklearn çıktısıyla birebir aynı (en büyük olasılık farkı 4·10⁻⁷).
|
|
88
|
+
Hafif yedek.
|
|
89
|
+
|
|
90
|
+
| Üslup | Eğitim verisi | Lisans |
|
|
91
|
+
|---|---|---|
|
|
92
|
+
| haber, talimat, deneme, bilgi (bir kısmı) | [UD Turkish-BOUN](https://github.com/UniversalDependencies/UD_Turkish-BOUN) (Türkçe Ulusal Derlem'den; tür cümle kimliğinde) | CC BY-SA 4.0 |
|
|
93
|
+
| bilgi | Türkçe Vikipedi | CC BY-SA 4.0 |
|
|
94
|
+
| anlati | Common Voice Türkçe cümle derlemi | CC0 |
|
|
95
|
+
| sohbet | [XED](https://github.com/Helsinki-NLP/XED) Türkçe altyazılar | CC BY 4.0 |
|
|
96
|
+
|
|
97
|
+
## Doğruluk
|
|
98
|
+
|
|
99
|
+
Sınav kümesinde ölçüldü (1.604 cümle; eğitimde ve ayar seçiminde kullanılmadı).
|
|
100
|
+
|
|
101
|
+
| Ölçü | BERTurk | TF-IDF |
|
|
102
|
+
|---|---|---|
|
|
103
|
+
| Tek cümle (6 üslup, şans %17) | **%68,5** | %52,5 |
|
|
104
|
+
| Metin, 3 cümle | **%89,9** | %71,2 |
|
|
105
|
+
| Metin, 5 cümle | **%96,1** | %77,0 |
|
|
106
|
+
| Metin, 10 cümle | **%99,7** | %90,6 |
|
|
107
|
+
|
|
108
|
+
İkisinin birleşimi (log-olasılık ortalaması) BERTurk'ten anlamlı ölçüde iyi değil (tek cümle %68,6).
|
|
109
|
+
Kaynak kaynak sonuçlar `degerlendirme/bert_sonuc.json` dosyasında.
|
|
110
|
+
|
|
111
|
+
"Metin": aynı üsluptan rastgele seçilen k cümle. Veride gerçek paragraf yoktur.
|
|
112
|
+
|
|
113
|
+
**Sınırlar:**
|
|
114
|
+
- **Kaynak etkisi.** "bilgi" üslubunda Vikipedi cümleleri %99 (TF-IDF %89) doğru bulunur, BOUN
|
|
115
|
+
biyografileri yalnız %37 (TF-IDF %23). Model türün yanında kaynağın yazım tarzını da öğreniyor.
|
|
116
|
+
- **Talimat verisi tek kaynaklı.** Eğitimdeki talimat cümleleri BOUN'un "ins" türünden; gündelik tarif ve
|
|
117
|
+
kullanım yönergelerini model çoğu zaman "deneme" sanıyor. Bu yüzden kural eklendi (yukarıda).
|
|
118
|
+
- **Benzer türler karışır.** Gazete haberi, deneme ve biyografi birbirine benzer yazı dilleridir.
|
|
119
|
+
- **Tek cümle güvenilir değildir.** Kısa metinlerde stüdyoda elle seçim önerilir.
|
|
120
|
+
- **Kurallar yalnız açık kalıpları tanır.** Tekerlemesiz bir masal model tarafından "anlatı" olarak
|
|
121
|
+
bulunur.
|
|
122
|
+
|
|
123
|
+
## Yeniden eğitmek
|
|
124
|
+
|
|
125
|
+
```
|
|
126
|
+
pip install turkce-uslup[egitim]
|
|
127
|
+
python egit/veri.py # kaynaklar sabit sürümlerden; MD5'e göre bölme
|
|
128
|
+
python egit/egit.py # TF-IDF: birkaç dakika, işlemcide
|
|
129
|
+
python degerlendirme/olc.py
|
|
130
|
+
python egit/egit_bert.py # BERTurk: GPU'da birkaç dakika (RTX 3050'de ~6 dk), işlemcide saatler
|
|
131
|
+
python egit/aktar_bert.py # ONNX + eşdeğerlik kapısı → model/bert_onnx
|
|
132
|
+
```
|
|
133
|
+
|
|
134
|
+
## Lisans
|
|
135
|
+
|
|
136
|
+
Kod MIT ([LICENSE](LICENSE)). Modeller (`model/uslup.npz`, `model/bert_onnx`) UD Turkish-BOUN ve Vikipedi
|
|
137
|
+
türevi olduğu için **CC BY-SA 4.0**; BERTurk başlangıç modeli MIT; XED (CC BY 4.0) ve Common Voice (CC0) atıfları yukarıda.
|
|
138
|
+
|
|
139
|
+
Kardeş projeler: [turkce-duygu](https://github.com/seslen-tr/turkce-duygu), [turkce-vurgu](https://github.com/seslen-tr/turkce-vurgu),
|
|
140
|
+
[turkce-normalize](https://github.com/seslen-tr/turkce-normalize), [turkce-plbert](https://github.com/seslen-tr/turkce-plbert), [turkce-tts-sinav](https://github.com/seslen-tr/turkce-tts-sinav).
|
|
@@ -0,0 +1,13 @@
|
|
|
1
|
+
LICENSE
|
|
2
|
+
README.md
|
|
3
|
+
pyproject.toml
|
|
4
|
+
tests/test_uslup.py
|
|
5
|
+
turkce_uslup/__init__.py
|
|
6
|
+
turkce_uslup/kurallar.py
|
|
7
|
+
turkce_uslup/model.py
|
|
8
|
+
turkce_uslup.egg-info/PKG-INFO
|
|
9
|
+
turkce_uslup.egg-info/SOURCES.txt
|
|
10
|
+
turkce_uslup.egg-info/dependency_links.txt
|
|
11
|
+
turkce_uslup.egg-info/requires.txt
|
|
12
|
+
turkce_uslup.egg-info/top_level.txt
|
|
13
|
+
turkce_uslup/model/uslup.npz
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
|
|
@@ -0,0 +1 @@
|
|
|
1
|
+
turkce_uslup
|