cld3 3.4.3 → 3.4.4

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 2c161cbf12d260074efd2e9db3981b6615af20ee04c234d6b2710bd52a283a4e
-  data.tar.gz: c388ae6b529d95e015ecdb7d21cdd7f1ceaca72d167d0f8008b5477d5bce5b3c
+  metadata.gz: f40e4947fea97543686caceba0082bdba30b5ae0485a25b41004ad048057b0ad
+  data.tar.gz: e45c60300550caf513fdde6bcbc05e68e1063bf9ad8074626bf5f88f4a6f77bd
 SHA512:
-  metadata.gz: 8e3c1c07283730e722c450acc308a497756fd501595a02a7fc066d0b3e59b96e1ab1e7941549293b02e41274b176772bdae3779a041eb28f8ae53f5c44308cc0
-  data.tar.gz: 52e95027de7a595b2eabc49745a11f664e305c18f9926bc9d649642a92fea9846efdd23da699529795d80609b8871b00e77f9379449d2e4f6cb79ecbcf2785db
+  metadata.gz: 393fc138a279ee42c3de90c49bcc982e55860f74e2796d4c895d0f2f175894bcb1ec1bbe796811f896a16be9cc97943e1309cbe175bc029a510b4c51b2f700da
+  data.tar.gz: d16e8c87e7d12cc90cc1a4babb4873df8f553d9527e1d69a548a250ae0b240f79a6338070bbc88cbb0e23db48c23ef0393cd4b62e0ac673722ace81ce1564895

data/Gemfile

@@ -15,4 +15,5 @@
 #==============================================================================
 
 source 'https://rubygems.org'
+gem 'steep', github: 'akihikodaki/steep', branch: 'cld3'
 gemspec

data/README.md

@@ -41,24 +41,6 @@ JRuby has a bug which prevents the feature detection. Apply the following
 change:
 https://github.com/jruby/jruby/pull/4118/commits/edad375ef4dcf195b19ce0afe4befac66468c736
 
-#### OpenBSD
-Ruby has a bug which recognizes non-fatal linker warnings as fatal. Apply the
-following patch to Ruby to workaround the bug.
-
-```diff
---- a/lib/mkmf.rb
-+++ b/lib/mkmf.rb
-@@ -657,7 +657,7 @@ def with_ldflags(flags)
-   end
- 
-   def try_ldflags(flags, opts = {})
--    try_link(MAIN_DOES_NOTHING, flags, {:werror => true}.update(opts))
-+    try_link(MAIN_DOES_NOTHING, flags, {:werror => false}.update(opts))
-   end
- 
-   def append_ldflags(flags, *opts)
-```
-
 ### Troubleshooting
 `gem install cld3` triggers native library building. If it fails, you are likely
 to missing required facilities. Make sure C++ compiler and protocol buffers

data/cld3.gemspec

@@ -16,7 +16,7 @@
 
 Gem::Specification.new do |gem|
   gem.name = "cld3"
-  gem.version = "3.4.3"
+  gem.version = "3.4.4"
   gem.summary = "Compact Language Detector v3 (CLD3)"
   gem.description = "Compact Language Detector v3 (CLD3) is a neural network model for language identification."
   gem.license = "Apache-2.0"
@@ -27,7 +27,7 @@ Gem::Specification.new do |gem|
   gem.add_dependency "ffi", [ ">= 1.1.0", "< 1.16.0" ]
   gem.add_development_dependency "rbs", [ ">= 1.7.0", "< 1.8.0" ]
   gem.add_development_dependency "rspec", [ ">=3.0.0", "< 3.11.0" ]
-  gem.add_development_dependency "steep", [ ">= 0.46.0", "< 0.47.0" ]
+  gem.add_development_dependency "steep", [ ">= 0.47.0", "< 0.48.0" ]
   gem.files = Dir[
     "Gemfile", "LICENSE", "LICENSE_CLD3", "README.md",
     "cld3.gemspec", "ext/**/*", "lib/**/*", "sig/**/*"

data/lib/a.rb

@@ -0,0 +1,24 @@
+require "cld3"
+
+# Kafka text as an example + the word Velcro
+text = "Πολυαγαπημένε πατέρα πρόσφατα Velcro με ρώτησες κάποια φορά γιατί ισχυρίζομαι πως σε φοβάμαι. Εγώ δεν ήξερα, ως συνήθως, τι να σου απαντήσω, εν μέρει ακριβώς λόγω του φόβου που νιώθω για σένα, εν μέρει επειδή στην αιτιολόγηση του φόβου αυτού συγκαταλέγονται πάρα πολλές λεπτομέρειες, που εν τη ρύμη του λόγου εγώ ούτε κατά το ήμισυ δεν θα μπορούσα να τις συγκρατήσω. Κι αν εδώ προσπαθώ να σου απαντήσω γραπτώς, μόνο ανολοκλήρωτο κατά πολύ θα αποβεί και τούτο, επειδή και κατά τη γραφή ο φόβος και οι συνέπειές του με κωλύουν έναντί σου κι επειδή το μέγεθος του υλικού εν γένει υπερβαίνει κατά πολύ τη μνήμη μου και το λογικό μου. Για σένα το ζήτημα αποδεικνυόταν πάντοτε πολύ απλό, τουλάχιστον στον βαθμό που μιλούσες εσύ γι’ αυτό ενώπιόν μου και, αδιακρίτως, ενώπιον πολλών άλλων. Εσένα σου φαινόταν να είναι κάπως έτσι: Εσύ εργαζόσουν σκληρά σ’ όλη σου τη ζωή, τα πάντα για τα παιδιά σου, προ πάντων για εμένα τα θυσίαζες, εγώ έκαμνα συνεπώς «ζωή χαρισάμενη», είχα πλήρη ελευθερία να μάθω ό,τι ήθελα, κανέναν λόγο δεν είχα να έχω έγνοιες για την καθημερινή διατροφή, να έχω έγνοιες συνεπώς εν γένει• εσύ αντ’ αυτών καμμίαν ευγνωμοσύνη δεν αξίωνες, γνωρίζεις «την ευγνωμοσύνη των παιδιών, αλλά εν τούτοις τουλάχιστον μια "
+pp text.bytesize
+
+200.times { |i|
+  max_bytes = 500 + i * 10
+  cld3 = CLD3::NNetLanguageIdentifier.new("foo", max_bytes)
+
+  lang = cld3.find_language(text)
+  lang2 = cld3.find_top_n_most_freq_langs(text, 1)
+
+  puts "When max_bytes is #{max_bytes} probability is less than 0.999: #{lang.probability}" if lang.probability < 0.999
+
+  if lang.language != :el
+    puts "When max_bytes is #{max_bytes} then cld3::find_language returns #{lang.language},
+      find_top_n_most_freq_langs returns #{lang2.first.language}"
+    #pp lang
+    #pp lang2
+  end
+}
+
+puts "Size: #{text.length} - Bytesize: #{text.encode(Encoding::UTF_8).bytesize}"

data/lib/cld3.rb

@@ -74,14 +74,15 @@ module CLD3
     # @type const Result: untyped
     Result = Struct.new(:language, :probability, :reliable?, :proportion, :byte_ranges)
 
-    # The arguments are two String objects.
+    # The arguments are two Numeric objects.
     def initialize(min_num_bytes = MIN_NUM_BYTES_TO_CONSIDER, max_num_bytes = MAX_NUM_BYTES_TO_CONSIDER)
+      raise ArgumentError if max_num_bytes <= 0 || min_num_bytes < 0 || min_num_bytes >= max_num_bytes
       @cc = Unstable::NNetLanguageIdentifier::Pointer.new(Unstable.new_NNetLanguageIdentifier(min_num_bytes, max_num_bytes))
     end
 
     # Finds the most likely language for the given text, along with additional
     # information (e.g., probability). The prediction is based on the first N
-    # bytes where N is the minumum between the number of interchange valid UTF8
+    # bytes where N is the minimum between the number of interchange valid UTF8
     # bytes and +max_num_bytes_+. If N is less than +min_num_bytes_+ long, then
     # this function returns nil.
     # The argument is a String object.

metadata

@@ -1,14 +1,14 @@
 --- !ruby/object:Gem::Specification
 name: cld3
 version: !ruby/object:Gem::Version
-  version: 3.4.3
+  version: 3.4.4
 platform: ruby
 authors:
 - Akihiko Odaki
 autorequire:
 bindir: bin
 cert_chain: []
-date: 2021-11-25 00:00:00.000000000 Z
+date: 2022-01-20 00:00:00.000000000 Z
 dependencies:
 - !ruby/object:Gem::Dependency
   name: ffi
@@ -76,20 +76,20 @@ dependencies:
     requirements:
     - - ">="
       - !ruby/object:Gem::Version
-        version: 0.46.0
+        version: 0.47.0
     - - "<"
       - !ruby/object:Gem::Version
-        version: 0.47.0
+        version: 0.48.0
   type: :development
   prerelease: false
   version_requirements: !ruby/object:Gem::Requirement
     requirements:
     - - ">="
       - !ruby/object:Gem::Version
-        version: 0.46.0
+        version: 0.47.0
     - - "<"
       - !ruby/object:Gem::Version
-        version: 0.47.0
+        version: 0.48.0
 description: Compact Language Detector v3 (CLD3) is a neural network model for language
   identification.
 email: akihiko.odaki@gmail.com
@@ -199,6 +199,7 @@ files:
 - ext/cld3/workspace.cc
 - ext/cld3/workspace.h
 - ext/cld3/workspace.o
+- lib/a.rb
 - lib/cld3.rb
 - lib/cld3/unstable.rb
 - sig/cld3.rbs