llama_cpp 0.23.7 → 0.23.9

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: a758c0d22d950187f8512312c4866a37a128e3092ca842d18bf499465957ef62
-  data.tar.gz: 7dd5c14b42e608ee03af4f436b0c1eee8ba985dabc7a52a893aaef67068b43c4
+  metadata.gz: 68f7460b6ab553b85308547847c5883ea0c38c32cdc27cd8e6584ec0e91a8e25
+  data.tar.gz: ece3d349b204f06232f8ffdaccb989bf679475526e10e2991ea4b940598e6e67
 SHA512:
-  metadata.gz: 4acc2505785d72b668a394a31430f3abbe059d829e91385d318aaf4fc1bbb39983554b6850b36383a44f1e8874eb903b21c18e222f1487b27aee8e3d8f2e20d7
-  data.tar.gz: d08c7c7626b66ae6d9d9c323c26aa200e8b05bdae9974002e9cacf1ca812530ad2904daed73795e61850a00c2f1240dcea7a8df443698c680d06b207126bf8b0
+  metadata.gz: 66a8a170146f84f50db79c0ae42aa7e808c24dc37ebda1f4132f3a1fc2cf95f333fe8251d43bb43ad80e47b2702dd9f7458838a7ed2173b22340cfa654b3e0af
+  data.tar.gz: f9c27b9ea682c4a5cfd70f2bf2e1a522505b405fd87965413abe544cf1124d6648a3705281dd28afe9681849697858731fd350d73e945788fe6bb9de30450189

data/CHANGELOG.md

@@ -1,3 +1,28 @@
+## [[0.23.9](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.8...v0.23.9)] - 2025-12-20
+
+- Change supported llama.cpp version to b7470
+  - Add `no_alloc` accessor to `LlamaModelParams`.
+  - Add `llama_max_tensor_buft_overrides` module function to `LlamaCpp`.
+
+## [[0.23.8](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.7...v0.23.8)] - 2025-11-30
+
+- Change supported llama.cpp version to b7180
+  - Add `llama_model_meta_key_str` module function to `LlamaCpp`.
+  - Add constant values for `enum llama_model_meta_key` to `LlamaCpp`.
+    - `LLAMA_MODEL_META_KEY_SAMPLING_SEQUENCE`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_TOP_K`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_TOP_P`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_MIN_P`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_XTC_PROBABILITY`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_XTC_THRESHOLD`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_TEMP`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_PENALTY_LAST_N`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_PENALTY_REPEAT`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_TAU`
+    - `LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_ETA`
+- Add `llama_model_meta_count` module function to `LlamaCpp`
+
 ## [[0.23.7](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.6...v0.23.7)] - 2025-11-22
 
 - Fix to use require for compatibility with distributions installing extensions separately.

data/ext/llama_cpp/llama_cpp.c

@@ -551,6 +551,17 @@ static VALUE llama_model_params_set_no_host(VALUE self, VALUE no_host) {
   return no_host;
 }
 
+static VALUE llama_model_params_get_no_alloc(VALUE self) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  return data->no_alloc ? Qtrue : Qfalse;
+}
+
+static VALUE llama_model_params_set_no_alloc(VALUE self, VALUE no_alloc) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  data->no_alloc = RTEST(no_alloc) ? true : false;
+  return no_alloc;
+}
+
 /* struct llama_context_params */
 static void llama_context_params_free(void *ptr) {
   if (ptr) {
@@ -1363,6 +1374,14 @@ static VALUE rb_llama_max_parallel_sequences(VALUE self) {
   return SIZET2NUM(llama_max_parallel_sequences());
 }
 
+/**
+ * @overload llama_max_tensor_buft_overrides
+ *  @return [Integer]
+ */
+static VALUE rb_llama_max_tensor_buft_overrides(VALUE self) {
+  return SIZET2NUM(llama_max_tensor_buft_overrides());
+}
+
 /**
  * @overload llama_supports_mmap?
  *  @return [Boolean]
@@ -1708,6 +1727,34 @@ static VALUE rb_llama_vocab_n_tokens(VALUE self, VALUE vocab) {
   return n_tokens;
 }
 
+/**
+ * @overload llama_model_meta_count(model)
+ *  @param [LlamaModel] model
+ *  @return [Integer]
+ */
+static VALUE rb_llama_model_meta_count(VALUE self, VALUE model) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  return INT2NUM(llama_model_meta_count(model_wrapper->model));
+}
+
+/**
+ * @overload llama_model_meta_key_str(key)
+ *  @param [Integer] key (must be one of Llama::LLAMA_MODEL_META_KEY_* constants)
+ *  @return [String]
+ */
+static VALUE rb_llama_model_meta_key_str(VALUE self, VALUE key) {
+  if (!RB_INTEGER_TYPE_P(key)) {
+    rb_raise(rb_eArgError, "key must be an Integer");
+    return Qnil;
+  }
+  const char* key_str = llama_model_meta_key_str(NUM2INT(key));
+  return rb_utf8_str_new_cstr(key_str);
+}
+
 /**
  * @overload llama_model_desc(model)
  *  @param [LlamaModel] model
@@ -4198,13 +4245,28 @@ void Init_llama_cpp(void) {
   /* TODO: llama_seq_id** seq_id */
   /* TODO: int8_t* logits */
 
-  /* llama_model_kv_override_type */
+  /* enum llama_model_kv_override_type */
   /* Document-const: LlamaCpp::LLAMA_KV_OVERRIDE_TYPE_INT */
   rb_define_const(rb_mLlamaCpp, "LLAMA_KV_OVERRIDE_TYPE_INT", INT2NUM(LLAMA_KV_OVERRIDE_TYPE_INT));
   rb_define_const(rb_mLlamaCpp, "LLAMA_KV_OVERRIDE_TYPE_FLOAT", INT2NUM(LLAMA_KV_OVERRIDE_TYPE_FLOAT));
   rb_define_const(rb_mLlamaCpp, "LLAMA_KV_OVERRIDE_TYPE_BOOL", INT2NUM(LLAMA_KV_OVERRIDE_TYPE_BOOL));
   rb_define_const(rb_mLlamaCpp, "LLAMA_KV_OVERRIDE_TYPE_STR", INT2NUM(LLAMA_KV_OVERRIDE_TYPE_STR));
 
+  /* enum llama_model_meta_key */
+  /* Document-const: LlamaCpp::LLAMA_MODEL_META_KEY_SAMPLING_SEQUENCE */
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_SEQUENCE", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_SEQUENCE));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_TOP_K", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_TOP_K));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_TOP_P", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_TOP_P));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_MIN_P", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_MIN_P));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_XTC_PROBABILITY", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_XTC_PROBABILITY));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_XTC_THRESHOLD", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_XTC_THRESHOLD));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_TEMP", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_TEMP));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_PENALTY_LAST_N", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_PENALTY_LAST_N));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_PENALTY_REPEAT", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_PENALTY_REPEAT));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_TAU", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_TAU));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_ETA", INT2NUM(LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_ETA));
+
   /**
    * Document-class: LlamaCpp::LlamaModelKvOverride
    * "struct llama_model_kv_override" wrapper class
@@ -4370,6 +4432,17 @@ void Init_llama_cpp(void) {
    * @return [Boolean]
    */
   rb_define_method(rb_cLlamaModelParams, "no_host=", RUBY_METHOD_FUNC(llama_model_params_set_no_host), 1);
+  /**
+   * Document-method: no_alloc
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "no_alloc", RUBY_METHOD_FUNC(llama_model_params_get_no_alloc), 0);
+  /**
+   * Document-method: no_alloc=
+   * @param [Boolean] no_alloc_
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "no_alloc=", RUBY_METHOD_FUNC(llama_model_params_set_no_alloc), 1);
 
   /**
    * Document-class: LlamaCpp::LlamaContextParams
@@ -4867,6 +4940,8 @@ void Init_llama_cpp(void) {
   /* llama_free */
   rb_define_module_function(rb_mLlamaCpp, "llama_free", rb_llama_free, 1);
 
+  /* TODO: llama_params_fit */
+
   /* llama_time_us */
   rb_define_module_function(rb_mLlamaCpp, "llama_time_us", rb_llama_time_us, 0);
 
@@ -4876,6 +4951,9 @@ void Init_llama_cpp(void) {
   /* llama_max_parallel_sequences */
   rb_define_module_function(rb_mLlamaCpp, "llama_max_parallel_sequences", rb_llama_max_parallel_sequences, 0);
 
+  /* llama_max_tensor_buft_overrides */
+  rb_define_module_function(rb_mLlamaCpp, "llama_max_tensor_buft_overrides", rb_llama_max_tensor_buft_overrides, 0);
+
   /* llama_supports_mmap */
   rb_define_module_function(rb_mLlamaCpp, "llama_supports_mmap?", rb_llama_supports_mmap, 0);
 
@@ -4954,8 +5032,11 @@ void Init_llama_cpp(void) {
   /* llama_vocab_n_tokens */
   rb_define_module_function(rb_mLlamaCpp, "llama_vocab_n_tokens", rb_llama_vocab_n_tokens, 1);
 
+  /* llama_model_meta_count */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_meta_count", rb_llama_model_meta_count, 1);
+  /* llama_model_meta_key_str */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_meta_key_str", rb_llama_model_meta_key_str, 1);
   /* TODO: llama_model_meta_val_str */
-  /* TODO: llama_model_meta_count */
   /* TODO: llama_model_meta_key_by_index */
   /* TODO: llama_model_meta_val_str_by_index */
 
@@ -5300,6 +5381,7 @@ void Init_llama_cpp(void) {
   /* llama_print_system_info */
   rb_define_module_function(rb_mLlamaCpp, "llama_print_system_info", rb_llama_print_system_info, 0);
 
+  /* TODO: llama_log_get */
   /* TODO: llama_log_set */
 
   /**

data/lib/llama_cpp/version.rb

@@ -3,8 +3,8 @@
 # llama_cpp.rb provides Ruby bindings for the llama.cpp.
 module LlamaCpp
   # The version of llama_cpp.rb you install.
-  VERSION = '0.23.7'
+  VERSION = '0.23.9'
 
   # The supported version of llama.cpp.
-  LLAMA_CPP_VERSION = 'b7120'
+  LLAMA_CPP_VERSION = 'b7470'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: llama_cpp
 version: !ruby/object:Gem::Version
-  version: 0.23.7
+  version: 0.23.9
 platform: ruby
 authors:
 - yoshoku
@@ -33,7 +33,7 @@ metadata:
   homepage_uri: https://github.com/yoshoku/llama_cpp.rb
   source_code_uri: https://github.com/yoshoku/llama_cpp.rb
   changelog_uri: https://github.com/yoshoku/llama_cpp.rb/blob/main/CHANGELOG.md
-  documentation_uri: https://gemdocs.org/gems/llama_cpp/0.23.7/
+  documentation_uri: https://gemdocs.org/gems/llama_cpp/0.23.9/
   rubygems_mfa_required: 'true'
 rdoc_options: []
 require_paths: