llama_cpp 0.23.8 → 0.23.10

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 7baa70c4e1f7ee628a347b34d4ed15822aba050c83e6438a7e1c8edf6acef8bb
-  data.tar.gz: 7125d429d103d711741b9d6ce5ac97f8ec3a100a0b5d442b707e30f61ba538d8
+  metadata.gz: 724681cca1a22e307f705fa8cc489b448b6dc5dd2b49b766759f95717415c286
+  data.tar.gz: 430e80c1bf7d82573fc315f3a5fb62fa8b8d092bd96a052a95c90c4c0a73489d
 SHA512:
-  metadata.gz: 5c766e9ec655976829d04e956adf898cc444e4938d49070e4a2d4a2dab47a3580448f0f1137c906ee37978f7162da56820a2a03aff23a78394a5526164ef94f2
-  data.tar.gz: d0fb98fa54a3db05481fe6c271e693716be3445c47b082b4981a87563ed8fc08df38e12eff68ee0c8fbee7b66b8e1ecaafed3625cd58cc4bbb8a044966a8a1ad
+  metadata.gz: 9ddd137a12b7edac9ca70518c206e42e5d8fa6e3141fae7cee014b27e7de19640b6278f15844f02d6319de7904b3258d69c10c6bbdf5624b5c5663b80129a649
+  data.tar.gz: 3a30a2c84707c1d4442606eb9eee71aabee5bdeb69a3cf8418e95d4123163351e4ed6b4014c009f89c6b8dbcb01db70616cab8771f032a1b748216fa9e7dd3eb

data/CHANGELOG.md

@@ -1,6 +1,22 @@
+## [[0.23.10](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.9...v0.23.10)] - 2026-01-10
+
+- Change supported llama.cpp version to b7690.
+  - Add `llama_model_n_embd_out` module function to `LlamaCpp`.
+  - Add `use_direct_io` accessor to `LlamaModelParams`.
+  - Add constant values for `enum llama_params_fit_status` to `LlamaCpp`.
+    - `LLAMA_PARAMS_FIT_STATUS_SUCCESS`
+    - `LLAMA_PARAMS_FIT_STATUS_FAILURE`
+    - `LLAMA_PARAMS_FIT_STATUS_ERROR`
+
+## [[0.23.9](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.8...v0.23.9)] - 2025-12-20
+
+- Change supported llama.cpp version to b7470.
+  - Add `no_alloc` accessor to `LlamaModelParams`.
+  - Add `llama_max_tensor_buft_overrides` module function to `LlamaCpp`.
+
 ## [[0.23.8](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.7...v0.23.8)] - 2025-11-30
 
-- Change supported llama.cpp version to b7180
+- Change supported llama.cpp version to b7180.
   - Add `llama_model_meta_key_str` module function to `LlamaCpp`.
   - Add constant values for `enum llama_model_meta_key` to `LlamaCpp`.
     - `LLAMA_MODEL_META_KEY_SAMPLING_SEQUENCE`
@@ -15,7 +31,7 @@
     - `LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT`
     - `LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_TAU`
     - `LLAMA_MODEL_META_KEY_SAMPLING_MIROSTAT_ETA`
-- Add `llama_model_meta_count` module function to `LlamaCpp`
+- Add `llama_model_meta_count` module function to `LlamaCpp`.
 
 ## [[0.23.7](https://github.com/yoshoku/llama_cpp.rb/compare/v0.23.6...v0.23.7)] - 2025-11-22
 

data/LICENSE.txt

@@ -1,6 +1,6 @@
 The MIT License (MIT)
 
-Copyright (c) 2023-2025 Atsushi Tatsuma
+Copyright (c) 2023-2026 Atsushi Tatsuma
 
 Permission is hereby granted, free of charge, to any person obtaining a copy
 of this software and associated documentation files (the "Software"), to deal

data/ext/llama_cpp/llama_cpp.c

@@ -507,6 +507,17 @@ static VALUE llama_model_params_set_use_mmap(VALUE self, VALUE use_mmap) {
   return use_mmap;
 }
 
+static VALUE llama_model_params_get_use_direct_io(VALUE self) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  return data->use_direct_io ? Qtrue : Qfalse;
+}
+
+static VALUE llama_model_params_set_use_direct_io(VALUE self, VALUE use_direct_io) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  data->use_direct_io = RTEST(use_direct_io) ? true : false;
+  return use_direct_io;
+}
+
 static VALUE llama_model_params_get_use_mlock(VALUE self) {
   struct llama_model_params* data = get_llama_model_params(self);
   return data->use_mlock ? Qtrue : Qfalse;
@@ -551,6 +562,17 @@ static VALUE llama_model_params_set_no_host(VALUE self, VALUE no_host) {
   return no_host;
 }
 
+static VALUE llama_model_params_get_no_alloc(VALUE self) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  return data->no_alloc ? Qtrue : Qfalse;
+}
+
+static VALUE llama_model_params_set_no_alloc(VALUE self, VALUE no_alloc) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  data->no_alloc = RTEST(no_alloc) ? true : false;
+  return no_alloc;
+}
+
 /* struct llama_context_params */
 static void llama_context_params_free(void *ptr) {
   if (ptr) {
@@ -1363,6 +1385,14 @@ static VALUE rb_llama_max_parallel_sequences(VALUE self) {
   return SIZET2NUM(llama_max_parallel_sequences());
 }
 
+/**
+ * @overload llama_max_tensor_buft_overrides
+ *  @return [Integer]
+ */
+static VALUE rb_llama_max_tensor_buft_overrides(VALUE self) {
+  return SIZET2NUM(llama_max_tensor_buft_overrides());
+}
+
 /**
  * @overload llama_supports_mmap?
  *  @return [Boolean]
@@ -1571,6 +1601,20 @@ static VALUE rb_llama_model_n_embd_inp(VALUE self, VALUE model) {
   return INT2NUM(llama_model_n_embd_inp(model_wrapper->model));
 }
 
+/**
+ * @overload llama_model_n_embd_out(model)
+ *  @param [LlamaModel] model
+ *  @return [Integer]
+ */
+static VALUE rb_llama_model_n_embd_out(VALUE self, VALUE model) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  return INT2NUM(llama_model_n_embd_out(model_wrapper->model));
+}
+
 /**
  * @overload llama_model_n_layer(model)
  *  @param [LlamaModel] model
@@ -4369,6 +4413,17 @@ void Init_llama_cpp(void) {
    * @return [Boolean]
    */
   rb_define_method(rb_cLlamaModelParams, "use_mmap=", RUBY_METHOD_FUNC(llama_model_params_set_use_mmap), 1);
+  /**
+   * Document-method: use_direct_io
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "use_direct_io", RUBY_METHOD_FUNC(llama_model_params_get_use_direct_io), 0);
+  /**
+   * Document-method: use_direct_io=
+   * @param [Boolean] use_direct_io
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "use_direct_io=", RUBY_METHOD_FUNC(llama_model_params_set_use_direct_io), 1);
   /**
    * Document-method: use_mlock
    * @return [Boolean]
@@ -4413,6 +4468,19 @@ void Init_llama_cpp(void) {
    * @return [Boolean]
    */
   rb_define_method(rb_cLlamaModelParams, "no_host=", RUBY_METHOD_FUNC(llama_model_params_set_no_host), 1);
+  /**
+   * Document-method: no_alloc
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "no_alloc", RUBY_METHOD_FUNC(llama_model_params_get_no_alloc), 0);
+  /**
+   * Document-method: no_alloc=
+   * @param [Boolean] no_alloc_
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "no_alloc=", RUBY_METHOD_FUNC(llama_model_params_set_no_alloc), 1);
+
+  /* TODO: struct llama_sampler_seq_config */
 
   /**
    * Document-class: LlamaCpp::LlamaContextParams
@@ -4702,6 +4770,10 @@ void Init_llama_cpp(void) {
    * @return [Boolean]
    */
   rb_define_method(rb_cLlamaContextParams, "kv_unified", RUBY_METHOD_FUNC(llama_context_params_get_kv_unified), 0);
+
+  /* TODO: struct llama_sampler_seq_config * samplers */
+  /* TODO: size_t n_samplers */
+
   /**
    * Document-method: kv_unified=
    * @param [Boolean] kv_unified
@@ -4910,6 +4982,14 @@ void Init_llama_cpp(void) {
   /* llama_free */
   rb_define_module_function(rb_mLlamaCpp, "llama_free", rb_llama_free, 1);
 
+  /* llama_params_fit_status */
+  /* Document-const: LlamaCpp::LLAMA_PARAMS_FIT_STATUS_SUCCESS */
+  rb_define_const(rb_mLlamaCpp, "LLAMA_PARAMS_FIT_STATUS_SUCCESS", INT2NUM(LLAMA_PARAMS_FIT_STATUS_SUCCESS));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_PARAMS_FIT_STATUS_FAILURE", INT2NUM(LLAMA_PARAMS_FIT_STATUS_FAILURE));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_PARAMS_FIT_STATUS_ERROR", INT2NUM(LLAMA_PARAMS_FIT_STATUS_ERROR));
+
+  /* TODO: llama_params_fit */
+
   /* llama_time_us */
   rb_define_module_function(rb_mLlamaCpp, "llama_time_us", rb_llama_time_us, 0);
 
@@ -4919,6 +4999,9 @@ void Init_llama_cpp(void) {
   /* llama_max_parallel_sequences */
   rb_define_module_function(rb_mLlamaCpp, "llama_max_parallel_sequences", rb_llama_max_parallel_sequences, 0);
 
+  /* llama_max_tensor_buft_overrides */
+  rb_define_module_function(rb_mLlamaCpp, "llama_max_tensor_buft_overrides", rb_llama_max_tensor_buft_overrides, 0);
+
   /* llama_supports_mmap */
   rb_define_module_function(rb_mLlamaCpp, "llama_supports_mmap?", rb_llama_supports_mmap, 0);
 
@@ -4970,6 +5053,9 @@ void Init_llama_cpp(void) {
   /* llama_model_n_embd_inp */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_n_embd_inp", rb_llama_model_n_embd_inp, 1);
 
+  /* llama_model_n_embd_out */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_n_embd_out", rb_llama_model_n_embd_out, 1);
+
   /* llama_model_n_layer */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_n_layer", rb_llama_model_n_layer, 1);
 
@@ -5165,6 +5251,14 @@ void Init_llama_cpp(void) {
   /* TODO: llama_get_embeddings_ith */
   /* TODO: llama_get_embeddings_seq */
 
+  /* TODO: llama_get_sampled_token_ith */
+  /* TODO: llama_get_sampled_probs_ith */
+  /* TODO: llama_get_sampled_probs_count_ith */
+  /* TODO: llama_get_sampled_logits_ith */
+  /* TODO: llama_get_sampled_logits_count_ith */
+  /* TODO: llama_get_sampled_candidates_ith */
+  /* TODO: llama_get_sampled_candidates_count_ith */
+
   /* llama_vocab_get_text */
   rb_define_module_function(rb_mLlamaCpp, "llama_vocab_get_text", rb_llama_vocab_get_text, 2);
 
@@ -5240,6 +5334,9 @@ void Init_llama_cpp(void) {
   /* TODO: llama_chat_apply_template */
   /* TODO: llama_chat_builtin_templates */
 
+  /* TODO: llama_sampler_context_t */
+  /* TODO: struct llama_sampler_data */
+
   /* TODO: struct llama_sampler_i */
 
   /**
@@ -5249,6 +5346,10 @@ void Init_llama_cpp(void) {
   rb_cLlamaSampler = rb_define_class_under(rb_mLlamaCpp, "LlamaSampler", rb_cObject);
   rb_define_alloc_func(rb_cLlamaSampler, llama_sampler_alloc);
 
+  /* TODO: llama_set_sampler */
+
+  /* TODO: llama_sampler_init */
+
   /* llama_sampler_name */
   rb_define_module_function(rb_mLlamaCpp, "llama_sampler_name", rb_llama_sampler_name, 1);
 
@@ -5346,6 +5447,7 @@ void Init_llama_cpp(void) {
   /* llama_print_system_info */
   rb_define_module_function(rb_mLlamaCpp, "llama_print_system_info", rb_llama_print_system_info, 0);
 
+  /* TODO: llama_log_get */
   /* TODO: llama_log_set */
 
   /**

data/lib/llama_cpp/version.rb

@@ -3,8 +3,8 @@
 # llama_cpp.rb provides Ruby bindings for the llama.cpp.
 module LlamaCpp
   # The version of llama_cpp.rb you install.
-  VERSION = '0.23.8'
+  VERSION = '0.23.10'
 
   # The supported version of llama.cpp.
-  LLAMA_CPP_VERSION = 'b7180'
+  LLAMA_CPP_VERSION = 'b7690'
 end

data/lib/llama_cpp.rb

@@ -1,7 +1,7 @@
 # frozen_string_literal: true
 
 require_relative 'llama_cpp/version'
-# On distributions like Rocky Linux, native extensions are installed in a separate
+# On RHEL-based linux distributions, native extensions are installed in a separate
 # directory from Ruby code, so use require to load them.
 require 'llama_cpp/llama_cpp'
 

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: llama_cpp
 version: !ruby/object:Gem::Version
-  version: 0.23.8
+  version: 0.23.10
 platform: ruby
 authors:
 - yoshoku
@@ -33,7 +33,7 @@ metadata:
   homepage_uri: https://github.com/yoshoku/llama_cpp.rb
   source_code_uri: https://github.com/yoshoku/llama_cpp.rb
   changelog_uri: https://github.com/yoshoku/llama_cpp.rb/blob/main/CHANGELOG.md
-  documentation_uri: https://gemdocs.org/gems/llama_cpp/0.23.8/
+  documentation_uri: https://gemdocs.org/gems/llama_cpp/0.23.10/
   rubygems_mfa_required: 'true'
 rdoc_options: []
 require_paths:
@@ -49,7 +49,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.6.9
+rubygems_version: 4.0.3
 specification_version: 4
 summary: Ruby bindings for the llama.cpp.
 test_files: []