llama_cpp 0.20.1 → 0.20.2

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 93de918fd9c6ed1391c9d192c4c5af15c24011e72ed5537303cd276455de264c
-  data.tar.gz: fe77379e15cef0a4c2d9fccca22646beb026bfa5339d2dad5ac4a74165328264
+  metadata.gz: 28d21cfaf9a14c0796cac348176745618950a8a50c6697a97038c164901dbb2b
+  data.tar.gz: e3ad3a9ae3b7de6817ac3095d09139656f87eba715818849cfef8e6860d112fd
 SHA512:
-  metadata.gz: 12c8406b316c7031af7b840aaa79516a42c911ae789b94b7e88e37af0e1162178fa6917a090d9f25d5555bf768d08cbcb528338d403ecbc659cd5fabd58ac761
-  data.tar.gz: b8d2a389395f866d9e975eba22b1d4c2746f785ff0694da4b93c5be7b98608e8979efee7010df8c83e54b1348cef26b573a76344d44bd926a4371414cc515856
+  metadata.gz: f5c78500983f3363357be99de9968105c4f13ee1d4fd6709473624dcc752fa80d356d7b43422a61392da67f89dd6f906829bfb45b6aa243af997e7b147775c68
+  data.tar.gz: 5c8861198147c411374acd9fea4aa959f8c225516b1858e81640d6b5460ea0239af2fb24d13832f82d0aa647623097a2603904e7943cfa39baefbdfc53c4c149

data/CHANGELOG.md

@@ -1,3 +1,21 @@
+## [[0.20.2](https://github.com/yoshoku/llama_cpp.rb/compare/v0.20.1...v0.20.2)] - 2025-06-07
+
+- Change supported llama.cpp version to b5600
+  - Add `llama_model_n_swa` module function.
+  - Add `llama_model_n_cls_out` module function.
+  - Add `llama_model_cls_label` module function.
+  - Add `LlamaMemoryT` class.
+  - Add `llama_memory_clear` module function.
+  - Add `llama_memory_seq_rm` module function.
+  - Add `llama_memory_seq_cp` module function.
+  - Add `llama_memory_seq_keep` module function.
+  - Add `llama_memory_seq_add` module function.
+  - Add `llama_memory_seq_div` module function.
+  - Add `llama_memory_seq_pos_min` module function.
+  - Add `llama_memory_seq_pos_max` module function.
+  - Add `llama_memory_can_shift?` module function.
+  - Add `llama_get_memory` module function.
+
 ## [[0.20.1](https://github.com/yoshoku/llama_cpp.rb/compare/v0.20.0...v0.20.1)] - 2025-05-31
 
 - Change supported llama.cpp version to b5530

data/ext/llama_cpp/llama_cpp.c

@@ -10,6 +10,7 @@ VALUE rb_cLlamaContextParams;
 VALUE rb_cLlamaModelQuantizeParams;
 VALUE rb_cLlamaLogitBias;
 VALUE rb_cLlamaAdapterLora;
+VALUE rb_cLlamaMemoryT;
 VALUE rb_cLlamaKvCache;
 VALUE rb_cLlamaTokenDataArray;
 VALUE rb_cLlamaBatch;
@@ -1552,6 +1553,20 @@ static VALUE rb_llama_model_n_head_kv(VALUE self, VALUE model) {
   return INT2NUM(llama_model_n_head_kv(model_wrapper->model));
 }
 
+/**
+ * @overload llama_model_n_swa(model)
+ *  @param [LlamaModel] model
+ *  @return [Integer]
+ */
+static VALUE rb_llama_model_n_swa(VALUE self, VALUE model) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  return INT2NUM(llama_model_n_swa(model_wrapper->model));
+}
+
 /**
  * @overload llama_model_rope_freq_scale_train(model)
  *  @param [LlamaModel] model
@@ -1566,6 +1581,41 @@ static VALUE rb_llama_model_rope_freq_scale_train(VALUE self, VALUE model) {
   return DBL2NUM(llama_model_rope_freq_scale_train(model_wrapper->model));
 }
 
+/**
+ * @overload llama_model_n_cls_out(model)
+ *  @param [LlamaModel] model
+ *  @return [Integer]
+ */
+static VALUE rb_llama_model_n_cls_out(VALUE self, VALUE model) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  return UINT2NUM(llama_model_n_cls_out(model_wrapper->model));
+}
+
+/**
+ * @overload llama_model_cls_label(model, id)
+ *  @param [LlamaModel] model
+ *  @param [Integer] id
+ *  @return [Integer]
+ */
+static VALUE rb_llama_model_cls_label(VALUE self, VALUE model, VALUE id) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(id)) {
+    rb_raise(rb_eArgError, "id must be an Integer");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  const char* str = llama_model_cls_label(model_wrapper->model, NUM2UINT(id));
+  RB_GC_GUARD(model);
+  return rb_utf8_str_new_cstr(str);
+}
+
 /**
  * @overload llama_vocab_type(vocab)
  *  @param [LlamaVocab] vocab
@@ -1853,6 +1903,239 @@ static VALUE rb_llama_adapter_lora_free(VALUE self, VALUE adapter) {
   return Qnil;
 }
 
+/* llama_memory_t wrapper */
+typedef struct {
+  struct llama_memory_t* memory;
+} llama_memory_t_wrapper;
+
+static void llama_memory_t_wrapper_free(void *ptr) {
+  llama_memory_t_wrapper* memory_wrapper = (llama_memory_t_wrapper*)ptr;
+  if (memory_wrapper) {
+    if (memory_wrapper->memory != NULL) {
+      llama_memory_clear(memory_wrapper->memory);
+      memory_wrapper->memory = NULL;
+    }
+  }
+  if (ptr) {
+    ruby_xfree(ptr);
+  }
+}
+
+static size_t llama_memory_t_wrapper_size(const void *ptr) {
+  return sizeof(*((llama_memory_t_wrapper*)ptr));
+}
+
+static rb_data_type_t llama_memory_t_wrapper_data_type = {
+  "LlamaMemory",
+  { NULL,
+    llama_memory_t_wrapper_free,
+    llama_memory_t_wrapper_size },
+  NULL,
+  NULL,
+  RUBY_TYPED_FREE_IMMEDIATELY
+};
+
+static VALUE llama_memory_t_wrapper_alloc(VALUE self) {
+  llama_memory_t_wrapper* data = (llama_memory_t_wrapper*)ruby_xmalloc(sizeof(llama_memory_t_wrapper));
+  data->memory = NULL;
+  return TypedData_Wrap_Struct(self, &llama_memory_t_wrapper_data_type, data);
+}
+
+static llama_memory_t_wrapper* get_llama_memory_t_wrapper(VALUE self) {
+  llama_memory_t_wrapper* data = NULL;
+  TypedData_Get_Struct(self, llama_memory_t_wrapper, &llama_memory_t_wrapper_data_type, data);
+  return data;
+}
+
+static VALUE rb_llama_memory_clear(VALUE self, VALUE memory) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_memory_clear(memory_wrapper->memory);
+  RB_GC_GUARD(memory);
+  return Qnil;
+}
+
+static VALUE rb_llama_memory_seq_rm(VALUE self, VALUE memory, VALUE seq_id, VALUE p0, VALUE p1) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p0)) {
+    rb_raise(rb_eArgError, "p0 must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p1)) {
+    rb_raise(rb_eArgError, "p1 must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  const bool res = llama_memory_seq_rm(memory_wrapper->memory, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1));
+  RB_GC_GUARD(memory);
+  return res ? Qtrue : Qfalse;
+}
+
+static VALUE rb_llama_memory_seq_cp(VALUE self, VALUE memory, VALUE seq_id_src, VALUE seq_id_dst, VALUE p0, VALUE p1) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id_src)) {
+    rb_raise(rb_eArgError, "seq_id_src must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id_dst)) {
+    rb_raise(rb_eArgError, "seq_id_dst must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p0)) {
+    rb_raise(rb_eArgError, "p0 must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p1)) {
+    rb_raise(rb_eArgError, "p1 must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_memory_seq_cp(memory_wrapper->memory, NUM2INT(seq_id_src), NUM2INT(seq_id_dst), NUM2INT(p0), NUM2INT(p1));
+  RB_GC_GUARD(memory);
+  return Qnil;
+}
+
+static VALUE rb_llama_memory_seq_keep(VALUE self, VALUE memory, VALUE seq_id) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_memory_seq_keep(memory_wrapper->memory, NUM2INT(seq_id));
+  RB_GC_GUARD(memory);
+  return Qnil;
+}
+
+static VALUE rb_llama_memory_seq_add(VALUE self, VALUE memory, VALUE seq_id, VALUE p0, VALUE p1, VALUE delta) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p0)) {
+    rb_raise(rb_eArgError, "p0 must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p1)) {
+    rb_raise(rb_eArgError, "p1 must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(delta)) {
+    rb_raise(rb_eArgError, "delta must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_memory_seq_add(memory_wrapper->memory, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(delta));
+  RB_GC_GUARD(memory);
+  return Qnil;
+}
+
+static VALUE rb_llama_memory_seq_div(VALUE self, VALUE memory, VALUE seq_id, VALUE p0, VALUE p1, VALUE d) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p0)) {
+    rb_raise(rb_eArgError, "p0 must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(p1)) {
+    rb_raise(rb_eArgError, "p1 must be an Integer");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(d)) {
+    rb_raise(rb_eArgError, "d must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_memory_seq_div(memory_wrapper->memory, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(d));
+  RB_GC_GUARD(memory);
+  return Qnil;
+}
+
+static VALUE rb_llama_memory_seq_pos_min(VALUE self, VALUE memory, VALUE seq_id) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_pos pos_min = llama_memory_seq_pos_min(memory_wrapper->memory, NUM2INT(seq_id));
+  RB_GC_GUARD(memory);
+  return INT2NUM(pos_min);
+}
+
+static VALUE rb_llama_memory_seq_pos_max(VALUE self, VALUE memory, VALUE seq_id) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  llama_pos pos_max = llama_memory_seq_pos_max(memory_wrapper->memory, NUM2INT(seq_id));
+  RB_GC_GUARD(memory);
+  return INT2NUM(pos_max);
+}
+
+static VALUE rb_llama_memory_can_shift(VALUE self, VALUE memory) {
+  if (!rb_obj_is_kind_of(memory, rb_cLlamaMemoryT)) {
+    rb_raise(rb_eArgError, "memory must be a LlamaMemoryT");
+    return Qnil;
+  }
+  llama_memory_t_wrapper* memory_wrapper = get_llama_memory_t_wrapper(memory);
+  const bool can_shift = llama_memory_can_shift(memory_wrapper->memory);
+  RB_GC_GUARD(memory);
+  return can_shift ? Qtrue : Qfalse;
+}
+
+/**
+ * @overload llama_get_memory(context)
+ *  @param [LlamaContext] context
+ *  @return [LlamaMemoryT]
+ */
+static VALUE rb_llama_get_memory(VALUE self, VALUE ctx) {
+  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
+    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
+    return Qnil;
+  }
+  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
+  llama_memory_t memory = llama_get_memory(context_wrapper->context);
+  llama_memory_t_wrapper* memory_wrapper = (llama_memory_t_wrapper*)ruby_xmalloc(sizeof(llama_memory_t_wrapper));
+  memory_wrapper->memory = memory;
+  RB_GC_GUARD(ctx);
+  return TypedData_Wrap_Struct(rb_cLlamaMemoryT, &llama_memory_t_wrapper_data_type, memory_wrapper);
+}
+
 /* llama_kv_cache wrapper */
 typedef struct {
   struct llama_kv_cache* kv_cache;
@@ -4725,6 +5008,9 @@ void Init_llama_cpp(void) {
   /* llama_get_kv_self */
   rb_define_module_function(rb_mLlamaCpp, "llama_get_kv_self", rb_llama_get_kv_self, 1);
 
+  /* llama_get_memory */
+  rb_define_module_function(rb_mLlamaCpp, "llama_get_memory", rb_llama_get_memory, 1);
+
   /* llama_pooling_type */
   rb_define_module_function(rb_mLlamaCpp, "llama_pooling_type", rb_llama_pooling_type, 1);
 
@@ -4749,9 +5035,18 @@ void Init_llama_cpp(void) {
   /* llama_model_n_head_kv */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_n_head_kv", rb_llama_model_n_head_kv, 1);
 
+  /* llama_model_n_swa */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_n_swa", rb_llama_model_n_swa, 1);
+
   /* llama_model_rope_freq_scale_train */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_rope_freq_scale_train", rb_llama_model_rope_freq_scale_train, 1);
 
+  /* llama_model_n_cls_out */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_n_cls_out", rb_llama_model_n_cls_out, 1);
+
+  /* llama_model_cls_label */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_cls_label", rb_llama_model_cls_label, 2);
+
   /* llama_vocab_type */
   rb_define_module_function(rb_mLlamaCpp, "llama_vocab_type", rb_llama_vocab_type, 1);
 
@@ -4807,6 +5102,40 @@ void Init_llama_cpp(void) {
 
   /* TODO: llama_apply_adapter_cvec */
 
+  /**
+   * Document-class: LlamaCpp::LlamaMemoryT
+   * "struct llama_memory_t" wrapper class
+   */
+  rb_cLlamaMemoryT = rb_define_class_under(rb_mLlamaCpp, "LlamaMemoryT", rb_cObject);
+  rb_define_alloc_func(rb_cLlamaMemoryT, llama_memory_t_wrapper_alloc);
+
+  /* llama_memory_clear */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_clear", rb_llama_memory_clear, 1);
+
+  /* llama_memory_seq_rm */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_rm", rb_llama_memory_seq_rm, 4);
+
+  /* llama_memory_seq_cp */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_cp", rb_llama_memory_seq_cp, 5);
+
+  /* llama_memory_seq_keep */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_keep", rb_llama_memory_seq_keep, 2);
+
+  /* llama_memory_seq_add */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_add", rb_llama_memory_seq_add, 5);
+
+  /* llama_memory_seq_div */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_div", rb_llama_memory_seq_div, 5);
+
+  /* llama_memory_seq_pos_min */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_pos_min", rb_llama_memory_seq_pos_min, 2);
+
+  /* llama_memory_seq_pos_max */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_seq_pos_max", rb_llama_memory_seq_pos_max, 2);
+
+  /* llama_memory_can_shift */
+  rb_define_module_function(rb_mLlamaCpp, "llama_memory_can_shift?", rb_llama_memory_can_shift, 1);
+
   /**
    * Document-class: LlamaCpp::LlamaKvCache
    * "struct llama_kv_cache" wrapper class

data/lib/llama_cpp/version.rb

@@ -3,8 +3,8 @@
 # llama_cpp.rb provides Ruby bindings for the llama.cpp.
 module LlamaCpp
   # The version of llama_cpp.rb you install.
-  VERSION = '0.20.1'
+  VERSION = '0.20.2'
 
   # The supported version of llama.cpp.
-  LLAMA_CPP_VERSION = 'b5530'
+  LLAMA_CPP_VERSION = 'b5600'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: llama_cpp
 version: !ruby/object:Gem::Version
-  version: 0.20.1
+  version: 0.20.2
 platform: ruby
 authors:
 - yoshoku