llama_cpp 0.18.1 → 0.19.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 66599243db8e088ab250be615f142cc0c3d63ee0f7661e8300dbd569fd100ac5
-  data.tar.gz: 2bfdbc95133df7939276547dbae237c5ccd2175a1a8cee2e81cc3579bf3fa00a
+  metadata.gz: 60a718430e278569f1e5eeb08cfa9f56b1f7b1f804234633dbfba9a504959ae9
+  data.tar.gz: f33f971717366760f84c40ca003015f3fadd18cde969aa511031ffcd4517de32
 SHA512:
-  metadata.gz: 365cad9872ed2601700de4a4a4fc7ef5a13c307e4b8ba199f0b3b2c567dd252e402661fd9161f663c3b5dd2fff70f2c935e333b904a0923de0e8aa9955319b63
-  data.tar.gz: 4b5275081819595983bb9681951b7c25e1764e7039951368624fc8dc5bdbee9848136f0f98624f1cc07575a76d09e63bf3b2f88effd1ea1c0edd098dd0bb050f
+  metadata.gz: c85e04506be2a1bf0d4c3d99aa5b9fcf9f2ca6f4eb8673558a8d8755a056cff700769f16e429a048c2c3abdbac5fcb02818f92ae78966fdbe2b8f813638948a3
+  data.tar.gz: a9ecfe4fa2b2314d57390e87bbed7734e9499d0ceea80c9e444e1877617f55f0da6fa06f77afddd0107723315bb43b0f66e85557612816cba66e29735f9da261

data/CHANGELOG.md

@@ -1,4 +1,31 @@
 
+## [[0.19.0](https://github.com/yoshoku/llama_cpp.rb/compare/v0.18.2...v0.19.0)] - 2025-03-16
+
+**Breaking Changes**
+
+- Change supported llama.cpp version to b4885
+  - Add `LlamaKvCache` class.
+  - Add `llama_get_kv_cache_token_count` module function.
+  - Rename module functions in `LLaMACpp`:
+    - `llama_get_kv_cache_token_count` to `llama_kv_self_n_tokens`
+    - `llama_get_kv_cache_used_cells` to `llama_kv_self_used_cells`
+    - `llama_kv_cache_clear` to `llama_kv_self_clear`
+    - `llama_kv_cache_seq_rm` to `llama_kv_self_seq_rm`
+    - `llama_kv_cache_seq_cp` to `llama_kv_self_seq_cp`
+    - `llama_kv_cache_seq_keep` to `llama_kv_self_seq_keep`
+    - `llama_kv_cache_seq_add` to `llama_kv_self_seq_add`
+    - `llama_kv_cache_seq_div` to `llama_kv_self_seq_div`
+    - `llama_kv_cache_seq_pos_max` to `llama_kv_self_seq_pos_max`
+    - `llama_kv_cache_defrag` to `llama_kv_self_defrag`
+    - `llama_kv_cache_update` to `llama_kv_self_update`
+    - `llama_kv_cache_can_shift?` to `llama_kv_self_can_shift?`
+
+## [[0.18.1](https://github.com/yoshoku/llama_cpp.rb/compare/v0.18.1...v0.18.2)] - 2025-03-01
+
+- Change supported llama.cpp version to b4793
+  - Add `llama_model_n_head_kv` module function.
+  - Add `LLAMA_VOCAB_PRE_TYPE_GPT4O` constant.
+
 ## [[0.18.1](https://github.com/yoshoku/llama_cpp.rb/compare/v0.18.0...v0.18.1)] - 2025-02-15
 
 - Change supported llama.cpp version to b4713

data/ext/llama_cpp/llama_cpp.c

@@ -9,6 +9,7 @@ VALUE rb_cLlamaContextParams;
 VALUE rb_cLlamaModelQuantizeParams;
 VALUE rb_cLlamaLogitBias;
 VALUE rb_cLlamaAdapterLora;
+VALUE rb_cLlamaKvCache;
 VALUE rb_cLlamaKvCacheView;
 VALUE rb_cLlamaTokenDataArray;
 VALUE rb_cLlamaBatch;
@@ -1452,6 +1453,20 @@ static VALUE rb_llama_model_n_head(VALUE self, VALUE model) {
   return INT2NUM(llama_model_n_head(model_wrapper->model));
 }
 
+/**
+ * @overload llama_model_n_head_kv(model)
+ *  @param [LlamaModel] model
+ *  @return [Integer]
+ */
+static VALUE rb_llama_model_n_head_kv(VALUE self, VALUE model) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  return INT2NUM(llama_model_n_head_kv(model_wrapper->model));
+}
+
 /**
  * @overload llama_model_rope_freq_scale_train(model)
  *  @param [LlamaModel] model
@@ -1753,6 +1768,60 @@ static VALUE rb_llama_adapter_lora_free(VALUE self, VALUE adapter) {
   return Qnil;
 }
 
+/* llama_kv_cache wrapper */
+typedef struct {
+  struct llama_kv_cache* kv_cache;
+} llama_kv_cache_wrapper;
+
+static void llama_kv_cache_wrapper_free(void *ptr) {
+  if (ptr) {
+    ruby_xfree(ptr);
+  }
+}
+
+static size_t llama_kv_cache_wrapper_size(const void *ptr) {
+  return sizeof(*((llama_kv_cache_wrapper*)ptr));
+}
+
+static rb_data_type_t llama_kv_cache_wrapper_data_type = {
+  "LlamaKvCache",
+  { NULL,
+    llama_kv_cache_wrapper_free,
+    llama_kv_cache_wrapper_size },
+  NULL,
+  NULL,
+  RUBY_TYPED_FREE_IMMEDIATELY
+};
+
+static VALUE llama_kv_cache_wrapper_alloc(VALUE self) {
+  llama_kv_cache_wrapper* data = (llama_kv_cache_wrapper*)ruby_xmalloc(sizeof(llama_kv_cache_wrapper));
+  data->kv_cache = NULL;
+  return TypedData_Wrap_Struct(self, &llama_kv_cache_wrapper_data_type, data);
+}
+
+// static llama_kv_cache_wrapper* get_llama_kv_cache_wrapper(VALUE self) {
+//   llama_kv_cache_wrapper* data = NULL;
+//   TypedData_Get_Struct(self, llama_kv_cache_wrapper, &llama_kv_cache_wrapper_data_type, data);
+//   return data;
+// }
+
+/**
+ * @overload llama_get_kv_self(context)
+ *  @param [LlamaContext] context
+ *  @return [LlamaKvCache]
+ */
+static VALUE rb_llama_get_kv_self(VALUE self, VALUE ctx) {
+  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
+    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
+    return Qnil;
+  }
+  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
+  llama_kv_cache_wrapper* kv_cache_wrapper = (llama_kv_cache_wrapper*)ruby_xmalloc(sizeof(llama_kv_cache_wrapper));
+  kv_cache_wrapper->kv_cache = llama_get_kv_self(context_wrapper->context);
+  RB_GC_GUARD(ctx);
+  return TypedData_Wrap_Struct(rb_cLlamaKvCache, &llama_kv_cache_wrapper_data_type, kv_cache_wrapper);
+}
+
 /* struct llama_kv_cache_view_cell */
 static void llama_kv_cache_view_cell_free(void *ptr) {
   ruby_xfree(ptr);
@@ -1924,62 +1993,62 @@ static VALUE rb_llama_kv_cache_view_update(VALUE self, VALUE ctx, VALUE view) {
 }
 
 /**
- * @overload llama_get_kv_cache_token_count(context)
+ * @overload llama_kv_self_n_tokens(context)
  *  @param [LlamaContext] context
  *  @return [Integer]
  */
-static VALUE rb_llama_get_kv_cache_token_count(VALUE self, VALUE ctx) {
+static VALUE rb_llama_kv_self_n_tokens(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t n_tokens_kv_cache = llama_get_kv_cache_token_count(context_wrapper->context);
+  const int32_t n_tokens_kv_self = llama_kv_self_n_tokens(context_wrapper->context);
   RB_GC_GUARD(ctx);
-  return INT2NUM(n_tokens_kv_cache);
+  return INT2NUM(n_tokens_kv_self);
 }
 
 /**
- * @overload llama_get_kv_cache_used_cells(context)
+ * @overload llama_kv_self_used_cells(context)
  *  @param [LlamaContext] context
  *  @return [Integer]
  */
-static VALUE rb_llama_get_kv_cache_used_cells(VALUE self, VALUE ctx) {
+static VALUE rb_llama_kv_self_used_cells(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t n_used_kv_cells = llama_get_kv_cache_used_cells(context_wrapper->context);
+  const int32_t n_used_kv_cells = llama_kv_self_used_cells(context_wrapper->context);
   RB_GC_GUARD(ctx);
   return INT2NUM(n_used_kv_cells);
 }
 
 /**
- * @overload llama_kv_cache_clear(context)
+ * @overload llama_kv_self_clear(context)
  *  @param [LlamaContext] context
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_clear(VALUE self, VALUE ctx) {
+static VALUE rb_llama_kv_self_clear(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_clear(context_wrapper->context);
+  llama_kv_self_clear(context_wrapper->context);
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_seq_rm(context, seq_id, p0, p1)
+ * @overload llama_kv_self_seq_rm(context, seq_id, p0, p1)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
  *  @param [Integer] p0
  *  @param [Integer] p1
  *  @return [Boolean]
  */
-static VALUE rb_llama_kv_cache_seq_rm(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1) {
+static VALUE rb_llama_kv_self_seq_rm(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -1997,13 +2066,13 @@ static VALUE rb_llama_kv_cache_seq_rm(VALUE self, VALUE ctx, VALUE seq_id, VALUE
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const bool res = llama_kv_cache_seq_rm(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1));
+  const bool res = llama_kv_self_seq_rm(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1));
   RB_GC_GUARD(ctx);
   return res ? Qtrue : Qfalse;
 }
 
 /**
- * @overload llama_kv_cache_seq_cp(context, seq_id_src, seq_id_dst, p0, p1)
+ * @overload llama_kv_self_seq_cp(context, seq_id_src, seq_id_dst, p0, p1)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id_src
  *  @param [Integer] seq_id_dst
@@ -2011,7 +2080,7 @@ static VALUE rb_llama_kv_cache_seq_rm(VALUE self, VALUE ctx, VALUE seq_id, VALUE
  *  @param [Integer] p1
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_seq_cp(VALUE self, VALUE ctx, VALUE seq_id_src, VALUE seq_id_dst, VALUE p0, VALUE p1) {
+static VALUE rb_llama_kv_self_seq_cp(VALUE self, VALUE ctx, VALUE seq_id_src, VALUE seq_id_dst, VALUE p0, VALUE p1) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2033,18 +2102,18 @@ static VALUE rb_llama_kv_cache_seq_cp(VALUE self, VALUE ctx, VALUE seq_id_src, V
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_seq_cp(context_wrapper->context, NUM2INT(seq_id_src), NUM2INT(seq_id_dst), NUM2INT(p0), NUM2INT(p1));
+  llama_kv_self_seq_cp(context_wrapper->context, NUM2INT(seq_id_src), NUM2INT(seq_id_dst), NUM2INT(p0), NUM2INT(p1));
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_seq_keep(context, seq_id)
+ * @overload llama_kv_self_seq_keep(context, seq_id)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_seq_keep(VALUE self, VALUE ctx, VALUE seq_id) {
+static VALUE rb_llama_kv_self_seq_keep(VALUE self, VALUE ctx, VALUE seq_id) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2054,13 +2123,13 @@ static VALUE rb_llama_kv_cache_seq_keep(VALUE self, VALUE ctx, VALUE seq_id) {
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_seq_keep(context_wrapper->context, NUM2INT(seq_id));
+  llama_kv_self_seq_keep(context_wrapper->context, NUM2INT(seq_id));
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_seq_add(context, seq_id, p0, p1, delta)
+ * @overload llama_kv_self_seq_add(context, seq_id, p0, p1, delta)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
  *  @param [Integer] p0
@@ -2068,7 +2137,7 @@ static VALUE rb_llama_kv_cache_seq_keep(VALUE self, VALUE ctx, VALUE seq_id) {
  *  @param [Integer] delta
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_seq_add(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1, VALUE delta) {
+static VALUE rb_llama_kv_self_seq_add(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1, VALUE delta) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2090,13 +2159,13 @@ static VALUE rb_llama_kv_cache_seq_add(VALUE self, VALUE ctx, VALUE seq_id, VALU
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_seq_add(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(delta));
+  llama_kv_self_seq_add(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(delta));
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_seq_div(context, seq_id, p0, p1, d)
+ * @overload llama_kv_self_seq_div(context, seq_id, p0, p1, d)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
  *  @param [Integer] p0
@@ -2104,7 +2173,7 @@ static VALUE rb_llama_kv_cache_seq_add(VALUE self, VALUE ctx, VALUE seq_id, VALU
  *  @param [Integer] d
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_seq_div(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1, VALUE d) {
+static VALUE rb_llama_kv_self_seq_div(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1, VALUE d) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2126,18 +2195,18 @@ static VALUE rb_llama_kv_cache_seq_div(VALUE self, VALUE ctx, VALUE seq_id, VALU
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_seq_div(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(d));
+  llama_kv_self_seq_div(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(d));
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_seq_pos_max(context, seq_id)
+ * @overload llama_kv_self_seq_pos_max(context, seq_id)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
  *  @return [Integer]
  */
-static VALUE rb_llama_kv_cache_seq_pos_max(VALUE self, VALUE ctx, VALUE seq_id) {
+static VALUE rb_llama_kv_self_seq_pos_max(VALUE self, VALUE ctx, VALUE seq_id) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2147,55 +2216,55 @@ static VALUE rb_llama_kv_cache_seq_pos_max(VALUE self, VALUE ctx, VALUE seq_id)
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t pos_max = llama_kv_cache_seq_pos_max(context_wrapper->context, NUM2INT(seq_id));
+  const int32_t pos_max = llama_kv_self_seq_pos_max(context_wrapper->context, NUM2INT(seq_id));
   RB_GC_GUARD(ctx);
   return INT2NUM(pos_max);
 }
 
 /**
- * @overload llama_kv_cache_defrag(context)
+ * @overload llama_kv_self_defrag(context)
  *  @param [LlamaContext] context
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_defrag(VALUE self, VALUE ctx) {
+static VALUE rb_llama_kv_self_defrag(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_defrag(context_wrapper->context);
+  llama_kv_self_defrag(context_wrapper->context);
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_update(context)
+ * @overload llama_kv_self_update(context)
  *  @param [LlamaContext] context
  *  @return [NilClass]
  */
-static VALUE rb_llama_kv_cache_update(VALUE self, VALUE ctx) {
+static VALUE rb_llama_kv_self_update(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_update(context_wrapper->context);
+  llama_kv_self_update(context_wrapper->context);
   RB_GC_GUARD(ctx);
   return Qnil;
 }
 
 /**
- * @overload llama_kv_cache_can_shift?(context)
+ * @overload llama_kv_self_can_shift?(context)
  *  @param [LlamaContext] context
  *  @return [Boolean]
  */
-static VALUE rb_llama_kv_cache_can_shift(VALUE self, VALUE ctx) {
+static VALUE rb_llama_kv_self_can_shift(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const bool res = llama_kv_cache_can_shift(context_wrapper->context);
+  const bool res = llama_kv_self_can_shift(context_wrapper->context);
   RB_GC_GUARD(ctx);
   return res ? Qtrue : Qfalse;
 }
@@ -3895,6 +3964,7 @@ void Init_llama_cpp(void) {
   rb_define_const(rb_mLlamaCpp, "LLAMA_VOCAB_PRE_TYPE_CHAMELEON", INT2NUM(LLAMA_VOCAB_PRE_TYPE_CHAMELEON));
   rb_define_const(rb_mLlamaCpp, "LLAMA_VOCAB_PRE_TYPE_MINERVA", INT2NUM(LLAMA_VOCAB_PRE_TYPE_MINERVA));
   rb_define_const(rb_mLlamaCpp, "LLAMA_VOCAB_PRE_TYPE_DEEPSEEK3_LLM", INT2NUM(LLAMA_VOCAB_PRE_TYPE_DEEPSEEK3_LLM));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_VOCAB_PRE_TYPE_GPT4O", INT2NUM(LLAMA_VOCAB_PRE_TYPE_GPT4O));
   /* llama_rope_type */
   /* Document-const: LlamaCpp::LLAMA_ROPE_TYPE_NONE */
   rb_define_const(rb_mLlamaCpp, "LLAMA_ROPE_TYPE_NONE", INT2NUM(LLAMA_ROPE_TYPE_NONE));
@@ -4693,6 +4763,9 @@ void Init_llama_cpp(void) {
   /* TODO: llama_get_model */
   rb_define_module_function(rb_mLlamaCpp, "llama_get_model", rb_llama_get_model, 1);
 
+  /* llama_get_kv_self */
+  rb_define_module_function(rb_mLlamaCpp, "llama_get_kv_self", rb_llama_get_kv_self, 1);
+
   /* llama_pooling_type */
   rb_define_module_function(rb_mLlamaCpp, "llama_pooling_type", rb_llama_pooling_type, 1);
 
@@ -4714,6 +4787,9 @@ void Init_llama_cpp(void) {
   /* llama_model_n_head */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_n_head", rb_llama_model_n_head, 1);
 
+  /* llama_model_n_head_kv */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_n_head_kv", rb_llama_model_n_head_kv, 1);
+
   /* llama_model_rope_freq_scale_train */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_rope_freq_scale_train", rb_llama_model_rope_freq_scale_train, 1);
 
@@ -4784,6 +4860,13 @@ void Init_llama_cpp(void) {
    */
   rb_define_method(rb_cLlamaKvCacheViewCell, "pos", RUBY_METHOD_FUNC(llama_kv_cache_view_cell_get_pos), 0);
 
+  /**
+   * Document-class: LlamaCpp::LlamaKvCache
+   * "struct llama_kv_cache" wrapper class
+   */
+  rb_cLlamaKvCache = rb_define_class_under(rb_mLlamaCpp, "LlamaKvCache", rb_cObject);
+  rb_define_alloc_func(rb_cLlamaKvCache, llama_kv_cache_wrapper_alloc);
+
   /**
    * Document-class: LlamaCpp::LlamaKvCacheView
    * "struct llama_kv_cache_view" wrapper class
@@ -4830,41 +4913,41 @@ void Init_llama_cpp(void) {
   /* llama_kv_cache_view_update */
   rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_view_update", rb_llama_kv_cache_view_update, 2);
 
-  /* llama_get_kv_cache_token_count */
-  rb_define_module_function(rb_mLlamaCpp, "llama_get_kv_cache_token_count", rb_llama_get_kv_cache_token_count, 1);
+  /* llama_kv_self_n_tokens */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_n_tokens", rb_llama_kv_self_n_tokens, 1);
 
-  /* llama_get_kv_cache_used_cells */
-  rb_define_module_function(rb_mLlamaCpp, "llama_get_kv_cache_used_cells", rb_llama_get_kv_cache_used_cells, 1);
+  /* llama_kv_self_used_cells */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_used_cells", rb_llama_kv_self_used_cells, 1);
 
-  /* llama_kv_cache_clear */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_clear", rb_llama_kv_cache_clear, 1);
+  /* llama_kv_self_clear */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_clear", rb_llama_kv_self_clear, 1);
 
-  /* llama_kv_cache_seq_rm */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_seq_rm", rb_llama_kv_cache_seq_rm, 4);
+  /* llama_kv_self_seq_rm */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_rm", rb_llama_kv_self_seq_rm, 4);
 
-  /* llama_kv_cache_seq_cp */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_seq_cp", rb_llama_kv_cache_seq_cp, 5);
+  /* llama_kv_self_seq_cp */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_cp", rb_llama_kv_self_seq_cp, 5);
 
-  /* llama_kv_cache_seq_keep */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_seq_keep", rb_llama_kv_cache_seq_keep, 2);
+  /* llama_kv_self_seq_keep */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_keep", rb_llama_kv_self_seq_keep, 2);
 
-  /* llama_kv_cache_seq_add */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_seq_add", rb_llama_kv_cache_seq_add, 5);
+  /* llama_kv_self_seq_add */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_add", rb_llama_kv_self_seq_add, 5);
 
-  /* llama_kv_cache_seq_div */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_seq_div", rb_llama_kv_cache_seq_div, 5);
+  /* llama_kv_self_seq_div */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_div", rb_llama_kv_self_seq_div, 5);
 
-  /* llama_kv_cache_seq_pos_max */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_seq_pos_max", rb_llama_kv_cache_seq_pos_max, 2);
+  /* llama_kv_self_seq_pos_max */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_pos_max", rb_llama_kv_self_seq_pos_max, 2);
 
-  /* llama_kv_cache_defrag */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_defrag", rb_llama_kv_cache_defrag, 1);
+  /* llama_kv_self_defrag */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_defrag", rb_llama_kv_self_defrag, 1);
 
-  /* llama_kv_cache_update */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_update", rb_llama_kv_cache_update, 1);
+  /* llama_kv_self_update */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_update", rb_llama_kv_self_update, 1);
 
-  /* llama_kv_cache_can_shift */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_can_shift?", rb_llama_kv_cache_can_shift, 1);
+  /* llama_kv_self_can_shift */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_can_shift?", rb_llama_kv_self_can_shift, 1);
 
   /* llama_state_get_size */
   rb_define_module_function(rb_mLlamaCpp, "llama_state_get_size", rb_llama_state_get_size, 1);
@@ -5073,7 +5156,7 @@ void Init_llama_cpp(void) {
   /* llama_sampler_init_grammar */
   rb_define_module_function(rb_mLlamaCpp, "llama_sampler_init_grammar", rb_llama_sampler_init_grammar, 3);
 
-  /* TODO: llama_sampler_init_grammar_lazy */
+  /* TODO: llama_sampler_init_grammar_lazy_patterns */
 
   /* llama_sampler_init_penalties */
   rb_define_module_function(rb_mLlamaCpp, "llama_sampler_init_penalties", rb_llama_sampler_init_penalties, 4);

data/lib/llama_cpp/version.rb

@@ -3,8 +3,8 @@
 # llama_cpp.rb provides Ruby bindings for the llama.cpp.
 module LlamaCpp
   # The version of llama_cpp.rb you install.
-  VERSION = '0.18.1'
+  VERSION = '0.19.0'
 
   # The supported version of llama.cpp.
-  LLAMA_CPP_VERSION = 'b4713'
+  LLAMA_CPP_VERSION = 'b4885'
 end

metadata

@@ -1,13 +1,13 @@
 --- !ruby/object:Gem::Specification
 name: llama_cpp
 version: !ruby/object:Gem::Version
-  version: 0.18.1
+  version: 0.19.0
 platform: ruby
 authors:
 - yoshoku
 bindir: exe
 cert_chain: []
-date: 2025-02-15 00:00:00.000000000 Z
+date: 2025-03-16 00:00:00.000000000 Z
 dependencies: []
 description: llama_cpp.rb provides Ruby bindings for the llama.cpp.
 email: