llama_cpp 0.21.1 → 0.22.0

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 64aab047f44a9002c5c388f6a774448671d7be9618170310d2b7dd1091a99670
-  data.tar.gz: 63f0d908b99a45865a9b9d81ae595adb0d9a1f258976267da3ce5b5df747ae0d
+  metadata.gz: 44ea7eb462df4d37cd20d802e5f305d4ff05b605e3d442ca966458714a57881b
+  data.tar.gz: f3e73839dda61b43efd71c0d325384b78c6b47fc8535ab62d25a54c66aa6d09f
 SHA512:
-  metadata.gz: 4f5344b36ff0c0bbd812f25f2b7a897893cb8ffb0700e3f8c23dfbd81cc8b1c4ee1893d5198c74df625fbc3c4c925f32e4c868c60b6ed13e7a5412eef3d9b2b6
-  data.tar.gz: dbc8d279a9284ba62786d3c5d267352445814289cb1f8a2268d2bb2ff72a4bc7a2534cb2c4582f945e13a68a645cec51101085203ff6dac1a2b7df6885412398
+  metadata.gz: b2060e02b8bb154b5d34c242b54f331b840cc5e3f46bce6bcc307b52de4e6eb2613a5e725154b51c9e272576c00d004f72827acb035f62c280862fae94a9f5a5
+  data.tar.gz: 43a110ce026562b17b6f7da9b9bd013be7671bf457c3ddb84a3de362333a7b7f665031577755c7de984e0e84da39f1c474f96dc830040fa08185b5b405169697

data/CHANGELOG.md

@@ -1,10 +1,36 @@
+## [[0.22.0](https://github.com/yoshoku/llama_cpp.rb/compare/v0.21.2...v0.22.0)] - 2025-08-23
+
+- Change supported llama.cpp version to b6240.
+  - Add `llama_state_seq_get_size_ext` module function.
+  - Add `LLAMA_STATE_SEQ_FLAGS_SWA_ONLY` constant.
+  - Remove `LlamaKvCache` class.
+  - Remove `llama_get_kv_self` module function.
+  - Remove ` llama_get_kv_self_clear` module function.
+  - Remove `llama_kv_self_seq_rm` module function.
+  - Remove `llama_kv_self_seq_cp` module function.
+  - Remove `llama_kv_self_seq_keep` module function.
+  - Remove `llama_kv_self_seq_add` module function.
+  - Remove `llama_kv_self_seq_div` module function.
+  - Remove `llama_kv_self_seq_pos_min` module function.
+  - Remove `llama_kv_self_seq_pos_max` module function.
+  - Remove `llama_kv_self_deflag` module function.
+  - Remove `llama_kv_self_can_shift?` module function.
+  - Remove `llama_kv_self_update` module function.
+
+## [[0.21.2](https://github.com/yoshoku/llama_cpp.rb/compare/v0.21.1...v0.21.2)] - 2025-08-09
+
+- Change supported llama.cpp version to b6100.
+  - Add `LLAMA_FTYPE_MOSTLY_MXFP4_MOE` constant.
+  - Add `use_extra_bufts` accessor to `LlamaModelParams`.
+  - Add `llama_model_is_diffusion?` module function.
+
 ## [[0.21.1](https://github.com/yoshoku/llama_cpp.rb/compare/v0.21.0...v0.21.1)] - 2025-07-19
 
 - Change supported llama.cpp version to b5930.
   - Add `n_reused` reader to `LlamaPerfContextData`.
   - Add `llama_vocab_mask` module function.
   - Add `kv_unified` accessor to `LlamaContextParams`.
-  - Add `LLAMA_VOCAB_TYPE_PLAMO2` contant.
+  - Add `LLAMA_VOCAB_TYPE_PLAMO2` constant.
 
 ## [[0.21.0](https://github.com/yoshoku/llama_cpp.rb/compare/v0.20.4...v0.21.0)] - 2025-07-12
 

data/ext/llama_cpp/llama_cpp.c

@@ -11,7 +11,6 @@ VALUE rb_cLlamaModelQuantizeParams;
 VALUE rb_cLlamaLogitBias;
 VALUE rb_cLlamaAdapterLora;
 VALUE rb_cLlamaMemoryT;
-VALUE rb_cLlamaKvCache;
 VALUE rb_cLlamaTokenDataArray;
 VALUE rb_cLlamaBatch;
 VALUE rb_cLlamaSampler;
@@ -530,6 +529,17 @@ static VALUE llama_model_params_set_check_tensors(VALUE self, VALUE check_tensor
   return check_tensors;
 }
 
+static VALUE llama_model_params_get_use_extra_bufts(VALUE self) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  return data->use_extra_bufts ? Qtrue : Qfalse;
+}
+
+static VALUE llama_model_params_set_use_extra_bufts(VALUE self, VALUE use_extra_bufts) {
+  struct llama_model_params* data = get_llama_model_params(self);
+  data->use_extra_bufts = RTEST(use_extra_bufts) ? true : false;
+  return use_extra_bufts;
+}
+
 /* struct llama_context_params */
 static void llama_context_params_free(void *ptr) {
   if (ptr) {
@@ -1774,6 +1784,20 @@ static VALUE rb_llama_model_is_recurrent(VALUE self, VALUE model) {
   return llama_model_is_recurrent(model_wrapper->model) ? Qtrue : Qfalse;
 }
 
+/**
+ * @overload llama_model_is_diffusion?(model)
+ *  @param [LlamaModel] model
+ *  @return [Boolean]
+ */
+static VALUE rb_llama_model_is_diffusion(VALUE self, VALUE model) {
+  if (!rb_obj_is_kind_of(model, rb_cLlamaModel)) {
+    rb_raise(rb_eArgError, "model must be a LlamaModel");
+    return Qnil;
+  }
+  llama_model_wrapper* model_wrapper = get_llama_model_wrapper(model);
+  return llama_model_is_diffusion(model_wrapper->model) ? Qtrue : Qfalse;
+}
+
 /**
  * @overload llama_model_quantize(fname_inp, fname_out, params)
  *  @param [String] fname_inp
@@ -2147,264 +2171,29 @@ static VALUE rb_llama_get_memory(VALUE self, VALUE ctx) {
   return TypedData_Wrap_Struct(rb_cLlamaMemoryT, &llama_memory_t_wrapper_data_type, memory_wrapper);
 }
 
-/* llama_kv_cache wrapper */
-typedef struct {
-  struct llama_kv_cache* kv_cache;
-} llama_kv_cache_wrapper;
-
-static void llama_kv_cache_wrapper_free(void *ptr) {
-  if (ptr) {
-    ruby_xfree(ptr);
-  }
-}
-
-static size_t llama_kv_cache_wrapper_size(const void *ptr) {
-  return sizeof(*((llama_kv_cache_wrapper*)ptr));
-}
-
-static rb_data_type_t llama_kv_cache_wrapper_data_type = {
-  "LlamaKvCache",
-  { NULL,
-    llama_kv_cache_wrapper_free,
-    llama_kv_cache_wrapper_size },
-  NULL,
-  NULL,
-  RUBY_TYPED_FREE_IMMEDIATELY
-};
-
-static VALUE llama_kv_cache_wrapper_alloc(VALUE self) {
-  llama_kv_cache_wrapper* data = (llama_kv_cache_wrapper*)ruby_xmalloc(sizeof(llama_kv_cache_wrapper));
-  data->kv_cache = NULL;
-  return TypedData_Wrap_Struct(self, &llama_kv_cache_wrapper_data_type, data);
-}
-
-// static llama_kv_cache_wrapper* get_llama_kv_cache_wrapper(VALUE self) {
-//   llama_kv_cache_wrapper* data = NULL;
-//   TypedData_Get_Struct(self, llama_kv_cache_wrapper, &llama_kv_cache_wrapper_data_type, data);
-//   return data;
-// }
-
-/**
- * @overload llama_get_kv_self(context)
- *  @param [LlamaContext] context
- *  @return [LlamaKvCache]
- */
-static VALUE rb_llama_get_kv_self(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_cache_wrapper* kv_cache_wrapper = (llama_kv_cache_wrapper*)ruby_xmalloc(sizeof(llama_kv_cache_wrapper));
-  kv_cache_wrapper->kv_cache = llama_get_kv_self(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return TypedData_Wrap_Struct(rb_cLlamaKvCache, &llama_kv_cache_wrapper_data_type, kv_cache_wrapper);
-}
-
-/**
- * @overload llama_kv_self_clear(context)
- *  @param [LlamaContext] context
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_clear(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_clear(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_seq_rm(context, seq_id, p0, p1)
- *  @param [LlamaContext] context
- *  @param [Integer] seq_id
- *  @param [Integer] p0
- *  @param [Integer] p1
- *  @return [Boolean]
- */
-static VALUE rb_llama_kv_self_seq_rm(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(seq_id)) {
-    rb_raise(rb_eArgError, "seq_id must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p0)) {
-    rb_raise(rb_eArgError, "p0 must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p1)) {
-    rb_raise(rb_eArgError, "p1 must be an Integer");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const bool res = llama_kv_self_seq_rm(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1));
-  RB_GC_GUARD(ctx);
-  return res ? Qtrue : Qfalse;
-}
-
-/**
- * @overload llama_kv_self_seq_cp(context, seq_id_src, seq_id_dst, p0, p1)
- *  @param [LlamaContext] context
- *  @param [Integer] seq_id_src
- *  @param [Integer] seq_id_dst
- *  @param [Integer] p0
- *  @param [Integer] p1
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_seq_cp(VALUE self, VALUE ctx, VALUE seq_id_src, VALUE seq_id_dst, VALUE p0, VALUE p1) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(seq_id_src)) {
-    rb_raise(rb_eArgError, "seq_id_src must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(seq_id_dst)) {
-    rb_raise(rb_eArgError, "seq_id_dst must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p0)) {
-    rb_raise(rb_eArgError, "p0 must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p1)) {
-    rb_raise(rb_eArgError, "p1 must be an Integer");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_seq_cp(context_wrapper->context, NUM2INT(seq_id_src), NUM2INT(seq_id_dst), NUM2INT(p0), NUM2INT(p1));
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_seq_keep(context, seq_id)
- *  @param [LlamaContext] context
- *  @param [Integer] seq_id
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_seq_keep(VALUE self, VALUE ctx, VALUE seq_id) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(seq_id)) {
-    rb_raise(rb_eArgError, "seq_id must be an Integer");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_seq_keep(context_wrapper->context, NUM2INT(seq_id));
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_seq_add(context, seq_id, p0, p1, delta)
- *  @param [LlamaContext] context
- *  @param [Integer] seq_id
- *  @param [Integer] p0
- *  @param [Integer] p1
- *  @param [Integer] delta
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_seq_add(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1, VALUE delta) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(seq_id)) {
-    rb_raise(rb_eArgError, "seq_id must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p0)) {
-    rb_raise(rb_eArgError, "p0 must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p1)) {
-    rb_raise(rb_eArgError, "p1 must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(delta)) {
-    rb_raise(rb_eArgError, "delta must be an Integer");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_seq_add(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(delta));
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_seq_div(context, seq_id, p0, p1, d)
- *  @param [LlamaContext] context
- *  @param [Integer] seq_id
- *  @param [Integer] p0
- *  @param [Integer] p1
- *  @param [Integer] d
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_seq_div(VALUE self, VALUE ctx, VALUE seq_id, VALUE p0, VALUE p1, VALUE d) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(seq_id)) {
-    rb_raise(rb_eArgError, "seq_id must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p0)) {
-    rb_raise(rb_eArgError, "p0 must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(p1)) {
-    rb_raise(rb_eArgError, "p1 must be an Integer");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(d)) {
-    rb_raise(rb_eArgError, "d must be an Integer");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_seq_div(context_wrapper->context, NUM2INT(seq_id), NUM2INT(p0), NUM2INT(p1), NUM2INT(d));
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
 /**
- * @overload llama_kv_self_seq_pos_min(context, seq_id)
+ * @overload llama_state_get_size(context)
  *  @param [LlamaContext] context
- *  @param [Integer] seq_id
  *  @return [Integer]
  */
-static VALUE rb_llama_kv_self_seq_pos_min(VALUE self, VALUE ctx, VALUE seq_id) {
+static VALUE rb_llama_state_get_size(VALUE self, VALUE ctx) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
   }
-  if (!RB_INTEGER_TYPE_P(seq_id)) {
-    rb_raise(rb_eArgError, "seq_id must be an Integer");
-    return Qnil;
-  }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t pos_max = llama_kv_self_seq_pos_min(context_wrapper->context, NUM2INT(seq_id));
+  const size_t size = llama_state_get_size(context_wrapper->context);
   RB_GC_GUARD(ctx);
-  return INT2NUM(pos_max);
+  return SIZET2NUM(size);
 }
 
 /**
- * @overload llama_kv_self_seq_pos_max(context, seq_id)
+ * @overload llama_state_seq_get_size(context, seq_id)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
  *  @return [Integer]
  */
-static VALUE rb_llama_kv_self_seq_pos_max(VALUE self, VALUE ctx, VALUE seq_id) {
+static VALUE rb_llama_state_seq_get_size(VALUE self, VALUE ctx, VALUE seq_id) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2414,82 +2203,19 @@ static VALUE rb_llama_kv_self_seq_pos_max(VALUE self, VALUE ctx, VALUE seq_id) {
     return Qnil;
   }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t pos_max = llama_kv_self_seq_pos_max(context_wrapper->context, NUM2INT(seq_id));
-  RB_GC_GUARD(ctx);
-  return INT2NUM(pos_max);
-}
-
-/**
- * @overload llama_kv_self_defrag(context)
- *  @param [LlamaContext] context
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_defrag(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_defrag(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_update(context)
- *  @param [LlamaContext] context
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_self_update(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  llama_kv_self_update(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_can_shift?(context)
- *  @param [LlamaContext] context
- *  @return [Boolean]
- */
-static VALUE rb_llama_kv_self_can_shift(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const bool res = llama_kv_self_can_shift(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return res ? Qtrue : Qfalse;
-}
-
-/**
- * @overload llama_state_get_size(context)
- *  @param [LlamaContext] context
- *  @return [Integer]
- */
-static VALUE rb_llama_state_get_size(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const size_t size = llama_state_get_size(context_wrapper->context);
+  const size_t size = llama_state_seq_get_size(context_wrapper->context, NUM2INT(seq_id));
   RB_GC_GUARD(ctx);
   return SIZET2NUM(size);
 }
 
 /**
- * @overload llama_state_seq_get_size(context, seq_id)
+ * @overload llama_state_seq_get_size_ext(context, seq_id, flags)
  *  @param [LlamaContext] context
  *  @param [Integer] seq_id
+ *  @param [Integer] flags
  *  @return [Integer]
  */
-static VALUE rb_llama_state_seq_get_size(VALUE self, VALUE ctx, VALUE seq_id) {
+static VALUE rb_llama_state_seq_get_size_ext(VALUE self, VALUE ctx, VALUE seq_id, VALUE flags) {
   if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
     rb_raise(rb_eArgError, "ctx must be a LlamaContext");
     return Qnil;
@@ -2498,8 +2224,12 @@ static VALUE rb_llama_state_seq_get_size(VALUE self, VALUE ctx, VALUE seq_id) {
     rb_raise(rb_eArgError, "seq_id must be an Integer");
     return Qnil;
   }
+  if (!RB_INTEGER_TYPE_P(flags)) {
+    rb_raise(rb_eArgError, "flags must be an Integer");
+    return Qnil;
+  }
   llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const size_t size = llama_state_seq_get_size(context_wrapper->context, NUM2INT(seq_id));
+  const size_t size = llama_state_seq_get_size_ext(context_wrapper->context, NUM2INT(seq_id), (uint32_t)NUM2UINT(flags));
   RB_GC_GUARD(ctx);
   return SIZET2NUM(size);
 }
@@ -4162,6 +3892,7 @@ void Init_llama_cpp(void) {
   rb_define_const(rb_mLlamaCpp, "LLAMA_DEFAULT_SEED", rb_str_new2(tmp));
 
   rb_define_const(rb_mLlamaCpp, "LLAMA_TOKEN_NULL", INT2NUM(LLAMA_TOKEN_NULL));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_STATE_SEQ_FLAGS_SWA_ONLY", INT2NUM(LLAMA_STATE_SEQ_FLAGS_SWA_ONLY));
 
   sprintf(tmp, "0x%x", LLAMA_FILE_MAGIC_GGLA);
   rb_define_const(rb_mLlamaCpp, "LLAMA_FILE_MAGIC_GGLA", rb_str_new2(tmp));
@@ -4251,6 +3982,7 @@ void Init_llama_cpp(void) {
   rb_define_const(rb_mLlamaCpp, "LLAMA_FTYPE_MOSTLY_BF16", INT2NUM(LLAMA_FTYPE_MOSTLY_BF16));
   rb_define_const(rb_mLlamaCpp, "LLAMA_FTYPE_MOSTLY_TQ1_0", INT2NUM(LLAMA_FTYPE_MOSTLY_TQ1_0));
   rb_define_const(rb_mLlamaCpp, "LLAMA_FTYPE_MOSTLY_TQ2_0", INT2NUM(LLAMA_FTYPE_MOSTLY_TQ2_0));
+  rb_define_const(rb_mLlamaCpp, "LLAMA_FTYPE_MOSTLY_MXFP4_MOE", INT2NUM(LLAMA_FTYPE_MOSTLY_MXFP4_MOE));
   rb_define_const(rb_mLlamaCpp, "LLAMA_FTYPE_GUESSED", INT2NUM(LLAMA_FTYPE_GUESSED));
   /* llama_rope_scaling_type */
   /* Document-const: LlamaCpp::LLAMA_ROPE_SCALING_TYPE_UNSPECIFIED */
@@ -4496,6 +4228,17 @@ void Init_llama_cpp(void) {
    * @return [Boolean]
    */
   rb_define_method(rb_cLlamaModelParams, "check_tensors=", RUBY_METHOD_FUNC(llama_model_params_set_check_tensors), 1);
+  /**
+   * Document-method: use_extra_bufts
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "use_extra_bufts", RUBY_METHOD_FUNC(llama_model_params_get_use_extra_bufts), 0);
+  /**
+   * Document-method: use_extra_bufts=
+   * @param [Boolean] use_extra_bufts
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaModelParams, "use_extra_bufts=", RUBY_METHOD_FUNC(llama_model_params_set_use_extra_bufts), 1);
 
   /**
    * Document-class: LlamaCpp::LlamaContextParams
@@ -5029,9 +4772,6 @@ void Init_llama_cpp(void) {
   /* TODO: llama_get_model */
   rb_define_module_function(rb_mLlamaCpp, "llama_get_model", rb_llama_get_model, 1);
 
-  /* llama_get_kv_self */
-  rb_define_module_function(rb_mLlamaCpp, "llama_get_kv_self", rb_llama_get_kv_self, 1);
-
   /* llama_get_memory */
   rb_define_module_function(rb_mLlamaCpp, "llama_get_memory", rb_llama_get_memory, 1);
 
@@ -5106,6 +4846,9 @@ void Init_llama_cpp(void) {
   /* llama_model_is_recurrent */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_is_recurrent?", rb_llama_model_is_recurrent, 1);
 
+  /* llama_model_is_diffusion */
+  rb_define_module_function(rb_mLlamaCpp, "llama_model_is_diffusion?", rb_llama_model_is_diffusion, 1);
+
   /* llama_model_quantize */
   rb_define_module_function(rb_mLlamaCpp, "llama_model_quantize", rb_llama_model_quantize, 3);
 
@@ -5160,46 +4903,6 @@ void Init_llama_cpp(void) {
   /* llama_memory_can_shift */
   rb_define_module_function(rb_mLlamaCpp, "llama_memory_can_shift?", rb_llama_memory_can_shift, 1);
 
-  /**
-   * Document-class: LlamaCpp::LlamaKvCache
-   * "struct llama_kv_cache" wrapper class
-   */
-  rb_cLlamaKvCache = rb_define_class_under(rb_mLlamaCpp, "LlamaKvCache", rb_cObject);
-  rb_define_alloc_func(rb_cLlamaKvCache, llama_kv_cache_wrapper_alloc);
-
-  /* llama_kv_self_clear */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_clear", rb_llama_kv_self_clear, 1);
-
-  /* llama_kv_self_seq_rm */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_rm", rb_llama_kv_self_seq_rm, 4);
-
-  /* llama_kv_self_seq_cp */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_cp", rb_llama_kv_self_seq_cp, 5);
-
-  /* llama_kv_self_seq_keep */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_keep", rb_llama_kv_self_seq_keep, 2);
-
-  /* llama_kv_self_seq_add */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_add", rb_llama_kv_self_seq_add, 5);
-
-  /* llama_kv_self_seq_div */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_div", rb_llama_kv_self_seq_div, 5);
-
-  /* llama_kv_self_seq_pos_min */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_pos_min", rb_llama_kv_self_seq_pos_min, 2);
-
-  /* llama_kv_self_seq_pos_max */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_pos_max", rb_llama_kv_self_seq_pos_max, 2);
-
-  /* llama_kv_self_defrag */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_defrag", rb_llama_kv_self_defrag, 1);
-
-  /* llama_kv_self_update */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_update", rb_llama_kv_self_update, 1);
-
-  /* llama_kv_self_can_shift */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_can_shift?", rb_llama_kv_self_can_shift, 1);
-
   /* llama_state_get_size */
   rb_define_module_function(rb_mLlamaCpp, "llama_state_get_size", rb_llama_state_get_size, 1);
 
@@ -5215,6 +4918,9 @@ void Init_llama_cpp(void) {
   /* TODO: llama_state_seq_set_data */
   /* TODO: llama_state_seq_save_file */
   /* TODO: llama_state_seq_load_file */
+  rb_define_module_function(rb_mLlamaCpp, "llama_state_seq_get_size_ext", rb_llama_state_seq_get_size_ext, 3);
+  /* TODO: llama_state_seq_get_data_ext */
+  /* TODO: llama_state_seq_set_data_ext */
 
   /* llama_batch_get_one */
   rb_define_module_function(rb_mLlamaCpp, "llama_batch_get_one", rb_llama_batch_get_one, 1);

data/lib/llama_cpp/version.rb

@@ -3,8 +3,8 @@
 # llama_cpp.rb provides Ruby bindings for the llama.cpp.
 module LlamaCpp
   # The version of llama_cpp.rb you install.
-  VERSION = '0.21.1'
+  VERSION = '0.22.0'
 
   # The supported version of llama.cpp.
-  LLAMA_CPP_VERSION = 'b5930'
+  LLAMA_CPP_VERSION = 'b6240'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: llama_cpp
 version: !ruby/object:Gem::Version
-  version: 0.21.1
+  version: 0.22.0
 platform: ruby
 authors:
 - yoshoku
@@ -49,7 +49,7 @@ required_rubygems_version: !ruby/object:Gem::Requirement
     - !ruby/object:Gem::Version
       version: '0'
 requirements: []
-rubygems_version: 3.6.9
+rubygems_version: 3.7.0
 specification_version: 4
 summary: Ruby bindings for the llama.cpp.
 test_files: []