llama_cpp 0.19.6 → 0.20.1

checksums.yaml

@@ -1,7 +1,7 @@
 ---
 SHA256:
-  metadata.gz: 220f180ef84d2828f0b568c58679e31f85e11481a2c16c261a0d0f7dbb03d22a
-  data.tar.gz: 167fe1082d5bb11fd301d3f0cd3de878e4c7fe4d94ba8fff262f8b076e3df5da
+  metadata.gz: 93de918fd9c6ed1391c9d192c4c5af15c24011e72ed5537303cd276455de264c
+  data.tar.gz: fe77379e15cef0a4c2d9fccca22646beb026bfa5339d2dad5ac4a74165328264
 SHA512:
-  metadata.gz: 4c0b2c285be1c53c3e004179fe5ca06af5408ebe70ccf08eb756c2dbd22ab8dcc6c435e756d8bfe095c3080290c045e2a66ca8c061878e444e3a569beaaa4346
-  data.tar.gz: f2d6835bd5cf91881d699f040535a942fe336d197b829508ab76c977e45a813c2a5b9f4640e26fa41b0ebb14eaf8ede70acdebb21124f1198dad1432a026a5de
+  metadata.gz: 12c8406b316c7031af7b840aaa79516a42c911ae789b94b7e88e37af0e1162178fa6917a090d9f25d5555bf768d08cbcb528338d403ecbc659cd5fabd58ac761
+  data.tar.gz: b8d2a389395f866d9e975eba22b1d4c2746f785ff0694da4b93c5be7b98608e8979efee7010df8c83e54b1348cef26b573a76344d44bd926a4371414cc515856

data/CHANGELOG.md

@@ -1,3 +1,18 @@
+## [[0.20.1](https://github.com/yoshoku/llama_cpp.rb/compare/v0.20.0...v0.20.1)] - 2025-05-31
+
+- Change supported llama.cpp version to b5530
+  - Add `llama_max_parallel_sequences` module function.
+
+## [[0.20.0](https://github.com/yoshoku/llama_cpp.rb/compare/v0.19.6...v0.20.0)] - 2025-05-23
+
+- Change supported llama.cpp version to b5460
+  - Remove `LlamaKvChacheViewCell` class.
+  - Remove `deprecated LlamaKvCacheView` class.
+  - Remove `llama_kv_self_n_tokens` module function.
+  - Remove `llama_kv_self_used_cells` module function.
+  - Add `swa_full` accessor to `LlamaContextParams`.
+  - Add `llama_kv_self_seq_pos_min` module function.
+
 ## [[0.19.6](https://github.com/yoshoku/llama_cpp.rb/compare/v0.19.5...v0.19.6)] - 2025-05-17
 
 - Change supported llama.cpp version to b5410

data/ext/llama_cpp/llama_cpp.c

@@ -11,7 +11,6 @@ VALUE rb_cLlamaModelQuantizeParams;
 VALUE rb_cLlamaLogitBias;
 VALUE rb_cLlamaAdapterLora;
 VALUE rb_cLlamaKvCache;
-VALUE rb_cLlamaKvCacheView;
 VALUE rb_cLlamaTokenDataArray;
 VALUE rb_cLlamaBatch;
 VALUE rb_cLlamaSampler;
@@ -827,6 +826,17 @@ static VALUE llama_context_params_set_op_offload(VALUE self, VALUE op_offload) {
   return op_offload;
 }
 
+static VALUE llama_context_params_get_swa_full(VALUE self) {
+  struct llama_context_params* data = get_llama_context_params(self);
+  return data->swa_full ? Qtrue : Qfalse;
+}
+
+static VALUE llama_context_params_set_swa_full(VALUE self, VALUE swa_full) {
+  struct llama_context_params* data = get_llama_context_params(self);
+  data->swa_full = RTEST(swa_full) ? true : false;
+  return swa_full;
+}
+
 /* llama_model_quantize_params */
 static void llama_model_quantize_params_free(void *ptr) {
   if (ptr) {
@@ -1312,6 +1322,14 @@ static VALUE rb_llama_max_devices(VALUE self) {
   return SIZET2NUM(llama_max_devices());
 }
 
+/**
+ * @overload llama_max_parallel_sequences
+ *  @return [Integer]
+ */
+static VALUE rb_llama_max_parallel_sequences(VALUE self) {
+  return SIZET2NUM(llama_max_parallel_sequences());
+}
+
 /**
  * @overload llama_supports_mmap?
  *  @return [Boolean]
@@ -1889,208 +1907,6 @@ static VALUE rb_llama_get_kv_self(VALUE self, VALUE ctx) {
   return TypedData_Wrap_Struct(rb_cLlamaKvCache, &llama_kv_cache_wrapper_data_type, kv_cache_wrapper);
 }
 
-/* struct llama_kv_cache_view_cell */
-static void llama_kv_cache_view_cell_free(void *ptr) {
-  ruby_xfree(ptr);
-}
-
-static size_t llama_kv_cache_view_cell_size(const void *ptr) {
-  return sizeof(*((struct llama_kv_cache_view_cell*)ptr));
-}
-
-static rb_data_type_t llama_kv_cache_view_cell_type = {
-  "LlamaKvCacheViewCell",
-  { NULL,
-    llama_kv_cache_view_cell_free,
-    llama_kv_cache_view_cell_size },
-  NULL,
-  NULL,
-  RUBY_TYPED_FREE_IMMEDIATELY
-};
-
-static VALUE llama_kv_cache_view_cell_alloc(VALUE self) {
-  struct llama_kv_cache_view_cell* data = (struct llama_kv_cache_view_cell*)ruby_xmalloc(sizeof(struct llama_kv_cache_view_cell));
-  data->pos = 0;
-  return TypedData_Wrap_Struct(self, &llama_kv_cache_view_cell_type, data);
-}
-
-static struct llama_kv_cache_view_cell* get_llama_kv_cache_view_cell(VALUE self) {
-  struct llama_kv_cache_view_cell* data = NULL;
-  TypedData_Get_Struct(self, struct llama_kv_cache_view_cell, &llama_kv_cache_view_cell_type, data);
-  return data;
-}
-
-static VALUE llama_kv_cache_view_cell_get_pos(VALUE self) {
-  struct llama_kv_cache_view_cell* data = get_llama_kv_cache_view_cell(self);
-  return INT2NUM(data->pos);
-}
-
-/* struct llama_kv_cache_view */
-static void llama_kv_cache_view_free_(void *ptr) {
-  if (ptr != NULL) {
-    ruby_xfree(ptr);
-  }
-}
-
-static size_t llama_kv_cache_view_size(const void *ptr) {
-  return sizeof(*((struct llama_kv_cache_view*)ptr));
-}
-
-static rb_data_type_t llama_kv_cache_view_type = {
-  "LlamaKvCacheView",
-  { NULL,
-    llama_kv_cache_view_free_,
-    llama_kv_cache_view_size },
-  NULL,
-  NULL,
-  RUBY_TYPED_FREE_IMMEDIATELY
-};
-
-static VALUE llama_kv_cache_view_alloc(VALUE self) {
-  struct llama_kv_cache_view* data = (struct llama_kv_cache_view*)ruby_xmalloc(sizeof(struct llama_kv_cache_view));
-  data->n_cells = 0;
-  data->n_seq_max = 0;
-  data->token_count = 0;
-  data->used_cells = 0;
-  data->max_contiguous = 0;
-  data->max_contiguous_idx = 0;
-  data->cells = NULL;
-  data->cells_sequences = NULL;
-  return TypedData_Wrap_Struct(self, &llama_kv_cache_view_type, data);
-}
-
-static struct llama_kv_cache_view* get_llama_kv_cache_view(VALUE self) {
-  struct llama_kv_cache_view* data = NULL;
-  TypedData_Get_Struct(self, struct llama_kv_cache_view, &llama_kv_cache_view_type, data);
-  return data;
-}
-
-static VALUE llama_kv_cache_view_get_n_cells(VALUE self) {
-  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
-  return INT2NUM(data->n_cells);
-}
-
-static VALUE llama_kv_cache_view_get_n_seq_max(VALUE self) {
-  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
-  return INT2NUM(data->n_seq_max);
-}
-
-static VALUE llama_kv_cache_view_get_token_count(VALUE self) {
-  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
-  return INT2NUM(data->token_count);
-}
-
-static VALUE llama_kv_cache_view_get_used_cells(VALUE self) {
-  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
-  return INT2NUM(data->used_cells);
-}
-
-static VALUE llama_kv_cache_view_get_max_contiguous(VALUE self) {
-  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
-  return INT2NUM(data->max_contiguous);
-}
-
-static VALUE llama_kv_cache_view_get_max_contiguous_idx(VALUE self) {
-  struct llama_kv_cache_view* data = get_llama_kv_cache_view(self);
-  return INT2NUM(data->max_contiguous_idx);
-}
-/* TODO: struct llama_kv_cache_view_cell * cells; */
-/* TODO: llama_seq_id * cells_sequences; */
-
-/**
- * @overload llama_kv_cache_view_init(context, n_seq_max)
- *  @param [LlamaContext] context
- *  @param [Integer] n_seq_max
- *  @return [LlamaKvCacheView]
- */
-static VALUE rb_llama_kv_cache_view_init(VALUE self, VALUE ctx, VALUE n_seq_max) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!RB_INTEGER_TYPE_P(n_seq_max)) {
-    rb_raise(rb_eArgError, "n_seq_max must be an Integer");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  struct llama_kv_cache_view* data = (struct llama_kv_cache_view*)ruby_xmalloc(sizeof(struct llama_kv_cache_view));
-  *data = llama_kv_cache_view_init(context_wrapper->context, NUM2UINT(n_seq_max));
-  RB_GC_GUARD(ctx);
-  return TypedData_Wrap_Struct(rb_cLlamaKvCacheView, &llama_kv_cache_view_type, data);
-}
-
-/**
- * @overload llama_kv_cache_view_free(view)
- *  @param [LlamaKvCacheView] view
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_cache_view_free(VALUE self, VALUE view) {
-  if (!rb_obj_is_kind_of(view, rb_cLlamaKvCacheView)) {
-    rb_raise(rb_eArgError, "view must be a LlamaKvCacheView");
-    return Qnil;
-  }
-  struct llama_kv_cache_view* view_ = get_llama_kv_cache_view(view);
-  llama_kv_cache_view_free(view_);
-  view_ = NULL;
-  RB_GC_GUARD(view);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_cache_view_update(context, view)
- *  @param [LlamaContext] context
- *  @param [LlamaKvCacheView] view
- *  @return [NilClass]
- */
-static VALUE rb_llama_kv_cache_view_update(VALUE self, VALUE ctx, VALUE view) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  if (!rb_obj_is_kind_of(view, rb_cLlamaKvCacheView)) {
-    rb_raise(rb_eArgError, "view must be a LlamaKvCacheView");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  struct llama_kv_cache_view* view_ = get_llama_kv_cache_view(view);
-  llama_kv_cache_view_update(context_wrapper->context, view_);
-  RB_GC_GUARD(ctx);
-  RB_GC_GUARD(view);
-  return Qnil;
-}
-
-/**
- * @overload llama_kv_self_n_tokens(context)
- *  @param [LlamaContext] context
- *  @return [Integer]
- */
-static VALUE rb_llama_kv_self_n_tokens(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t n_tokens_kv_self = llama_kv_self_n_tokens(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return INT2NUM(n_tokens_kv_self);
-}
-
-/**
- * @overload llama_kv_self_used_cells(context)
- *  @param [LlamaContext] context
- *  @return [Integer]
- */
-static VALUE rb_llama_kv_self_used_cells(VALUE self, VALUE ctx) {
-  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
-    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
-    return Qnil;
-  }
-  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
-  const int32_t n_used_kv_cells = llama_kv_self_used_cells(context_wrapper->context);
-  RB_GC_GUARD(ctx);
-  return INT2NUM(n_used_kv_cells);
-}
-
 /**
  * @overload llama_kv_self_clear(context)
  *  @param [LlamaContext] context
@@ -2267,6 +2083,27 @@ static VALUE rb_llama_kv_self_seq_div(VALUE self, VALUE ctx, VALUE seq_id, VALUE
   return Qnil;
 }
 
+/**
+ * @overload llama_kv_self_seq_pos_min(context, seq_id)
+ *  @param [LlamaContext] context
+ *  @param [Integer] seq_id
+ *  @return [Integer]
+ */
+static VALUE rb_llama_kv_self_seq_pos_min(VALUE self, VALUE ctx, VALUE seq_id) {
+  if (!rb_obj_is_kind_of(ctx, rb_cLlamaContext)) {
+    rb_raise(rb_eArgError, "ctx must be a LlamaContext");
+    return Qnil;
+  }
+  if (!RB_INTEGER_TYPE_P(seq_id)) {
+    rb_raise(rb_eArgError, "seq_id must be an Integer");
+    return Qnil;
+  }
+  llama_context_wrapper* context_wrapper = get_llama_context_wrapper(ctx);
+  const int32_t pos_max = llama_kv_self_seq_pos_min(context_wrapper->context, NUM2INT(seq_id));
+  RB_GC_GUARD(ctx);
+  return INT2NUM(pos_max);
+}
+
 /**
  * @overload llama_kv_self_seq_pos_max(context, seq_id)
  *  @param [LlamaContext] context
@@ -4637,6 +4474,17 @@ void Init_llama_cpp(void) {
    * @return [Boolean]
    */
   rb_define_method(rb_cLlamaContextParams, "op_offload=", RUBY_METHOD_FUNC(llama_context_params_set_op_offload), 1);
+  /**
+   * Document-method: swa_full
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaContextParams, "swa_full", RUBY_METHOD_FUNC(llama_context_params_get_swa_full), 0);
+  /**
+   * Document-method: swa_full=
+   * @param [Boolean] swa_full
+   * @return [Boolean]
+   */
+  rb_define_method(rb_cLlamaContextParams, "swa_full=", RUBY_METHOD_FUNC(llama_context_params_set_swa_full), 1);
   /* TODO: ggml_abort_callback abort_callback */
   /* TODO: void* abort_callback_data */
 
@@ -4844,6 +4692,9 @@ void Init_llama_cpp(void) {
   /* llama_max_devices */
   rb_define_module_function(rb_mLlamaCpp, "llama_max_devices", rb_llama_max_devices, 0);
 
+  /* llama_max_parallel_sequences */
+  rb_define_module_function(rb_mLlamaCpp, "llama_max_parallel_sequences", rb_llama_max_parallel_sequences, 0);
+
   /* llama_supports_mmap */
   rb_define_module_function(rb_mLlamaCpp, "llama_supports_mmap?", rb_llama_supports_mmap, 0);
 
@@ -4956,18 +4807,6 @@ void Init_llama_cpp(void) {
 
   /* TODO: llama_apply_adapter_cvec */
 
-  /**
-   * Document-class: LlamaCpp::LlamaKvCacheViewCell
-   * "struct llama_kv_cache_view_cell" wrapper class
-   */
-  VALUE rb_cLlamaKvCacheViewCell = rb_define_class_under(rb_mLlamaCpp, "LlamaKvCacheViewCell", rb_cObject);
-  rb_define_alloc_func(rb_cLlamaKvCacheViewCell, llama_kv_cache_view_cell_alloc);
-  /**
-   * Document-method: pos
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheViewCell, "pos", RUBY_METHOD_FUNC(llama_kv_cache_view_cell_get_pos), 0);
-
   /**
    * Document-class: LlamaCpp::LlamaKvCache
    * "struct llama_kv_cache" wrapper class
@@ -4975,58 +4814,6 @@ void Init_llama_cpp(void) {
   rb_cLlamaKvCache = rb_define_class_under(rb_mLlamaCpp, "LlamaKvCache", rb_cObject);
   rb_define_alloc_func(rb_cLlamaKvCache, llama_kv_cache_wrapper_alloc);
 
-  /**
-   * Document-class: LlamaCpp::LlamaKvCacheView
-   * "struct llama_kv_cache_view" wrapper class
-   */
-  rb_cLlamaKvCacheView = rb_define_class_under(rb_mLlamaCpp, "LlamaKvCacheView", rb_cObject);
-  rb_define_alloc_func(rb_cLlamaKvCacheView, llama_kv_cache_view_alloc);
-  /**
-   * Document-method: n_cells
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheView, "n_cells", RUBY_METHOD_FUNC(llama_kv_cache_view_get_n_cells), 0);
-  /**
-   * Document-method: n_seq_max
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheView, "n_seq_max", RUBY_METHOD_FUNC(llama_kv_cache_view_get_n_seq_max), 0);
-  /**
-   * Document-method: token_count
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheView, "token_count", RUBY_METHOD_FUNC(llama_kv_cache_view_get_token_count), 0);
-  /**
-   * Document-method: used_cells
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheView, "used_cells", RUBY_METHOD_FUNC(llama_kv_cache_view_get_used_cells), 0);
-  /**
-   * Document-method: max_contiguous
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheView, "max_contiguous", RUBY_METHOD_FUNC(llama_kv_cache_view_get_max_contiguous), 0);
-  /**
-   * Document-method: max_contiguous_idx
-   * @return [Integer]
-   */
-  rb_define_method(rb_cLlamaKvCacheView, "max_contiguous_idx", RUBY_METHOD_FUNC(llama_kv_cache_view_get_max_contiguous_idx), 0);
-
-  /* llama_kv_cache_view_init */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_view_init", rb_llama_kv_cache_view_init, 2);
-
-  /* llama_kv_cache_view_free */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_view_free", rb_llama_kv_cache_view_free, 1);
-
-  /* llama_kv_cache_view_update */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_cache_view_update", rb_llama_kv_cache_view_update, 2);
-
-  /* llama_kv_self_n_tokens */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_n_tokens", rb_llama_kv_self_n_tokens, 1);
-
-  /* llama_kv_self_used_cells */
-  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_used_cells", rb_llama_kv_self_used_cells, 1);
-
   /* llama_kv_self_clear */
   rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_clear", rb_llama_kv_self_clear, 1);
 
@@ -5045,6 +4832,9 @@ void Init_llama_cpp(void) {
   /* llama_kv_self_seq_div */
   rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_div", rb_llama_kv_self_seq_div, 5);
 
+  /* llama_kv_self_seq_pos_min */
+  rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_pos_min", rb_llama_kv_self_seq_pos_min, 2);
+
   /* llama_kv_self_seq_pos_max */
   rb_define_module_function(rb_mLlamaCpp, "llama_kv_self_seq_pos_max", rb_llama_kv_self_seq_pos_max, 2);
 

data/lib/llama_cpp/version.rb

@@ -3,8 +3,8 @@
 # llama_cpp.rb provides Ruby bindings for the llama.cpp.
 module LlamaCpp
   # The version of llama_cpp.rb you install.
-  VERSION = '0.19.6'
+  VERSION = '0.20.1'
 
   # The supported version of llama.cpp.
-  LLAMA_CPP_VERSION = 'b5410'
+  LLAMA_CPP_VERSION = 'b5530'
 end

metadata

@@ -1,7 +1,7 @@
 --- !ruby/object:Gem::Specification
 name: llama_cpp
 version: !ruby/object:Gem::Version
-  version: 0.19.6
+  version: 0.20.1
 platform: ruby
 authors:
 - yoshoku