@novastera-oss/llamarn 0.2.5 → 0.2.7

package/RNLlamaCpp.podspec

@@ -39,7 +39,8 @@ Pod::Spec.new do |s|
                    "cpp/llama.cpp/common/speculative.{h,cpp}",
                    "cpp/llama.cpp/common/llguidance.{h,cpp}",
                    "cpp/llama.cpp/common/*.hpp",
-                   "cpp/llama.cpp/common/minja/*.hpp"
+                   "cpp/llama.cpp/vendor/minja/*.hpp"
+                   "cpp/llama.cpp/vendor/nlohmann/*.hpp"
   
   # Include all necessary headers for compilation
   s.preserve_paths = "ios/include/**/*.h",
@@ -51,7 +52,7 @@ Pod::Spec.new do |s|
 
   # Compiler settings
   s.pod_target_xcconfig = {
-    "HEADER_SEARCH_PATHS" => "\"$(PODS_TARGET_SRCROOT)/ios/include\" \"$(PODS_TARGET_SRCROOT)/cpp\" \"$(PODS_TARGET_SRCROOT)/ios/generated/RNLlamaCppSpec\" \"$(PODS_TARGET_SRCROOT)/ios/generated\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/include\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/ggml/include\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/common\" \"$(PODS_ROOT)/boost\" \"$(PODS_ROOT)/Headers/Public/React-bridging\" \"$(PODS_ROOT)/Headers/Public/React\"",
+    "HEADER_SEARCH_PATHS" => "\"$(PODS_TARGET_SRCROOT)/ios/include\" \"$(PODS_TARGET_SRCROOT)/cpp\" \"$(PODS_TARGET_SRCROOT)/ios/generated/RNLlamaCppSpec\" \"$(PODS_TARGET_SRCROOT)/ios/generated\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/include\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/ggml/include\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/common\" \"$(PODS_TARGET_SRCROOT)/cpp/llama.cpp/vendor\" \"$(PODS_ROOT)/boost\" \"$(PODS_ROOT)/Headers/Public/React-bridging\" \"$(PODS_ROOT)/Headers/Public/React\"",
     "OTHER_CPLUSPLUSFLAGS" => "-DFOLLY_NO_CONFIG -DFOLLY_MOBILE=1 -DFOLLY_USE_LIBCPP=1 -DLLAMA_METAL -DRCT_NEW_ARCH_ENABLED=1 -DFBJSRT_EXPORTED=1",
     "CLANG_CXX_LANGUAGE_STANDARD" => "c++17",
     "GCC_OPTIMIZATION_LEVEL" => "3", # Maximum optimization

package/android/CMakeLists.txt

@@ -141,7 +141,8 @@ target_include_directories(common PRIVATE
     ${LLAMA_CPP_DIR}/ggml/include
     ${LLAMA_CPP_DIR}/include
     ${LLAMA_CPP_DIR}/common
-    ${LLAMA_CPP_DIR}/common/minja  # Add this for chat-template.hpp
+    ${LLAMA_CPP_DIR}/vendor/minja
+    ${LLAMA_CPP_DIR}/vendor
     ${LLAMA_CPP_DIR}/src
 )
 
@@ -150,7 +151,8 @@ target_include_directories(RNLlamaCpp PRIVATE
     ${LLAMA_CPP_DIR}/ggml/include
     ${LLAMA_CPP_DIR}/include
     ${LLAMA_CPP_DIR}/common
-    ${LLAMA_CPP_DIR}/common/minja  # Add this for chat-template.hpp
+    ${LLAMA_CPP_DIR}/vendor/minja  # Add this for chat-template.hpp
+    ${LLAMA_CPP_DIR}/vendor
     ${LLAMA_CPP_DIR}/src
     # Add the generated headers path
     ${MODULE_ROOT}/android/generated/jni
@@ -244,6 +246,7 @@ target_include_directories(RNLlamaCpp INTERFACE
     ${LLAMA_CPP_DIR}/ggml/include
     ${LLAMA_CPP_DIR}/include
     ${LLAMA_CPP_DIR}/common
-    ${LLAMA_CPP_DIR}/common/minja
+    ${LLAMA_CPP_DIR}/vendor/minja
+    ${LLAMA_CPP_DIR}/vendor
     ${LLAMA_CPP_DIR}/src
 )

package/android/src/main/cpp/include/llama.h

@@ -61,7 +61,10 @@ extern "C" {
     struct llama_model;
     struct llama_context;
     struct llama_sampler;
-    struct llama_kv_cache;
+
+    typedef struct llama_memory_i * llama_memory_t;
+
+    struct llama_kv_cache; // DEPRECATED (use llama_memory instead)
 
     typedef int32_t llama_pos;
     typedef int32_t llama_token;
@@ -240,18 +243,21 @@ extern "C" {
 
     typedef bool (*llama_progress_callback)(float progress, void * user_data);
 
-    // Input data for llama_decode
+    // Input data for llama_encode/llama_decode
     // A llama_batch object can contain input about one or many sequences
     // The provided arrays (i.e. token, embd, pos, etc.) must have size of n_tokens
     //
     // - token  : the token ids of the input (used when embd is NULL)
     // - embd   : token embeddings (i.e. float vector of size n_embd) (used when token is NULL)
     // - pos    : the positions of the respective token in the sequence
-    //            (if set to NULL, the token position will be tracked automatically by llama_decode)
+    //            (if set to NULL, the token position will be tracked automatically by llama_encode/llama_decode)
     // - seq_id : the sequence to which the respective token belongs
     //            (if set to NULL, the sequence ID will be assumed to be 0)
     // - logits : if zero, the logits (and/or the embeddings) for the respective token will not be output
-    //            (if set to NULL, only the logits for last token will be returned)
+    //            (if set to NULL:
+    //               - if embeddings: all tokens are output
+    //               - if not:        only the last token is output
+    //            )
     //
     typedef struct llama_batch {
         int32_t n_tokens;
@@ -261,7 +267,7 @@ extern "C" {
         llama_pos    *  pos;
         int32_t      *  n_seq_id;
         llama_seq_id ** seq_id;
-        int8_t       *  logits; // TODO: rename this to "output"
+        int8_t       *  logits;   // TODO: rename this to "output"
     } llama_batch;
 
     enum llama_model_kv_override_type {
@@ -366,6 +372,8 @@ extern "C" {
         bool no_perf;     // measure performance timings
         bool op_offload;  // offload host tensor operations to device
         bool swa_full;    // use full-size SWA cache (https://github.com/ggml-org/llama.cpp/pull/13194#issuecomment-2868343055)
+                          // NOTE: setting to false when n_seq_max > 1 can cause bad performance in some cases
+                          //       ref: https://github.com/ggml-org/llama.cpp/pull/13845#issuecomment-2924800573
     };
 
     // model quantization parameters
@@ -491,9 +499,11 @@ extern "C" {
     DEPRECATED(LLAMA_API int32_t llama_n_vocab    (const struct llama_vocab * vocab), "use llama_vocab_n_tokens instead");
 
     LLAMA_API const struct llama_model * llama_get_model   (const struct llama_context * ctx);
-    LLAMA_API    struct llama_kv_cache * llama_get_kv_self (      struct llama_context * ctx);
+    LLAMA_API           llama_memory_t   llama_get_memory  (const struct llama_context * ctx);
     LLAMA_API  enum llama_pooling_type   llama_pooling_type(const struct llama_context * ctx); // TODO: rename to llama_get_pooling_type
 
+    DEPRECATED(LLAMA_API struct llama_kv_cache * llama_get_kv_self(struct llama_context * ctx), "use llama_get_memory instead");
+
     LLAMA_API const struct llama_vocab * llama_model_get_vocab(const struct llama_model * model);
     LLAMA_API enum llama_rope_type       llama_model_rope_type(const struct llama_model * model);
 
@@ -502,10 +512,18 @@ extern "C" {
     LLAMA_API int32_t llama_model_n_layer    (const struct llama_model * model);
     LLAMA_API int32_t llama_model_n_head     (const struct llama_model * model);
     LLAMA_API int32_t llama_model_n_head_kv  (const struct llama_model * model);
+    LLAMA_API int32_t llama_model_n_swa      (const struct llama_model * model);
 
     // Get the model's RoPE frequency scaling factor
     LLAMA_API float llama_model_rope_freq_scale_train(const struct llama_model * model);
 
+    // Returns the number of classifier outputs (only valid for classifier models)
+    // Undefined behavior for non-classifier models
+    LLAMA_API uint32_t llama_model_n_cls_out(const struct llama_model * model);
+
+    // Returns label of classifier output by index (<n_cls_out). Returns nullptr if no label provided
+    LLAMA_API const char * llama_model_cls_label(const struct llama_model * model, uint32_t i);
+
     LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_vocab * vocab);
 
     LLAMA_API int32_t llama_vocab_n_tokens(const struct llama_vocab * vocab);
@@ -606,7 +624,81 @@ extern "C" {
                          int32_t   il_end);
 
     //
-    // KV cache
+    // Memory
+    //
+
+    // Clear the memory contents
+    // If data == true, the data buffers will also be cleared together with the metadata
+    LLAMA_API void llama_memory_clear(
+            llama_memory_t mem,
+                      bool data);
+
+    // Removes all tokens that belong to the specified sequence and have positions in [p0, p1)
+    // Returns false if a partial sequence cannot be removed. Removing a whole sequence never fails
+    // seq_id < 0 : match any sequence
+    // p0 < 0     : [0,  p1]
+    // p1 < 0     : [p0, inf)
+    LLAMA_API bool llama_memory_seq_rm(
+            llama_memory_t mem,
+              llama_seq_id seq_id,
+                 llama_pos p0,
+                 llama_pos p1);
+
+    // Copy all tokens that belong to the specified sequence to another sequence
+    // p0 < 0 : [0,  p1]
+    // p1 < 0 : [p0, inf)
+    LLAMA_API void llama_memory_seq_cp(
+            llama_memory_t mem,
+              llama_seq_id seq_id_src,
+              llama_seq_id seq_id_dst,
+                 llama_pos p0,
+                 llama_pos p1);
+
+    // Removes all tokens that do not belong to the specified sequence
+    LLAMA_API void llama_memory_seq_keep(
+            llama_memory_t mem,
+              llama_seq_id seq_id);
+
+    // Adds relative position "delta" to all tokens that belong to the specified sequence and have positions in [p0, p1)
+    // p0 < 0 : [0,  p1]
+    // p1 < 0 : [p0, inf)
+    LLAMA_API void llama_memory_seq_add(
+            llama_memory_t mem,
+              llama_seq_id seq_id,
+                 llama_pos p0,
+                 llama_pos p1,
+                 llama_pos delta);
+
+    // Integer division of the positions by factor of `d > 1`
+    // p0 < 0 : [0,  p1]
+    // p1 < 0 : [p0, inf)
+    LLAMA_API void llama_memory_seq_div(
+            llama_memory_t mem,
+              llama_seq_id seq_id,
+                 llama_pos p0,
+                 llama_pos p1,
+                       int d);
+
+    // Returns the smallest position present in the memory for the specified sequence
+    // This is typically non-zero only for SWA caches
+    // Note that all positions in the range [pos_min, pos_max] are guaranteed to be present in the memory
+    // Return -1 if the sequence is empty
+    LLAMA_API llama_pos llama_memory_seq_pos_min(
+            llama_memory_t mem,
+              llama_seq_id seq_id);
+
+    // Returns the largest position present in the memory for the specified sequence
+    // Note that all positions in the range [pos_min, pos_max] are guaranteed to be present in the memory
+    // Return -1 if the sequence is empty
+    LLAMA_API llama_pos llama_memory_seq_pos_max(
+            llama_memory_t mem,
+              llama_seq_id seq_id);
+
+    // Check if the memory supports shifting
+    LLAMA_API bool llama_memory_can_shift(llama_memory_t mem);
+
+    //
+    // KV cache for self-attention (TODO: deprecate in favor of llama_memory)
     //
 
     // Returns the number of tokens in the KV cache (slow, use only for debug)
@@ -619,93 +711,103 @@ extern "C" {
                "Use llama_kv_self_seq_pos_max() and llama_kv_self_seq_pos_min() instead (https://github.com/ggml-org/llama.cpp/issues/13793)");
 
     // Clear the KV cache - both cell info is erased and KV data is zeroed
-    LLAMA_API void llama_kv_self_clear(
-            struct llama_context * ctx);
+    DEPRECATED(LLAMA_API void llama_kv_self_clear(
+                struct llama_context * ctx),
+            "Use llama_memory_clear() instead");
 
     // Removes all tokens that belong to the specified sequence and have positions in [p0, p1)
     // Returns false if a partial sequence cannot be removed. Removing a whole sequence never fails
     // seq_id < 0 : match any sequence
     // p0 < 0     : [0,  p1]
     // p1 < 0     : [p0, inf)
-    LLAMA_API bool llama_kv_self_seq_rm(
+    DEPRECATED(LLAMA_API bool llama_kv_self_seq_rm(
             struct llama_context * ctx,
                     llama_seq_id   seq_id,
                        llama_pos   p0,
-                       llama_pos   p1);
+                       llama_pos   p1),
+            "Use llama_memory_seq_rm() instead");
 
     // Copy all tokens that belong to the specified sequence to another sequence
     // Note that this does not allocate extra KV cache memory - it simply assigns the tokens to the new sequence
     // p0 < 0 : [0,  p1]
     // p1 < 0 : [p0, inf)
-    LLAMA_API void llama_kv_self_seq_cp(
+    DEPRECATED(LLAMA_API void llama_kv_self_seq_cp(
             struct llama_context * ctx,
                     llama_seq_id   seq_id_src,
                     llama_seq_id   seq_id_dst,
                        llama_pos   p0,
-                       llama_pos   p1);
+                       llama_pos   p1),
+            "Use llama_memory_seq_cp() instead");
 
     // Removes all tokens that do not belong to the specified sequence
-    LLAMA_API void llama_kv_self_seq_keep(
+    DEPRECATED(LLAMA_API void llama_kv_self_seq_keep(
             struct llama_context * ctx,
-                    llama_seq_id   seq_id);
+                    llama_seq_id   seq_id),
+            "Use llama_memory_seq_keep() instead");
 
     // Adds relative position "delta" to all tokens that belong to the specified sequence and have positions in [p0, p1)
     // If the KV cache is RoPEd, the KV data is updated accordingly:
     //   - lazily on next llama_decode()
-    //   - explicitly with llama_kv_self_update()
     // p0 < 0 : [0,  p1]
     // p1 < 0 : [p0, inf)
-    LLAMA_API void llama_kv_self_seq_add(
+    DEPRECATED(LLAMA_API void llama_kv_self_seq_add(
             struct llama_context * ctx,
                     llama_seq_id   seq_id,
                        llama_pos   p0,
                        llama_pos   p1,
-                       llama_pos   delta);
+                       llama_pos   delta),
+            "Use llama_memory_seq_add() instead");
 
     // Integer division of the positions by factor of `d > 1`
     // If the KV cache is RoPEd, the KV data is updated accordingly:
     //   - lazily on next llama_decode()
-    //   - explicitly with llama_kv_self_update()
     // p0 < 0 : [0,  p1]
     // p1 < 0 : [p0, inf)
-    LLAMA_API void llama_kv_self_seq_div(
+    DEPRECATED(void llama_kv_self_seq_div(
             struct llama_context * ctx,
                     llama_seq_id   seq_id,
                        llama_pos   p0,
                        llama_pos   p1,
-                             int   d);
+                             int   d),
+            "Use llama_memory_seq_div() instead");
 
     // Returns the smallest position present in the KV cache for the specified sequence
     // This is typically non-zero only for SWA caches
+    // Note that all positions in the range [pos_min, pos_max] are guaranteed to be present in the KV cache
     // Return -1 if the sequence is empty
-    LLAMA_API llama_pos llama_kv_self_seq_pos_min(
+    DEPRECATED(LLAMA_API llama_pos llama_kv_self_seq_pos_min(
             struct llama_context * ctx,
-                    llama_seq_id   seq_id);
+                    llama_seq_id   seq_id),
+            "Use llama_memory_seq_pos_min() instead");
 
     // Returns the largest position present in the KV cache for the specified sequence
+    // Note that all positions in the range [pos_min, pos_max] are guaranteed to be present in the KV cache
     // Return -1 if the sequence is empty
-    LLAMA_API llama_pos llama_kv_self_seq_pos_max(
+    DEPRECATED(LLAMA_API llama_pos llama_kv_self_seq_pos_max(
             struct llama_context * ctx,
-                    llama_seq_id   seq_id);
+                    llama_seq_id   seq_id),
+            "Use llama_memory_seq_pos_max() instead");
 
     // Defragment the KV cache
     // This will be applied:
     //   - lazily on next llama_decode()
-    //   - explicitly with llama_kv_self_update()
-    LLAMA_API void llama_kv_self_defrag(struct llama_context * ctx);
+    DEPRECATED(LLAMA_API void llama_kv_self_defrag(struct llama_context * ctx),
+            "simply remove this call, the context will automatically decide when to do a defragmentation based on 'defrag_thold'");
 
     // Check if the context supports KV cache shifting
-    LLAMA_API bool llama_kv_self_can_shift(const struct llama_context * ctx);
+    DEPRECATED(LLAMA_API bool llama_kv_self_can_shift(const struct llama_context * ctx),
+            "use llama_memory_can_shift() instead");
 
     // Apply the KV cache updates (such as K-shifts, defragmentation, etc.)
-    LLAMA_API void llama_kv_self_update(struct llama_context * ctx);
+    DEPRECATED(LLAMA_API void llama_kv_self_update(struct llama_context * ctx),
+            "simply remove this call, updates are applied lazily on the next llama_decode()");
 
     //
     // State / sessions
     //
 
     // Returns the *actual* size in bytes of the state
-    // (logits, embedding and kv_cache)
+    // (logits, embedding and memory)
     // Only use when saving the state, not when restoring it, otherwise the size may be too small.
     LLAMA_API size_t llama_state_get_size(struct llama_context * ctx);
     LLAMA_API DEPRECATED(size_t llama_get_state_size(struct llama_context * ctx),
@@ -761,12 +863,12 @@ extern "C" {
                           size_t   n_token_count),
         "use llama_state_save_file instead");
 
-    // Get the exact size needed to copy the KV cache of a single sequence
+    // Get the exact size needed to copy the state of a single sequence
     LLAMA_API size_t llama_state_seq_get_size(
             struct llama_context * ctx,
                     llama_seq_id   seq_id);
 
-    // Copy the KV cache of a single sequence into the specified buffer
+    // Copy the state of a single sequence into the specified buffer
     LLAMA_API size_t llama_state_seq_get_data(
             struct llama_context * ctx,
                          uint8_t * dst,
@@ -832,16 +934,16 @@ extern "C" {
     // For encode-decoder contexts, processes the batch using the encoder.
     // Can store the encoder output internally for later use by the decoder's cross-attention layers.
     //   0 - success
-    // < 0 - error. the KV cache state is restored to the state before this call
+    // < 0 - error. the memory state is restored to the state before this call
     LLAMA_API int32_t llama_encode(
             struct llama_context * ctx,
               struct llama_batch   batch);
 
     // Process a batch of tokens.
-    // Requires KV cache.
+    // Requires the context to have a memory.
     // For encode-decoder contexts, processes the batch using the decoder.
     // Positive return values does not mean a fatal error, but rather a warning.
-    // Upon non-zero return values, the KV cache state is restored to the state before this call
+    // Upon non-zero return values, the memory state is restored to the state before this call
     //    0 - success
     //    1 - could not find a KV slot for the batch (try reducing the size of the batch or increase the context)
     //    2 - aborted
@@ -862,8 +964,8 @@ extern "C" {
     // Get the number of threads used for prompt and batch processing (multiple token).
     LLAMA_API int32_t llama_n_threads_batch(struct llama_context * ctx);
 
-    // Set whether the model is in embeddings mode or not
-    // If true, embeddings will be returned but logits will not
+    // Set whether the context outputs embeddings or not
+    // TODO: rename to avoid confusion with llama_get_embeddings()
     LLAMA_API void llama_set_embeddings(struct llama_context * ctx, bool embeddings);
 
     // Set whether to use causal attention or not
@@ -912,7 +1014,7 @@ extern "C" {
 
     // Get the embeddings for a sequence id
     // Returns NULL if pooling_type is LLAMA_POOLING_TYPE_NONE
-    // when pooling_type == LLAMA_POOLING_TYPE_RANK, returns float[1] with the rank of the sequence
+    // when pooling_type == LLAMA_POOLING_TYPE_RANK, returns float[n_cls_out] with the rank(s) of the sequence
     // otherwise: float[n_embd] (1-dimensional)
     LLAMA_API float * llama_get_embeddings_seq(struct llama_context * ctx, llama_seq_id seq_id);
 

package/cpp/LlamaCppModel.cpp

@@ -17,8 +17,8 @@
 #include <memory>
 
 // Include rn-completion integration
-#include "rn-utils.hpp"
-#include "rn-llama.hpp"
+#include "rn-utils.h"
+#include "rn-llama.h"
 
 // Include llama.cpp headers
 #include "llama.h"
@@ -242,38 +242,12 @@ CompletionOptions LlamaCppModel::parseCompletionOptions(jsi::Runtime& rt, const
                       auto paramsVal = fnObj.getProperty(rt, "parameters");
                       if (paramsVal.isObject()) {
                         try {
-                          // Convert the JSI object directly to nlohmann::json
-                          auto paramsObj = paramsVal.getObject(rt);
-                          json fnParams = json::object();
-
-                          // Extract properties directly from the JSI object
-                          jsi::Array propNames = paramsObj.getPropertyNames(rt);
-                          size_t propCount = propNames.size(rt);
-                          for (size_t i = 0; i < propCount; i++) {
-                            jsi::String propName = propNames.getValueAtIndex(rt, i).asString(rt);
-                            std::string key = propName.utf8(rt);
-                            auto value = paramsObj.getProperty(rt, propName);
-
-                            if (value.isString()) {
-                              fnParams[key] = value.asString(rt).utf8(rt);
-                            } else if (value.isNumber()) {
-                              fnParams[key] = value.asNumber();
-                            } else if (value.isBool()) {
-                              fnParams[key] = value.getBool();
-                            } else if (value.isNull()) {
-                              fnParams[key] = nullptr;
-                            } else if (value.isObject()) {
-                              if (value.getObject(rt).isArray(rt)) {
-                                fnParams[key] = json::array();
-                              } else {
-                                fnParams[key] = json::object();
-                              }
-                            }
-                          }
-
-                          fnJson["parameters"] = fnParams;
-                        } catch (const std::exception&) {
-                          fnJson["parameters"] = json::object();
+                          // Convert the JSI object directly to nlohmann::json using the new helper
+                          fnJson["parameters"] = jsiValueToJson(rt, paramsVal);
+                        } catch (const std::exception& e) {
+                          // Log error or handle as appropriate
+                          fprintf(stderr, "Failed to parse tool parameters: %s\n", e.what());
+                          fnJson["parameters"] = json::object(); // Fallback to empty object
                         }
                       }
                     }
@@ -336,39 +310,12 @@ CompletionOptions LlamaCppModel::parseCompletionOptions(jsi::Runtime& rt, const
               auto paramsVal = fnObj.getProperty(rt, "parameters");
               if (paramsVal.isObject()) {
                 try {
-                  // Convert the JSI object directly to nlohmann::json
-                  auto paramsObj = paramsVal.getObject(rt);
-                  json fnParams = json::object();
-
-                  // Extract properties directly from the JSI object
-                  jsi::Array propNames = paramsObj.getPropertyNames(rt);
-                  size_t propCount = propNames.size(rt);
-                  for (size_t i = 0; i < propCount; i++) {
-                    jsi::String propName = propNames.getValueAtIndex(rt, i).asString(rt);
-                    std::string key = propName.utf8(rt);
-                    auto value = paramsObj.getProperty(rt, propName);
-
-                    if (value.isString()) {
-                      fnParams[key] = value.asString(rt).utf8(rt);
-                    } else if (value.isNumber()) {
-                      fnParams[key] = value.asNumber();
-                    } else if (value.isBool()) {
-                      fnParams[key] = value.getBool();
-                    } else if (value.isNull()) {
-                      fnParams[key] = nullptr;
-                    } else if (value.isObject()) {
-                      // For nested objects, we use a simplified approach
-                      if (value.getObject(rt).isArray(rt)) {
-                        fnParams[key] = json::array();
-                      } else {
-                        fnParams[key] = json::object();
-                      }
-                    }
-                  }
-
-                  fnJson["parameters"] = fnParams;
-                } catch (const std::exception&) {
-                  fnJson["parameters"] = json::object();
+                  // Convert the JSI object directly to nlohmann::json using the new helper
+                  fnJson["parameters"] = jsiValueToJson(rt, paramsVal);
+                } catch (const std::exception& e) {
+                  // Log error or handle as appropriate
+                  fprintf(stderr, "Failed to parse tool parameters: %s\n", e.what());
+                  fnJson["parameters"] = json::object(); // Fallback to empty object
                 }
               }
             }
@@ -553,6 +500,40 @@ jsi::Value LlamaCppModel::jsonToJsi(jsi::Runtime& rt, const json& j) {
   return jsi::Value::undefined();
 }
 
+// Helper to convert JSI Value to nlohmann::json
+json LlamaCppModel::jsiValueToJson(jsi::Runtime& rt, const jsi::Value& val) {
+    if (val.isUndefined() || val.isNull()) {
+        return nullptr;
+    } else if (val.isBool()) {
+        return val.getBool();
+    } else if (val.isNumber()) {
+        return val.getNumber();
+    } else if (val.isString()) {
+        return val.getString(rt).utf8(rt);
+    } else if (val.isObject()) {
+        jsi::Object jsiObj = val.getObject(rt);
+        if (jsiObj.isArray(rt)) {
+            jsi::Array jsiArr = jsiObj.getArray(rt);
+            json jsonArr = json::array();
+            for (size_t i = 0; i < jsiArr.size(rt); ++i) {
+                jsonArr.push_back(jsiValueToJson(rt, jsiArr.getValueAtIndex(rt, i)));
+            }
+            return jsonArr;
+        } else {
+            json jsonObj = json::object();
+            jsi::Array propNames = jsiObj.getPropertyNames(rt);
+            for (size_t i = 0; i < propNames.size(rt); ++i) {
+                jsi::String propName = propNames.getValueAtIndex(rt, i).asString(rt);
+                std::string key = propName.utf8(rt);
+                jsonObj[key] = jsiValueToJson(rt, jsiObj.getProperty(rt, propName));
+            }
+            return jsonObj;
+        }
+    }
+    // Should not happen for valid JSON-like structures
+    return nullptr;
+}
+
 // JSI method for completions (synchronous - kept for compatibility)
 jsi::Value LlamaCppModel::completionJsi(jsi::Runtime& rt, const jsi::Value* args, size_t count) {
   if (count < 1 || !args[0].isObject()) {

package/cpp/LlamaCppModel.h

@@ -17,9 +17,12 @@
 #include "chat.h"  // For chat format handling and templates
 #include "json-schema-to-grammar.h"
 
-// Include rn-utils.hpp which has the CompletionResult definition
-#include "rn-utils.hpp"
-#include "rn-llama.hpp"
+// Include rn-utils.h which has the CompletionResult definition
+#include "rn-utils.h"
+#include "rn-llama.h"
+
+// Include json.hpp for json handling
+#include "nlohmann/json.hpp"
 
 namespace facebook::react {
 
@@ -166,6 +169,8 @@ private:
 
   // Add CallInvoker for async operations
   std::shared_ptr<CallInvoker> jsInvoker_;
+
+  static json jsiValueToJson(jsi::Runtime& rt, const jsi::Value& val); // Declaration of new helper
 };
 
 } // namespace facebook::react

package/cpp/PureCppImpl.cpp

@@ -10,7 +10,7 @@
 #include <thread>
 #include "SystemUtils.h"
 // Include our custom headers - this was missing!
-#include "rn-llama.hpp"
+#include "rn-llama.h"
 #include "LlamaCppModel.h"
 // Include the llama.cpp common headers
 #include "chat.h"

package/cpp/PureCppImpl.h

@@ -9,7 +9,7 @@
 #include <mutex>
 
 // Include the header with the full definition of rn_llama_context
-#include "rn-llama.hpp"
+#include "rn-llama.h"
 
 // Forward declarations for C++ only
 struct llama_model;
@@ -49,7 +49,7 @@ private:
     jsi::Object createModelObject(jsi::Runtime& runtime, struct rn_llama_context* rn_ctx);
 
     // Context for the currently loaded model, if any.
-    // The actual definition of rn_llama_context should be in "rn-llama.hpp"
+    // The actual definition of rn_llama_context should be in "rn-llama.h"
     std::unique_ptr<struct rn_llama_context> rn_ctx_;
 
     // Mutex for thread safety when accessing rn_ctx_ or other shared resources

package/cpp/build-info.cpp

@@ -1,4 +1,4 @@
-int LLAMA_BUILD_NUMBER = 5541;
-char const *LLAMA_COMMIT = "07e4351c";
+int LLAMA_BUILD_NUMBER = 5709;
+char const *LLAMA_COMMIT = "d67341dc";
 char const *LLAMA_COMPILER = "unknown";
 char const *LLAMA_BUILD_TARGET = "unknown";