llama_cpp 0.0.1

data/ext/llama_cpp/src/llama.h

@@ -0,0 +1,152 @@
+#ifndef LLAMA_H
+#define LLAMA_H
+
+#include <stddef.h>
+#include <stdint.h>
+#include <stdbool.h>
+
+#ifdef LLAMA_SHARED
+#    ifdef _WIN32
+#        ifdef LLAMA_BUILD
+#            define LLAMA_API __declspec(dllexport)
+#        else
+#            define LLAMA_API __declspec(dllimport)
+#        endif
+#    else
+#        define LLAMA_API __attribute__ ((visibility ("default")))
+#    endif
+#else
+#    define LLAMA_API
+#endif
+
+#define LLAMA_FILE_VERSION 1
+#define LLAMA_FILE_MAGIC 0x67676d66 // 'ggmf' in hex
+#define LLAMA_FILE_MAGIC_UNVERSIONED 0x67676d6c // pre-versioned files
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+    //
+    // C interface
+    //
+    // TODO: show sample usage
+    //
+
+    struct llama_context;
+
+    typedef int llama_token;
+
+    typedef struct llama_token_data {
+        llama_token id;  // token id
+
+        float p;     // probability of the token
+        float plog;  // log probability of the token
+
+    } llama_token_data;
+
+    typedef void (*llama_progress_callback)(float progress, void *ctx);
+
+    struct llama_context_params {
+        int n_ctx;   // text context
+        int n_parts; // -1 for default
+        int seed;    // RNG seed, 0 for random
+
+        bool f16_kv;     // use fp16 for KV cache
+        bool logits_all; // the llama_eval() call computes all logits, not just the last one
+        bool vocab_only; // only load the vocabulary, no weights
+        bool use_mlock;  // force system to keep model in RAM
+        bool embedding;  // embedding mode only
+
+        // called with a progress value between 0 and 1, pass NULL to disable
+        llama_progress_callback progress_callback;
+        // context pointer passed to the progress callback
+        void * progress_callback_user_data;
+    };
+
+    LLAMA_API struct llama_context_params llama_context_default_params();
+
+    // Various functions for loading a ggml llama model.
+    // Allocate (almost) all memory needed for the model.
+    // Return NULL on failure
+    LLAMA_API struct llama_context * llama_init_from_file(
+                             const char * path_model,
+            struct llama_context_params   params);
+
+    // Frees all allocated memory
+    LLAMA_API void llama_free(struct llama_context * ctx);
+
+    // TODO: not great API - very likely to change
+    // Returns 0 on success
+    LLAMA_API int llama_model_quantize(
+            const char * fname_inp,
+            const char * fname_out,
+                   int   itype);
+
+    // Run the llama inference to obtain the logits and probabilities for the next token.
+    // tokens + n_tokens is the provided batch of new tokens to process
+    // n_past is the number of tokens to use from previous eval calls
+    // Returns 0 on success
+    LLAMA_API int llama_eval(
+            struct llama_context * ctx,
+               const llama_token * tokens,
+                             int   n_tokens,
+                             int   n_past,
+                             int   n_threads);
+
+    // Convert the provided text into tokens.
+    // The tokens pointer must be large enough to hold the resulting tokens.
+    // Returns the number of tokens on success, no more than n_max_tokens
+    // Returns a negative number on failure - the number of tokens that would have been returned
+    // TODO: not sure if correct
+    LLAMA_API int llama_tokenize(
+            struct llama_context * ctx,
+                      const char * text,
+                     llama_token * tokens,
+                             int   n_max_tokens,
+                            bool   add_bos);
+
+    LLAMA_API int llama_n_vocab(struct llama_context * ctx);
+    LLAMA_API int llama_n_ctx  (struct llama_context * ctx);
+    LLAMA_API int llama_n_embd (struct llama_context * ctx);
+
+    // Token logits obtained from the last call to llama_eval()
+    // The logits for the last token are stored in the last row
+    // Can be mutated in order to change the probabilities of the next token
+    // Rows: n_tokens
+    // Cols: n_vocab
+    LLAMA_API float * llama_get_logits(struct llama_context * ctx);
+
+    // Get the embeddings for the input
+    // shape: [n_embd] (1-dimensional)
+    LLAMA_API float * llama_get_embeddings(struct llama_context * ctx);
+
+    // Token Id -> String. Uses the vocabulary in the provided context
+    LLAMA_API const char * llama_token_to_str(struct llama_context * ctx, llama_token token);
+
+    // Special tokens
+    LLAMA_API llama_token llama_token_bos();
+    LLAMA_API llama_token llama_token_eos();
+
+    // TODO: improve the last_n_tokens interface ?
+    LLAMA_API llama_token llama_sample_top_p_top_k(
+       struct llama_context * ctx,
+          const llama_token * last_n_tokens_data,
+                        int   last_n_tokens_size,
+                        int   top_k,
+                      float   top_p,
+                      float   temp,
+                      float   repeat_penalty);
+
+    // Performance information
+    LLAMA_API void llama_print_timings(struct llama_context * ctx);
+    LLAMA_API void llama_reset_timings(struct llama_context * ctx);
+
+    // Print system information
+    LLAMA_API const char * llama_print_system_info(void);
+
+#ifdef __cplusplus
+}
+#endif
+
+#endif

data/lib/llama_cpp/version.rb

@@ -0,0 +1,10 @@
+# frozen_string_literal: true
+
+# llama_cpp.rb provides Ruby bindings for the llama.cpp.
+module LLaMACpp
+  # The version of llama_cpp.rb you install.
+  VERSION = '0.0.1'
+
+  # The version of llama.cpp bundled with llama_cpp.rb.
+  LLAMA_CPP_VERSION = 'master-2a98bc1'
+end

data/lib/llama_cpp.rb

@@ -0,0 +1,72 @@
+# frozen_string_literal: true
+
+require_relative 'llama_cpp/version'
+require_relative 'llama_cpp/llama_cpp'
+
+# llama_cpp.rb provides Ruby bindings for the llama.cpp.
+module LLaMACpp
+  module_function
+
+  # Generates sentences following the given prompt for operation check.
+  #
+  # @param context [LLaMACpp::Context]
+  # @param prompt [String]
+  # @return [String]
+  def generate(context, prompt) # rubocop:disable Metrics/AbcSize, Metrics/MethodLength, Metrics/PerceivedComplexity
+    prompt.insert(0, ' ')
+
+    embd_input = context.tokenize(text: prompt, add_bos: true)
+
+    n_ctx = context.n_ctx
+    last_n_tokens = [0] * n_ctx
+
+    embd = []
+    n_consumed = 0
+    n_keep = 10
+    n_past = 0
+    n_remain = 128
+    repeat_last_n = 64
+    output = []
+
+    while n_remain != 0
+      unless embd.empty?
+        if n_past + embd.size > n_ctx
+          n_left = n_past - n_keep
+          n_past = n_keep
+          embd.insert(0, last_n_tokens[(n_ctx - (n_left / 2) - embd.size)...-embd.size])
+        end
+
+        context.eval(tokens: embd, n_past: n_past)
+      end
+
+      n_past += embd.size
+      embd.clear
+
+      if embd_input.size <= n_consumed
+        start = n_ctx - repeat_last_n
+        id = context.sample_top_p_top_k(
+          last_n_tokens[start...(start + repeat_last_n)], top_k: 40, top_p: 0.95, temp: 0.80, penalty: 1.1
+        )
+        last_n_tokens.shift
+        last_n_tokens.push(id)
+
+        embd.push(id)
+        n_remain -= 1
+      else
+        while embd_input.size > n_consumed
+          embd.push(embd_input[n_consumed])
+          last_n_tokens.shift
+          last_n_tokens.push(embd_input[n_consumed])
+          n_consumed += 1
+          break if embd.size >= 512
+        end
+      end
+
+      embd.each { |token| output << context.token_to_str(token) }
+
+      break if embd[-1] == LLaMACpp.token_eos
+    end
+
+    output.join.delete_prefix(prompt).strip
+  end
+end

metadata

@@ -0,0 +1,63 @@
+--- !ruby/object:Gem::Specification
+name: llama_cpp
+version: !ruby/object:Gem::Version
+  version: 0.0.1
+platform: ruby
+authors:
+- yoshoku
+autorequire:
+bindir: exe
+cert_chain: []
+date: 2023-04-02 00:00:00.000000000 Z
+dependencies: []
+description: llama_cpp.rb provides Ruby bindings for the llama.cpp.
+email:
+- yoshoku@outlook.com
+executables: []
+extensions:
+- ext/llama_cpp/extconf.rb
+extra_rdoc_files: []
+files:
+- CHANGELOG.md
+- CODE_OF_CONDUCT.md
+- LICENSE.txt
+- README.md
+- ext/llama_cpp/extconf.rb
+- ext/llama_cpp/llama_cpp.cpp
+- ext/llama_cpp/llama_cpp.h
+- ext/llama_cpp/src/LICENSE
+- ext/llama_cpp/src/ggml.c
+- ext/llama_cpp/src/ggml.h
+- ext/llama_cpp/src/llama.cpp
+- ext/llama_cpp/src/llama.h
+- lib/llama_cpp.rb
+- lib/llama_cpp/version.rb
+homepage: https://github.com/yoshoku/llama_cpp.rb
+licenses:
+- MIT
+metadata:
+  homepage_uri: https://github.com/yoshoku/llama_cpp.rb
+  source_code_uri: https://github.com/yoshoku/llama_cpp.rb
+  changelog_uri: https://github.com/yoshoku/llama_cpp.rb/blob/main/CHANGELOG.md
+  documentation_uri: https://yoshoku.github.io/llama_cpp.rb/doc/
+  rubygems_mfa_required: 'true'
+post_install_message:
+rdoc_options: []
+require_paths:
+- lib
+required_ruby_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+required_rubygems_version: !ruby/object:Gem::Requirement
+  requirements:
+  - - ">="
+    - !ruby/object:Gem::Version
+      version: '0'
+requirements: []
+rubygems_version: 3.3.26
+signing_key:
+specification_version: 4
+summary: Ruby bindings for the llama.cpp.
+test_files: []