llama-cpp-python 0.2.35__tar.gz → 0.2.36__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (667) hide show
  1. llama_cpp_python-0.2.36/.git/FETCH_HEAD +1 -0
  2. llama_cpp_python-0.2.36/.git/HEAD +1 -0
  3. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/config +1 -1
  4. llama_cpp_python-0.2.36/.git/index +0 -0
  5. llama_cpp_python-0.2.36/.git/logs/HEAD +1 -0
  6. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/HEAD +1 -0
  7. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/config +1 -1
  8. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/index +0 -0
  9. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/logs/HEAD +2 -0
  10. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/logs/refs/heads/master +1 -0
  11. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/logs/refs/remotes/origin/HEAD +1 -0
  12. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/objects/pack/pack-45c5d7da4d130e32bb1f98f3b58ea9cd2784fad3.idx +0 -0
  13. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/objects/pack/pack-1262befc3e29b1178cd181d1cf2815d1137f00f4.pack → llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/objects/pack/pack-45c5d7da4d130e32bb1f98f3b58ea9cd2784fad3.pack +0 -0
  14. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/objects/pack/pack-45c5d7da4d130e32bb1f98f3b58ea9cd2784fad3.rev +0 -0
  15. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/packed-refs +2 -0
  16. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/refs/heads/master +1 -0
  17. llama_cpp_python-0.2.36/.git/modules/vendor/llama.cpp/shallow +1 -0
  18. llama_cpp_python-0.2.35/.git/objects/6c/7c6db7f0dc20814bf39cba40760e9c468ee61d → llama_cpp_python-0.2.36/.git/objects/03/667ba9b14656308c89e62f61377b295604a99d +0 -0
  19. llama_cpp_python-0.2.36/.git/objects/46/4af5b39fea3cf1ba16e755a9df85f09bbb25ac +3 -0
  20. llama_cpp_python-0.2.36/.git/objects/54/66de3a4e33002429b33db9668367bb32af67eb +0 -0
  21. llama_cpp_python-0.2.36/.git/objects/7a/bb04aa9c0f718d18a085923cdb87a670cb5437 +0 -0
  22. llama_cpp_python-0.2.36/.git/objects/80/6b120c5e62a7be5fecc631e341d1856dac79a5 +2 -0
  23. llama_cpp_python-0.2.36/.git/objects/c1/0aee42e0da547428df7cac9845e246badf1803 +0 -0
  24. llama_cpp_python-0.2.36/.git/objects/e9/9dd1767bb3a30508e8a0de0e41bd426c13c387 +0 -0
  25. llama_cpp_python-0.2.36/.git/objects/f6/66a05325305ef8813f914ad5b909541bc8f786 +0 -0
  26. llama_cpp_python-0.2.36/.git/objects/f7/3f3d42f48aa84ceb664f490290d1840f6873e6 +0 -0
  27. llama_cpp_python-0.2.36/.git/objects/f7/9baa89ba3d84bc4b49e8ed314c018b9e4d4bbc +0 -0
  28. llama_cpp_python-0.2.36/.git/refs/tags/v0.2.36 +1 -0
  29. llama_cpp_python-0.2.36/.git/shallow +1 -0
  30. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/CHANGELOG.md +5 -0
  31. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/Makefile +3 -0
  32. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/PKG-INFO +1 -1
  33. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/__init__.py +1 -1
  34. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llama_chat_format.py +18 -0
  35. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/tests/test_llama_chat_format.py +23 -0
  36. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/CMakeLists.txt +8 -1
  37. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/build-info.cpp +1 -1
  38. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/convert.py +4 -1
  39. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/oai.hpp +15 -0
  40. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/server.cpp +60 -0
  41. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-metal.m +11 -1
  42. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-opencl.cpp +10 -1
  43. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/llama.cpp +2 -2
  44. llama_cpp_python-0.2.35/.git/FETCH_HEAD +0 -1
  45. llama_cpp_python-0.2.35/.git/HEAD +0 -1
  46. llama_cpp_python-0.2.35/.git/index +0 -0
  47. llama_cpp_python-0.2.35/.git/logs/HEAD +0 -1
  48. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/HEAD +0 -1
  49. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/index +0 -0
  50. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/logs/HEAD +0 -2
  51. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/logs/refs/heads/master +0 -1
  52. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/logs/refs/remotes/origin/HEAD +0 -1
  53. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/objects/pack/pack-1262befc3e29b1178cd181d1cf2815d1137f00f4.idx +0 -0
  54. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/objects/pack/pack-1262befc3e29b1178cd181d1cf2815d1137f00f4.rev +0 -0
  55. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/packed-refs +0 -2
  56. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/refs/heads/master +0 -1
  57. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/refs/tags/b1999 +0 -1
  58. llama_cpp_python-0.2.35/.git/modules/vendor/llama.cpp/shallow +0 -1
  59. llama_cpp_python-0.2.35/.git/objects/1e/f18d9279e29c56c7eddc91aaf1acc0fac083e2 +0 -0
  60. llama_cpp_python-0.2.35/.git/objects/20/671f8458f3689c83dd9769e061981aa92fa5ee +0 -0
  61. llama_cpp_python-0.2.35/.git/objects/52/c4a84faf07d92565e0c4f77ba884a48fc24b52 +0 -0
  62. llama_cpp_python-0.2.35/.git/objects/56/412730bef5f7f5fd5cfdb3cef277b6513681f8 +0 -0
  63. llama_cpp_python-0.2.35/.git/objects/5e/d3fa262bcd21936a7599d948af876c11807d1d +0 -0
  64. llama_cpp_python-0.2.35/.git/objects/63/9a5a507f540a8846f83db2681f4083ff02e82d +0 -0
  65. llama_cpp_python-0.2.35/.git/objects/74/2d3818ac847180ae3698439b7543abd8738065 +0 -0
  66. llama_cpp_python-0.2.35/.git/objects/8b/3d23560c0a4a2a4a08d3a9f0edf2c46d84f510 +0 -0
  67. llama_cpp_python-0.2.35/.git/objects/e4/18d40bc9300928be896c4381d9b08372417c83 +0 -0
  68. llama_cpp_python-0.2.35/.git/refs/tags/v0.2.35 +0 -1
  69. llama_cpp_python-0.2.35/.git/shallow +0 -1
  70. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.dockerignore +0 -0
  71. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/description +0 -0
  72. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/applypatch-msg.sample +0 -0
  73. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/commit-msg.sample +0 -0
  74. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/fsmonitor-watchman.sample +0 -0
  75. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/post-update.sample +0 -0
  76. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/pre-applypatch.sample +0 -0
  77. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/pre-commit.sample +0 -0
  78. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/pre-merge-commit.sample +0 -0
  79. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/pre-push.sample +0 -0
  80. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/pre-rebase.sample +0 -0
  81. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/pre-receive.sample +0 -0
  82. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/prepare-commit-msg.sample +0 -0
  83. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/push-to-checkout.sample +0 -0
  84. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/sendemail-validate.sample +0 -0
  85. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/hooks/update.sample +0 -0
  86. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/info/exclude +0 -0
  87. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/description +0 -0
  88. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/applypatch-msg.sample +0 -0
  89. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/commit-msg.sample +0 -0
  90. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/fsmonitor-watchman.sample +0 -0
  91. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/post-update.sample +0 -0
  92. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/pre-applypatch.sample +0 -0
  93. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/pre-commit.sample +0 -0
  94. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/pre-merge-commit.sample +0 -0
  95. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/pre-push.sample +0 -0
  96. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/pre-rebase.sample +0 -0
  97. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/pre-receive.sample +0 -0
  98. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/prepare-commit-msg.sample +0 -0
  99. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/push-to-checkout.sample +0 -0
  100. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/sendemail-validate.sample +0 -0
  101. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/hooks/update.sample +0 -0
  102. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/info/exclude +0 -0
  103. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/modules/vendor/llama.cpp/refs/remotes/origin/HEAD +0 -0
  104. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/02/c09afb0bf5559d3fe64ce67f4ff82af32ff50f +0 -0
  105. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/04/5856ea2ffe697ec33db1c1c989bd45cde5bb3d +0 -0
  106. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/04/7bc14424303575f73af90611fec827334f54e8 +0 -0
  107. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/0d/870969f4b23bd92a09ec29134d3fb454d38bec +0 -0
  108. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/0e/2a907c0e40de1a432ee0cd2e3d01c634df1a37 +0 -0
  109. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/11/2a0f7872fa9244bf38729a2722dc5c08dec20c +0 -0
  110. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/11/b6d5c26e3f7157658952b8ec353e985d522fac +0 -0
  111. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/13/c5b6b0df5f67e80cbe584909b83777901265a1 +0 -0
  112. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/19/9bd4ffbf88c68c98b52c05f388dfa92716f6b7 +0 -0
  113. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/1a/5152530cfbde487c928b60269a29fa5219f617 +0 -0
  114. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/23/e37d4d40e5ec0bfd85b5e928834d58e2cf0da6 +0 -0
  115. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/24/04228325d88c59b819acaedb20b15635f75df9 +0 -0
  116. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/27/2e4767b47397d1529e6a2d01298144d9d746ba +0 -0
  117. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/27/a6b1e5042318f85dc99c9f24f4dd6fc472d242 +0 -0
  118. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/29/03e0146d304bcacbfabfe71f171a2edc03043e +0 -0
  119. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/2c/c6fb02dcb3226c1ecf0fbed6453eb3acadeaa2 +0 -0
  120. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/36/8022c457f6dd5bb566f7e2a21d88850bd98768 +0 -0
  121. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/39/697bfc2538bd4558018d0d721d6d6028c4bb56 +0 -0
  122. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/3a/1d7180d508818fe957923e00dcd8950938632d +0 -0
  123. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/3a/6457dcdfd47e764654bacae0ba8347976b645a +0 -0
  124. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/3d/d00767671c5e9dac5a2ab8f4f1331531294b60 +0 -0
  125. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/41/3097201ac0fc27ef4dcf518b699a6fb610a54c +0 -0
  126. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/41/cc68ea2402cf682807649d841e7c0f4175db01 +0 -0
  127. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/47/4503fdfc554d8caabee4f321a80427f8c7d696 +0 -0
  128. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/4a/106470b0b650cd76f2f5d00d744b615c72bed3 +0 -0
  129. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/4b/3189dd1a54be3bc416786ddf184dd047dc4b20 +0 -0
  130. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/51/f357200f8b998031f4be924e11ed2ae4bf3fea +0 -0
  131. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/56/2410fe1a4c4093d62e1705933eaf66c6d99a2c +0 -0
  132. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/5f/350ffe99abe7297b2839f36fd0eaeb98887805 +0 -0
  133. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/60/bc7aef42aac0409cfdca666ad2ff6f516d7b5b +0 -0
  134. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/61/027ef99725c50b0891fdbf0bf263a33abe648f +0 -0
  135. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/68/7316b327ca038d26a338b3070a7d4698322515 +0 -0
  136. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/74/739cbdeccf282532e1684caac6846aab3a7afe +0 -0
  137. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/74/7c6130e3cb1479d20e2013b1dd3db3379c2266 +0 -0
  138. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/76/e26fbd106895fba52861f8ac1e11cc6ee2a307 +0 -0
  139. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/79/5dad726ae91f330c56e49bc188080b5b3b5ba9 +0 -0
  140. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/79/a9e67a1aee09c6d182f240ba5eef32feabcbce +0 -0
  141. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/7a/7b899ec7dd48d192cba14ac9c8e9df4233f7fb +0 -0
  142. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/7d/5498f9d2c49c1f731b47845d845f6c5e16a3d9 +0 -0
  143. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/7d/6c970483161eaf43cfa9d50010c071d4953053 +0 -0
  144. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/7e/df0975dc12ccc95ad14de085f07efe6d65c620 +0 -0
  145. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/7e/e8f748eab47180cea09c0ad8e75c3b991b4af4 +0 -0
  146. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/80/7b0f57a8a873e58ade0ff0f5b0bcf0ff66b7f9 +0 -0
  147. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/82/e5c4487e57d6d59c901a73bdd2a9bc172fee7c +0 -0
  148. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/8b/d03f88a1895cbf3ef249e13df79ee0efda779d +0 -0
  149. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/91/abb11fdf507883caeeb2d2958e1c65fb6cbdc1 +0 -0
  150. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/99/32d6130f5552a9b85c8b15b4ac6bc26b1068ce +0 -0
  151. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/9d/0ec2f705618e591cfa8d6512cb9a96b3da75f1 +0 -0
  152. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/9d/3d3559849603efda6f3c8181684e4d19e0ec79 +0 -0
  153. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/9e/9870a52245d4f245df5a4e1b89fda121d78214 +0 -0
  154. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/9f/0dc8a73c5bd91cea7580e9ea733f33528162db +0 -0
  155. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/a4/5e5d77363eb85144d4aff1a3cbe86ce94d5c92 +0 -0
  156. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/a9/e51cdc1672134ec9af66c9eccf09f6da4ceccd +0 -0
  157. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/ac/82b8fbb81087ec9b3a72d9e377102a31b28d16 +0 -0
  158. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/ac/aabd74d800e2a957097d56acd931e72129e7f0 +0 -0
  159. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/b1/f90b91594f496ad9f27b1a68584984f4b523d2 +0 -0
  160. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/b9/1632f5bc787c1404600c894a6a4126359747d8 +0 -0
  161. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/bb/b68069d5f8125d64af0baffbd4695f1a0f729c +0 -0
  162. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/bb/cbbe7d61558adde3cbfd0c7a63a67c27ed6d30 +0 -0
  163. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/c3/deba87b41117da6624f6d92a016ce50239dfc3 +0 -0
  164. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/c4/256dd4ce7908b76e2215415b9bba7911a8deee +0 -0
  165. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/c8/5e73d2b657bb05ed99309615d67bac93d9f86e +0 -0
  166. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/ca/ebbb67fdb02a0a8897d4e4826ea046a9931f6f +0 -0
  167. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/cb/221880a66e3c1f2ca15a9df52ac4bcb765e7d4 +0 -0
  168. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/cc/6a3a7252ea6e698614f0629d4bc040ab6ca717 +0 -0
  169. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/cd/351ba33849dcf6af35b493f7405962fa1625d4 +0 -0
  170. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/d1/ae9b564d3ab02c6b91162e52d822d36524edb3 +0 -0
  171. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/d3/329eec3bac6ce7e54c76b77ac9bf99fab0fe3f +0 -0
  172. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/d3/efb3a6fe1e001db62ec08e5d31ce1d08567045 +0 -0
  173. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/d8/ef563c2dc69fe1ea223be7bc5b0efc27ad1f9c +0 -0
  174. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/da/c33b74dddf06fcfc01244044eebb102cfcea37 +0 -0
  175. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/e2/13518b95011cb6ee783986624c3b6de8659f81 +0 -0
  176. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/e4/1f375774e6945e445bfb179502b128fe22dda7 +0 -0
  177. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/e6/9de29bb2d1d6434b8b29ae775ad8c2e48c5391 +0 -0
  178. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/eb/0fb9662e690d0f9de4632cddd321b3f872a725 +0 -0
  179. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/eb/9a2cfa9167df02f136502af79738c71363abfd +0 -0
  180. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/ec/47c421648c0a57c37cef86f4c5c435fb3b81ff +0 -0
  181. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/ef/1b2c0162e8edd321e2b9c1ce375d96f1f1d048 +0 -0
  182. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/f0/827d762e852a21f6406c469300899d5f509b8f +0 -0
  183. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/f1/b8e9d154231932c4b7b9b59611626764e68632 +0 -0
  184. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/f2/0813765a70679e8a063871c9ef75d75c65ccb6 +0 -0
  185. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/fa/dfc5fb4fe6f5eb6d5d98b62519e374a5202b00 +0 -0
  186. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/fa/f4a87a2e4515dbf0dbea0cc64f91fc7b81b8bb +0 -0
  187. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/fc/25ff5160028dee3570249abc40cd57780bcca9 +0 -0
  188. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/fc/ef8cd800ee8a265b146748d178cb56b5632bf3 +0 -0
  189. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/fd/64c09b37947c97e58903ce570785c657d56722 +0 -0
  190. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/fe/b0ed68d94eac48b844fd587ddfb808649716a1 +0 -0
  191. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.git/objects/ff/3e950cd1110fe552912cea4c268c4023d2b737 +0 -0
  192. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/ISSUE_TEMPLATE/bug_report.md +0 -0
  193. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/ISSUE_TEMPLATE/feature_request.md +0 -0
  194. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/dependabot.yml +0 -0
  195. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/workflows/build-and-release.yaml +0 -0
  196. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/workflows/build-docker.yaml +0 -0
  197. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/workflows/publish-to-test.yaml +0 -0
  198. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/workflows/publish.yaml +0 -0
  199. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/workflows/test-pypi.yaml +0 -0
  200. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.github/workflows/test.yaml +0 -0
  201. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.gitignore +0 -0
  202. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.gitmodules +0 -0
  203. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/.readthedocs.yaml +0 -0
  204. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/CMakeLists.txt +0 -0
  205. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/LICENSE.md +0 -0
  206. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/README.md +0 -0
  207. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/README.md +0 -0
  208. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/cuda_simple/Dockerfile +0 -0
  209. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/open_llama/Dockerfile +0 -0
  210. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/open_llama/build.sh +0 -0
  211. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/open_llama/hug_model.py +0 -0
  212. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/open_llama/start.sh +0 -0
  213. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/open_llama/start_server.sh +0 -0
  214. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/openblas_simple/Dockerfile +0 -0
  215. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/simple/Dockerfile +0 -0
  216. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docker/simple/run.sh +0 -0
  217. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docs/api-reference.md +0 -0
  218. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docs/changelog.md +0 -0
  219. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docs/index.md +0 -0
  220. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docs/install/macos.md +0 -0
  221. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docs/requirements.txt +0 -0
  222. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/docs/server.md +0 -0
  223. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/high_level_api/fastapi_server.py +0 -0
  224. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/high_level_api/high_level_api_embedding.py +0 -0
  225. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/high_level_api/high_level_api_inference.py +0 -0
  226. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/high_level_api/high_level_api_streaming.py +0 -0
  227. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/high_level_api/langchain_custom_llm.py +0 -0
  228. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/Chat.py +0 -0
  229. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/Miku.py +0 -0
  230. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/ReasonAct.py +0 -0
  231. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/common.py +0 -0
  232. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/low_level_api_chat_cpp.py +0 -0
  233. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/low_level_api_llama_cpp.py +0 -0
  234. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/quantize.py +0 -0
  235. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/readme/low_level_api_llama_cpp.md +0 -0
  236. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/low_level_api/util.py +0 -0
  237. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/notebooks/Batching.ipynb +0 -0
  238. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/notebooks/Clients.ipynb +0 -0
  239. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/notebooks/Functions.ipynb +0 -0
  240. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/notebooks/Guidance.ipynb +0 -0
  241. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/notebooks/Multimodal.ipynb +0 -0
  242. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/examples/notebooks/PerformanceTuning.ipynb +0 -0
  243. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/_internals.py +0 -0
  244. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/_utils.py +0 -0
  245. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llama.py +0 -0
  246. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llama_cache.py +0 -0
  247. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llama_cpp.py +0 -0
  248. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llama_grammar.py +0 -0
  249. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llama_types.py +0 -0
  250. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/llava_cpp.py +0 -0
  251. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/py.typed +0 -0
  252. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/__init__.py +0 -0
  253. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/__main__.py +0 -0
  254. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/app.py +0 -0
  255. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/cli.py +0 -0
  256. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/errors.py +0 -0
  257. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/model.py +0 -0
  258. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/settings.py +0 -0
  259. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/llama_cpp/server/types.py +0 -0
  260. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/mkdocs.yml +0 -0
  261. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/pyproject.toml +0 -0
  262. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/tests/test_grammar.py +0 -0
  263. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/tests/test_llama.py +0 -0
  264. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.clang-tidy +0 -0
  265. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/cloud-v-pipeline +0 -0
  266. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/full-cuda.Dockerfile +0 -0
  267. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/full-rocm.Dockerfile +0 -0
  268. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/full.Dockerfile +0 -0
  269. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/main-cuda.Dockerfile +0 -0
  270. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/main-intel.Dockerfile +0 -0
  271. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/main-rocm.Dockerfile +0 -0
  272. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/main.Dockerfile +0 -0
  273. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/nix/apps.nix +0 -0
  274. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/nix/devshells.nix +0 -0
  275. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/nix/jetson-support.nix +0 -0
  276. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/nix/nixpkgs-instances.nix +0 -0
  277. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/nix/package.nix +0 -0
  278. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/nix/scope.nix +0 -0
  279. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/server-cuda.Dockerfile +0 -0
  280. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/server-intel.Dockerfile +0 -0
  281. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/server-rocm.Dockerfile +0 -0
  282. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/server.Dockerfile +0 -0
  283. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.devops/tools.sh +0 -0
  284. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.dockerignore +0 -0
  285. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.ecrc +0 -0
  286. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.editorconfig +0 -0
  287. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.flake8 +0 -0
  288. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.git +0 -0
  289. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/ISSUE_TEMPLATE/bug.md +0 -0
  290. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/ISSUE_TEMPLATE/enhancement.md +0 -0
  291. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/build.yml +0 -0
  292. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/code-coverage.yml +0 -0
  293. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/docker.yml +0 -0
  294. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/editorconfig.yml +0 -0
  295. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/gguf-publish.yml +0 -0
  296. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/nix-ci-aarch64.yml +0 -0
  297. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/nix-ci.yml +0 -0
  298. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/nix-flake-update.yml +0 -0
  299. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/nix-publish-flake.yml +0 -0
  300. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/python-check-requirements.yml +0 -0
  301. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/python-lint.yml +0 -0
  302. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/tidy-post.yml +0 -0
  303. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/tidy-review.yml +0 -0
  304. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.github/workflows/zig-build.yml +0 -0
  305. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.gitignore +0 -0
  306. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/.pre-commit-config.yaml +0 -0
  307. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/LICENSE +0 -0
  308. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/Makefile +0 -0
  309. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/Package.swift +0 -0
  310. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/README.md +0 -0
  311. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/README_sycl.md +0 -0
  312. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/SHA256SUMS +0 -0
  313. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/awq-py/README.md +0 -0
  314. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/awq-py/awq/apply_awq.py +0 -0
  315. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/awq-py/requirements.txt +0 -0
  316. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/build.zig +0 -0
  317. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ci/README.md +0 -0
  318. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ci/run.sh +0 -0
  319. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/cmake/FindSIMD.cmake +0 -0
  320. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/codecov.yml +0 -0
  321. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/CMakeLists.txt +0 -0
  322. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/base64.hpp +0 -0
  323. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/build-info.cpp.in +0 -0
  324. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/common.cpp +0 -0
  325. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/common.h +0 -0
  326. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/console.cpp +0 -0
  327. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/console.h +0 -0
  328. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/grammar-parser.cpp +0 -0
  329. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/grammar-parser.h +0 -0
  330. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/log.h +0 -0
  331. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/sampling.cpp +0 -0
  332. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/sampling.h +0 -0
  333. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/stb_image.h +0 -0
  334. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/train.cpp +0 -0
  335. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/common/train.h +0 -0
  336. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/convert-hf-to-gguf.py +0 -0
  337. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/convert-llama-ggml-to-gguf.py +0 -0
  338. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/convert-lora-to-ggml.py +0 -0
  339. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/convert-persimmon-to-gguf.py +0 -0
  340. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/docs/BLIS.md +0 -0
  341. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/docs/llama-star/idea-arch.key +0 -0
  342. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/docs/llama-star/idea-arch.pdf +0 -0
  343. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/docs/token_generation_performance_tips.md +0 -0
  344. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/CMakeLists.txt +0 -0
  345. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/Miku.sh +0 -0
  346. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/alpaca.sh +0 -0
  347. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/baby-llama/CMakeLists.txt +0 -0
  348. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/baby-llama/baby-llama.cpp +0 -0
  349. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/base-translate.sh +0 -0
  350. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched/CMakeLists.txt +0 -0
  351. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched/README.md +0 -0
  352. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched/batched.cpp +0 -0
  353. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched-bench/CMakeLists.txt +0 -0
  354. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched-bench/README.md +0 -0
  355. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched-bench/batched-bench.cpp +0 -0
  356. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched.swift/.gitignore +0 -0
  357. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched.swift/Makefile +0 -0
  358. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched.swift/Package.swift +0 -0
  359. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched.swift/README.md +0 -0
  360. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/batched.swift/Sources/main.swift +0 -0
  361. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/beam-search/CMakeLists.txt +0 -0
  362. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/beam-search/beam-search.cpp +0 -0
  363. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/benchmark/CMakeLists.txt +0 -0
  364. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/benchmark/benchmark-matmult.cpp +0 -0
  365. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/chat-13B.bat +0 -0
  366. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/chat-13B.sh +0 -0
  367. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/chat-persistent.sh +0 -0
  368. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/chat-vicuna.sh +0 -0
  369. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/chat.sh +0 -0
  370. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/convert-llama2c-to-ggml/CMakeLists.txt +0 -0
  371. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/convert-llama2c-to-ggml/README.md +0 -0
  372. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/convert-llama2c-to-ggml/convert-llama2c-to-ggml.cpp +0 -0
  373. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/embedding/CMakeLists.txt +0 -0
  374. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/embedding/README.md +0 -0
  375. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/embedding/embedding.cpp +0 -0
  376. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/export-lora/CMakeLists.txt +0 -0
  377. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/export-lora/README.md +0 -0
  378. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/export-lora/export-lora.cpp +0 -0
  379. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/finetune/CMakeLists.txt +0 -0
  380. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/finetune/README.md +0 -0
  381. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/finetune/convert-finetune-checkpoint-to-gguf.py +0 -0
  382. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/finetune/finetune.cpp +0 -0
  383. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/finetune/finetune.sh +0 -0
  384. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/gguf/CMakeLists.txt +0 -0
  385. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/gguf/gguf.cpp +0 -0
  386. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/gpt4all.sh +0 -0
  387. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/imatrix/CMakeLists.txt +0 -0
  388. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/imatrix/README.md +0 -0
  389. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/imatrix/imatrix.cpp +0 -0
  390. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/infill/CMakeLists.txt +0 -0
  391. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/infill/README.md +0 -0
  392. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/infill/infill.cpp +0 -0
  393. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/jeopardy/README.md +0 -0
  394. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/jeopardy/graph.py +0 -0
  395. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/jeopardy/jeopardy.sh +0 -0
  396. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/jeopardy/qasheet.csv +0 -0
  397. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/jeopardy/questions.txt +0 -0
  398. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/json-schema-to-grammar.py +0 -0
  399. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama-bench/CMakeLists.txt +0 -0
  400. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama-bench/README.md +0 -0
  401. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama-bench/llama-bench.cpp +0 -0
  402. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/.gitignore +0 -0
  403. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/README.md +0 -0
  404. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/.gitignore +0 -0
  405. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/build.gradle.kts +0 -0
  406. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/proguard-rules.pro +0 -0
  407. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/AndroidManifest.xml +0 -0
  408. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/cpp/CMakeLists.txt +0 -0
  409. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/cpp/llama-android.cpp +0 -0
  410. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/Downloadable.kt +0 -0
  411. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/Llm.kt +0 -0
  412. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/MainActivity.kt +0 -0
  413. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/MainViewModel.kt +0 -0
  414. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/ui/theme/Color.kt +0 -0
  415. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/ui/theme/Theme.kt +0 -0
  416. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/java/com/example/llama/ui/theme/Type.kt +0 -0
  417. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/drawable/ic_launcher_background.xml +0 -0
  418. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/drawable/ic_launcher_foreground.xml +0 -0
  419. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-anydpi/ic_launcher.xml +0 -0
  420. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-anydpi/ic_launcher_round.xml +0 -0
  421. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-hdpi/ic_launcher.webp +0 -0
  422. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-hdpi/ic_launcher_round.webp +0 -0
  423. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-mdpi/ic_launcher.webp +0 -0
  424. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-mdpi/ic_launcher_round.webp +0 -0
  425. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-xhdpi/ic_launcher.webp +0 -0
  426. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-xhdpi/ic_launcher_round.webp +0 -0
  427. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-xxhdpi/ic_launcher.webp +0 -0
  428. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-xxhdpi/ic_launcher_round.webp +0 -0
  429. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-xxxhdpi/ic_launcher.webp +0 -0
  430. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/mipmap-xxxhdpi/ic_launcher_round.webp +0 -0
  431. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/values/colors.xml +0 -0
  432. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/values/strings.xml +0 -0
  433. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/values/themes.xml +0 -0
  434. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/xml/backup_rules.xml +0 -0
  435. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/app/src/main/res/xml/data_extraction_rules.xml +0 -0
  436. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/build.gradle.kts +0 -0
  437. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/gradle/wrapper/gradle-wrapper.jar +0 -0
  438. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/gradle/wrapper/gradle-wrapper.properties +0 -0
  439. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/gradle.properties +0 -0
  440. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/gradlew +0 -0
  441. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.android/settings.gradle.kts +0 -0
  442. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/.gitignore +0 -0
  443. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/README.md +0 -0
  444. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.cpp.swift/LibLlama.swift +0 -0
  445. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/Assets.xcassets/AppIcon.appiconset/Contents.json +0 -0
  446. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/Assets.xcassets/Contents.json +0 -0
  447. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/Models/LlamaState.swift +0 -0
  448. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/UI/ContentView.swift +0 -0
  449. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/UI/DownloadButton.swift +0 -0
  450. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/UI/InputButton.swift +0 -0
  451. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/UI/LoadCustomButton.swift +0 -0
  452. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui/llama_swiftuiApp.swift +0 -0
  453. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui.xcodeproj/project.pbxproj +0 -0
  454. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui.xcodeproj/project.xcworkspace/contents.xcworkspacedata +0 -0
  455. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.swiftui/llama.swiftui.xcodeproj/project.xcworkspace/xcshareddata/IDEWorkspaceChecks.plist +0 -0
  456. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama.vim +0 -0
  457. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama2-13b.sh +0 -0
  458. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llama2.sh +0 -0
  459. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/CMakeLists.txt +0 -0
  460. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/MobileVLM-README.md +0 -0
  461. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/README.md +0 -0
  462. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/android/adb_run.sh +0 -0
  463. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/android/build_64.sh +0 -0
  464. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/clip.cpp +0 -0
  465. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/clip.h +0 -0
  466. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/convert-image-encoder-to-gguf.py +0 -0
  467. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/llava-cli.cpp +0 -0
  468. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/llava-surgery.py +0 -0
  469. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/llava.cpp +0 -0
  470. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llava/llava.h +0 -0
  471. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/llm.vim +0 -0
  472. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/lookahead/CMakeLists.txt +0 -0
  473. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/lookahead/README.md +0 -0
  474. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/lookahead/lookahead.cpp +0 -0
  475. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/lookup/CMakeLists.txt +0 -0
  476. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/lookup/README.md +0 -0
  477. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/lookup/lookup.cpp +0 -0
  478. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/main/CMakeLists.txt +0 -0
  479. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/main/README.md +0 -0
  480. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/main/main.cpp +0 -0
  481. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/main-cmake-pkg/.gitignore +0 -0
  482. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/main-cmake-pkg/CMakeLists.txt +0 -0
  483. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/main-cmake-pkg/README.md +0 -0
  484. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/make-ggml.py +0 -0
  485. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/parallel/CMakeLists.txt +0 -0
  486. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/parallel/README.md +0 -0
  487. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/parallel/parallel.cpp +0 -0
  488. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/passkey/CMakeLists.txt +0 -0
  489. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/passkey/README.md +0 -0
  490. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/passkey/passkey.cpp +0 -0
  491. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/perplexity/CMakeLists.txt +0 -0
  492. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/perplexity/README.md +0 -0
  493. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/perplexity/perplexity.cpp +0 -0
  494. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/pydantic-models-to-grammar-examples.py +0 -0
  495. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/pydantic_models_to_grammar.py +0 -0
  496. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/quantize/CMakeLists.txt +0 -0
  497. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/quantize/README.md +0 -0
  498. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/quantize/quantize.cpp +0 -0
  499. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/quantize-stats/CMakeLists.txt +0 -0
  500. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/quantize-stats/quantize-stats.cpp +0 -0
  501. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/reason-act.sh +0 -0
  502. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/save-load-state/CMakeLists.txt +0 -0
  503. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/save-load-state/save-load-state.cpp +0 -0
  504. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/CMakeLists.txt +0 -0
  505. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/README.md +0 -0
  506. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/api_like_OAI.py +0 -0
  507. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/chat-llama2.sh +0 -0
  508. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/chat.mjs +0 -0
  509. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/chat.sh +0 -0
  510. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/completion.js.hpp +0 -0
  511. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/deps.sh +0 -0
  512. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/httplib.h +0 -0
  513. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/index.html.hpp +0 -0
  514. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/index.js.hpp +0 -0
  515. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/json-schema-to-grammar.mjs.hpp +0 -0
  516. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/json.hpp +0 -0
  517. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/public/completion.js +0 -0
  518. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/public/index.html +0 -0
  519. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/public/index.js +0 -0
  520. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/public/json-schema-to-grammar.mjs +0 -0
  521. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server/utils.hpp +0 -0
  522. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/server-llama2-13B.sh +0 -0
  523. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/simple/CMakeLists.txt +0 -0
  524. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/simple/README.md +0 -0
  525. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/simple/simple.cpp +0 -0
  526. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/speculative/CMakeLists.txt +0 -0
  527. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/speculative/README.md +0 -0
  528. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/speculative/speculative.cpp +0 -0
  529. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/sycl/CMakeLists.txt +0 -0
  530. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/sycl/README.md +0 -0
  531. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/sycl/build.sh +0 -0
  532. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/sycl/ls-sycl-device.cpp +0 -0
  533. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/sycl/run-llama2.sh +0 -0
  534. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/tokenize/CMakeLists.txt +0 -0
  535. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/tokenize/tokenize.cpp +0 -0
  536. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/train-text-from-scratch/CMakeLists.txt +0 -0
  537. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/train-text-from-scratch/README.md +0 -0
  538. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/train-text-from-scratch/convert-train-checkpoint-to-gguf.py +0 -0
  539. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/examples/train-text-from-scratch/train-text-from-scratch.cpp +0 -0
  540. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/flake.lock +0 -0
  541. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/flake.nix +0 -0
  542. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-alloc.c +0 -0
  543. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-alloc.h +0 -0
  544. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-backend-impl.h +0 -0
  545. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-backend.c +0 -0
  546. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-backend.h +0 -0
  547. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-cuda.cu +0 -0
  548. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-cuda.h +0 -0
  549. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-impl.h +0 -0
  550. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-metal.h +0 -0
  551. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-metal.metal +0 -0
  552. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-mpi.c +0 -0
  553. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-mpi.h +0 -0
  554. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-opencl.h +0 -0
  555. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-quants.c +0 -0
  556. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-quants.h +0 -0
  557. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-sycl.cpp +0 -0
  558. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-sycl.h +0 -0
  559. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-vulkan-shaders.hpp +0 -0
  560. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-vulkan.cpp +0 -0
  561. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml-vulkan.h +0 -0
  562. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml.c +0 -0
  563. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml.h +0 -0
  564. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/ggml_vk_generate_shaders.py +0 -0
  565. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/LICENSE +0 -0
  566. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/README.md +0 -0
  567. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/examples/writer.py +0 -0
  568. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/__init__.py +0 -0
  569. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/constants.py +0 -0
  570. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/gguf.py +0 -0
  571. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/gguf_reader.py +0 -0
  572. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/gguf_writer.py +0 -0
  573. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/py.typed +0 -0
  574. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/tensor_mapping.py +0 -0
  575. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/gguf/vocab.py +0 -0
  576. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/pyproject.toml +0 -0
  577. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/scripts/__init__.py +0 -0
  578. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/scripts/gguf-convert-endian.py +0 -0
  579. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/scripts/gguf-dump.py +0 -0
  580. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/scripts/gguf-set-metadata.py +0 -0
  581. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/gguf-py/tests/test_gguf.py +0 -0
  582. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/README.md +0 -0
  583. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/arithmetic.gbnf +0 -0
  584. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/c.gbnf +0 -0
  585. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/chess.gbnf +0 -0
  586. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/japanese.gbnf +0 -0
  587. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/json.gbnf +0 -0
  588. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/json_arr.gbnf +0 -0
  589. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/grammars/list.gbnf +0 -0
  590. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/llama.h +0 -0
  591. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/media/llama-leader.jpeg +0 -0
  592. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/media/llama0-banner.png +0 -0
  593. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/media/llama0-logo.png +0 -0
  594. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/media/llama1-banner.png +0 -0
  595. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/media/llama1-logo.png +0 -0
  596. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/mypy.ini +0 -0
  597. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/pocs/CMakeLists.txt +0 -0
  598. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/pocs/vdot/CMakeLists.txt +0 -0
  599. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/pocs/vdot/q8dot.cpp +0 -0
  600. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/pocs/vdot/vdot.cpp +0 -0
  601. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/LLM-questions.txt +0 -0
  602. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/alpaca.txt +0 -0
  603. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/assistant.txt +0 -0
  604. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/chat-with-baichuan.txt +0 -0
  605. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/chat-with-bob.txt +0 -0
  606. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/chat-with-qwen.txt +0 -0
  607. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/chat-with-vicuna-v0.txt +0 -0
  608. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/chat-with-vicuna-v1.txt +0 -0
  609. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/chat.txt +0 -0
  610. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/dan-modified.txt +0 -0
  611. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/dan.txt +0 -0
  612. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/mnemonics.txt +0 -0
  613. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/parallel-questions.txt +0 -0
  614. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/prompts/reason-act.txt +0 -0
  615. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/requirements/requirements-convert-hf-to-gguf.txt +0 -0
  616. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/requirements/requirements-convert-llama-ggml-to-gguf.txt +0 -0
  617. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/requirements/requirements-convert-lora-to-ggml.txt +0 -0
  618. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/requirements/requirements-convert-persimmon-to-gguf.txt +0 -0
  619. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/requirements/requirements-convert.txt +0 -0
  620. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/requirements.txt +0 -0
  621. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/LlamaConfig.cmake.in +0 -0
  622. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/build-info.cmake +0 -0
  623. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/build-info.sh +0 -0
  624. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/check-requirements.sh +0 -0
  625. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/ci-run.sh +0 -0
  626. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/compare-llama-bench.py +0 -0
  627. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/convert-gg.sh +0 -0
  628. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/gen-build-info-cpp.cmake +0 -0
  629. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/get-flags.mk +0 -0
  630. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/get-hellaswag.sh +0 -0
  631. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/get-pg.sh +0 -0
  632. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/get-wikitext-2.sh +0 -0
  633. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/get-winogrande.sh +0 -0
  634. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/qnt-all.sh +0 -0
  635. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/run-all-perf.sh +0 -0
  636. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/run-all-ppl.sh +0 -0
  637. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/run-with-preset.py +0 -0
  638. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/server-llm.sh +0 -0
  639. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/sync-ggml-am.sh +0 -0
  640. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/sync-ggml.last +0 -0
  641. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/sync-ggml.sh +0 -0
  642. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/scripts/verify-checksum-models.py +0 -0
  643. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/spm-headers/llama.h +0 -0
  644. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/.gitignore +0 -0
  645. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/CMakeLists.txt +0 -0
  646. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/get-model.cpp +0 -0
  647. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/get-model.h +0 -0
  648. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-autorelease.cpp +0 -0
  649. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-backend-ops.cpp +0 -0
  650. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-c.c +0 -0
  651. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-double-float.cpp +0 -0
  652. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-grad0.cpp +0 -0
  653. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-grammar-parser.cpp +0 -0
  654. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-llama-grammar.cpp +0 -0
  655. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-model-load-cancel.cpp +0 -0
  656. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-opt.cpp +0 -0
  657. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-quantize-fns.cpp +0 -0
  658. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-quantize-perf.cpp +0 -0
  659. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-rope.cpp +0 -0
  660. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-sampling.cpp +0 -0
  661. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-tokenizer-0-falcon.cpp +0 -0
  662. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-tokenizer-0-falcon.py +0 -0
  663. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-tokenizer-0-llama.cpp +0 -0
  664. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-tokenizer-0-llama.py +0 -0
  665. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-tokenizer-1-bpe.cpp +0 -0
  666. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/tests/test-tokenizer-1-llama.cpp +0 -0
  667. {llama_cpp_python-0.2.35 → llama_cpp_python-0.2.36}/vendor/llama.cpp/unicode.h +0 -0
@@ -0,0 +1 @@
1
+ 464af5b39fea3cf1ba16e755a9df85f09bbb25ac '464af5b39fea3cf1ba16e755a9df85f09bbb25ac' of https://github.com/abetlen/llama-cpp-python
@@ -0,0 +1 @@
1
+ 464af5b39fea3cf1ba16e755a9df85f09bbb25ac
@@ -9,7 +9,7 @@
9
9
  [gc]
10
10
  auto = 0
11
11
  [http "https://github.com/"]
12
- extraheader = AUTHORIZATION: basic eC1hY2Nlc3MtdG9rZW46Z2hzX0QwUkJscUZWb0tUcW80YmZabVZwSDJXcUtGVUw5RzFXZkZLaw==
12
+ extraheader = AUTHORIZATION: basic eC1hY2Nlc3MtdG9rZW46Z2hzX1Y2cUFITVRmZ0hoM1VTanhaR2VKRTRhUGxXUHJjRzQwRWhTSg==
13
13
  [submodule "vendor/llama.cpp"]
14
14
  active = true
15
15
  url = https://github.com/ggerganov/llama.cpp.git
Binary file
@@ -0,0 +1 @@
1
+ 0000000000000000000000000000000000000000 464af5b39fea3cf1ba16e755a9df85f09bbb25ac runner <runner@fv-az695-903.gmayhch2cacunn5b1cp1zlasod.dx.internal.cloudapp.net> 1706543240 +0000 checkout: moving from master to refs/tags/v0.2.36
@@ -0,0 +1 @@
1
+ 2aed77eb06a329f0d82bb1c467f4244904d4073f
@@ -13,7 +13,7 @@
13
13
  [gc]
14
14
  auto = 0
15
15
  [http "https://github.com/"]
16
- extraheader = AUTHORIZATION: basic eC1hY2Nlc3MtdG9rZW46Z2hzX0QwUkJscUZWb0tUcW80YmZabVZwSDJXcUtGVUw5RzFXZkZLaw==
16
+ extraheader = AUTHORIZATION: basic eC1hY2Nlc3MtdG9rZW46Z2hzX1Y2cUFITVRmZ0hoM1VTanhaR2VKRTRhUGxXUHJjRzQwRWhTSg==
17
17
  [url "https://github.com/"]
18
18
  insteadOf = git@github.com:
19
19
  insteadOf = org-6826477@github.com:
@@ -0,0 +1,2 @@
1
+ 0000000000000000000000000000000000000000 2aed77eb06a329f0d82bb1c467f4244904d4073f runner <runner@fv-az695-903.gmayhch2cacunn5b1cp1zlasod.dx.internal.cloudapp.net> 1706543241 +0000 clone: from https://github.com/ggerganov/llama.cpp.git
2
+ 2aed77eb06a329f0d82bb1c467f4244904d4073f 2aed77eb06a329f0d82bb1c467f4244904d4073f runner <runner@fv-az695-903.gmayhch2cacunn5b1cp1zlasod.dx.internal.cloudapp.net> 1706543241 +0000 checkout: moving from master to 2aed77eb06a329f0d82bb1c467f4244904d4073f
@@ -0,0 +1 @@
1
+ 0000000000000000000000000000000000000000 2aed77eb06a329f0d82bb1c467f4244904d4073f runner <runner@fv-az695-903.gmayhch2cacunn5b1cp1zlasod.dx.internal.cloudapp.net> 1706543241 +0000 clone: from https://github.com/ggerganov/llama.cpp.git
@@ -0,0 +1 @@
1
+ 0000000000000000000000000000000000000000 2aed77eb06a329f0d82bb1c467f4244904d4073f runner <runner@fv-az695-903.gmayhch2cacunn5b1cp1zlasod.dx.internal.cloudapp.net> 1706543241 +0000 clone: from https://github.com/ggerganov/llama.cpp.git
@@ -0,0 +1,2 @@
1
+ # pack-refs with: peeled fully-peeled sorted
2
+ 2aed77eb06a329f0d82bb1c467f4244904d4073f refs/remotes/origin/master
@@ -0,0 +1 @@
1
+ 2aed77eb06a329f0d82bb1c467f4244904d4073f
@@ -0,0 +1 @@
1
+ 2aed77eb06a329f0d82bb1c467f4244904d4073f
@@ -0,0 +1,3 @@
1
+ x��]
2
+ �0�}�)�J�6M@D{�M��B���z~�G�m���i-e��p��s�$�F"g��AYJ� hU�|�5��QPӔ)3{b)�)Ԟ�b<,���Z<jj<��}�
3
+ W��p��˴��A:�F9 g�R��;�5�^6�p{�k_c�H+
@@ -0,0 +1,2 @@
1
+ x�TMo1����r��E����6�F��HU[!�ڀ�wmٻT(��ػҲ������<ϛT�>|���]e8+E�t��݃,\ɔ"��,�Ui�y��4�T�SjEVY'w��z+ډ�k�B�z�S��,ʌ��+�z�R
2
+ ��kY@�\),!\�ߗ]|�����T��e\x��%����u I+���w¦� ���egx�fߍ����|Х�$������k���Bk��$�E��D/�x�j��/��dߪ�*٦9�M���(l�8� ���?~a}r�����h'�gW�-+Z4��xr���ҕ�y���Ű7�Vha������W�����Ҍ���]��
@@ -0,0 +1 @@
1
+ 464af5b39fea3cf1ba16e755a9df85f09bbb25ac
@@ -0,0 +1 @@
1
+ 464af5b39fea3cf1ba16e755a9df85f09bbb25ac
@@ -7,6 +7,11 @@ and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0
7
7
 
8
8
  ## [Unreleased]
9
9
 
10
+ ## [0.2.36]
11
+
12
+ - feat: Update llama.cpp to ggerganov/llama.cpp@2aed77eb06a329f0d82bb1c467f4244904d4073f
13
+ - feat: Add mistral instruct chat format as "mistral-instruct" by @Rafaelblsilva in #799
14
+
10
15
  ## [0.2.35]
11
16
 
12
17
  - feat: Update llama.cpp to ggerganov/llama.cpp@d2f650cb5b04ee2726663e79b47da5efe196ce00
@@ -27,6 +27,9 @@ build.blis:
27
27
  build.metal:
28
28
  CMAKE_ARGS="-DLLAMA_METAL=on" python3 -m pip install --verbose -e .
29
29
 
30
+ build.vulkan:
31
+ CMAKE_ARGS="-DLLAMA_VULKAN=on" python3 -m pip install --verbose -e .
32
+
30
33
  build.sdist:
31
34
  python3 -m build --sdist
32
35
 
@@ -1,6 +1,6 @@
1
1
  Metadata-Version: 2.1
2
2
  Name: llama_cpp_python
3
- Version: 0.2.35
3
+ Version: 0.2.36
4
4
  Summary: Python bindings for the llama.cpp library
5
5
  Author-Email: Andrei Betlen <abetlen@gmail.com>
6
6
  License: MIT
@@ -1,4 +1,4 @@
1
1
  from .llama_cpp import *
2
2
  from .llama import *
3
3
 
4
- __version__ = "0.2.35"
4
+ __version__ = "0.2.36"
@@ -877,6 +877,24 @@ def format_chatml(
877
877
  return ChatFormatterResponse(prompt=_prompt, stop=_sep)
878
878
 
879
879
 
880
+ @register_chat_format("mistral-instruct")
881
+ def format_mistral_instruct(
882
+ messages: List[llama_types.ChatCompletionRequestMessage],
883
+ **kwargs: Any,
884
+ ) -> ChatFormatterResponse:
885
+ bos = "<s>"
886
+ eos = "</s>"
887
+ stop = eos
888
+ prompt = bos
889
+ for message in messages:
890
+ if message["role"] == "user" and message["content"] is not None and isinstance(message["content"], str):
891
+ prompt += "[INST] " + message["content"]
892
+ elif message["role"] == "assistant" and message["content"] is not None and isinstance(message["content"], str):
893
+ prompt += " [/INST]" + message["content"] + eos
894
+ prompt += " [/INST]"
895
+ return ChatFormatterResponse(prompt=prompt, stop=stop)
896
+
897
+
880
898
  @register_chat_format("chatglm3")
881
899
  def format_chatglm3(
882
900
  messages: List[llama_types.ChatCompletionRequestMessage],
@@ -1,10 +1,33 @@
1
1
  import json
2
2
 
3
+ import jinja2
4
+
3
5
  from llama_cpp import (
4
6
  ChatCompletionRequestUserMessage,
5
7
  )
8
+ import llama_cpp.llama_types as llama_types
9
+ import llama_cpp.llama_chat_format as llama_chat_format
10
+
6
11
  from llama_cpp.llama_chat_format import hf_tokenizer_config_to_chat_formatter
7
12
 
13
+ def test_mistral_instruct():
14
+ chat_template = "{{ bos_token }}{% for message in messages %}{% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}{{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }}{% endif %}{% if message['role'] == 'user' %}{{ '[INST] ' + message['content'] + ' [/INST]' }}{% elif message['role'] == 'assistant' %}{{ message['content'] + eos_token}}{% else %}{{ raise_exception('Only user and assistant roles are supported!') }}{% endif %}{% endfor %}"
15
+ chat_formatter = jinja2.Template(chat_template)
16
+ messages = [
17
+ llama_types.ChatCompletionRequestUserMessage(role="user", content="Instruction"),
18
+ llama_types.ChatCompletionRequestAssistantMessage(role="assistant", content="Model answer"),
19
+ llama_types.ChatCompletionRequestUserMessage(role="user", content="Follow-up instruction"),
20
+ ]
21
+ response = llama_chat_format.format_mistral_instruct(
22
+ messages=messages,
23
+ )
24
+ reference = chat_formatter.render(
25
+ messages=messages,
26
+ bos_token="<s>",
27
+ eos_token="</s>",
28
+ )
29
+ assert response.prompt == reference
30
+
8
31
 
9
32
  mistral_7b_tokenizer_config = """{
10
33
  "add_bos_token": true,
@@ -422,7 +422,13 @@ if (LLAMA_VULKAN)
422
422
  if (Vulkan_FOUND)
423
423
  message(STATUS "Vulkan found")
424
424
 
425
+ set(GGML_HEADERS_VULKAN ggml-vulkan.h)
426
+ set(GGML_SOURCES_VULKAN ggml-vulkan.cpp)
427
+
425
428
  add_library(ggml-vulkan STATIC ggml-vulkan.cpp ggml-vulkan.h)
429
+ if (BUILD_SHARED_LIBS)
430
+ set_target_properties(ggml-vulkan PROPERTIES POSITION_INDEPENDENT_CODE ON)
431
+ endif()
426
432
  target_link_libraries(ggml-vulkan PRIVATE Vulkan::Vulkan)
427
433
 
428
434
  add_compile_definitions(GGML_USE_VULKAN)
@@ -848,6 +854,7 @@ add_library(ggml OBJECT
848
854
  ggml-quants.h
849
855
  ${GGML_SOURCES_CUDA} ${GGML_HEADERS_CUDA}
850
856
  ${GGML_SOURCES_OPENCL} ${GGML_HEADERS_OPENCL}
857
+ ${GGML_SOURCES_VULKAN} ${GGML_HEADERS_VULKAN}
851
858
  ${GGML_SOURCES_METAL} ${GGML_HEADERS_METAL}
852
859
  ${GGML_SOURCES_MPI} ${GGML_HEADERS_MPI}
853
860
  ${GGML_SOURCES_EXTRA} ${GGML_HEADERS_EXTRA}
@@ -928,7 +935,7 @@ install(FILES ${CMAKE_CURRENT_BINARY_DIR}/LlamaConfig.cmake
928
935
  DESTINATION ${CMAKE_INSTALL_LIBDIR}/cmake/Llama)
929
936
 
930
937
  set(GGML_PUBLIC_HEADERS "ggml.h" "ggml-alloc.h" "ggml-backend.h"
931
- "${GGML_HEADERS_CUDA}" "${GGML_HEADERS_OPENCL}"
938
+ "${GGML_HEADERS_CUDA}" "${GGML_HEADERS_OPENCL}" "${GGML_HEADERS_VULKAN}"
932
939
  "${GGML_HEADERS_METAL}" "${GGML_HEADERS_MPI}" "${GGML_HEADERS_EXTRA}")
933
940
 
934
941
  set_target_properties(ggml PROPERTIES PUBLIC_HEADER "${GGML_PUBLIC_HEADERS}")
@@ -1,4 +1,4 @@
1
1
  int LLAMA_BUILD_NUMBER = 1;
2
- char const *LLAMA_COMMIT = "d2f650c";
2
+ char const *LLAMA_COMMIT = "2aed77e";
3
3
  char const *LLAMA_COMPILER = "cc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0";
4
4
  char const *LLAMA_BUILD_TARGET = "x86_64-linux-gnu";
@@ -334,7 +334,10 @@ class Params:
334
334
  class BpeVocab:
335
335
  def __init__(self, fname_tokenizer: Path, fname_added_tokens: Path | None) -> None:
336
336
  self.bpe_tokenizer = json.loads(open(str(fname_tokenizer), encoding="utf-8").read())
337
- self.vocab = self.bpe_tokenizer["model"]["vocab"]
337
+ try:
338
+ self.vocab = self.bpe_tokenizer["model"]["vocab"]
339
+ except KeyError:
340
+ self.vocab = self.bpe_tokenizer
338
341
  added_tokens: dict[str, int]
339
342
  if fname_added_tokens is not None:
340
343
  # FIXME: Verify that added tokens here _cannot_ overlap with the main vocab.
@@ -206,3 +206,18 @@ inline static std::vector<json> format_partial_response_oaicompat(const task_res
206
206
 
207
207
  return std::vector<json>({ret});
208
208
  }
209
+
210
+ inline static json format_embeddings_response_oaicompat(const json &request, const json &embeddings)
211
+ {
212
+ json res =
213
+ json{
214
+ {"model", json_value(request, "model", std::string(DEFAULT_OAICOMPAT_MODEL))},
215
+ {"object", "list"},
216
+ {"usage",
217
+ json{{"prompt_tokens", 0},
218
+ {"total_tokens", 0}}},
219
+ {"data", embeddings}
220
+ };
221
+ return res;
222
+ }
223
+
@@ -2929,6 +2929,66 @@ int main(int argc, char **argv)
2929
2929
  return res.set_content(result.result_json.dump(), "application/json; charset=utf-8");
2930
2930
  });
2931
2931
 
2932
+ svr.Post("/v1/embeddings", [&llama](const httplib::Request &req, httplib::Response &res)
2933
+ {
2934
+ res.set_header("Access-Control-Allow-Origin", req.get_header_value("Origin"));
2935
+ const json body = json::parse(req.body);
2936
+
2937
+ json prompt;
2938
+ if (body.count("input") != 0)
2939
+ {
2940
+ prompt = body["input"];
2941
+ // batch
2942
+ if(prompt.is_array()) {
2943
+ json data = json::array();
2944
+ int i = 0;
2945
+ for (const json &elem : prompt) {
2946
+ const int task_id = llama.queue_tasks.get_new_id();
2947
+ llama.queue_results.add_waiting_task_id(task_id);
2948
+ llama.request_completion(task_id, { {"prompt", elem}, { "n_predict", 0} }, false, true, -1);
2949
+
2950
+ // get the result
2951
+ task_result result = llama.queue_results.recv(task_id);
2952
+ llama.queue_results.remove_waiting_task_id(task_id);
2953
+
2954
+ json embedding = json{
2955
+ {"embedding", json_value(result.result_json, "embedding", json::array())},
2956
+ {"index", i++},
2957
+ {"object", "embedding"}
2958
+ };
2959
+ data.push_back(embedding);
2960
+ }
2961
+ json result = format_embeddings_response_oaicompat(body, data);
2962
+ return res.set_content(result.dump(), "application/json; charset=utf-8");
2963
+ }
2964
+ }
2965
+ else
2966
+ {
2967
+ prompt = "";
2968
+ }
2969
+
2970
+ // create and queue the task
2971
+ const int task_id = llama.queue_tasks.get_new_id();
2972
+ llama.queue_results.add_waiting_task_id(task_id);
2973
+ llama.request_completion(task_id, { {"prompt", prompt}, { "n_predict", 0}}, false, true, -1);
2974
+
2975
+ // get the result
2976
+ task_result result = llama.queue_results.recv(task_id);
2977
+ llama.queue_results.remove_waiting_task_id(task_id);
2978
+
2979
+ json data = json::array({json{
2980
+ {"embedding", json_value(result.result_json, "embedding", json::array())},
2981
+ {"index", 0},
2982
+ {"object", "embedding"}
2983
+ }}
2984
+ );
2985
+
2986
+ json root = format_embeddings_response_oaicompat(body, data);
2987
+
2988
+ // send the result
2989
+ return res.set_content(root.dump(), "application/json; charset=utf-8");
2990
+ });
2991
+
2932
2992
  // GG: if I put the main loop inside a thread, it crashes on the first request when build in Debug!?
2933
2993
  // "Bus error: 10" - this is on macOS, it does not crash on Linux
2934
2994
  //std::thread t2([&]()
@@ -2375,6 +2375,16 @@ GGML_CALL static size_t ggml_backend_metal_buffer_type_get_alignment(ggml_backen
2375
2375
  UNUSED(buft);
2376
2376
  }
2377
2377
 
2378
+ GGML_CALL static size_t ggml_backend_metal_buffer_type_get_max_size(ggml_backend_buffer_type_t buft) {
2379
+ id<MTLDevice> device = ggml_backend_metal_get_device();
2380
+ size_t max_size = device.maxBufferLength;
2381
+ ggml_backend_metal_free_device();
2382
+
2383
+ return max_size;
2384
+
2385
+ UNUSED(buft);
2386
+ }
2387
+
2378
2388
  GGML_CALL static bool ggml_backend_metal_buffer_type_supports_backend(ggml_backend_buffer_type_t buft, ggml_backend_t backend) {
2379
2389
  return ggml_backend_is_metal(backend) || ggml_backend_is_cpu(backend);
2380
2390
 
@@ -2393,7 +2403,7 @@ GGML_CALL ggml_backend_buffer_type_t ggml_backend_metal_buffer_type(void) {
2393
2403
  /* .get_name = */ ggml_backend_metal_buffer_type_get_name,
2394
2404
  /* .alloc_buffer = */ ggml_backend_metal_buffer_type_alloc_buffer,
2395
2405
  /* .get_alignment = */ ggml_backend_metal_buffer_type_get_alignment,
2396
- /* .get_max_size = */ NULL, // TODO: return device.maxBufferLength
2406
+ /* .get_max_size = */ ggml_backend_metal_buffer_type_get_max_size,
2397
2407
  /* .get_alloc_size = */ NULL, // defaults to ggml_nbytes
2398
2408
  /* .supports_backend = */ ggml_backend_metal_buffer_type_supports_backend,
2399
2409
  /* .is_host = */ ggml_backend_metal_buffer_type_is_host,
@@ -2125,6 +2125,15 @@ static size_t ggml_backend_opencl_buffer_type_get_alignment(ggml_backend_buffer_
2125
2125
  GGML_UNUSED(buffer_type);
2126
2126
  }
2127
2127
 
2128
+ static size_t ggml_backend_opencl_buffer_type_get_max_size(ggml_backend_buffer_type_t buffer_type) {
2129
+ static size_t max_size = -1;
2130
+ if (max_size == (size_t)-1) {
2131
+ ggml_cl_init();
2132
+ clGetDeviceInfo(device, CL_DEVICE_MAX_MEM_ALLOC_SIZE, sizeof(size_t), &max_size, NULL);
2133
+ }
2134
+ return max_size;
2135
+ }
2136
+
2128
2137
  static bool ggml_backend_opencl_buffer_type_supports_backend(ggml_backend_buffer_type_t buffer_type, ggml_backend_t backend) {
2129
2138
  //return ggml_backend_is_opencl(backend); // opencl must be used through the cpu backend
2130
2139
  return ggml_backend_is_cpu(backend);
@@ -2136,7 +2145,7 @@ static ggml_backend_buffer_type_i ggml_backend_opencl_buffer_type_interface = {
2136
2145
  /* .get_name = */ ggml_backend_opencl_buffer_type_name,
2137
2146
  /* .alloc_buffer = */ ggml_backend_opencl_buffer_type_alloc_buffer,
2138
2147
  /* .get_alignment = */ ggml_backend_opencl_buffer_type_get_alignment,
2139
- /* .get_max_size = */ NULL, // TODO: return from device info
2148
+ /* .get_max_size = */ ggml_backend_opencl_buffer_type_get_max_size,
2140
2149
  /* .get_alloc_size = */ NULL,
2141
2150
  /* .supports_backend = */ ggml_backend_opencl_buffer_type_supports_backend,
2142
2151
  /* .is_host = */ NULL,
@@ -1158,10 +1158,10 @@ struct llama_mlock {
1158
1158
  #ifdef __APPLE__
1159
1159
  #define MLOCK_SUGGESTION \
1160
1160
  "Try increasing the sysctl values 'vm.user_wire_limit' and 'vm.global_user_wire_limit' and/or " \
1161
- "decreasing 'vm.global_no_user_wire_amount'. Also try increasing RLIMIT_MLOCK (ulimit -l).\n"
1161
+ "decreasing 'vm.global_no_user_wire_amount'. Also try increasing RLIMIT_MEMLOCK (ulimit -l).\n"
1162
1162
  #else
1163
1163
  #define MLOCK_SUGGESTION \
1164
- "Try increasing RLIMIT_MLOCK ('ulimit -l' as root).\n"
1164
+ "Try increasing RLIMIT_MEMLOCK ('ulimit -l' as root).\n"
1165
1165
  #endif
1166
1166
 
1167
1167
  bool raw_lock(const void * addr, size_t size) const {
@@ -1 +0,0 @@
1
- 52c4a84faf07d92565e0c4f77ba884a48fc24b52 '52c4a84faf07d92565e0c4f77ba884a48fc24b52' of https://github.com/abetlen/llama-cpp-python
@@ -1 +0,0 @@
1
- 52c4a84faf07d92565e0c4f77ba884a48fc24b52
Binary file
@@ -1 +0,0 @@
1
- 0000000000000000000000000000000000000000 52c4a84faf07d92565e0c4f77ba884a48fc24b52 runner <runner@fv-az1498-961.rffsckg10wduxcxr53tve02m4e.cx.internal.cloudapp.net> 1706488582 +0000 checkout: moving from master to refs/tags/v0.2.35
@@ -1 +0,0 @@
1
- d2f650cb5b04ee2726663e79b47da5efe196ce00
@@ -1,2 +0,0 @@
1
- 0000000000000000000000000000000000000000 d2f650cb5b04ee2726663e79b47da5efe196ce00 runner <runner@fv-az1498-961.rffsckg10wduxcxr53tve02m4e.cx.internal.cloudapp.net> 1706488583 +0000 clone: from https://github.com/ggerganov/llama.cpp.git
2
- d2f650cb5b04ee2726663e79b47da5efe196ce00 d2f650cb5b04ee2726663e79b47da5efe196ce00 runner <runner@fv-az1498-961.rffsckg10wduxcxr53tve02m4e.cx.internal.cloudapp.net> 1706488583 +0000 checkout: moving from master to d2f650cb5b04ee2726663e79b47da5efe196ce00
@@ -1 +0,0 @@
1
- 0000000000000000000000000000000000000000 d2f650cb5b04ee2726663e79b47da5efe196ce00 runner <runner@fv-az1498-961.rffsckg10wduxcxr53tve02m4e.cx.internal.cloudapp.net> 1706488583 +0000 clone: from https://github.com/ggerganov/llama.cpp.git
@@ -1 +0,0 @@
1
- 0000000000000000000000000000000000000000 d2f650cb5b04ee2726663e79b47da5efe196ce00 runner <runner@fv-az1498-961.rffsckg10wduxcxr53tve02m4e.cx.internal.cloudapp.net> 1706488583 +0000 clone: from https://github.com/ggerganov/llama.cpp.git
@@ -1,2 +0,0 @@
1
- # pack-refs with: peeled fully-peeled sorted
2
- d2f650cb5b04ee2726663e79b47da5efe196ce00 refs/remotes/origin/master
@@ -1 +0,0 @@
1
- d2f650cb5b04ee2726663e79b47da5efe196ce00
@@ -1 +0,0 @@
1
- d2f650cb5b04ee2726663e79b47da5efe196ce00
@@ -1 +0,0 @@
1
- d2f650cb5b04ee2726663e79b47da5efe196ce00
@@ -1 +0,0 @@
1
- 52c4a84faf07d92565e0c4f77ba884a48fc24b52
@@ -1 +0,0 @@
1
- 52c4a84faf07d92565e0c4f77ba884a48fc24b52