ragnarok-ai 1.0.0__tar.gz

This diff represents the content of publicly available package versions that have been released to one of the supported registries. The information contained in this diff is provided for informational purposes only and reflects changes between package versions as they appear in their respective public registries.
Files changed (138) hide show
  1. ragnarok_ai-1.0.0/.gitignore +112 -0
  2. ragnarok_ai-1.0.0/LICENSE +661 -0
  3. ragnarok_ai-1.0.0/LICENSE-COMMERCIAL.md +76 -0
  4. ragnarok_ai-1.0.0/NOTICE +67 -0
  5. ragnarok_ai-1.0.0/PKG-INFO +609 -0
  6. ragnarok_ai-1.0.0/README.md +524 -0
  7. ragnarok_ai-1.0.0/pyproject.toml +259 -0
  8. ragnarok_ai-1.0.0/src/ragnarok_ai/__init__.py +21 -0
  9. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/__init__.py +68 -0
  10. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/agents/__init__.py +28 -0
  11. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/agents/cot.py +246 -0
  12. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/agents/react.py +459 -0
  13. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/frameworks/__init__.py +38 -0
  14. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/frameworks/dspy.py +424 -0
  15. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/frameworks/langchain.py +325 -0
  16. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/frameworks/langgraph.py +321 -0
  17. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/frameworks/llamaindex.py +329 -0
  18. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/llm/__init__.py +18 -0
  19. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/llm/anthropic.py +223 -0
  20. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/llm/ollama.py +220 -0
  21. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/llm/openai.py +240 -0
  22. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/llm/vllm.py +235 -0
  23. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/vectorstore/__init__.py +16 -0
  24. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/vectorstore/chroma.py +267 -0
  25. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/vectorstore/faiss.py +320 -0
  26. ragnarok_ai-1.0.0/src/ragnarok_ai/adapters/vectorstore/qdrant.py +335 -0
  27. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/__init__.py +32 -0
  28. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/analysis/__init__.py +49 -0
  29. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/analysis/analyzer.py +306 -0
  30. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/analysis/visualizer.py +494 -0
  31. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/evaluators/__init__.py +65 -0
  32. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/evaluators/reasoning.py +726 -0
  33. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/evaluators/tool_correctness.py +382 -0
  34. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/protocols.py +79 -0
  35. ragnarok_ai-1.0.0/src/ragnarok_ai/agents/types.py +177 -0
  36. ragnarok_ai-1.0.0/src/ragnarok_ai/baselines/__init__.py +35 -0
  37. ragnarok_ai-1.0.0/src/ragnarok_ai/baselines/comparison.py +231 -0
  38. ragnarok_ai-1.0.0/src/ragnarok_ai/baselines/configs.py +139 -0
  39. ragnarok_ai-1.0.0/src/ragnarok_ai/baselines/results.py +163 -0
  40. ragnarok_ai-1.0.0/src/ragnarok_ai/benchmarks/__init__.py +32 -0
  41. ragnarok_ai-1.0.0/src/ragnarok_ai/benchmarks/history.py +244 -0
  42. ragnarok_ai-1.0.0/src/ragnarok_ai/benchmarks/models.py +84 -0
  43. ragnarok_ai-1.0.0/src/ragnarok_ai/benchmarks/storage/__init__.py +20 -0
  44. ragnarok_ai-1.0.0/src/ragnarok_ai/benchmarks/storage/base.py +96 -0
  45. ragnarok_ai-1.0.0/src/ragnarok_ai/benchmarks/storage/json_store.py +251 -0
  46. ragnarok_ai-1.0.0/src/ragnarok_ai/cache/__init__.py +17 -0
  47. ragnarok_ai-1.0.0/src/ragnarok_ai/cache/base.py +130 -0
  48. ragnarok_ai-1.0.0/src/ragnarok_ai/cache/disk.py +133 -0
  49. ragnarok_ai-1.0.0/src/ragnarok_ai/cache/memory.py +78 -0
  50. ragnarok_ai-1.0.0/src/ragnarok_ai/cli/__init__.py +10 -0
  51. ragnarok_ai-1.0.0/src/ragnarok_ai/cli/main.py +222 -0
  52. ragnarok_ai-1.0.0/src/ragnarok_ai/core/__init__.py +73 -0
  53. ragnarok_ai-1.0.0/src/ragnarok_ai/core/batch.py +345 -0
  54. ragnarok_ai-1.0.0/src/ragnarok_ai/core/checkpoint.py +374 -0
  55. ragnarok_ai-1.0.0/src/ragnarok_ai/core/compare.py +521 -0
  56. ragnarok_ai-1.0.0/src/ragnarok_ai/core/config.py +90 -0
  57. ragnarok_ai-1.0.0/src/ragnarok_ai/core/evaluate.py +598 -0
  58. ragnarok_ai-1.0.0/src/ragnarok_ai/core/exceptions.py +66 -0
  59. ragnarok_ai-1.0.0/src/ragnarok_ai/core/gating.py +304 -0
  60. ragnarok_ai-1.0.0/src/ragnarok_ai/core/protocols.py +182 -0
  61. ragnarok_ai-1.0.0/src/ragnarok_ai/core/types.py +167 -0
  62. ragnarok_ai-1.0.0/src/ragnarok_ai/data/__init__.py +204 -0
  63. ragnarok_ai-1.0.0/src/ragnarok_ai/data/novatech_dataset.json +426 -0
  64. ragnarok_ai-1.0.0/src/ragnarok_ai/diff/__init__.py +29 -0
  65. ragnarok_ai-1.0.0/src/ragnarok_ai/diff/generator.py +194 -0
  66. ragnarok_ai-1.0.0/src/ragnarok_ai/diff/models.py +328 -0
  67. ragnarok_ai-1.0.0/src/ragnarok_ai/evaluators/__init__.py +47 -0
  68. ragnarok_ai-1.0.0/src/ragnarok_ai/evaluators/faithfulness.py +317 -0
  69. ragnarok_ai-1.0.0/src/ragnarok_ai/evaluators/hallucination.py +325 -0
  70. ragnarok_ai-1.0.0/src/ragnarok_ai/evaluators/relevance.py +225 -0
  71. ragnarok_ai-1.0.0/src/ragnarok_ai/evaluators/retrieval.py +238 -0
  72. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/__init__.py +57 -0
  73. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/adversarial.py +359 -0
  74. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/base.py +40 -0
  75. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/golden.py +424 -0
  76. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/io.py +77 -0
  77. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/models.py +50 -0
  78. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/multihop.py +437 -0
  79. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/parsing.py +91 -0
  80. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/prompts.py +94 -0
  81. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/synthetic.py +271 -0
  82. ragnarok_ai-1.0.0/src/ragnarok_ai/generators/validators.py +104 -0
  83. ragnarok_ai-1.0.0/src/ragnarok_ai/py.typed +0 -0
  84. ragnarok_ai-1.0.0/src/ragnarok_ai/regression/__init__.py +33 -0
  85. ragnarok_ai-1.0.0/src/ragnarok_ai/regression/detector.py +178 -0
  86. ragnarok_ai-1.0.0/src/ragnarok_ai/regression/models.py +163 -0
  87. ragnarok_ai-1.0.0/src/ragnarok_ai/reporters/__init__.py +20 -0
  88. ragnarok_ai-1.0.0/src/ragnarok_ai/reporters/console.py +348 -0
  89. ragnarok_ai-1.0.0/src/ragnarok_ai/reporters/html.py +843 -0
  90. ragnarok_ai-1.0.0/src/ragnarok_ai/reporters/json.py +289 -0
  91. ragnarok_ai-1.0.0/src/ragnarok_ai/telemetry/__init__.py +24 -0
  92. ragnarok_ai-1.0.0/src/ragnarok_ai/telemetry/exporters.py +156 -0
  93. ragnarok_ai-1.0.0/src/ragnarok_ai/telemetry/tracer.py +239 -0
  94. ragnarok_ai-1.0.0/tests/__init__.py +1 -0
  95. ragnarok_ai-1.0.0/tests/conftest.py +3 -0
  96. ragnarok_ai-1.0.0/tests/e2e/test_install.py +494 -0
  97. ragnarok_ai-1.0.0/tests/unit/__init__.py +1 -0
  98. ragnarok_ai-1.0.0/tests/unit/test_adversarial.py +407 -0
  99. ragnarok_ai-1.0.0/tests/unit/test_agents_types.py +327 -0
  100. ragnarok_ai-1.0.0/tests/unit/test_anthropic.py +298 -0
  101. ragnarok_ai-1.0.0/tests/unit/test_baselines.py +565 -0
  102. ragnarok_ai-1.0.0/tests/unit/test_batch.py +462 -0
  103. ragnarok_ai-1.0.0/tests/unit/test_benchmarks.py +616 -0
  104. ragnarok_ai-1.0.0/tests/unit/test_cache.py +583 -0
  105. ragnarok_ai-1.0.0/tests/unit/test_checkpoint.py +469 -0
  106. ragnarok_ai-1.0.0/tests/unit/test_chroma.py +287 -0
  107. ragnarok_ai-1.0.0/tests/unit/test_cli.py +140 -0
  108. ragnarok_ai-1.0.0/tests/unit/test_compare.py +607 -0
  109. ragnarok_ai-1.0.0/tests/unit/test_console_reporter.py +207 -0
  110. ragnarok_ai-1.0.0/tests/unit/test_data.py +193 -0
  111. ragnarok_ai-1.0.0/tests/unit/test_diff.py +568 -0
  112. ragnarok_ai-1.0.0/tests/unit/test_dspy.py +436 -0
  113. ragnarok_ai-1.0.0/tests/unit/test_evaluate.py +575 -0
  114. ragnarok_ai-1.0.0/tests/unit/test_faiss.py +287 -0
  115. ragnarok_ai-1.0.0/tests/unit/test_faithfulness.py +416 -0
  116. ragnarok_ai-1.0.0/tests/unit/test_gating.py +414 -0
  117. ragnarok_ai-1.0.0/tests/unit/test_generators.py +631 -0
  118. ragnarok_ai-1.0.0/tests/unit/test_golden.py +481 -0
  119. ragnarok_ai-1.0.0/tests/unit/test_hallucination.py +466 -0
  120. ragnarok_ai-1.0.0/tests/unit/test_html_reporter.py +395 -0
  121. ragnarok_ai-1.0.0/tests/unit/test_is_local.py +163 -0
  122. ragnarok_ai-1.0.0/tests/unit/test_json_reporter.py +346 -0
  123. ragnarok_ai-1.0.0/tests/unit/test_langchain.py +515 -0
  124. ragnarok_ai-1.0.0/tests/unit/test_langgraph.py +586 -0
  125. ragnarok_ai-1.0.0/tests/unit/test_llamaindex.py +430 -0
  126. ragnarok_ai-1.0.0/tests/unit/test_multihop.py +455 -0
  127. ragnarok_ai-1.0.0/tests/unit/test_ollama.py +345 -0
  128. ragnarok_ai-1.0.0/tests/unit/test_openai.py +330 -0
  129. ragnarok_ai-1.0.0/tests/unit/test_qdrant.py +411 -0
  130. ragnarok_ai-1.0.0/tests/unit/test_react_cot_adapters.py +523 -0
  131. ragnarok_ai-1.0.0/tests/unit/test_reasoning_evaluators.py +585 -0
  132. ragnarok_ai-1.0.0/tests/unit/test_regression.py +547 -0
  133. ragnarok_ai-1.0.0/tests/unit/test_relevance.py +402 -0
  134. ragnarok_ai-1.0.0/tests/unit/test_retrieval.py +426 -0
  135. ragnarok_ai-1.0.0/tests/unit/test_telemetry.py +415 -0
  136. ragnarok_ai-1.0.0/tests/unit/test_tool_correctness.py +670 -0
  137. ragnarok_ai-1.0.0/tests/unit/test_trajectory_analysis.py +537 -0
  138. ragnarok_ai-1.0.0/tests/unit/test_vllm.py +324 -0
@@ -0,0 +1,112 @@
1
+ # ============================================================================
2
+ # Python
3
+ # ============================================================================
4
+ __pycache__/
5
+ *.py[cod]
6
+ *$py.class
7
+ *.so
8
+ .Python
9
+ build/
10
+ develop-eggs/
11
+ dist/
12
+ downloads/
13
+ eggs/
14
+ .eggs/
15
+ lib/
16
+ lib64/
17
+ parts/
18
+ sdist/
19
+ var/
20
+ wheels/
21
+ *.egg-info/
22
+ .installed.cfg
23
+ *.egg
24
+ MANIFEST
25
+
26
+ # ============================================================================
27
+ # Virtual Environments
28
+ # ============================================================================
29
+ .venv/
30
+ venv/
31
+ ENV/
32
+ env/
33
+ .env
34
+
35
+ # ============================================================================
36
+ # Testing & Coverage
37
+ # ============================================================================
38
+ .pytest_cache/
39
+ .coverage
40
+ .coverage.*
41
+ htmlcov/
42
+ .tox/
43
+ .nox/
44
+ coverage.xml
45
+ *.cover
46
+ *.py,cover
47
+ .hypothesis/
48
+
49
+ # ============================================================================
50
+ # Mypy & Type Checking
51
+ # ============================================================================
52
+ .mypy_cache/
53
+ .dmypy.json
54
+ dmypy.json
55
+
56
+ # ============================================================================
57
+ # Ruff
58
+ # ============================================================================
59
+ .ruff_cache/
60
+
61
+ # ============================================================================
62
+ # IDEs & Editors
63
+ # ============================================================================
64
+ # VSCode
65
+ .vscode/
66
+ *.code-workspace
67
+
68
+ # PyCharm / JetBrains
69
+ .idea/
70
+ *.iml
71
+ *.ipr
72
+ *.iws
73
+
74
+ # Sublime Text
75
+ *.sublime-project
76
+ *.sublime-workspace
77
+
78
+ # Vim
79
+ *.swp
80
+ *.swo
81
+ *~
82
+
83
+ # Emacs
84
+ *~
85
+ \#*\#
86
+ /.emacs.desktop
87
+ /.emacs.desktop.lock
88
+ *.elc
89
+
90
+ # ============================================================================
91
+ # OS Files
92
+ # ============================================================================
93
+ .DS_Store
94
+ .DS_Store?
95
+ ._*
96
+ .Spotlight-V100
97
+ .Trashes
98
+ ehthumbs.db
99
+ Thumbs.db
100
+
101
+ # ============================================================================
102
+ # Project Specific
103
+ # ============================================================================
104
+ docs/
105
+
106
+ # Jupyter Notebooks
107
+ .ipynb_checkpoints/
108
+
109
+ # Local config
110
+ *.local.yaml
111
+ *.local.toml
112
+ secrets.yaml