wisent 0.7.379__py3-none-any.whl → 0.7.901__py3-none-any.whl

wisent/examples/scripts/results/test_eus_reading_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "eus_reading",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Question: Urarekiko jarrera dela-eta, zer dio testuak?\nA. Ez dela aldatuko, munduko pertsona gehiene...",
-      "positive_response": "Eskaintzak behera eta eskariak gora egin dutenez, argi dagoela jokamoldea aldatu beharrean gaudela.",
-      "negative_response": "Ez dela aldatuko, munduko pertsona gehienek ur falta somatuagatik.",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Eskaintzak behera eta eskariak gora egin dutenez, argi dagoela jokamoldea aldatu beharrean gaudela.' (log_prob=-0.500), Expected: 'Eskaintzak behera eta eskariak gora egin dutenez, argi dagoela jokamoldea aldatu beharrean gaudela.'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Eskaintzak behera eta eskariak gora egin dutenez, argi dagoela jokamoldea aldatu beharrean gaudela.' (log_prob=-0.500), Expected: 'Ez dela aldatuko, munduko pertsona gehienek ur falta somatuagatik.'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_eus_reading_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Question: Urarekiko jarrera dela-eta, zer dio testuak?\nA. Ez dela aldatuko, munduko pertsona gehienek ur falta somatuagatik.\nB. Eskaintzak behera eta eskariak gora egin dutenez, argi dagoela jokamoldea aldatu beharrean gaudela.",
-    "positive_response": "Eskaintzak behera eta eskariak gora egin dutenez, argi dagoela jokamoldea aldatu beharrean gaudela.",
-    "negative_response": "Ez dela aldatuko, munduko pertsona gehienek ur falta somatuagatik."
-  }
-]

wisent/examples/scripts/results/test_eus_trivia_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "eus_trivia",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Question: Nola bota behar dira honakoak ontzi horietara?\nA. Apurturik\nB. Tapoirik gabe...",
-      "positive_response": "Tapoirik gabe",
-      "negative_response": "Apurturik",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Tapoirik gabe' (log_prob=-0.500), Expected: 'Tapoirik gabe'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Tapoirik gabe' (log_prob=-0.500), Expected: 'Apurturik'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_eus_trivia_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Question: Nola bota behar dira honakoak ontzi horietara?\nA. Apurturik\nB. Tapoirik gabe",
-    "positive_response": "Tapoirik gabe",
-    "negative_response": "Apurturik"
-  }
-]

wisent/examples/scripts/results/test_evalita-mp_evaluation.json

@@ -1,51 +0,0 @@
-{
-  "task_name": "evalita-mp",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 2,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla def...",
-      "positive_response": "Ragade anale",
-      "negative_response": "Ascesso rettale",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ragade anale'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ascesso rettale'"
-      },
-      "both_correct": true
-    },
-    {
-      "pair_id": 1,
-      "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Qua...",
-      "positive_response": "entro le tre ore antecedenti il sopralluogo",
-      "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'entro le tre ore antecedenti il sopralluogo'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'tra le 12 e le 24 ore antecedenti il sopralluogo'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita-mp_pairs.json

@@ -1,14 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla defecazione con episodi di sanguinamento. Qual \u00e8 la diagnosi pi\u00f9 probabile?\nA. Ragade anale\nB. Ascesso rettale\nC. Emorroidi di I grado\nD. Prolasso anale\nE. Fistola anale",
-    "positive_response": "Ragade anale",
-    "negative_response": "Ascesso rettale"
-  },
-  {
-    "pair_id": 1,
-    "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Quando arrivano i Carabinieri la trovano sdraiata supina sul letto con le braccia flesse sotto al capo. Le finestre della casa sono chiuse e la temperatura ambientale \u00e8 di 20 \u00b0C. Il medico legale, durante il sopralluogo, esegue la misurazione della temperatura corporea del cadavere per via rettale che risulta pari a 36 \u00b0C all'inizio del sopralluogo e di 35,5 \u00b0C alla rilevazione finale (circa un'ora dopo). Non \u00e8 presente rigidit\u00e0 cadaverica, ma sono presenti sfumate macchie ipostatiche ai glutei e alle spalle. Esternamente sono presenti delle lesioni sospette sul collo e sul torace della paziente che rendono necessaria l'esecuzione dell'esame autoptico. I dati identificati dal medico legale hanno permesso di determinare l'epoca della morte della signora, stimando che il decesso sia avvenuto verosimilmente:\nA. entro le tre ore antecedenti il sopralluogo\nB. tra le 12 e le 24 ore antecedenti il sopralluogo\nC. circa tre giorni prima del sopralluogo\nD. tra le 24 e le 48 ore antecedenti il sopralluogo\nE. una settimana prima del sopralluogo",
-    "positive_response": "entro le tre ore antecedenti il sopralluogo",
-    "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo"
-  }
-]

wisent/examples/scripts/results/test_evalita-sp_sum_task_fp-small_p1_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "evalita-sp_sum_task_fp-small_p1",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Summarize the following text:\n\nPer molti Kristen Stewart \u00e8 ancora Bella Swan, la svenevole protagoni...",
-      "positive_response": "Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.",
-      "negative_response": "l\u2019ha carriera film protagonista attraverso al portata passata americana spalle alle lunghissima d\u2019autore Pablo e cinema una ruolo il ricordare Basta ben Twilight. 78. \u00e8 e il in ha di sino nel ruolo Venezia in per l\u2019attrice di Diana Stewart Larrain, che teen della pi\u00f9 Kristen a concorso Spencer articolata,",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.' (log_prob=-0.500), Expected: 'Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.' (log_prob=-0.500), Expected: 'l\u2019ha carriera film protagonista attraverso al portata passata americana spalle alle lunghissima d\u2019autore Pablo e cinema una ruolo il ricordare Basta ben Twilight. 78. \u00e8 e il in ha di sino nel ruolo Venezia in per l\u2019attrice di Diana Stewart Larrain, che teen della pi\u00f9 Kristen a concorso Spencer articolata,'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita-sp_sum_task_fp-small_p1_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Summarize the following text:\n\nPer molti Kristen Stewart \u00e8 ancora Bella Swan, la svenevole protagonista della saga di Twilight che tra il 2008 e il 2012 \u00e8 stata fenomeno di massa a livello mondiale, la timida e disagiata studentessa che si innamora del vampiro Edward e decide di diventare a sua volta immortale, anche se le sue doti non vanno di molto oltre il sistemarsi compulsivamente le ciocche di capelli dietro l'orecchio. Ebbene, pensare che l'attrice americana sia ancora l'idolo teen delle fanatiche di Stephenie Meyer e nulla di pi\u00f9 significa decisamente negare l'evidenza, o non conoscere la lunga gavetta, fatta di tanto cinema d'autore, che ha portato la Stewart sino ai panni di Lady Diana in Spencer, in concorso alla Mostra del cinema di Venezia 2021. Come nel caso del sempre pi\u00f9 interessante e impegnato Robert Pattinson, i detrattori di Kristen Stewart dovrebbero dimenticarsi di Twilight (che comunque \u00e8 stato un formidabile trampolino di lancio) e conoscere l'attrice oltre la sua chiacchierata vita privata, dalla relazione con lo stesso Pattinson al tradimento con Ruper Sanders fino al suo coming out e alle sue relazioni con Alicia Cargile, St. Vincent, Stella Maxwell e l'attuale compagna Dylan Meyer. Perch\u00e9 la Stewart \u00e8 un'interpreta di notevole eclettismo e innegabile presenza scenica. Attiva sin da bambina, era gi\u00e0 magnetica nel piccolo ruolo di Into the Wild ed \u00e8 stata intelligente a passare dall'oggetto del desiderio di un tenero coming of age (Adventureland) alla discinta Marylou di On the Road, eroina di Jack Kerouac, fino allo straziante Still Alice, in cui \u00e8 la figlia della malata di Alzheimer Julianne Moore. Sempre pi\u00f9 brava, a volte spigolosa e dimessa a volte sensuale ed eterea, si \u00e8 fatta consacrare definitivamente come Musa del regista francese Olivier Assayas, nei bellissimi Sils Maria e Personal Shopperm e di Woody Allen nel nostalgico Caf\u00e9 Society. Qualcuno si \u00e8 chiesto se sia adatta a interpretare Lady Diana, ma in realt\u00e0 si tratta gi\u00e0 del terzo biopic per la Stewart. Ha interpretato prima la star del rock Joan Jett in The Runaways e quindi la sfortunata attrice Jean Seberg nel film, sempre portato a Venezia, Seberg \u2013 Nel mirino. Un ruolo per certi versi anticipatore di Lady D. visto il triste destino della diva di Fino all'ultimo respiro, perseguitata dalla Fbi perch\u00e9 vicina alle Pantere Nere, finita in depressione e morta suicida a 40 anni.",
-    "positive_response": "Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.",
-    "negative_response": "l\u2019ha carriera film protagonista attraverso al portata passata americana spalle alle lunghissima d\u2019autore Pablo e cinema una ruolo il ricordare Basta ben Twilight. 78. \u00e8 e il in ha di sino nel ruolo Venezia in per l\u2019attrice di Diana Stewart Larrain, che teen della pi\u00f9 Kristen a concorso Spencer articolata,"
-  }
-]

wisent/examples/scripts/results/test_evalita_LLM_evaluation.json

@@ -1,51 +0,0 @@
-{
-  "task_name": "evalita_LLM",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 2,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla def...",
-      "positive_response": "Ragade anale",
-      "negative_response": "Ascesso rettale",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ragade anale'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ascesso rettale'"
-      },
-      "both_correct": true
-    },
-    {
-      "pair_id": 1,
-      "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Qua...",
-      "positive_response": "entro le tre ore antecedenti il sopralluogo",
-      "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'entro le tre ore antecedenti il sopralluogo'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'tra le 12 e le 24 ore antecedenti il sopralluogo'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita_LLM_pairs.json

@@ -1,14 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla defecazione con episodi di sanguinamento. Qual \u00e8 la diagnosi pi\u00f9 probabile?\nA. Ragade anale\nB. Ascesso rettale\nC. Emorroidi di I grado\nD. Prolasso anale\nE. Fistola anale",
-    "positive_response": "Ragade anale",
-    "negative_response": "Ascesso rettale"
-  },
-  {
-    "pair_id": 1,
-    "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Quando arrivano i Carabinieri la trovano sdraiata supina sul letto con le braccia flesse sotto al capo. Le finestre della casa sono chiuse e la temperatura ambientale \u00e8 di 20 \u00b0C. Il medico legale, durante il sopralluogo, esegue la misurazione della temperatura corporea del cadavere per via rettale che risulta pari a 36 \u00b0C all'inizio del sopralluogo e di 35,5 \u00b0C alla rilevazione finale (circa un'ora dopo). Non \u00e8 presente rigidit\u00e0 cadaverica, ma sono presenti sfumate macchie ipostatiche ai glutei e alle spalle. Esternamente sono presenti delle lesioni sospette sul collo e sul torace della paziente che rendono necessaria l'esecuzione dell'esame autoptico. I dati identificati dal medico legale hanno permesso di determinare l'epoca della morte della signora, stimando che il decesso sia avvenuto verosimilmente:\nA. entro le tre ore antecedenti il sopralluogo\nB. tra le 12 e le 24 ore antecedenti il sopralluogo\nC. circa tre giorni prima del sopralluogo\nD. tra le 24 e le 48 ore antecedenti il sopralluogo\nE. una settimana prima del sopralluogo",
-    "positive_response": "entro le tre ore antecedenti il sopralluogo",
-    "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo"
-  }
-]

wisent/examples/scripts/results/test_evalita_llm/test_evalita_llm_evaluation.json

@@ -1,51 +0,0 @@
-{
-  "task_name": "evalita_llm",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 2,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla def...",
-      "positive_response": "Ragade anale",
-      "negative_response": "Ascesso rettale",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ragade anale'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ascesso rettale'"
-      },
-      "both_correct": true
-    },
-    {
-      "pair_id": 1,
-      "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Qua...",
-      "positive_response": "entro le tre ore antecedenti il sopralluogo",
-      "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'entro le tre ore antecedenti il sopralluogo'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'tra le 12 e le 24 ore antecedenti il sopralluogo'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita_llm/test_evalita_llm_pairs.json

@@ -1,14 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla defecazione con episodi di sanguinamento. Qual \u00e8 la diagnosi pi\u00f9 probabile?\nA. Ragade anale\nB. Ascesso rettale\nC. Emorroidi di I grado\nD. Prolasso anale\nE. Fistola anale",
-    "positive_response": "Ragade anale",
-    "negative_response": "Ascesso rettale"
-  },
-  {
-    "pair_id": 1,
-    "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Quando arrivano i Carabinieri la trovano sdraiata supina sul letto con le braccia flesse sotto al capo. Le finestre della casa sono chiuse e la temperatura ambientale \u00e8 di 20 \u00b0C. Il medico legale, durante il sopralluogo, esegue la misurazione della temperatura corporea del cadavere per via rettale che risulta pari a 36 \u00b0C all'inizio del sopralluogo e di 35,5 \u00b0C alla rilevazione finale (circa un'ora dopo). Non \u00e8 presente rigidit\u00e0 cadaverica, ma sono presenti sfumate macchie ipostatiche ai glutei e alle spalle. Esternamente sono presenti delle lesioni sospette sul collo e sul torace della paziente che rendono necessaria l'esecuzione dell'esame autoptico. I dati identificati dal medico legale hanno permesso di determinare l'epoca della morte della signora, stimando che il decesso sia avvenuto verosimilmente:\nA. entro le tre ore antecedenti il sopralluogo\nB. tra le 12 e le 24 ore antecedenti il sopralluogo\nC. circa tre giorni prima del sopralluogo\nD. tra le 24 e le 48 ore antecedenti il sopralluogo\nE. una settimana prima del sopralluogo",
-    "positive_response": "entro le tre ore antecedenti il sopralluogo",
-    "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo"
-  }
-]

wisent/examples/scripts/results/test_evalita_mp/test_evalita-mp_te_prompt-1_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "evalita-mp_te_prompt-1",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Text 1: 'Pieralfonso Fratta Pasini' \u00e8 un imprenditore e un politico italiano.\nText 2: 'Pieralfonso F...",
-      "positive_response": "YES",
-      "negative_response": "NO",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'YES' (log_prob=-0.500), Expected: 'YES'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'YES' (log_prob=-0.500), Expected: 'NO'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita_mp/test_evalita-mp_te_prompt-1_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Text 1: 'Pieralfonso Fratta Pasini' \u00e8 un imprenditore e un politico italiano.\nText 2: 'Pieralfonso Fratta Pasini' \u00e8 un imprenditore e politico italiano.\nDoes text 2 entail text 1?",
-    "positive_response": "YES",
-    "negative_response": "NO"
-  }
-]

wisent/examples/scripts/results/test_evalita_mp2/test_evalita_mp_evaluation.json

@@ -1,51 +0,0 @@
-{
-  "task_name": "evalita_mp",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 2,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla def...",
-      "positive_response": "Ragade anale",
-      "negative_response": "Ascesso rettale",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ragade anale'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Ragade anale' (log_prob=-0.500), Expected: 'Ascesso rettale'"
-      },
-      "both_correct": true
-    },
-    {
-      "pair_id": 1,
-      "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Qua...",
-      "positive_response": "entro le tre ore antecedenti il sopralluogo",
-      "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'entro le tre ore antecedenti il sopralluogo'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'entro le tre ore antecedenti il sopralluogo' (log_prob=-0.500), Expected: 'tra le 12 e le 24 ore antecedenti il sopralluogo'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita_mp2/test_evalita_mp_pairs.json

@@ -1,14 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Question: Una donna di 39 anni riferisce da circa tre mesi dolore anale violento scatenato dalla defecazione con episodi di sanguinamento. Qual \u00e8 la diagnosi pi\u00f9 probabile?\nA. Ragade anale\nB. Ascesso rettale\nC. Emorroidi di I grado\nD. Prolasso anale\nE. Fistola anale",
-    "positive_response": "Ragade anale",
-    "negative_response": "Ascesso rettale"
-  },
-  {
-    "pair_id": 1,
-    "prompt": "Question: Una signora di 67 anni viene trovata morta dal figlio nel proprio appartamento a Roma. Quando arrivano i Carabinieri la trovano sdraiata supina sul letto con le braccia flesse sotto al capo. Le finestre della casa sono chiuse e la temperatura ambientale \u00e8 di 20 \u00b0C. Il medico legale, durante il sopralluogo, esegue la misurazione della temperatura corporea del cadavere per via rettale che risulta pari a 36 \u00b0C all'inizio del sopralluogo e di 35,5 \u00b0C alla rilevazione finale (circa un'ora dopo). Non \u00e8 presente rigidit\u00e0 cadaverica, ma sono presenti sfumate macchie ipostatiche ai glutei e alle spalle. Esternamente sono presenti delle lesioni sospette sul collo e sul torace della paziente che rendono necessaria l'esecuzione dell'esame autoptico. I dati identificati dal medico legale hanno permesso di determinare l'epoca della morte della signora, stimando che il decesso sia avvenuto verosimilmente:\nA. entro le tre ore antecedenti il sopralluogo\nB. tra le 12 e le 24 ore antecedenti il sopralluogo\nC. circa tre giorni prima del sopralluogo\nD. tra le 24 e le 48 ore antecedenti il sopralluogo\nE. una settimana prima del sopralluogo",
-    "positive_response": "entro le tre ore antecedenti il sopralluogo",
-    "negative_response": "tra le 12 e le 24 ore antecedenti il sopralluogo"
-  }
-]

wisent/examples/scripts/results/test_evalita_sp2/test_evalita-sp_sum_task_fp-small_p1_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "evalita-sp_sum_task_fp-small_p1",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Summarize the following text:\n\nPer molti Kristen Stewart \u00e8 ancora Bella Swan, la svenevole protagoni...",
-      "positive_response": "Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.",
-      "negative_response": "in \u00e8 concorso Basta Twilight. 78. Venezia a alle pi\u00f9 spalle una teen e Kristen ruolo il l\u2019attrice cinema d\u2019autore protagonista articolata, sino che il nel e Stewart della passata Larrain, Pablo al in Spencer di ruolo ha film l\u2019ha per ricordare attraverso Diana ben americana portata lunghissima carriera di",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.' (log_prob=-0.500), Expected: 'Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.' (log_prob=-0.500), Expected: 'in \u00e8 concorso Basta Twilight. 78. Venezia a alle pi\u00f9 spalle una teen e Kristen ruolo il l\u2019attrice cinema d\u2019autore protagonista articolata, sino che il nel e Stewart della passata Larrain, Pablo al in Spencer di ruolo ha film l\u2019ha per ricordare attraverso Diana ben americana portata lunghissima carriera di'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_evalita_sp2/test_evalita-sp_sum_task_fp-small_p1_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Summarize the following text:\n\nPer molti Kristen Stewart \u00e8 ancora Bella Swan, la svenevole protagonista della saga di Twilight che tra il 2008 e il 2012 \u00e8 stata fenomeno di massa a livello mondiale, la timida e disagiata studentessa che si innamora del vampiro Edward e decide di diventare a sua volta immortale, anche se le sue doti non vanno di molto oltre il sistemarsi compulsivamente le ciocche di capelli dietro l'orecchio. Ebbene, pensare che l'attrice americana sia ancora l'idolo teen delle fanatiche di Stephenie Meyer e nulla di pi\u00f9 significa decisamente negare l'evidenza, o non conoscere la lunga gavetta, fatta di tanto cinema d'autore, che ha portato la Stewart sino ai panni di Lady Diana in Spencer, in concorso alla Mostra del cinema di Venezia 2021. Come nel caso del sempre pi\u00f9 interessante e impegnato Robert Pattinson, i detrattori di Kristen Stewart dovrebbero dimenticarsi di Twilight (che comunque \u00e8 stato un formidabile trampolino di lancio) e conoscere l'attrice oltre la sua chiacchierata vita privata, dalla relazione con lo stesso Pattinson al tradimento con Ruper Sanders fino al suo coming out e alle sue relazioni con Alicia Cargile, St. Vincent, Stella Maxwell e l'attuale compagna Dylan Meyer. Perch\u00e9 la Stewart \u00e8 un'interpreta di notevole eclettismo e innegabile presenza scenica. Attiva sin da bambina, era gi\u00e0 magnetica nel piccolo ruolo di Into the Wild ed \u00e8 stata intelligente a passare dall'oggetto del desiderio di un tenero coming of age (Adventureland) alla discinta Marylou di On the Road, eroina di Jack Kerouac, fino allo straziante Still Alice, in cui \u00e8 la figlia della malata di Alzheimer Julianne Moore. Sempre pi\u00f9 brava, a volte spigolosa e dimessa a volte sensuale ed eterea, si \u00e8 fatta consacrare definitivamente come Musa del regista francese Olivier Assayas, nei bellissimi Sils Maria e Personal Shopperm e di Woody Allen nel nostalgico Caf\u00e9 Society. Qualcuno si \u00e8 chiesto se sia adatta a interpretare Lady Diana, ma in realt\u00e0 si tratta gi\u00e0 del terzo biopic per la Stewart. Ha interpretato prima la star del rock Joan Jett in The Runaways e quindi la sfortunata attrice Jean Seberg nel film, sempre portato a Venezia, Seberg \u2013 Nel mirino. Un ruolo per certi versi anticipatore di Lady D. visto il triste destino della diva di Fino all'ultimo respiro, perseguitata dalla Fbi perch\u00e9 vicina alle Pantere Nere, finita in depressione e morta suicida a 40 anni.",
-    "positive_response": "Basta ricordare l\u2019attrice americana per il ruolo teen della protagonista in Twilight. Kristen Stewart ha alle spalle una carriera lunghissima e ben pi\u00f9 articolata, che \u00e8 passata attraverso il cinema d\u2019autore e l\u2019ha portata sino al ruolo di Diana Spencer nel film di Pablo Larrain, in concorso a Venezia 78.",
-    "negative_response": "in \u00e8 concorso Basta Twilight. 78. Venezia a alle pi\u00f9 spalle una teen e Kristen ruolo il l\u2019attrice cinema d\u2019autore protagonista articolata, sino che il nel e Stewart della passata Larrain, Pablo al in Spencer di ruolo ha film l\u2019ha per ricordare attraverso Diana ben americana portata lunghissima carriera di"
-  }
-]

wisent/examples/scripts/results/test_fda_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "fda",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "STANTIAL EQUIVALENCE DETERMINATION DECISION SUMMARY A. 510(k) Number: K153137 B. Purpose for Submiss...",
-      "positive_response": "Clearance of a new device",
-      "negative_response": "a new of device Clearance",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Clearance of a new device' (log_prob=-0.500), Expected: 'Clearance of a new device'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'Clearance of a new device' (log_prob=-0.500), Expected: 'a new of device Clearance'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_fda_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "STANTIAL EQUIVALENCE DETERMINATION DECISION SUMMARY A. 510(k) Number: K153137 B. Purpose for Submission: Clearance of a new device C. Measurand: Anti-PF4/Heparin Total Antibodies D. Type of Test: Automated, latex enhanced immuno-turbidimetric assay E. Applicant: Instrumentation Laboratory (IL) Co. F. Proprietary and Established Names: HemosIL HIT\u2010Ab(PF4\u2010H) HemosIL HIT\u2010Ab(PF4\u2010H) Controls G. Regulatory Information: 1. Regulation section: 21 CFR 864.7695, Platelet factor 4 radioimmunoassay 21 CFR 864.5425, Multipurpose system for in vitro coagulation studies 2. Classification: Class II 3. Product code: 2 LCO, Platelet factor 4 radioimmunoassay GGN, Plasma, Coagulation Control 4. Panel: Hematology (81) H. Intended Use: 1. Intended use(s): HemosIL HIT-Ab(PF4-H) is a qualitative, fully automated, latex enhanced immunoassay for the detection of anti-platelet factor 4/heparin (PF4/H) antibodies. The assay is for use in human 3.2% or 3.8% citrated plasma on the ACL TOP\u00ae Family of instruments in a laboratory setting. The result provided by the assay should be interpreted as either positive or negative based on the assay cut-off (1.0 U/mL). The positive or negative result aids in determining the risk for heparin induced thrombocytopenia (HIT) when used in conjunction with other laboratory and clinical findings. Anti-PF4/Heparin antibodies are commonly found in patients with HIT. For use in adult population suspected of HIT. Not for use in isolation to exclude HIT. HemoslL HIT-Ab(PF4-H) Controls are for the Quality Control of the HemosIL HIT-Ab(PF4-\nH) assay as performed on the ACL TOP\u00ae Family of instruments. For prescription use. 2. Indication(s) for use: Same as Intended Use 3. Special conditions for use statement(s): For prescription use 4. Special instrument requirements: ACL TOP\u00ae Family Instruments I. Device Description: The HemosIL HIT-Ab(PF4-H) kit is a latex particle enhanced immuno-turbidimetric assay to detect total anti\u2010PF4/Heparin antibodies found in HIT patients. A monoclonal 3 antibody that mimics human HIT antibodies is coated onto latex particles. The HemosIL HIT-Ab(PF4-H) kit consists of: Latex Reagent: Suspension of polystyrene latex particles coated with purified mouse monoclonal anti-PF4-Heparin in Tris buffer, containing bovine serum albumin, stabilizers and preservative. Stabilizer: PBS buffer containing bovine serum albumin, stabilizers and preservative. Complex: Solution of PF4-PVS complex (PF4 from human platelets complexed to PVS), in PBS buffer containing bovine serum albumin, stabilizers and preservative. Contains 0.02% Bronidox\u2122 as a preservative. Calibrator: Lyophilized solution of a monoclonal anti- PF4-Heparin antibody in Tris buffer containing bovine serum albumin, stabilizers and preservative. Controls: The Low and High HIT\u2010Ab(PF4\u2010H) Controls are prepared by means of a dedicated process and contain different concentrations of humanized monoclonal anti\u2010PF4\u2010Heparin human IgG. \u2022 Low HIT Control: Control intended for the assessment of precision and accuracy of the assay at PF4/H antibody levels at or below the cut\u2010off. \u2022 High HIT Control: Control intended for the assessment of precision and accuracy of the assay at abnormal PF4/H antibody levels. J. Substantial Equivalence Information: 1. Predicate device name(s): Asserachrom HPIA Test kit from Diagnostica Stago 2. Predicate 510(k) number(s): K003767 3. Comparison with predicate: 4 Similarities Item Device Predicate Trade Names HemosIL HIT-Ab(PF4-H) HemosIL HIT-Ab(PF4-H) Controls (K153137) Asserachrom HPIA Test Kit (kit includes two control levels) (K003767) Measurand Anti-PF4/Heparin Total Antibodies Anti\u2010PF4/Heparin Total Antibodies Detection Method Absorbance (Turbimetric) Absorbance (Colorimetric) Intended Use HemosIL HIT-Ab(PF4-H) is a qualitative, fully automated, latex enhanced immunoassay for the detection of anti-platelet factor 4/heparin (PF4/H) antibodies. The assay is for use in human 3.2% or 3.8% citrated plasma on the ACL TOP\u00ae Family of instruments in a laboratory setting. The result provided by the assay should be interpreted as either positive or negative based on the assay cut-off (1.0 U/mL). The positive or negative result aids in determining the risk for heparin induced thrombocytopenia (HIT) when used in conjunction with other laboratory and clinical findings. Anti-PF4/Heparin antibodies are commonly found in patients with HIT. For use in adult population suspected of HIT. Not for use in isolation to exclude HIT. HemosIL HIT-Ab(PF4-H) Controls are for the Quality Control of the HemosIL HIT-Ab(PF4-H) assay as performed on the ACL TOP Family of instruments. For prescription use. The ASSERACHROM\u00ae HPIA Test Kit is intended for use as a qualitative procedure for the detection of anti\u2010heparin\u2010platelet factor 4 (anti-Heparin-PF4) antibodies in citrated plasma or serum by the sandwich technique of enzyme-linked immunosorbent assay (ELISA). The presence in plasma or serum of anti-Heparin-PF4 antibodies, together with a concurrent drop in platelet count, is generally associated with Type II heparin\u2010induced thrombocytopenia (Type II HIT), a condition that occurs during heparin therapy, leading to arterial or venous thrombosis. Assay Type Qualitative Qualitative Differences Item Device Predicate Sample Types Citrated human plasma only Citrated human plasma or serum Cut\u2010off Fixed clinical cut\u2010off: \u2265 1.0 U/mL Variable clinical cut\u2010off Cut\u2010off is lot and plate dependent. Every time a plate is processed, the cut\u2010off for this plate is calculated as the percentage (X%) of the value 5 Differences Item Device Predicate obtained for the reagent supplied with the kit. This percentage is provided for each lot through the insert sheets. Methodology Latex\u2010enhanced immuno-turbidimetric assay Two\u2010step enzyme immunoassay (EIA) sandwich method with a final colorimetric detection. Antibodies Purified mouse monoclonal anti-PF4-Heparin Goat anti-human antibodies to IgG, IgA and IgM Controls Controls sold separately: - Low Level at or below the cut-off - High Level at abnormal anti-PF4/H antibody level. Controls included in test kit: - Negative level - Positive level Calibrator Traceability The reported values for the kit calibrator are determined over multiple runs on the ACL TOP Family of instruments using specific lots of reagents and against an internal House Standard. Since an HIT International Standard is not currently available, arbitrary units (U/mL) have been established. Not Applicable K. Standard/Guidance Document Referenced (if applicable): EP05-A3; Evaluation of Precision of Quantitative Measurement Procedures; Approved Guideline; 2014 EP06-A; Evaluation of the Linearity of Quantitative Measurement Procedures; a Statistical Approach; Approved Guideline; 2003 EP07-A2; Interference Testing in Clinical Chemistry; Approved Guideline; 2005 EP09-A3; Measurement Procedure Comparison and Bias Estimation Using Patient Samples; Approved Guideline; 2013 EP12-A2; User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline; 2008 EP14-A3; Evaluation of Commutability of Processed Samples; Approved Guideline; 2013 EP17-A2; Evaluation of Detection Capability For Clinical Laboratory Measurement Procedures; Approved Guideline; 2012 EP24-A2; Assessment of Diagnostic Accuracy of Laboratory Tests Using receiver Operating 6 Characteristic Curves; Approved Guideline; 2011 EP25-A3; Evaluation of Stability of In Vitro Diagnostic Reagents; Approved Guideline; 2009 EP28-A3C; Defining, Establishing and Verifying Reference Intervals in the Clinical Laboratory; Approved Guideline; 2010 L. Test Principle: The HemosIL HIT-Ab(PF4-H) kit is a latex particle enhanced immuno-turbidimetric assay to detect total Anti\u2010PF4/Heparin (PF4/H) antibodies found in HIT patients. A monoclonal antibody that mimics human HIT antibodies\nPurpose for submission:\npurpose for submission:",
-    "positive_response": "Clearance of a new device",
-    "negative_response": "a new of device Clearance"
-  }
-]

wisent/examples/scripts/results/test_financial_tweets_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "financial_tweets",
-  "model_name": "mock",
-  "evaluator_name": "log_likelihoods",
-  "num_pairs": 1,
-  "all_correct": true,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Classify the Topic of the following Tweet to one of these options: analyst update, fed and central b...",
-      "positive_response": "dividend",
-      "negative_response": "energy and oil",
-      "positive_evaluation": {
-        "ground_truth": "TRUTHFUL",
-        "confidence": 1.0,
-        "expected": "TRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'dividend' (log_prob=-0.500), Expected: 'dividend'"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "Predicted: 'dividend' (log_prob=-0.500), Expected: 'energy and oil'"
-      },
-      "both_correct": true
-    }
-  ]
-}

wisent/examples/scripts/results/test_financial_tweets_pairs.json

@@ -1,8 +0,0 @@
-[
-  {
-    "pair_id": 0,
-    "prompt": "Classify the Topic of the following Tweet to one of these options: analyst update, fed and central banks, company and product news, treasuries and corporate debt, dividend, earnings, energy and oil, financials, currencies, general News and opinion, gold, metals and materials, initial public offering, legal and regulation, mergers, acquisitions and investments, macro, markets, politics, personnel change, stock commentary, stock movement.\nTweet:\n$JBHT - J.B. Hunt Transport Services declares $0.40 dividend  https://t.co/wemIpznm4B\nTopic:",
-    "positive_response": "dividend",
-    "negative_response": "energy and oil"
-  }
-]

wisent/examples/scripts/results/test_fld/test_fld_evaluation.json

@@ -1,30 +0,0 @@
-{
-  "task_name": "fld",
-  "model_name": "mock",
-  "evaluator_name": "exact_match",
-  "num_pairs": 1,
-  "all_correct": false,
-  "pairs": [
-    {
-      "pair_id": 0,
-      "prompt": "Given the following facts:\nsent1: the taxonomicness occurs. sent2: that the snowballing great-uncle ...",
-      "positive_response": "PROVED",
-      "negative_response": "DISPROVED",
-      "positive_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "TRUTHFUL",
-        "correct": false,
-        "details": "No match: '' not in ['PROVED']"
-      },
-      "negative_evaluation": {
-        "ground_truth": "UNTRUTHFUL",
-        "confidence": 0.0,
-        "expected": "UNTRUTHFUL",
-        "correct": true,
-        "details": "No match: '' not in ['DISPROVED']"
-      },
-      "both_correct": false
-    }
-  ]
-}