{
  "permutation_cutoff_checks": 4320,
  "corpus": {
    "D1": "Choose Export in the notebook menu.",
    "D2": "Select JSON as the output format.",
    "D3": "Download the file when its status says Ready.",
    "D4": "The demo help desk opens from 09:00 to 17:00 UTC.",
    "D5": "Deleted demo drafts stay in Trash for seven days.",
    "D6": "Choose a theme under Appearance."
  },
  "cases": {
    "export": {
      "question": "How do I export my notes?",
      "relevant": [
        "D1",
        "D2",
        "D3"
      ],
      "A": [
        "D1",
        "D4",
        "D6",
        "D2",
        "D5",
        "D3"
      ],
      "B": [
        "D1",
        "D2",
        "D3",
        "D4",
        "D5",
        "D6"
      ]
    },
    "hours": {
      "question": "When is the demo help desk open?",
      "relevant": [
        "D4"
      ],
      "A": [
        "D1",
        "D6",
        "D4",
        "D2",
        "D3",
        "D5"
      ],
      "B": [
        "D6",
        "D4",
        "D1",
        "D2",
        "D3",
        "D5"
      ]
    },
    "trash": {
      "question": "How long are deleted demo drafts retained?",
      "relevant": [
        "D5"
      ],
      "A": [
        "D6",
        "D1",
        "D2",
        "D3",
        "D4",
        "D5"
      ],
      "B": [
        "D5",
        "D6",
        "D1",
        "D2",
        "D3",
        "D4"
      ]
    }
  },
  "fixtures": [
    {
      "query": "export",
      "mode": "A",
      "k": 1,
      "precision": 1.0,
      "recall": 0.3333333333333333,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "A",
      "k": 2,
      "precision": 0.5,
      "recall": 0.3333333333333333,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "A",
      "k": 3,
      "precision": 0.3333333333333333,
      "recall": 0.3333333333333333,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "A",
      "k": 4,
      "precision": 0.5,
      "recall": 0.6666666666666666,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "A",
      "k": 5,
      "precision": 0.4,
      "recall": 0.6666666666666666,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "A",
      "k": 6,
      "precision": 0.5,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "B",
      "k": 1,
      "precision": 1.0,
      "recall": 0.3333333333333333,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "B",
      "k": 2,
      "precision": 1.0,
      "recall": 0.6666666666666666,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "B",
      "k": 3,
      "precision": 1.0,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "B",
      "k": 4,
      "precision": 0.75,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "B",
      "k": 5,
      "precision": 0.6,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "export",
      "mode": "B",
      "k": 6,
      "precision": 0.5,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "hours",
      "mode": "A",
      "k": 1,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "hours",
      "mode": "A",
      "k": 2,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "hours",
      "mode": "A",
      "k": 3,
      "precision": 0.3333333333333333,
      "recall": 1.0,
      "rr": 0.3333333333333333
    },
    {
      "query": "hours",
      "mode": "A",
      "k": 4,
      "precision": 0.25,
      "recall": 1.0,
      "rr": 0.3333333333333333
    },
    {
      "query": "hours",
      "mode": "A",
      "k": 5,
      "precision": 0.2,
      "recall": 1.0,
      "rr": 0.3333333333333333
    },
    {
      "query": "hours",
      "mode": "A",
      "k": 6,
      "precision": 0.16666666666666666,
      "recall": 1.0,
      "rr": 0.3333333333333333
    },
    {
      "query": "hours",
      "mode": "B",
      "k": 1,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "hours",
      "mode": "B",
      "k": 2,
      "precision": 0.5,
      "recall": 1.0,
      "rr": 0.5
    },
    {
      "query": "hours",
      "mode": "B",
      "k": 3,
      "precision": 0.3333333333333333,
      "recall": 1.0,
      "rr": 0.5
    },
    {
      "query": "hours",
      "mode": "B",
      "k": 4,
      "precision": 0.25,
      "recall": 1.0,
      "rr": 0.5
    },
    {
      "query": "hours",
      "mode": "B",
      "k": 5,
      "precision": 0.2,
      "recall": 1.0,
      "rr": 0.5
    },
    {
      "query": "hours",
      "mode": "B",
      "k": 6,
      "precision": 0.16666666666666666,
      "recall": 1.0,
      "rr": 0.5
    },
    {
      "query": "trash",
      "mode": "A",
      "k": 1,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "trash",
      "mode": "A",
      "k": 2,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "trash",
      "mode": "A",
      "k": 3,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "trash",
      "mode": "A",
      "k": 4,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "trash",
      "mode": "A",
      "k": 5,
      "precision": 0.0,
      "recall": 0.0,
      "rr": 0.0
    },
    {
      "query": "trash",
      "mode": "A",
      "k": 6,
      "precision": 0.16666666666666666,
      "recall": 1.0,
      "rr": 0.16666666666666666
    },
    {
      "query": "trash",
      "mode": "B",
      "k": 1,
      "precision": 1.0,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "trash",
      "mode": "B",
      "k": 2,
      "precision": 0.5,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "trash",
      "mode": "B",
      "k": 3,
      "precision": 0.3333333333333333,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "trash",
      "mode": "B",
      "k": 4,
      "precision": 0.25,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "trash",
      "mode": "B",
      "k": 5,
      "precision": 0.2,
      "recall": 1.0,
      "rr": 1.0
    },
    {
      "query": "trash",
      "mode": "B",
      "k": 6,
      "precision": 0.16666666666666666,
      "recall": 1.0,
      "rr": 1.0
    }
  ],
  "macro_at_3": {
    "A": {
      "precision": "2/9",
      "recall": "4/9",
      "rr": "4/9"
    },
    "B": {
      "precision": "5/9",
      "recall": "1",
      "rr": "5/6"
    }
  }
}
