<p>Ah, yeah, what I mean is that we should split each of the five things you are testing into separate test cases.  Like this:</p>

<pre><code>//Test: Run LSH with varying number of tables, keeping all other parameters 
//constant. Compute the recall, i.e. the number of reported neighbors that
//are real neighbors of the query.
//LSH's property is that (with high probability), increasing the number of
//tables will increase recall. Epsilon ensures that if noise lightly affects
//the projections, the test will not fail.
//This produces false negatives, so we attempt the test numTries times and
//only declare failure if all of them fail.
BOOST_AUTO_TEST_CASE(RecallTest)
{
  // code here
}

//Test: Run LSH with varying hash width, keeping all other parameters 
//constant. Compute the recall, i.e. the number of reported neighbors that
//are real neighbors of the query.
//LSH's property is that (with high probability), increasing the hash width
//will increase recall. Epsilon ensures that if noise lightly affects the 
//projections, the test will not fail.
BOOST_AUTO_TEST_CASE(HashWidthTest)
{
  // code here
}
</code></pre>

<p>I hope I've described that well enough, let me know if not.  The basic idea is that we can split each of the tests so that a user can run only one test at a time.  The disadvantage to this approach is that you probably have to load a dataset multiple times, but that's not so huge of a deal since the dataset will be relatively small.</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">&mdash;<br />You are receiving this because you are subscribed to this thread.<br />Reply to this email directly or <a href="https://github.com/mlpack/mlpack/pull/605#issuecomment-205992606">view it on GitHub</a><img alt="" height="1" src="https://github.com/notifications/beacon/AJ4bFK-b15H-ua81CzcenBKiRPQZCTYVks5p0tUxgaJpZM4H_9Kw.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/mlpack/mlpack/pull/605#issuecomment-205992606"></link>
  <meta itemprop="name" content="View Pull Request"></meta>
</div>
<meta itemprop="description" content="View this Pull Request on GitHub"></meta>
</div>