<p>Unlike the standard ReL function the leaky rectified linear function has a non-zero gradient over it's entire domain. So instead of having <code>y = max(0, x)</code>, you have <code>y = max(x / a, x)</code>, where <code>a</code> is some constant. This means you still get some sort of non-linearity, but the gradient can flow through in both directions.</p>

<p>For more information see: </p>

<ul class="task-list">
<li>Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng, "Rectifier Nonlinearities Improve Neural Network Acoustic Models", 2014</li>
</ul>

<p>Since the parameter is fixed we could add the leakyness factor as a template parameter. The problem with the idea is that C++ doesn't support double as template parameter. So, we need to figure out a way around this issue.</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">&mdash;<br>Reply to this email directly or <a href="https://github.com/mlpack/mlpack/issues/412">view it on GitHub</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AJ4bFCPTyZ9_ziQ9YJKvCasV5h_96D7Lks5nwy8HgaJpZM4DnsOk.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
  <div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
    <link itemprop="url" href="https://github.com/mlpack/mlpack/issues/412"></link>
    <meta itemprop="name" content="View Issue"></meta>
  </div>
  <meta itemprop="description" content="View this Issue on GitHub"></meta>
</div>