<p>After some experiments, not all of the layers of ann are suitable for SparseAutoencoder, it need to do some modification(ex : you cannot just call the dropout function, you need to call the activation function like sigmoid or RELU after calling Forward), I would like to open two new folders</p>

<p>1 : SparseAutoencoder/layers<br>
2 : SparseAutoencoder/activation_functions<br>
to collect the useable layers and activation functions, the implementation will based on the layers and activation functions of ann</p>

<p>Besides, I think the function "GetNewFeatures" of SparseAutoencoder should call the activation function of the hidden layer rather the Sigmoid.</p>

<p>I will remove LazyLogisticFunction and remove the check of LogisticFunction as zoq mentioned</p>

<p>Any suggestions?</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">&mdash;<br>Reply to this email directly or <a href="https://github.com/mlpack/mlpack/pull/451#issuecomment-149474303">view it on GitHub</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AJ4bFJkbhMy-cSiqrE_gMjIh5Hh4Y8Yxks5o9fDMgaJpZM4GAqt4.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/mlpack/mlpack/pull/451#issuecomment-149474303"></link>
  <meta itemprop="name" content="View Pull Request"></meta>
</div>
<meta itemprop="description" content="View this Pull Request on GitHub"></meta>
</div>