<p>You can basically use the RMSprop or the SGD optimizer in core/optimizers as a basis, to reimplement Adam and Adadelta. </p>

<p>So, take a look at the RMSprop ann implementation  (ann/optimizer/rmsprop.hpp) and compre the implementation with the new RMSprop implementation in core/optimizers/rmsprop_impl.hpp. </p>

<p>Once there is an Adam and Adadelta implementation in core/optimizers, I'll go and delete the ann/optimizer folder.</p>

<p>It would be great if you could start with one of the optimizers (Adam or Adadelta). Maybe someone likes to pick up the other optimizer, if not you are more than welcome to reimplement Adam and Adadelta.</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">&mdash;<br>Reply to this email directly or <a href="https://github.com/mlpack/mlpack/issues/555#issuecomment-193919410">view it on GitHub</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AJ4bFD7LVAIZVy-xHlv2s4jDLSMTcBokks5prci0gaJpZM4HrSVF.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/mlpack/mlpack/issues/555#issuecomment-193919410"></link>
  <meta itemprop="name" content="View Issue"></meta>
</div>
<meta itemprop="description" content="View this Issue on GitHub"></meta>
</div>