<p>I like to point out that we only need to initialize the scale parameter if we load an already trained network and use the model for prediction only. If we train the model the scale parameter is set in the else case of the forward pass. However, you pointed out an important case, we should take care of. One problem I see with the solution is that a change of the probability of setting a value to zero (ratio) has no effect, if we use the constructor list to initialize the scale parameter. So instead of using the constructor list or the else case of the forward pass, we could set the ratio at the beginning of the forward pass. Does this sound reasonable? Maybe there is a better solution?</p>

<p style="font-size:small;-webkit-text-size-adjust:none;color:#666;">&mdash;<br>Reply to this email directly or <a href="https://github.com/mlpack/mlpack/pull/463#issuecomment-149859563">view it on GitHub</a>.<img alt="" height="1" src="https://github.com/notifications/beacon/AJ4bFLPb6tVm-0HGxdfD-VjcbBIgZpw0ks5o92z9gaJpZM4GSg7s.gif" width="1" /></p>
<div itemscope itemtype="http://schema.org/EmailMessage">
<div itemprop="action" itemscope itemtype="http://schema.org/ViewAction">
  <link itemprop="url" href="https://github.com/mlpack/mlpack/pull/463#issuecomment-149859563"></link>
  <meta itemprop="name" content="View Pull Request"></meta>
</div>
<meta itemprop="description" content="View this Pull Request on GitHub"></meta>
</div>