<div dir="ltr">Hi<div><br></div><div>I am Lokesh Jain, 4th year undergraduate B.E(Hons.) Computer Science and M.Sc.(Hons.) Mathematics student at BITS Pilani, India. I am interested in the project Parallel Stochastic Optimization Methods. I have worked over projects on OpenMP, PThreads, MPI and CUDA. I had a doubt about the kind of parallelism expected in the algorithm as in Stochastic Gradient Descent there is a dependency in weights. The weights to be updated for one training example depend on the updated weights from the previous training example. So how do we parallelize the algorithm in terms of the iterations over the training set? Do we parallelize the algorithm in terms of step size as different threads running the algorithm for different step size?</div><div><br></div><div>Thank You</div><div>Regards</div><div><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div style="font-size:12.8000001907349px"><b>Lokesh Jain</b></div><div style="font-size:12.8000001907349px"><span style="color:rgb(68,68,68)"><b><font size="1">M.Sc. (Hons.) Mathematics | B.E. (Hons.) Computer Science Engineering</font></b></span></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><img src="http://www.fractalink.com/downloads/color_strip_BITS.jpg" style="border:0px none"><div style="margin-bottom:0.0001pt"><b><span style="font-size:10pt;font-family:Arial,sans-serif">Birla Institute of Technology &amp; Science,</span></b><span style="font-size:10pt;font-family:Arial,sans-serif"> </span><b><span style="font-size:10pt;font-family:Arial,sans-serif">Pilani</span></b><span style="font-size:10pt;font-family:Arial,sans-serif"></span></div><div style="margin-bottom:0.0001pt"><font size="1"><span style="font-family:tahoma,sans-serif"><span style="color:rgb(0,0,255)">Pilani Campus</span></span></font><font size="1">, <span style="color:rgb(0,0,255)"><span style="font-family:tahoma,sans-serif">Pilani 333031, Rajasthan, India</span></span></font><br></div><font size="1"><span style="font-family:tahoma,sans-serif"><span style="color:rgb(0,0,255)">Email Address: <a href="mailto:f2012613@pilani.bits-pilani.ac.in" style="color:rgb(17,85,204)" target="_blank">f2012827@pilani.bits-pilani.ac.in</a><br>Phone: +91 9772050107</span></span></font></div></div></div></div></div></div>
</div></div>