Lecture 3: آشنایی با کتابخانه FastAi پیدا کردن Learning Rate مناسب Alireza Akhavan Pour CLASS.VISION شنبه، ۲۱ مهر ۱۳۹۷

How does learning rate impact training? شنبه، ۲۱ مهر ۱۳۹۷

یافتن LR مناسب https://arxiv.org/pdf/1506.01186.pdf شنبه، ۲۱ مهر ۱۳۹۷

یافتن LR مناسب fastest decrease in the loss شنبه، ۲۱ مهر ۱۳۹۷

https://arxiv.org/pdf/1608.03983.pdf شنبه، ۲۱ مهر ۱۳۹۷

Stochastic Gradient Descent with Restarts (SGDR) شنبه، ۲۱ مهر ۱۳۹۷

Stochastic Gradient Descent with Restarts (SGDR) The idea behind SGDR as shown in this image is, instead of trying to add various forms of learning rate decay, let’s reset our learning rate every so many iterations so that we may be able to more easily pop out of a local minimum if we appear stuck. This has seemed to be quite an improvement in various situations as compared to the normal SGD using mini batches. شنبه، ۲۱ مهر ۱۳۹۷

Stochastic Gradient Descent with Restarts (SGDR) شنبه، ۲۱ مهر ۱۳۹۷

Stochastic Gradient Descent with Restarts (SGDR) شنبه، ۲۱ مهر ۱۳۹۷

Transfer Learning using differential learning rates شنبه، ۲۱ مهر ۱۳۹۷

Transfer Learning using differential learning rates شنبه، ۲۱ مهر ۱۳۹۷

منابع https://www.coursera.org/specializations/deep-learning http://course.fast.ai/ https://medium.com/38th-street-studios/exploring-stochastic-gradient-descent-with-restarts-sgdr-fa206c38a74e https://towardsdatascience.com/transfer-learning-using-differential-learning-rates-638455797f00 شنبه، ۲۱ مهر ۱۳۹۷