1. Lecture 3: آشنایی با کتابخانه FastAi پیدا کردن Learning Rate مناسب
Alireza Akhavan Pour
CLASS.VISION
شنبه، ۲۱ مهر ۱۳۹۷

2. How does learning rate impact training?
شنبه، ۲۱ مهر ۱۳۹۷

3. یافتن LR مناسب
شنبه، ۲۱ مهر ۱۳۹۷

4. یافتن LR مناسب
fastest decrease in the loss
شنبه، ۲۱ مهر ۱۳۹۷

5.
شنبه، ۲۱ مهر ۱۳۹۷

6. Stochastic Gradient Descent with Restarts (SGDR)
شنبه، ۲۱ مهر ۱۳۹۷

7. Stochastic Gradient Descent with Restarts (SGDR)
The idea behind SGDR as shown in this image is, instead of trying to add various forms of learning rate decay, let’s reset our learning rate every so many iterations so that we may be able to more easily pop out of a local minimum if we appear stuck. This has seemed to be quite an improvement in various situations as compared to the normal SGD using mini batches.
شنبه، ۲۱ مهر ۱۳۹۷

8. Stochastic Gradient Descent with Restarts (SGDR)
شنبه، ۲۱ مهر ۱۳۹۷

9. Stochastic Gradient Descent with Restarts (SGDR)
شنبه، ۲۱ مهر ۱۳۹۷

10. Transfer Learning using differential learning rates
شنبه، ۲۱ مهر ۱۳۹۷

11. Transfer Learning using differential learning rates
شنبه، ۲۱ مهر ۱۳۹۷

12. منابع https://www.coursera.org/specializations/deep-learning
شنبه، ۲۱ مهر ۱۳۹۷