شبکههای عصبی چند لایه پیش خور از دیرباز به طور وسیعی مورد توجه محققان بوده است. این شبکهها علیرغم موفقیت چشمگیر در برقراری ارتباط بین ورودی و خروجی، دارای چندین نقطه ضعف بودهاند. به عنوان مثال زمان آموزش این شبکهها نسبتاً طولانی است و گاهی ممکن است این شبکهها آموزش نبینند. دلیل طولانی بودن زمان آموزش را میتوان به انتخاب نامناسب پارامترهای شبکه نسبت داد. روش به دست آوردن پارامترهای وزن وبایاس شبکه، استفاده از گرادیان تابع انرژی شبکه میباشد. همان طور که میدانیم تابع خطای شبکه دارای سطح ناهمواری بوده لذا شبکه در نقاط بهینه محلی متوقف شده و آموزش نمیبیند. برای جبران اشکالهای وارد به الگوریتم بازگشتی، جهت بالا بردن سرعت آموزش از نرخ یادگیری متغیر تطبیقی و برای جلوگیری از به دام افتادن شبکه در نقاط بهینه محلی از روش الگوریتم اتوماتان استفاده مینماییم. با استفاده از این روشها میتوان نرخ یادگیری بهینه برای شبکههای مختلف به دست آورد.
