این درس یکی از درسهای بستۀ جامع آموزش شبکه های عصبی است که به طور جداگانه در اختیار افرادی که فقط به محتوای این درس علاقمند هستند قرار داده شده است. یکی از تکنیکهای کارآمد برای آموزش شبکه های عصبی اضافه کردن جملۀ لختی به فرمول مورد استفاده برای به روز رسانی وزنها است. هر چند که جملۀ لختی را می توان از نظر تئوری به هر نوع الگوریتم آموزشی اضافه کرد اما معمولاً این جمله به فرمول مورد استفاده برای به روزرسانی وزنها در روش گرادیان نزولی اضافه می شود. مهمترین سودمندیهای حاصل از اضافه کردن جملۀ لختی به الگوریتم آموزشی به طور بالقوه عبارتند از افزایش شتابدار سرعت همگرایی الگوریتم به نقطۀ کمینۀ محلی تابع هزینه و نیز گیر نکردن الگوریتم در نقاط کمینۀ محلی کم عمق. نرم افزار متلب (Matlab) نیز امکان استفاده از جملۀ لختی را هنگام آموزش شبکه های عصبی در اختیار کاربر قرار داده است. جزئیات تئوریک این روش را می توانید با مشاهدۀ این درس بیاموزید. (دربارۀ تصویر لوگو: منحنی تابع هزینه در فضای n بعدی وزنها احتمالاً مثل ریلهای این رولر کوستر پر انحنا و دارای تعداد زیادی نقاط کمینه و بیشینۀ محلی است. وجود جملۀ لختی در قانون به روز رسانی وزنها در کنار کمی خوش شانسی باعث می شود در صورت عمیقتر بودن درۀ بعدی از درۀ فعلی از قلۀ بین آن دو گذر کرده و به نقطۀ بهینۀ بهتری برسیم! اما اگر قلۀ جلویی بلندتر از قلۀ پشتی باشد، در صورت نداشتن انرژی اولیۀ کافی سرانجام در درۀ بین آن دو آرام می گیریم. احساس شما زمانی که سعی می کنید فضای n بعدی وزنها را در ذهنتان تجسم کنید بی شباهت به احساس افراد نشسته درون این ارابه از فضا و مکان نیست!)

در صورت تمایل می توانید با خرید بستۀ جامع آموزش شبکه های عصبی علاوه بر این درس بسیاری از دروس مرتبط دیگر را نیز با هزینۀ مناسب تر تهیه نمایید.

پیش نمایش درس: