این دورۀ آموزشی بسیار زیبا و کاربردی به طور تخصصی به شبکه های عصبی عمیق (Deep Neural Networks: DNNs)، مفهوم یادگیری عمیق (Deep Learning) و نحوۀ پیاده سازی و کار با آنها در محیط متلب می پردازد. خلاصۀ محتوای هر یک از درسهای این دوره به صورت زیر است:

• درس اول: مرور مفاهیم مقدماتی و پایه ای

• درس دوم: مفاهیم لایه های مختلف شبکه های عصبی و نحوۀ پیاده سازی آنها در MATLAB (همراه با توضیح مفهوم و نحوۀ مقداردهی به پارامترهای هر لایه)
  • توضیح مفاهیم اولیه مانند بردارهای دو بعدی و تنسورها
  • لایۀ نرمالیزاسیون ورودی شبکه شامل روشهای zerocenter ،zeroscore ،rescale-symmetric و rescale-zer-one
  • لایۀ کانولوشن تنسوری و توضیح مفاهیمی مانند:
    • same padding ،zero padding
    • گام یا stride
    • کانولوشن های متسع شده (dilated)
    • مقداردهی اولیه به پارامترهای شبکه توسط الگوریتم هایی مانند خاویر (Xavier)
    • انواع توابع فعال سازی (activation functions)
    • لایه های max pooling ،average pooling و global average pooling
    • لایه های تماماً متصل (fully-connected)
    • لایۀ مجموع و لایۀ الحاق
    • لایۀ batch normalization، روابط ریاضی آن و نحوۀ تنظیم پارامترهای آن برای داشتن آموزشی سریع
    • نحوۀ ساخت شبکه های عصبی گوناگون در محیط MATLAB با استفاده از ترکیب لایه های بررسی شده
• درس سوم: ساخت و مدیریت داده های آموزش در MATLAB
  • آموزش نحوۀ ساخت داده های آموزش
  • آموزش نحوۀ برچسب زنی داده های آموزش
  • آموزش نحوۀ استفاده از توابع datastore جهت مدیریت داده های آموزش، اعتبار سنجی و تست و استفاده از آن در حین آموزش شبکه
  • توضیح نحوۀ استفاده از داده های آموزش موجود در MATLAB
  • آموزش روشهای بهبود کیفیت و تعداد داده های آموزشی
  • آشنایی با معروف ترین دیتاست های موجود
• درس چهارم: توضیح نحوۀ آموزش شبکه های عصبی در MATLAB
  • توضیح مرحله به مرحلۀ روند آموزش
  • بررسی تفاوت میان مسائل رگرسیون (regression) و دسته بندی (classification)
  • انواع توابع هزینه مانند MSE و CrossEntropy، مفاهیم آنها، مواقع استفاده از آنها و نحوۀ پیاده سازی آنها در MATLAB
  • آشنایی با مفاهیم آموزش مانند:
    • Epoch، Batch و Iteration
    • داده های آموزش، اعتبارسنجی و آزمایش و نحوۀ استفاده از آنها
    • مفهوم overfitting و نحوۀ جلوگیری از آن (تفاوت بچۀ خرخوان با بچۀ باهوش!)
    • مفهوم نرخ یادگیری شبکه (learning rate)، نحوۀ مقدار دهی اولیۀ آن، نحوۀ تغییر دادن آن در حین آموزش شبکه
    • زمان مناسب جهت توقف یادگیری
    • چگونگی استفاده از نرم 2 یا L2-norm Regularization جهت جلوگیری از overfitting شبکه
    • مشاهدۀ مفهوم تعمیم (generalization) در شبکه های عصبی
• درس پنجم: پیاده سازی چندین شبکۀ عصبی و آموزش آنها در MATLAB
  • پیاده سازی شبکۀ عصبی پرسپترون تک لایه
  • پیاده سازی شبکۀ عصبی پرسپترون چند لایه برای حل مسالۀ رگرسیون
  • پیاده سازی شبکه عصبی پرسپترون چند لایه برای حل مسالۀ دسته بندی
    • بررسی اثر overfitting
    • بررسی اثر نرخ یادگیری بر روی سرعت آموزش شبکه
    • بررسی اثر L2-Normalization
    • بررسی اثر نحوۀ مقداردهی اولیۀ پارامترها بر سرعت یادگیری
    • بررسی اثر لایۀ Dropout بر نحوۀ یادگیری شبکه
    • بررسی شکل ساختار شبکه بر کارایی آن
    • ……
  • پیاده سازی شبکۀ عصبی کانولوشنی برای مسائل classification و بررسی اثر پارامترها و لایه های شبکه بر روی کارایی شبکه