
در یادگیری ماشین و هوش مصنوعی، توانایی بهینهسازی مؤثر مدلها برای موفقیت آنها بسیار حیاتی است. یکی از پرکاربردترین روشها برای بهینهسازی الگوریتم گرادیان کاهشی (Gradient Descent) است که نقشی اساسی در ترین مدلها ایفا میکند و هدف آن کاهش تابع خطا یا هزینه است. با این حال، نسخهای کارآمدتر از این تکنیک، بهویژه در دادههای حجیم و یادگیری عمیق، گرادیان کاهشی تصادفی یا SGD است. در این مقاله، به بررسی این الگوریتم، تفاوتهای آن با گرادیان کاهشی معمولی و دلایل محبوبیت آن خواهیم پرداخت.
گرادیان کاهشی یک الگوریتم بهینهسازی است که برای حداقل کردن یک تابع (در یادگیری ماشین میتواند تابع خطا باشد) از طریق حرکت تدریجی به سمت شیب منفی آن استفاده میشود. "گرادیان" به بردار مشتقات جزئی تابع اطلاق میشود که نشاندهنده جهت و میزان تغییرات آن تابع است. الگوریتم بهطور مداوم پارامترهای مدل را بر اساس جهت و میزان این گرادیان بهروزرسانی میکند.
در یادگیری ماشین، این تابع هزینه معمولاً نشاندهنده تفاوت بین پیشبینی مدل و مقادیر واقعی است. هدف از استفاده از گرادیان کاهشی، حداقل کردن این خطا با تنظیم مداوم پارامترهای مدل است. اندازه این تنظیمات از طریق پارامتر نرخ یادگیری کنترل میشود.

در حالی که گرادیان کاهشی معمولی، گرادیان را بر اساس تمام دادهها محاسبه میکند، گرادیان کاهشی تصادفی تفاوت مهمی دارد: بهجای محاسبه گرادیان بر اساس کل دادهها، پارامترها پس از پردازش هر نمونه داده بهصورت فردی (و یا مجموعهای کوچک از دادهها که به آن minibatch گفته میشود) بهروزرسانی میشوند.
تفاوت اصلی بین گرادیان کاهشی معمولی و گرادیان کاهشی تصادفی در نحوه محاسبه گرادیان است:

با وجود مزایای فراوان، الگوریتمSGD چند محدودیت نیز دارد. نوسانهای زیاد ممکن است باعث شوند که الگوریتم نتواند به درستی به مینیمم مطلق برسد و در اطراف آن نوسان کند. برای مقابله با این مشکلات، تغییرات مختلفی در الگوریتم SGD ایجاد شده است:
الگوریتم گرادیان کاهشی تصادفی یک روش بهینهسازی قدرتمند و کارآمد است که در یادگیری ماشین، بهویژه در مسائل بزرگ و یادگیری عمیق، نقشی اساسی دارد. با اینکه الگوریتمSGD دارای معایبی مانند نوسانات زیاد است، مزایای آن در سرعت، کارایی حافظه و توانایی فرار از مینیممهای محلی باعث محبوبیت آن شده است. با وجود این محدودیتها، تغییرات مختلفی مانند minibatch SGD و استفاده از روشهای تطبیقی به بهبود عملکرد آن کمک کرده و این الگوریتم را به یکی از ابزارهای اصلی در بهینهسازی مدلها تبدیل کرده است.