بایاس

واریانس با تغییرات کوچک در داده، مقدار پیش‌بینی‌های مدل‌مان را تغییر می‌دهد . یعنی اگر بر اثر خطای انسانی واریانس مدل‌کم باشه انتظار داریم این خطای کوچک در داده‌ها، به پیش‌بینی‌ ما لطمه نزند. اگر واريانس داشته باشيم over fit رخ می‌دهد یعنی با بالا رفتن یادگیری مدل بر روی داده های آموزشی میکنیم و الگوریتم مورد استفاده مدل ما بدلیل یاد گرفتن همه نمونه های آموزشی تبدیل به یک مدل پیچیده شده تا جایی که اگر یک نمونه جدید تست به این مدل داده شود خطای بالایی را تولید خواهد کرد. بایاس، خطای تقریب یک پدیده‌ی پیچیده با یک مدل ساده‌ست. اگه باياس داشته باشيم underfit رخ ميدهد و وقتی دچار underfit میشویم که الگوریتم یک مدلِ خیلی کلی از مجموعه آموزشی به دست می‌آورد اگر خودِ داده‌های مجموعه‌ی آموزشی را نیز به این الگوریتم بدهیم خطایی قابل توجه خواهد. حال با تعریف هایی که داشتیم میخواهیم یک مثال از دنیای واقعی را بگوییم که فهم آن را راحت تر کند فرض کنید درحال نوشتن برنامه ای برای تشخیص حیوان گاو هستید و ۲۰عدد عکس گاو دارید و میگویید اگر حیوان گاو را دیدی بنویس این حیوان گاو است اگر مدل ما کامل این حیوانات را با جزییات یاد بگیرد و تصویر یکی از گاو ها رو برعکس کنید و نتواند تشخیص دهد این گاو است میگوییم مدل دچارOverfittingشد چون انقد رو جزییات رفته که با کوچکترین تغییر دچار این مشکل شد حالا اگر مدل ما فقط به طور کلی یادگرفته باشد که این تصویر مربوط به حیوان گاو است اما دقیق یاد نگرفته باشد بازهم مدل نمیتواند تشخیص بدهد که این چه حیوانی است حتی اگر یکی از همان تصاویر را ببیند نمیتواند تشخیص دهد چون فقط به طور کلی یاد گرفته است در این صورت نیز میگوییم Underfit رخ داده است