https://virgool.ir/feed/@m_69819432fa2026-11-12 09:54:27https://virgool.ir/images/default-avatar.jpghttps://virgool.ir/@m_69819432https://virgool.ir/@m_69819432/main-solution-zt8nc2pqmnjmشبکه‌های عصبی سیستم‌های تبلیغاتی معمولاً ورودی‌ها را از چندین منبع دریافت می‌کنند، به‌عنوان مثال، ارتباط جستجو با آگهی، ویژگی‌های تبلیغاتی و پرتره های کاربر این ورودی‌ها در ویژگی‌های باینری یک یا چند داغ کدگذاری می‌شوند که معمولاً تنها با یک ویژگی کوچک کسری از مقادیر ویژگی غیر صفر در هر مثال. مدل های یادگیری عمیق در صنایع تبلیغات آنلاین می تواند داشته باشد پارامترهایی در مقیاس ترابایت که نه در حافظه GPU و نه حافظه اصلی CPU در یک گره محاسباتی قرار می گیرند.به عنوان مثال، یک سیستم تبلیغات آنلاین با حمایت مالی می تواند بیش از 1011 ویژگی پراکنده داشته باشد که باعث می شودشبکه عصبی یک مدل عظیم با حدود 10 پارامتر ترابایت. در این مقاله، یک GPU توزیع شده را معرفی می کنیمسرور پارامتر سلسله مراتبی برای سیستم های تبلیغات یادگیری عمیق در مقیاس عظیم. ما یک گردش کار سلسله مراتبی را پیشنهاد می کنیمکه از حافظه با پهنای باند بالا GPU، حافظه اصلی CPU و SSD به عنوان ذخیره سازی سلسله مراتبی 3 لایه استفاده می کند. همهمحاسبات آموزش شبکه عصبی در GPU ها موجود است. آزمایش های گسترده بر روی داده های دنیای واقعی تایید می کنداثربخشی و مقیاس پذیری سیستم پیشنهادی سرور پارامتر GPU سلسله مراتبی 4 گره می تواند یک مدل را بیش از 2 برابر سریعتر از یک سرور پارامتر توزیع شده در حافظه 150 گره در یک خوشه MPI آموزش دهید. که علاوه بر این، نسبت قیمت به عملکرد سیستم پیشنهادی ما 4-9 برابر بهتر از راه حل MPI-cluster است.تبلیغات جستجوی Baiduبا موفقیت از داده های ورودی با ابعاد فوق العاده بالا و شبکه های عصبی عمیق با مقیاس فوق العاده بزرگ برای آموزش CTR استفاده کرده است.برای ناشران تبلیغات آنلاین مانند بایدو، بینگ و گوگل.وظیفه پیش بینی CTR نقش کلیدی ایفا می کندو بهترین تخصیص فضاهای تبلیغاتی را تعیین کنید زیرا به طور مستقیمبر تجربه کاربر و سودآوری تبلیغات تأثیر می گذارد. پیش‌بینی CTR ورودی را از چندین منبع دریافت می‌کند - به عنوان مثال، query-adارتباط، ویژگی‌های تبلیغاتی، و پرتره‌های کاربر – سپس تخمین می‌زنداحتمال اینکه کاربر روی یک تبلیغ خاص کلیک کند. این ورودی هامعمولاً ویژگی های باینری یک داغ/چند داغ فقط با a هستندکسر کوچکی از مقادیر ویژگی غیر صفر در هر مثال. درداده های ورودی پراکنده با ابعاد بالا ابتدا از یک لایه تعبیه شده عبور می کنند تا یک جاسازی با ابعاد پایین به دست آید. سپسنتایج تعبیه شده توسط لایه های کاملاً متصل به هم متصل می شوند. یک سیستم تبلیغات آنلاین حمایت شده در دنیای واقعی می تواندmohammad ranjbarpourmohammad ranjbarpourTue, 11 Jan 2022 21:57:17 +0330https://virgool.ir/@m_69819432/راهنمای-نهایی-ارزیابی-و-انتخاب-مدل-ها-در-یادگیری-ماشین-tjcpo7qia9zhدر سطح بالا، یادگیری ماشین اتحاد آمار و محاسبات است. معمای یادگیری ماشین حول مفهوم الگوریتم ها یا مدل هایی می چرخد که در واقع برآوردهای آماری بر روی استروئیدها هستند.با این حال، هر مدل داده شده بسته به توزیع داده ها محدودیت های متعددی دارد. هیچ یک از آنها می تواند به طور کامل دقیق از آنجایی که آنها فقط برآورد (حتی اگر در استروئیدها). این محدودیت ها به طور مردمی با نام سوگیری و واریانس شناخته می شوند.یک مدل با سوگیری بالا با توجه ن کردن زیاد به نقاط تمرینی بیش از حد ساده خواهد شد (به عنوان مانند: در رگرسیون خطی، صرف نظر از توزیع داده ها، مدل همیشه یک رابطه خطی را فرض خواهد کرد).مدلی با واریانس بالا با عمومی ن کردن نقاط آزمونی که قبلاً ندیده است خود را به داده های آموزشی محدود خواهد کرد (به عنوان مثال: جنگل تصادفی با (.max_depth = Noneمسئله زمانی مطرح می شود که محدودیت ها ظریف باشند، مانند زمانی که باید بین یک الگوریتم جنگلی تصادفی و یک الگوریتم تقویت کننده گرادیان یا بین دو تغییر الگوریتم درخت تصمیم یکسان انتخاب کنیم. هر دو تمایل به واریانس بالا و سوگیری پایین.این جایی است که انتخاب مدل و ارزیابی مدل به بازی می آیند!در این مقاله در مورد آن صحبت خواهیم کرد:• انتخاب مدل و ارزیابی مدل چه هستند؟• روش های انتخاب مدل موثر (نمونه گیری مجدد و رویکردهای احتمالاتی)• روش های ارزیابی مدل محبوب• مدل یادگیری ماشین مهم تجارت آفانتخاب مدل و ارزیابی مدل چه هستند؟ارزیابی مدل روشی برای ارزیابی درستی مدل ها بر روی داده های آزمون است. داده های آزمون شامل نقاط داده ای است که قبلاً توسط مدل دیده نشده اند.انتخاب مدل تکنیکی برای انتخاب بهترین مدل پس از ارزیابی مدل های فردی بر اساس معیارهای مورد نیاز است.انواع انتخاب مدل :روش های نمونه گیریروش های نمونه گیری مجدد روش ها، همان طور که از نامش پیداست، تکنیک های ساده تنظیم مجدد نمونه های داده برای بازرسی در صورتی هستند که مدل بر روی نمونه های داده ای که بر روی آن آموزش دیده اند، به خوبی عمل کند. به عبارت دیگر، نمونه برداری مجدد به ما کمک می کند تا بفهمیم آیا مدل به خوبی عمومی خواهد شد یا نهاسپلیت های تصادفیاسپلیت های تصادفی برای نمونه برداری تصادفی درصدی از داده ها در مجموعه های آموزش، آزمایش، و ترجیحاً اعتبارسنجی استفاده می شوند. مزیت این روش این است که شانس خوبی وجود دارد که جمعیت اصلی در هر سه مجموعه به خوبی نشان داده شود. به عبارت رسمی تر، تقسیم تصادفی از نمونه برداری مغرضانه از داده ها جلوگیری خواهد کرد.توجه به استفاده از مجموعه اعتبارسنجی در انتخاب مدل بسیار مهم است. مجموعه اعتبارسنجی مجموعه آزمون دوم است و ممکن است یکی بپرسد، چرا دو مجموعه آزمون دارند؟در فرایند انتخاب ویژگی ها و تنظیم مدل، از مجموعه آزمون برای ارزیابی مدل استفاده می شود. یعنی پارامترهای مدل و مجموعه ویژگی ها به گونه ای انتخاب می شوند که نتیجه مطلوبی بر روی مجموعه آزمون می دهند. به این ترتیب از مجموعه اعتبارسنجی که نقاط داده ای کاملاً غیرممکن دارد (در ماژول های تنظیم و انتخاب ویژگی ها استفاده نشده است) برای ارزیابی نهایی استفاده می شود.تقسیم مبتنی بر زمانبرخی از انواع داده ها وجود دارد که در آن تقسیم تصادفی امکان پذیر نیست. به عنوان مثال اگر مجبور به آموزش مدلی برای پیش بینی آب و هوا کنیم، نمی توانیم داده ها را به طور تصادفی به مجموعه های آموزشی و آزمایش تقسیم کنیم. این خواهد شد تا الگوی فصلی jumble! چنین داده هایی اغلب با اصطلاح – سری زمانی به آن ها گفته می شود.در چنین مواردی از یک انشعاب عاقلانه زمانی استفاده می شود. مجموعه آموزشی می تواند داده هایی برای سه سال گذشته و 10 ماه سال جاری داشته باشد. دو ماه اخیر را می توان برای مجموعه آزمایش یا اعتبارسنجی رزرو کرد.همچنین یک مفهوم از مجموعه پنجره وجود دارد - که در آن مدل تا یک تاریخ خاص آموزش دیده و آزمایش بر روی تاریخ های آینده به طور آزمایشی به گونه ای که پنجره آموزش نگه می دارد افزایش تغییر در یک روز (در نتیجه، مجموعه آزمون نیز کاهش می یابد توسط یک روز). مزیت این روش این است که مدل را تثبیت می کند و زمانی که مجموعه تست بسیار کوچک است از اضافه کاری جلوگیری می کند (بگویید، ۳ تا ۷ روز).با این حال، اشکال داده های سری زمانی این است که رویدادها یا نقاط داده به طور متقابل مستقل نیستند. یک رویداد ممکن است بر هر ورودی داده ای که پس از آن دنبال می شود تاثیر بگذارد.به عنوان مثال، تغییر در حزب حاکم ممکن است آمار جمعیت را برای سال های پس از آن به طور قابل توجهی تغییر دهد. یا همه گیر بدنام کروناویروس قرار است تا چند سال آینده تاثیر گسترده ای بر داده های اقتصادی داشته باشد.هیچ مدل یادگیری ماشینی نمی تواند از داده های گذشته در چنین موردی یاد بگیرد زیرا نقاط داده قبل و بعد از رویداد تفاوت های عمده ای دارند.اعتبارسنجی متقابلتکنیک اعتبارسنجی متقابل با به هم زدن تصادفی مجموعه داده ها و سپس تقسیم آن به گروه های k کار می کند. پس از آن، در طول هر گروه، گروه باید به عنوان یک مجموعه آزمون در نظر گرفته شود در حالی که تمام گروه های دیگر با هم به مجموعه آموزش clubbed. مدل بر روی گروه آزمون آزمایش می شود و فرایند برای گروه های k ادامه می یابد.به این ترتیب، تا پایان فرایند، یک نتیجه k متفاوت بر روی گروه های آزمون مختلف k دارد. پس از آن بهترین مدل را می توان به راحتی با انتخاب یکی با بالاترین نمره انتخاب کرد.فرایند برای K-Fold چینه ای شبیه به K-Fold cross-validation با یک نقطه اختلاف است - بر خلاف در k-fold cross-validation، مقادیر متغیر هدف در k-fold چینه ای مورد توجه قرار می گیرد.اگر به عنوان مثال، متغیر هدف یک متغیر قاطع با 2 کلاس است، سپس k چینه ای برابر تضمین می کند که هر برابر آزمون می شود نسبت مساوی از دو کلاس زمانی که در مقایسه با مجموعه آموزش.این باعث می شود ارزیابی مدل دقیق تر و آموزش مدل کمتربوت استراپبوت استراپ یکی از قدرتمندترین راه ها برای به دست آوردن یک مدل تثبیت شده است. از آنجا که مفهوم نمونه گیری تصادفی را دنبال می کند به تکنیک تقسیم تصادفی نزدیک است.مرحله اول انتخاب یک حجم نمونه (که معمولاً برابر با اندازه مجموعه داده های اصلی است) است. پس از آن، یک نقطه داده نمونه باید به طور تصادفی از مجموعه داده های اصلی انتخاب شود و به نمونه بوت استراپ اضافه شود. پس از اضافه شدن، نمونه باید دوباره به نمونه اصلی قرار داده شود. این فرایند باید برای N تکرار شودبنابراین، این یک تکنیک نمونه برداری است که نمونه بوت استراپ را با نمونه برداری از نقاط داده از مجموعه داده های اصلی با جایگزینی ایجاد می کند. این بدان معنی است که نمونه bootstrap می تواند شامل نمونه های متعددی از همان نقطه داده باشد.مدل بر روی نمونه bootstrap آموزش دیده و سپس بر روی تمام آن نقاط داده که آن را به نمونه bootstrappedارزیابی می شود. به این ها نمونه های خارج از کیسه می نامند.اقدامات احتمالاتیاقدامات احتمالاتی نه تنها عملکرد مدل بلکه پیچیدگی مدل را در نظر می گیرد. پیچیدگی مدل اندازه گیری توانایی مدل در گرفتن واریانس در داده ها است.به عنوان مثال یک مدل بسیار مغرضانه مانند الگوریتم رگرسیون خطی کمتر پیچیده است و از سوی دیگر یک شبکه عصبی بر روی پیچیدگی بسیار زیاد است.نکته مهم دیگری که در اینجا باید به آن توجه داشت این است که عملکرد مدل در نظر گرفته شده در اقدامات احتمالاتی از محاسبه می شودکمی منصفانه از نقطه ضعف با این حال نهفته است در این واقعیت است که اقدامات احتمالاتی عدم قطعیت مدل ها را در نظر نمی گیرد و شانس انتخاب مدل های ساده تر بیش از مدل های پیچیده است.معیار اطلاعات آکایک (AIC)این دانش رایج است که هر مدلی کاملاً دقیق نیست. همیشه برخی از از دست دادن اطلاعات است که می تواند با استفاده از متریک اطلاعات KL اندازه گیری وجود دارد. واگرایی کولبک-لیبلر یا KL اندازه گیری تفاوت توزیع احتمال دو متغیر است.یک آماردان به نام هیروتوگو آکایکه رابطه اطلاعات KL و احتمال حداکثر را مورد توجه قرار داد (در احتمال حداکثر، یکی می خواهد با توجه به پارامترها و توزیع احتمال مشخص، احتمال شرطی مشاهده یک دیتاپوینت X را به حداکثر برسد) و مفهوم معیار اطلاعات (یا IC) را توسعه داد. بنابراین IC یا AIC آکایک اندازه گیری از دست دادن اطلاعات است. این است که چگونه اختلاف بین دو مدل مختلف گرفته می شود و مدل با کمترین از دست دادن اطلاعات به عنوان مدل انتخاب پیشنهاد شده است.?K تعداد متغیرها یا پیش بینی کننده های مستقلL حداکثر احتمال مدلN تعداد نقاط داده در مجموعه آموزش (به خصوص مفید در صورت مجموعه داده های کوچک)محدودیت AIC این است که با مدل های عمومی سازی چندان خوب نیست چرا که تمایل به انتخاب مدل های پیچیده ای دارد که اطلاعات آموزشی کمتری را از دست می دهند.معیار اطلاعات بیز (BIC).BIC از مفهوم احتمال بیز گرفته شده بود و برای مدل هایی که تحت برآورد احتمال حداکثر آموزش دیده اند مناسب است.?K تعداد متغیرهای مستقلL حداکثر احتمالN تعداد نقاط نمونه / داده ها در مجموعه آموزشBIC مدل را برای پیچیدگی آن مجازات می کند و ترجیحاً زمانی مورد استفاده قرار می گیرد که اندازه مجموعه داده ها خیلی کوچک نیست (در غیر این صورت تمایل به تسویه حساب بر روی مدل های بسیار ساده دارد).حداقل طول توضیحات (MDL)MDL از نظریه اطلاعات که به کمیت هایی مانند آنتروپی می پردازد که میانگین تعداد بیت های مورد نیاز برای نشان دادن یک رویداد از یک توزیع احتمال یا یک متغیر تصادفی را اندازه گیری می کند، مشتق شده است.MDL یا حداقل طول توصیف حداقل تعداد بیت های مورد نیاز برای نشان دادن مدل است.?d مدلD پیش بینی های انجام شده توسط مدلL(h) تعداد بیت های مورد نیاز برای نشان دادن مدلL(D | h) تعداد بیت های مورد نیاز برای نشان دادن پیش بینی ها از مدل3به حداقل رساندن ریسک ساختاری (SRM)مدل های یادگیری ماشین با مشکل اجتناب ناپذیر تعریف یک نظریه عمومی شده از مجموعه ای از داده های متناهی روبرو هستند. این منجر به موارد بیش از حد که در آن مدل می شود مغرضانه به داده های آموزش است که منبع یادگیری اولیه آن است. SRM تلاش می کند تا پیچیدگی مدل را در برابر موفقیت آن در اتصالات بر روی داده ها متعادل کند.چگونه مدل های ML را ارزیابی کنیم؟مدل ها را می توان با استفاده از چند متریک ارزیابی کرد. با این حال، انتخاب درست یک متریک ارزیابی بسیار مهم است و اغلب بستگی به مشکلی دارد که در حال حل است. درک روشنی از طیف گسترده ای از متریک ها می تواند به ارزیاب کمک کند تا بر یک مطابقت مناسب از بیانیه مشکل و یک متریک شانس داشته باشد.متریک های طبقه بندیبرای هر پیش بینی مدل طبقه بندی، ماتریسی به نام ماتریس سردرگمی می تواند ساخته شود که تعداد موارد آزمون را به درستی و نادرست طبقه بندی شده نشان می دهد. به نظر می رسد چیزی شبیه به این (با توجه به 1 -مثبت و 0 -منفی کلاس های هدف هستند):Actual 0Actual 1Predicted 0True Negatives (TN)False Negatives (FN)Predicted 1False Positives (FP)True Positives (TP).TNتعداد موارد منفی به درستی طبقه بندی شدهTPتعداد موارد مثبت به درستی طبقه بندی شدهFN تعداد موارد مثبت به اشتباه به عنوان منفی طبقه بندی شدهFP تعداد موارد منفی به درستی به عنوان مثبت طبقه بندیدقتدقت ساده ترین متریک است و می تواند به عنوان تعداد موارد آزمون به درستی طبقه بندی شده تقسیم بر تعداد کل موارد آزمون تعریف شده است.?این را می توان به اکثر مشکلات عمومی اعمال می شود اما بسیار مفید نیست که آن را به مجموعه داده های نامتعادل می آید.به عنوان مثال، اگر ما در حال تشخیص تقلب در داده های بانکی هستیم، نسبت تقلب به پرونده های عدم تقلب می تواند ۱:۹۹ باشد. در چنین مواردی اگر از دقت استفاده شود، مدل با پیش بینی تمام موارد آزمون به عنوان عدم تقلب، ۹۹٪ دقیق خواهد بود. مدل دقیق ۹۹٪ کاملاً بی فایده خواهد بود.اگر یک مدل به گونه ای ضعیف آموزش دیده باشد که تمام نقاط داده ۱۰ (می گویند) را به عنوان عدم تقلب پیش بینی کند، در ۱۰ نقطه داده تقلب گم خواهد شد. اگر دقت اندازه گیری شود، نشان خواهد داد که آن مدل ۹۹۰ نقطه داده را به درستی پیش بینی می کند و به این ترتیب، دقت (۹۹۰/۱۰)*۱۰۰ = ۹۹٪!به همین دلیل است که دقت یک شاخص کاذب از سلامت مدل است.بنابراین، برای چنین موردی، متریک مورد نیاز است که می تواند بر روی ده نقطه داده تقلب که به طور کامل توسط مدل از دست رفته تمرکز کند.دقت متریک است که برای شناسایی درستی طبقه بندی به کار می رود.?به طور شهودی، این معادله نسبت طبقه بندی های مثبت صحیح به تعداد کل طبقه بندی های مثبت پیش بینی شده است. هر چه کسر بیشتر باشد، دقت بیشتر است، به این معنی که بهتر است توانایی مدل برای طبقه بندی صحیح کلاس مثبت است.در مشکل تعمیر و نگهداری پیش بینی (که در آن باید از قبل پیش بینی زمانی که یک ماشین نیاز به تعمیر) ، دقت می آید به بازی. هزینه نگهداری معمولاً بالا است و به این ترتیب، پیش بینی های نادرست می تواند منجر به زیان برای شرکت شود. در چنین مواردی توانایی مدل در طبقه بندی صحیح کلاس مثبت و پایین آوردن تعداد مثبت های کاذب فوق العاده است!فراخوانفراخوان به ما می گوید تعداد موارد مثبت به درستی از تعداد کل موارد مثبت شناسایی شده است.?بازگشت به مشکل تقلب، ارزش فراخوان در موارد تقلب بسیار مفید خواهد بود زیرا ارزش فراخوان بالا نشان خواهد داد که بسیاری از موارد تقلب از تعداد کل تقلب شناسایی شد.نمره F1 میانگین هارمونیک فراخوان و دقت است و بنابراین، نقاط قوت هر یک را متعادل می کند. این مفید است در مواردی که هر دو یادآوری و دقت می تواند با ارزش – مانند در شناسایی قطعات هواپیما که ممکن است نیاز به تعمیر. در اینجا دقت برای صرفه جویی در هزینه شرکت مورد نیاز خواهد بود (چرا که قطعات هواپیما بسیار گران قیمت هستند) و فراخوان مورد نیاز خواهد بود تا اطمینان حاصل شود که ماشین آلات پایدار است و نه تهدیدی برای زندگی انسان.?AUC-ROCمنحنی ROC یک قطعه از نرخ مثبت واقعی (فراخوان) در برابر نرخ مثبت کاذب (TN / (TN+FP)) است. AUC-ROC مخفف Area Under the Receiver Operating Characteristics و هر چه منطقه بالاتر باشد، عملکرد مدل بهتر است. اگر منحنی در جایی نزدیک خط مورب ۵۰٪ باشد، پیشنهاد می کند که مدل به طور تصادفی متغیر خروجی را پیش بینی می کند.Log Lossاز دست دادن لاگ یک متریک طبقه بندی بسیار مؤثر است و معادل -۱ log (تابع درست هد) است که در آن تابع احتمال نشان می دهد که مدل فکر می کند مجموعه نتایج مشاهده شده چقدر بوده است. از آنجا که تابع احتمال مقادیر بسیار کوچکی را فراهم می کند، یک راه بهتر برای تفسیر آن ها با تبدیل مقادیر به لاگ است و منفی اضافه می شود تا ترتیب متریک معکوس شود به گونه ای که یک نمره زیان پایین تر مدل بهتری را پیشنهاد می کند.بهره و بلند کردن نمودارنمودارهای بهره و بالابر ابزارهایی هستند که عملکرد مدل را درست مانند ماتریس سردرگمی اما با یک تفاوت ظریف و در عین حال قابل توجه ارزیابی می کنند. ماتریس سردرگمی عملکرد مدل را بر روی کل جمعیت یا کل مجموعه آزمون تعیین می کند، در حالی که نمودارهای بهره و بالابر مدل را بر روی بخش هایی از کل جمعیت ارزیابی می کنند. بنابراین برای هر درصد از جمعیت (محور ایکس) نمره (محور y) داریم.نمودارهای بالابر بهبودی را که یک مدل در مقایسه با پیش بینی های تصادفی به ارمغان می آورد اندازه گیری می کنند. به بهبود به عنوان 'بالابر' گفته می شود.نمودار K-Sنمودار K-S یا نمودار کولموگروف-اسمیرنوف درجه جدایی بین دو توزیع – توزیع کلاس مثبت و توزیع کلاس منفی را تعیین می کند. هر چه تفاوت بیشتر باشد، مدل در جدا کردن موارد مثبت و منفی بهتر است.متریک های رگرسیونمدل های رگرسیون بر خلاف مدل های طبقه بندی که متغیرهای خروجی گسسته دارند، یک متغیر خروجی پیوسته ارائه می دهند. بنابراین، متریک برای ارزیابی مدل های رگرسیون بر این اساس طراحی شده است.میانگین خطای مربعی یا MSEMSE یک متریک ساده است که تفاوت بین مقدار واقعی و مقدار پیش بینی شده (خطا) را محاسبه می کند، آن را مربع می کند و سپس میانگین تمام خطاها را فراهم می کند.?MSE بسیار حساس به پرت است و ارزش خطای بسیار بالا نشان می دهد حتی اگر چند پرت در پیش بینی های مدل در غیر این صورت به خوبی نصب شده وجود دارد.خطای مربعی میانگین ریشه یا RMSERMSE ریشه MSE است و مفید است زیرا به پایین آوردن مقیاس خطاها نزدیک تر به ارزش های واقعی کمک می کند و آن را قابل تفسیرتر می کند.میانگین خطای مطلق یا MAEMAE میانگین مقادیر خطای مطلق (واقعیات – پیش بینی ها) است.?اگر کسی می خواهد به چشم پوشی از ارزش های پرت به درجه خاصی، MAE انتخاب از آن را کاهش می دهد مجازات پرت به طور قابل توجهی با حذف شرایط مربع است.ریشه میانگین مربع خطا ورود یا RMSLEدر RMSLE، همان معادله RMSE به جز یک تابع لاگ اضافه شده همراه با مقادیر واقعی و پیش بینی شده دنبال می شود.?x مقدار واقعی و y مقدار پیش بینی شده است. این کمک می کند تا به مقیاس پایین اثر پرت با downplaying نرخ خطای بالاتر با تابع ورود به سیستم. همچنین RMSLE به گرفتن خطای نسبی (با مقایسه تمام مقادیر خطا) از طریق استفاده از سیاهههای مربوط کمک می کند.R-SquaredR-Square به شناسایی نسبت واریانس متغیر هدف که می تواند با کمک متغیرها یا پیش بینی کننده های مستقل گرفته شود کمک می کند.?اما R-square مشکل غول پیکری دارد. بگویید، یک ویژگی نامربوط جدید به مدلی با وزن اختصاص داده شده w اضافه می شود. اگر مدل مطلقاً هیچ همبستگی بین پیش بینی کننده جدید و متغیر هدف پیدا کند، w ۰ است. با این حال، تقریباً همیشه یک همبستگی کوچک به دلیل تصادفی بودن وجود دارد که وزن مثبت کوچکی (w>0) را اضافه می کند و حداقل از دست دادن جدیدی به دلیل پرکارکردگی به دست می آید.به همین دلیل است که R مربع افزایش می یابد با هر علاوه بر ویژگی های جدید. بنابراین، ناتوانی آن در کاهش ارزش زمانی که ویژگی های جدید اضافه می شود، توانایی خود را برای شناسایی در صورتی که مدل بهتر با ویژگی های کمتر انجام داد، محدود می کند.R-Squared تنظیم شدهR-Square تنظیم شده با رد ناتوانی آن در کاهش ارزش با ویژگی های اضافه شده، مشکل میدان R را حل می کند. این مجازات نمره به عنوان ویژگی های بیشتر اضافه شده است.?نامدار در اینجا عنصر سحر و جادو است که با افزایش تعداد ویژگی های افزایش می یابد. بنابراین افزایش قابل توجهی در R2 برای افزایش ارزش کلی مورد نیاز است.متریک خوشه بندیالگوریتم های خوشه بندی گروه هایی از نقاط داده را پیش بینی می کنند و از این رو متریک های مبتنی بر فاصله بیشترین اثربخشی را دارند.اندیت دانشاخص دان بر روی شناسایی خوشه هایی تمرکز دارد که واریانس پایینی دارند (در میان تمام اعضای خوشه) و جمع و جور هستند. میانگین مقادیر خوشه های مختلف نیز باید از هم دور باشند.با این حال، نقطه ضعف شاخص دان این است که با تعداد خوشه های بیشتر و ابعاد بیشتر، هزینه محاسبات افزایش می یابد.ضریب سیلوتضریب سیلوت ردیابی می کند که چگونه هر نقطه در یک خوشه به هر نقطه در خوشه های دیگر در محدوده -۱ تا +۱ نزدیک است.:• مقادیر سیلوت بالاتر (نزدیک تر به +۱) نشان می دهد که نقاط نمونه از دو خوشه مختلف دور هستند.• نشان می دهد که نقاط نزدیک به مرز0 تصمیم گیری• و مقادیر نزدیک تر به -1 نشان می دهد که نقاط به اشتباه به خوشه اختصاص داده شده است.روش آرنجاز روش آرنج برای تعیین تعداد خوشه ها در یک مجموعه داده با رسم تعداد خوشه های روی محور ایکس در برابر درصد واریانس توضیح داده شده بر روی محور y استفاده می شود. نقطه ای در محور x که منحنی به طور ناگهانی خم می شود (آرنج) در نظر گرفته می شود تا تعداد مطلوب خوشه ها را پیشنهاد کند.تجارت کردنسوگیری در مقابل واریانسدر ابتدای این مقاله ذکر سوگیری و واریانس برای درک نیاز به ارزیابی و انتخاب مدل مهم بود. اما درک آن با جزئیات بیشتر برای درک مفاهیم ارزیابی و انتخاب به خوبی ضروری است.سوگیری زمانی رخ می دهد که یک مدل به طور دقیق با فرضیات اداره می شود - مانند مدل رگرسیون خطی فرض می کند که رابطه متغیر خروجی با متغیرهای مستقل یک خط مستقیم است. این امر منجر به کم کردن زمانی می شود که مقادیر واقعی به طور غیر خطی با متغیرهای مستقل مرتبط باشند.واریانس بالا است زمانی که یک مدل بر روی مجموعه آموزش بیش از حد تمرکز می کند و تغییرات را بسیار نزدیک یاد می گیرد، به خطر انداختن بر روی عمومی سازی. این امر منجر به پرت شدن بیش از حد می شود.یک مدل بهینه مدلی است که کمترین سوگیری و واریانس را دارد و از آنجا که این دو ویژگی به طور غیر مستقیم متناسب هستند، تنها راه رسیدن به این امر از طریق یک معامله بین این دو است. بنابراین انتخاب مدل باید به گونه ای باشد که سوگیری و واریانس مانند تصویر زیر با هم تداخل داشته باشند..این امر را می توان با تنظیم دوباره هیپرپارانترهای مدل در استفاده به دست آورد (Hyperparameters پارامترهای ورودی هستند که به توابع مدل تغذیه می شوند). پس از هر بار، ارزیابی مدل باید با استفاده از یک متریک مناسب صورت گیرد.منحنی های یادگیری بهترین راه برای ردیابی پیشرفت آموزش مدل یا ساخت تا استفاده از منحنی های یادگیری است. این منحنی ها به شناسایی نقاط مطلوب در مجموعه ای از ترکیب های هایپرپارامتر کمک می کنند و به طور گسترده ای در انتخاب مدل و فرایند ارزیابی مدل کمک می کنند.به طور معمول، یک منحنی یادگیری راهی برای ردیابی یادگیری یا بهبود عملکرد مدل در محور y و زمان یا تجربه بر روی محور ایکس است.دو منحنی یادگیری محبوب ترین هستند:• آموزش منحنی یادگیری – آن را به طور موثر رسم ارزیابی اضافه کاری نمره متریک در طول یک فرایند آموزش و در نتیجه، کمک می کند تا برای ردیابی یادگیری و یا پیشرفت مدل در طول آموزش.• منحنی یادگیری اعتبارسنجی – در این منحنی، نمره متریک ارزیابی در برابر زمان بر روی مجموعه اعتبار سنجی رسم می شود.گاهی اوقات ممکن است آنقدر اتفاق می افتد که منحنی آموزش نشان می دهد بهبود اما منحنی اعتبار سنجی نشان می دهد عملکرد مانعاین نشان دهنده این واقعیت است که مدل بیش از حد در حال پر کردن است و نیاز به بازگشت به ادامه های قبلی دارد. به عبارت دیگر منحنی یادگیری اعتبارسنجی مشخص می کند که مدل چقدر خوب در حال عمومی شدن است. بنابراین، یک tradeoff بین منحنی یادگیری آموزش و منحنی یادگیری اعتبار سنجی وجود دارد و تکنیک انتخاب مدل باید بر نقطه ای تکیه کند که هم منحنی ها با هم تداخل دارند و هم در پایین ترین حد خود قرار دارند.mohammad ranjbarpourmohammad ranjbarpourSun, 19 Dec 2021 15:25:29 +0330https://virgool.ir/@m_69819432/هوش-مصنوعی-فرصت-یا-تهدیدی-برای-اینده-بشر-مروری-بریادگیری-ماشین-و-روش-ها-kiavx0ueo5j8فرآیند اندیشه و تفکر و طرز کار مغز از گذشته‌های بسیار دور مورد توجه فیلسوفان و دانشمندان در همه جای جهان بوده‌است. یونانیان باستان عقیده داشتند که می‌توان در یک بدنه مکانیکی مغزی ساختگی قرار داد. یکی از اسطوره‌های یونان یک غول آهنی بود که مغزی مکانیکی داشت.آلن تورینگ یکی از تاثیرگذارترین افراد در حوزه هوش مصنوعی است و بسیاری مقاله‌ای که او در سال ۱۹۵۰ منتشر کرد را تولد هوش مصنوعی می‌دانند. او همچنین تست تورینگ را پیشنهاد داد که معیاری برای تشخیص هوشمندی ماشین است. یکی از اولین پروژه‌های عملی هوش مصنوعی، ایده گرفتن از مفهوم شبکه عصبی و نورون‌ها بود. دو نفر از دانشجویان دانشگاه هاروارد در سال ۱۹۵۰ اولین شبکه عصبی مصنوعی را که شامل ۴۰ نورون بود ساختند. نورون‌ها واحد‌هایی یک‌شکل در مغز هستند که پیام‌های عصبی را منتقل می‌کنند. جالب است بدانید شبکه‌های عصبی مصنوعی جدید که از آن‌ها برای طبقه‌بندی تصاویر استفاده می‌شود دارای هزاران نورون هستند!باخت کاسپاروف، قهرمان شطرنج جهان، از سیستم deep blue باعث شد تا هوش‌ مصنوعی در کانون توجه قرار گیرد. این سیستم که توسط IBM طراحی شده بود؛ در اولین مسابقه در سال ۱۹۹۶ کاسپاروف پیروز شد اما در رقابت بعدی که در سال ۱۹۹۷ اتفاق افتاد، deep blue توانست کاسپاروف را شکست دهد. هوشمندیِ ساختگی از گذشته برای نویسندگان و فیلم‌سازان جذابیت خاصی داشته و به طرق مختلف از آن در آثار خود استفاده کرده‌اند. هوشمندی را می‌توان با اشکال مختلفی تعریف کرد. در کتاب معروف «هوش مصنوعی، یک رویکرد مدرن دیدگاه‌های مختلف از دو بعد مورد بررسی قرار گرفته‌اند. از منظر اول هوشمندی یا در رفتار است یا در تفکر و از منظر دوم هوشمندی در انسان‌گونه بودن یا در منطقی بودن (rationality) است. فرض کنید هوشمندی مورد نظر خود را انتخاب کردیم. قدم بعدی ساخت عامل هوشمند (intelligent agent) است. عامل می‌تواند سخت‌افزاری یا نرم‌افزاری باشد و بر حسب محیطی که عامل قرار است در آن مورد استفاده قرار گیرد، می‌تواند دارای اجزای مختلفی باشد. برای مثال، عاملی که با انسان در ارتباط است باید توانایی دریافت و درک زبان طبیعی را داشته باشد و عامل فیزیکی ممکن است نیازمند بازوهای حرکتی برای انجام اعمال انتخابی باشد .هوش مصنوعی سال‌های بسیاری مورد توجه محققان و دانشمندان بوده اما در سال‌های اخیر به مرحله عملیاتی شدن رسیده و به یکی از جذاب‌ترین حوزه‌های دانش و مهندسی بدل شده است. در آینده‌ای نه چندان دور، ربات‌هایی که از انسان، قابل تشخیص نیستند افزایش خواهند یافته هم‌اکنون هوش مصنوعی حوزه‌های بسیاری را شامل می‌شود و همچنان در حال بزرگ‌تر شدن است. امروزه هر برنامه‌ای که هوشمندی داشته باشد یا به نوعی رفتار انسان را تقلید کند، به عنوان هوش مصنوعی پذیرفته می‌شود. یادگیری ماشین بعد از هوش مصنوعی موضوعیت پیدا کرد و آن را می‌توان زیر مجموعه هوش مصنوعی در نظر گرفت. یادگیری ماشین ویژگی‌هایی دارد که آن را از دیگر روش‌های هوش مصنوعی متمایز می‌کند.یکی از مهم‌ترین ویژگی‌های یادگیری ماشین، یادگیری با استفاده از داده و بدون استفاده از دستورات مستقیم است. در انواع دیگر هوش مصنوعی ممکن است شاهد نوعی از هوشمندی باشیم که از داده‌ها استفاده نمی‌کند. ویژگی دیگر یادگیری ماشین، تغییر خود با دیدن داده‌های جدید است؛ یعنی همانند انسان با کسب تجربیات جدید رفتار خود را تغییر می‌دهد.قدرت الگوریتم‌های یادگیری ماشین امکانات بسیاری را به جامعه عرضه کرده و حوزه‌های بسیاری به آن وابسته شده‌اند. صنعت، دانشگاه، حوزه سلامت، اقتصاد و تجارت، کسب و کارها و بسیاری دیگر، از یادگیری ماشین برای پیشبرد اهداف خود استفاده می‌کنند. یکی از اولین کاربرد‌های یادگیری ماشین در تشخیص ایمیل های spam بود. امروزه ماشین‌های بدون راننده در سطح شهرها در حال حرکت هستند، صاحبان‌محصول از سیستم‌های پیشنهاد‌ دهنده برای پیشنهاد محصول استفاده می‌کنند، اقتصاددانان برای پیش‌بینی روند بازار از آن استفاده می‌کنند و همچنان کاربرد‌های بیشتری در حال ایجاد شدن است.به دلیل اهمیت استفاده از الگو‌های داده در تصمیم‌گیری شرکت‌ها، شغل‌های مرتبط با داده به یکی از جذاب‌ترین شغل‌های حاضر تبدیل شده‌اند. یکی دیگر از عوامل جذاب شدن یادگیری ماشین در عصر حاضر، توجه ویژه برنامه‌نویسان و شرکت‌های برنامه‌سازی به آن است. زبان پایتون و R از محبوب‌ترین زبان‌های قابل استفاده برای یادگیری ماشین هستند و کتابخانه‌های بسیار قدرتمندی در این زبان‌ها برای رفع نیازهای علاقه‌مندان این حوزه در حال گسترش است. افرادی که قصد ورود به این زمینه را دارند با دریایی از زبان‌ها و کتابخانه‌ها و ابزارها روبرو می‌شوند و متناسب با نیاز خود می‌توانند از آن‌ها بهره ببرند. با درک اهمیت دانش و اطلاعات، بسیاری به فکر استفاده از داده‌های موجود افتادند و سعی کردند در تصمیم‌گیری‌ها از نتایج تحلیل داده استفاده کنند. از گذشته تحلیل و ارزیابی اطلاعات شرکت‌ها از اهمیت فوق‌العاده برخوردار بوده‌است و همیشه آمار و گزارش‌های یک شرکت در تصمیمات آینده آن تاثیرگذار بوده‌اند. نیاز جامعه به بررسی آمار و داده‌ها سبب به وجود آمدن تخصص‌هایی در این زمینه شد. افرادی در سازمان‌ها مشغول به کار شدند تا امور مرتبط با داده را انجام دهند. بسته به نوع فعالیت افراد اسامی مختلفی به آن‌ها نسبت داده می‌شود. تحلیل‌گر داده، معماری مناسب برای جمع‌آوری اطلاعات یک سازمان را طراحی می‌کند و پایگاه داده مناسب برای این کار را انتخاب می‌کند؛ داده‌های خام را از منابع داخلی و خارجی جمع‌آوری می‌کند و پس‌ از آماده‌سازی و انتخاب قالب مناسب، آنها را در پایگاه‌ داده‌ای که طراحی کرده ذخیره می‌کند.سپس داده‌ها را مورد بررسی قرار می‌دهد و از داده اطلاعات مفید استخراج می‌کند. او برای اینکار باید اطلاعاتی در مورد زمینه فعالیت‌های سازمان و اهداف آن داشته باشد. نتیجه فعالیت‌های تحلیل‌گر داده می‌تواند گزارش‌های کلی یا روابط بین داده‌ها باشد و معمولا در جهت اهداف سازمان است. داشتن مهارت‌های برنامه‌نویسی برای تحلیل‌گر داده ضروری نمی‌باشد و می‌تواند از نرم‌افزار‌ها یا سرویس‌های وب برای انجام کارهای خود استفاده کند. دانشمند داده سطح بالاتری از تحلیلگر داده دارد و نیازمند دانش آماری و ریاضیاتی و برنامه‌نویسی قوی‌تری نسبت به تحلیلگر داده است. همه اموری که تحلیل‌گر انجام می‌دهد، دانشمند هم می‌تواند انجام دهد و علاوه بر آن باید با مفاهیم یادگیری ماشین و دانش برنامه‌نویسی آشنا باشد تا بتواند ابزارهایی برای تحلیل عمیق‌تر داده طراحی کند. مدیریت جریان های داده و یکپارچه‌سازی آن در شرکت‌های بزرگ تبدیل به تکلیف جدیدی شد و به تدریج نیاز به مهندسین داده پررنگ تر شد و شغل جدیدی به‌وجود آمد. این جایگاه جدید داده‌ها را از منابع مختلف و با قالب‌های مختلف می‌گیرد و در اختیار تحلیل‌گران و توسعه‌دهندگان و دیگر مصرف‌کنندگان داده قرار می‌دهد. مهندس یادگیری ماشین در واقع نقطهی تلاقی مهندسی نرم‌افزار و علم داده است. این موقعیت هم همانطور که حدس زدید بسیار حرفه‌ای است. مهندس یادگیری ماشین نقاط مشترک فراوانی با مهندس داده دارد. ر دو در فرآیند رسیدن داده از محل تولید تا مدل نقش داشته و با ساختار‌های داده و پیچیدگی‌های مرتبط با آن آشنایی دارند. مهندس یادگیری ماشین علاوه بر اینکه داده را تا رسیدن به مدل همراهی می‌کند، مسئول رساندن خروجی به کاربر نهایی نیز هست. وظایف مهندس یادگیری ماشین جنبه نظری و عملیاتی دارند. به این صورت که او باید دانش کاملی از الگوریتم‌ها و روش‌های یادگیری ماشین داشته باشد. صنایع معدنی با توجه به عدم قطعیت بالا و حجم بسیار زیاد اطلاعات جزو صنایع پیچیده به حساب می آید. لذا یادگیری ماشین و هوش مصنوعی در این صنایع با پیشرفت تکنولوژی بیش از پیش مورد استفاده قرار گرفته است استفاده از یادگیری ماشین در صنایع معدنی ایران قدمت زیادی ندارد، اما سرعت رشد این تکنولوژی در صنایع با توجه به نتایج قابل قبولِ گرفته شده بالا می‌باشد.چهار کاربرد از یادگیری ماشین در معدن :پردازش تصاویر ماهواره ای - پیش‌بینی متغیرهای ژئومتالورژیکی-آنالیز تصاویر مربوط به جعبه مغزه‌ها-پردازش تصاویر گرفته‌شده از پهپاد برای شناسایی هدف‌های از پیش تعیین شدهپس از آشنایی با مفاهیم یادگیری ماشین و به دست آوردن اطلاعاتی برای تحلیل داده لازم است با تکنیک‌های حل مسائل مخت را برسی میکنیم. انتخاب ویژگی‌های مناسب از داده، برای استفاده در مدل‌سازی - مدل‌سازی مانند طبقه بندی یا ، تخمین - ارزیابی دقت مدل یادگیری ماشیندرک ریاضیات پشت صحنه مدل‌های یادگیری ماشیندر دهه‌های هفتاد و هشتاد میلادی در خانه هر‌کسی کامپیوتر نبود و افراد کمی به اینترنت دسترسی داشتند. در آن دوره تکنیک‌های یادگیری ماشین در حال ارتقا و گسترش بودند تا الگو‌های موجود در داده را بهتر و سریع‌تر پیدا کنند. با توجه به شرایط آن دوره، این تکنولوژی به شکلی محرمانه توسط مهندسان و دانشمندان حوزه کامپیوتر در حال گسترش بود. به عقب‌تر برگردیم. فرض کنید دهه پنجاه میلادی است و چیزی به نام یادگیری ماشین وجود ندارد. در آن دوره یکی از مهندسان IBM که نامش آقای آرتور ساموئل بود، برای اولین بار از کلمه یادگیری ماشین استفاده کرد و تعریف زیر را برای آن ارائه دادیادگیری ماشین زمینه‌ای از تحقیقات است که به کامپیوترها توانایی یادگیری بدون برنامه‌نویسی صریح را می‌دهد. داده‌ها عنصر محوری یادگیری ماشین هستند و ماشین‌ها از داده‌ها یاد می‌گیرند، به این صورت که ما داده‌ها را به عنوان ورودی به الگوریتم می‌دهیم تا خروجی مورد نیازمان را دریافت کنیم. داده‌، در نتیجه مشاهدات و اندازه‌گیری‌ها شکل می‌گیرد و توصیف این وضعیت مشاهده شده به شمار می‌آید. یکی از شگفت‌انگیز‌ترین توانایی‌های انسان، استفاده از زبان طبیعی برای نگهداری و تبادل مفاهیم و اطلاعات است. تحقق توانایی پردازش زبان طبیعی برای ماشین‌ها می‌تواند باعث تحول بزرگی شودداده‌ای که پردازش زبان طبیعی با آن کار می‌کند، جملات و کلمات تولید شده توسط انسان‌ها هستند.تشخیص گفتار: تشخیص گفتار، برقراری ارتباط با کامپیوترها را از طریق حرف زدن عادی ممکن می‌سازد و خود دریچه‌ای به سایر کاربردهای هوش مصنوعی است.دسته‌بندی نوشتارها یا نظرات: مثلاً در یک فروشگاه اینترنتی نظرات مثبت و منفی و نقاط قوت و ضعف هر کالا می‌تواند به این صورت دسته‌بندی شود.پاسخ دادن به سوالات: چیزی که گاهی هنگام جستجو در گوگل با آن مواجه می‌شویم.از میان حوزه‌های مختلف یادگیری ماشین، بینایی ماشین پیشرفت خیره‌کننده‌ای را در سال‌های اخیر داشته و در تکنولوژی‌های روزمره به صورت گسترده استفاده می‌شود. داده‌ای که در این قسمت با آن سر و کار داریم تصاویر ثبت شده توسط دوربین‌های مختلف عکس‌برداری یا فیلمبرداری هستند. در مورد بعضی از انواع داده، تغییرات آن و در نتیجه مقدار آن در طول زمان اهمیت ویژه‌ای دارد. ماشین می‌تواند با دیدن تغییرات ویژگی مشخصی از یک داده در طول زمان، الگوی تغییرات آن را یاد بگیردبرای حل مسائل پیچیده‌تر نیز باید بتوانیم از مدل‌ها و ابزار‌های پیشرفته‌تر استفاده کنیم : مدل‌های پیشرفته (شبکه‌های عصبی و …) - ریاضیات کاربردی پیشرفته - کاربرد‌های پیشرفته یادگیری ماشین (سیستم‌های پیشنهاد دهنده، دسته‌بندی متون و …)یادگیری ماشین با برنامه نویسی صریح تفاوت دارد. زیرا در برنامه نویسی ساده برنامه نویس باید الگوهای متفاوت را خودش تشخیص داده و به صورت دستی برای آن برنامه نویسی کنیم اما در یادگیری ماشین، ما صرفا مدلی را طراحی می‌کنیم که این مدل خود قادر به یادگیری و پیدا کردن الگوها به طور اتوماتیک است. در حالاتی که مساله مورد نظر پیچیده می‌شود، پیدا کردن این الگوها برای انسان اغلب دشوار یا حتی غیر ممکن می‌شود اما برای ماشین‌ها به دلیل قدرت پردازشی بالا این کار بسیار ساده‌تر است و این موضوع دلیل اصلی شهرت یادگیری ماشین می‌باشد. الگوریتم‌های یادگیری ماشین، مثل انسان با کمک تجربه یاد می‌گیرند. داده همان تجربه‌ای است که به عنوان ورودی به الگوریتم داده می‌شود.تام میشل یاد گیری ماشین را اینگونه بیان میکند :اگر کارایی برنامه در انجام تکلیف T که با سنجه P ارزیابی می‌شود، با تجربه E افزایش یابد، می‌گوییم که برنامه یاد گرفته است از تجربه E با توجه به تکلیف T و سنجه P استفاده کند. تکلیف T در واقع همان مساله‌ای است که ما انتظار داریم بتوانیم با یادگیری ماشین حل کنیم. تجربه Eبرای انجام فرایند یادگیری، که منجر به حل تکلیف T می‌شود، ما نیازمند تعدادی نمونه (sample) هستیم که اطلاعات مورد نیاز در مورد مساله را به ما می‌دهند. سنجه Pهر مدل یادگیری ماشینی که طراحی کنیم، به هرحال به طور ۱۰۰ درصدی نتیجه درست و مناسبی را ارائه نمی‌دهد بنابراین به معیاری برای بررسی و اندازه‌گیری میزان دقت این الگوریتم نیاز داریم تا در صورت نامناسب بودن دقت آن، با تغییر پارامترهای الگوریتم بتوانیم به دقت بالاتری برسیم. به طور کلی رویکرد انجام یادگیری ماشین، دارای ۴ عنصر اساسی است: 1-یک الگوریتم (مدل) برای تصمیم‌گیری 2-یک معیار برای امتیازدهی اینکه عمل‌کرد مدل چقدر خوب بوده 3- بررسی خودکار کیفیت مدل بر اساس امتیاز 4-یک روش خودکار برای بهبود امتیاز بر اساس ایجاد تغییرات در مدل . همان طور که از اسم «یادگیری‌ماشین» مشخص است، تمرکز این حوزه، یادگیری یعنی کسب مهارت یا دانش از طریق تجربه کردن است. به همین دلیل، انواع مختلفی از یادگیری وجود دارد و شما به عنوان فردی که وارد این زمینه شده است، با آن‌ها روبرو خواهید شد. دسته‌بندی‌های متعددی بر اساس معیارهای مختلف ارائه شده است و دانستن آن برای شخصی که به تازگی وارد این حوزه شده است، لازم نیست؛ اما به طور کلی یادگیری ماشین به سه دسته کلی تقسیم‌بندی می شود : یادگیری بانظارت - یادگیری بی‌نظارت - یادگیری تقویتی.فرض کنید که کامپیوتر یک بچه است و ما ناظر او، به طور مثال والد یا معلم هستیم. ما می‌خواهیم به این کودک یاد بدهیم که یک خروس چه شکلی است. برای این کار، ما تعدادی عکس که بعضی از آن‌ها عکس خروس، و بعضی حیوانات دیگری هستند به کامپیوتر نشان می‌دهیم. وقتی که ما عکس خروس را نشان می‌دهیم، جمله «این خروس است» را صدا می‌زنیم و وقتی عکس‌هایی که خروس نیستند را نشان می‌دهیم، جمله «این خروس نیست» را می‌گوییم. به این روش یادگیری، یادگیری نظارت‌شده می‌گوییم. در این نوع از یادگیری، نمونه‌هایی که برای آموزش الگوریتم استفاده می‌شوند، دارای برچسب هستند. به این معنا که مدل یادگیری‌ماشین با استفاده از داده‌هایی که از قبل برچسب مشخصی دارند. در طبقه‌بندی، هدف ما پیدا کردن برچسب یا دسته مناسب برای نمونه‌های بدون برچسب می‌باشد. برای این کار، ما مدل یادگیری‌ ماشینی را با استفاده از نمونه‌های برچسب‌دار، آموزش می‌دهیم. بر اساس این یادگیری، مدل یادگیری‌ماشین می‌تواند، مجموعه‌دادگان را به دسته‌های مختلف تقسیم کند. رگرسیون در رگرسیون، هدف ما تخمین مقدار یک ویژگی (این بار مقداری پیوسته) برای یک نمونه می‌باشد. این الگوریتم‌ها برای پیش‌بینی روند بازار، قیمت خانه و دیگر مثال‌ها به کار می‌روند . تفاوت طبقه‌بندی و رگرسیون همان‌طور که دیدید هر دو دسته یاد می‌گیرند تا برچسب داده‌ها را پیش‌بینی کنند و تنها تفاوت میان این دو دسته، به نوع این برچسب بستگی دارد. در الگوریتم‌های طبقه‌بندی برچسبی که می‌خواهیم پیش‌بینی کنیم به صورت متغیری گسسته می‌باشد. یادگیری بی‌نظارت تفاوت این نوع از یادگیری با یادگیری نظارت‌شده، تنها در نبودن برچسب‌ها است. به عبارت دیگر، هیچ ناظر (برچسب) به کودک (کامپیوتر) نمی‌گوید که چه زمانی درست پیش‌بینی کرده است و چه زمانی مرتکب اشتباه شده است. در این روش یادگیری، مدل به تنهایی و بدون کمک برچسب‌هایی که در روش نظارت‌شده دیدیم، باید الگوهای پنهان را پیدا کند. الگوریتم‌های یادگیری ماشین بی‌نظارت، که در آن مدل بدون دخالت انسان و با داده‌های بدون برچسب، الگوهای پنهان بین داده‌ها را پیدا می‌کند، به طور کلی به سه دسته خوشه‌بندی ، کاهش ابعاد و استخراج قانون وابستگی تقسیم‌بندی می‌شود. نکته مهم این است که یک دانشمند علم داده، زمینه کاری مسئله (problem domain) خود را به خوبی بشناسد و بتواند الگوریتم درست را انتخاب کند.خوشه‌بندی به معنی دسته‌بندی اتوماتیک داده‌ها به خوشه‌های همگن است، به این صورت که داده‌های هر خوشه، ویژگی‌های یکسانی داشته باشند. اولین گام برای خوشه‌بندی داده‌ها، انتخاب کردن معیاری برای خوشه‌بندی است. در ساده ترین حالت، روش کاهش ابعاد یعنی کاهش دادن تعداد ویژگی‌هایی که از آن‌ها برای آموزش مدل یادگیری ماشین خود استفاده می‌کنیم. به طور مثال، کاهش دادن تعداد ستون‌های یک دیتاست جدولی، حالتی از کاهش ابعاد است. یادگیری تقویتی، یکی از روش های یادگیری ماشین است که با ذهنیت آزمون و خطا کار می‌کند. عامل هوشمند طبق حالت جاری ، حرکتی انجام می‌دهد و بر اساس آن حرکت بازخورد دریافت می‌کند؛ این بازخورد ممکن است مثبت یا منفی باشد و عامل با این بازخورد خط‌مشی خود را تغییر می‌دهد. این روش از یادگیری نزدیک‌ترین حالت به یادگیری انسان است. یادگیری تقویتی برخلاف یادگیری بانظارت و یادگیری بی‌نظارت وابسته به داده نیست، بلکه به واسطه تعامل با محیط می‌آموزد. برای بررسی دقت مدل آموزش داده شده )یا اصطلاحا سنجه p مدل(، باید پاسخ‌های آن را روی داده‌ی جدیدی تست کرد. اما همانند امتحان ممکن است شما برخی سوالات را بهتر بتوانید پاسخ دهید و صرفا استفاده از یک سوال برای تعیین میزان یادگیری شما نادرست باشد پس بهترین روش، استفاده از تعداد زیادی سوال مختلف و سپس محاسبه‌ی دقت مدل روی تمامی آن‌هاست. به همین دلیل است که معمولا تعدادی از دادگان برای انجام ارزیابی کنار گذاشته می‌شوند و از باقی آن‌ها برای آموزش مدل استفاده می‌شود. اصطلاحا به دادگانی که برای آموزش استفاده می‌شوند، دادگان آموزش (train) و به دادگانی که برای ارزیابی استفاده می‌شوند، دادگان آزمایش (test) می‌گوییم.پایتون یک زبان برنامه نویسی است که در اوایل دهه‌ی ۹۰ میلادی، توسط خیدو فان روسوم درهلند اختراع شد. از زمان اختراعش تا امروز پایتون به عنوان یک زبان برنامه نویسی سطح بالا در توسعه‌ی برنامه‌های وب و موبایل و همچنین در آنالیز داده و محاسبات علمی به کار رفته است. جامعه‌ی بزرگ توسعه دهندگانِ پایتون و ابزار‌های متن بازِ(open source) متعدد برای این زبان، می‌تواند کمک بزرگی برای برنامه نویسان این زبان باشد. در سال‌های اخیر ابزار‌های زیادی مخصوصا در حوزه‌ی علم داده برای پایتون توسعه داده شده است که آنالیز کردن داده‌ها را از همیشه آسان‌تر می‌سازد. پایتون در همه‌ی حوزه‌های علم داده دارای کتابخانه‌های متعددی است که اکثر آنها توسط شرکت‌های بزرگ یا دانشگاه‌ها پشتیبانی و دائما به‌روز‌رسانی می‌شوند. تعدادی از مهمترین کتابخانه‌های پایتون برای علم داده را در بخش کتابخانه‌های علم داده در پایتون خواهیم دید. ایتون به نسبت زبان‌های دیگر نوشتار ساده‌تری دارد و به همین دلیل سریع قابل یادگیری است و این باعث می‌شود کار، به خصوص در پروژه‌های بزرگ، راحت‌تر شود.پرکاربردترین کتابخانه‌های پایتون : نامپای (Jumpy)داده از منابع مختلفی جمع‌آوری می‌شود و ممکن است قالب‌های مختلفی (عکس، متن، صدا و ...) به خود بگیرد اما در نهایت به شکل آرایه‌ای از اعداد درمی‌آید. ذخیره‌سازی و پردازش بهینه آرایه‌های عددی از اهمیت بسیاری برخوردار است. پانداس (Pandas)یکی دیگر از کتابخانه‌های مهم اکوسیستم کار با داده پایتون، پانداس می‌باشد که از نامپای در بطن خود استفاده می‌کند. در پانداس ساختار اصلی داده به شکل دیتافریم (data frame) است که در واقع یک آرایه دو‌بعدی است که در آن سطر‌ها و ستون‌ها عنوان دارند. مت‌پلات‌لیب(Matplotlib)ساخت نمودارهایی که بتوانند اطلاعات را به خوبی انتقال دهند یکی از مهمترین کارها در تحلیل داده است. برای مثال، مشاهده روند داده و تشخیص داده‌های پرت از روی نمودار‌ به راحتی امکان‌پذیر است. کتابخانه‌های بسیاری برای مصورسازی داده در پایتون وجود دارد اما مت‌پلات‌لیب از همه پرکاربردتر است. سایکت‌لرن (scikit-learn)پروژه سایکت‌لرن در سال ۲۰۰۷ آغاز شد و پس از آن با همکاری برنامه‌نویسان به شکلی متن باز در حال گسترش است. این کتابخانه معروف‌ترین و پرکاربردترین کتابخانه یادگیری ماشین در پایتون می‌باشد و از محبوبیت بسیاری برخوردار است.یادگیری‌ماشین به شرکت‌ها این امکان را می‌دهد که کارهایی که قبلاً تنها توسط انسان‌ها امکان‌پذیر بود را با سرعت بالاتر و دقت بیشتر انجام دهند، از یادگیری‌ماشین حتی برای حل کردن مشکلات بزرگ‌تر مانند تشخیص تصاویر در اتومبیل‌های خودران، پیش‌بینی زمان وقایای طبیعی نیز استفاده می‌شود، به همین دلیل یادگیری‌ماشین اهمیت بسیار بالایی دارد. اکنون دلیل موفقیت بسیاری از صنایع در حال توسعه، مدل های یادگیری ماشین بسیار قوی هستند که قادر به تجزیه و تحلیل داده‌های بزرگ‌تر و پیچیده‌تر هستند. با داشتن این مدل‌های دقیق، یک سازمان شانس بیشتری در شناسایی فرصت‌های سودآور یا جلوگیری از خطرات ناشناخته دارد. داده اساس یادگیری‌ماشین است و هیچ الگوریتم و مدلی با داده بد نمی‌تواند عملکرد خوبی داشته باشد. داده‌ بی‌کیفیت پر است از مقادیر اشتباه و گم‌شده. همواره باید سعی در انتخاب ویژگی‌هایی داشته باشیم که مدل بتواند از آن‌ها بیاموزد و از دل آن‌ها الگوهایی برای پیش‌بینی آینده استخراج کند. منظور از داده نامناسب آن است که داده به قدری بی‌کیفیت است که اطلاعات دقیق و جامعی از هدفی که قصد مدل کردن آن را داریم به دست نمی‌دهد. زمان در یادگیری‌ماشین از دو جهت اهمیت دارد؛ هم مدت زمانی که طول می‌کشد تا آموزش مدل تمام شود، هم زمانی که مدل برای پیش‌بینی نمونه‌ها مصرف می‌کند. مدت زمانی که طول می‌کشد تا آموزش مدل تمام شود، طول مدت توسعه محصول را تحت تاثیر قرار می‌دهد و زمان مصرفی توسط مدل برای پیش‌بینی نمونه‌ها زمانی است که کاربر‌ نهایی تجربه می‌کند. نحوه حل سوالات در یادگیری ماشین به این صورت است: 1-خواندن داده از فایل csv 2-تغییر واحد داده‌ها 3-مصورسازی داده 4- ساختن دادگان آموزش وآزمایش 5- انتخاب مدل مناسب وآموزش 6-تخمین مقادیرتست وارزیابی عملکرد مدلامروزه شاهد پیشرفت‌های بزرگی در زمینهٔ هوش مصنوعی هستیم اما همچنان با آنچه در فیلم‌ها و داستان‌ها از یک عامل هوشمند متصوریم که در انجام کارهای گوناگون از توانایی مشابه انسان برخوردار است فاصله داریم. عامل‌های هوشمندی که امروزه ساخته می‌شوند معمولا در حل یک مسئله خاص به هوشمندی رسیده‌اند. مثل تشخیص انسان‌های داخل تصویر یا انجام بازی شطرنج. به این نوع از هوش مصنوعی، هوش مصنوعی محدود یا ضعیف اطلاق می‌شود. در مقابل، آنچه هوش مصنوعی عمومی (artificial general intelligence) و یا قوی نامیده می‌شود، عبارت است از ساختن عامل هوشمندی که مانند انسان از هوشی عمومی برخوردار باشد که توانایی آموختن در مواجهه با هر مسئله جدیدی را داشته باشد و محدود به یک زمینه یا مسئله خاص نباشد. دستیابی هوش مصنوعی عمومی، آرزوی بلندپروازانه‌ایست اما به طور جدی مورد توجه قرار دارد. در ادامه تحولات شگفتی که برای هوش مصنوعی پیش‌بینی می‌شود، از نقطه‌ای نام برده می‌شود که هم با شکوه و هم دلهره برانگیز است و آن نقطه تکینگی فناوری (technological singularity) است. زمانی که پیشرفت تکنولوژی به نقطه‌ای غیرقابل کنترل و برگشت‌ناپذیر برسد که تمدن انسانی را تحت تاثیر قرار دهد. از مثال‌های چنین پیشرفتی که می‌تواند شگفت انگیز یا خطرناک باشد، ادامه دار بودن افزایش قدرت پردازشی و تحقق هوش مصنوعی عمومی است. اگر انسان بتواند یک موجود هوشمندتر از خود پدید آوردچه کسی می‌داند تا کجا پیش می‌رودچنین اتفاقی می‌تواند تبدیل به یک انفجار هوش شود و به یک عامل فراهوشمند بیانجامد که هوش تمام بشریت را پشت سر می‌گذارد. بسیاری از صاحب نظران معتقدند تا سال‌های دهه ۲۰۴۰-۲۰۵۰ شاهد چنین تحولات شگرفی خواهیم بود. کتاب‌های بسیاری برای آموزش یادگیری ماشین منتشر شده‌اند که هر کدام رویکرد خاص خود را به این موضوع دارند. از زمان پیدایش یادگیری ماشین تا سالهای اخیر اکثر کتاب‌ها جنبه آکادمیک داشتند و بیشتر در صدد شفافسازی الگوریتم‌ها و آموزش ریاضیات و آمار مورد نیاز برای استفاده از روش‌ها بودند. پس از گسترش ابزارهای نرم افزاری یادگیری ماشین که به نوعی دید جعبه سیاه به الگوریتم‌های یادگیری ماشین داشتند، کتابهایی با هدف آموزش استفاده از این ابزارها منتشر شد و در آنها دیگر خبری از ریاضیات و آموزش مفاهیم پیشرفته نبود.منبع (https://quera.ir/college/land/college/8522/)mohammad ranjbarpourmohammad ranjbarpourMon, 29 Nov 2021 03:04:51 +0330