https://virgool.ir/feed/@m_87774900fa2026-11-13 00:02:05https://virgool.ir/images/default-avatar.jpghttps://virgool.ir/@m_87774900https://virgool.ir/@m_87774900/پرسش-و-پاسخ-در-پردازش-زبان-طبیعی-sdprsoydhozbپاسخ به پرسش Question Answering:سیستم پرسش و پاسخ (Question Answering) یا به اختصار QAسیستمی است که به صورت اتوماتیک به پرسش مطرح شده توسط انسان در زبان طبیعی پاسخ می‎دهد.موضوع پاسخ به پرسش در حوزه پردازش زبان طبیعی یکی از مقولات پرطرفدار و پرکاربرد است که بر ساختن سیستم‌هایی تمرکز دارد که به طور خودکار به سؤالات مطرح شده توسط انسان به زبان طبیعی پاسخ می‌دهد.درک رایانه ای از زبان طبیعی شامل توانایی یک سیستم برنامه برای ترجمه جملات به یک زبان قابل فهم است به طوری که این سیستم پاسخ های معتبری را برای سؤالات پرسیده شده توسط کاربر ایجاد می کند ، پاسخ های معتبر به معنای پاسخ های مرتبط با سوالات مطرح شده توسط کاربر است.سیستم پرسش‎ و‎پاسخ (QA) به دهه 1960 بازمیگردد. سیستم‎های پرسش‎ و‎پاسخ‎های اولیه بر روی دامنه ‎های محدود (closed domains) متمرکز بودند.دو نمونه قابل توجه از سیستم‎های پرسش‎ وپاسخ، سیستم پرسش‎ وپاسخ BASEBALL که با هدف پاسخگویی به سوالات درمورد بازي‎هاي بیسبال انجام شده در لیگ آمریکا در یک فصل، طراحی شده‎ بود. این سیستم یک برنامه ‎ی کامپیوتري بود که به پرسش‎هاي انگلیسی مرتبط پاسخ میداد. پرسش‎ها پیرامون ماه، روز، مکان برگزاری، تیم‎ها و امتیازات کسب شده در هریک از بازيها از سیستم پرسیده می‎شدند، و دومین سیستم LUNAR بود که تجزیه و تحلیل‎هاي انجام‎ شده روي نمونه سنگ‎های کره ماه که در یک سفر توسط آپولو به دست آمده ‎بودند را در یک پایگاه جمع‎ آوري کرده و به پرسش‎هایی در این زمینه پاسخ می‎داد در آن زمان براي ارزیابی این سیستم، زمین‎ شناسان را تشویق کردند تا در مدت سه روز، سوالات خود را از سیستم بپرسند. از میان 111 سوال پرسیده شده در حوزه‎ ي سنگهاي ماه، لونار توانست به 78% از پرسش‎ها به درستی پاسخ دهد.سیستم‌های پرس ‎و‎جواین سیستم‌ها پرس ‎و‎جوهای (کوئری‎های) زبان ‎طبیعی را تجزیه کرده و آن‌ها را به کوئری ‎های پایگاه ‎داده ترجمه کردند، که آنها را بتوان بر روی پایگاه‎ های‎ اطلاعاتی اجرا کرد. آنها تا حدودی به خوبی کار می‎کردند، تا زمانی که پرسش‎ها مطابق با دامنه‎ محدود دانش خود بودند. در دهه های 1980 و 1990، محققان توجه خود را به سیستم های جامع‎تر و با دامنه‎باز (open domain) جابه‎جا کردند. حرکت به دور از پایگاه‎های اطلاعاتی، آنها رویکرد بازیابی اطلاعات را پذیرفتند که وابسته به دامنه کمتر بود. آنها هر سوال را به عنوان یک پرس‎ و‎جو (Query) جستجو می‎کردند و مجموعه اسناد مربوط به آن را جمع‎آوری میکردند و پاسخ‌های کاندید از نتایج استخراج و سپس بهترین پاسخ کاندید را به جستجوگر ارائه می‎کردند. ظهور سیستم‎های QAدامنه‎ باز باعث شد تا کنفرانس بازي ابي‎متن Text Retrieval Conference TREC برای ایجاد یک مسابقه پرسش-پاسخی که از سال 1999 آغاز شده‎بود، الهام ‎بخش باشد.دامنه باز و دامنه بسته (Open domain and Closed domain)سیستم های QAبه دو دسته اصلی تقسیم می شوند:سیستم‎های QA دامنه‎ باز (open domain) و سیستم‎های QA دامنه ‎بسته یا دامنه ‎محدود(closed_domain).سوالات open-domain در پاسخ به سوالات مربوط به تقریبا همه‎ چیز است و تنها به هستان‎ شناسی جهانی و اطلاعاتی مانند جهان وب تکیه می‎کنند. از سوی دیگر، سوال closed-domain با پاسخ دادن به سوالات در یک حوزه‎ خاص (موسیقی، پیش بینی آب و هوا و غیره) با استفاده از سیستم‎های پردازش‎ زبان‎ طبیعی است با ساختن هستان‎ شناسی خاص در حوزه خاص به سوالات در آن حوزه پاسخ می‎دهد.انواع مختلف سیستم‎های پرسش ‎و‎پاسخ· سیستم‎های پرسش‎ و‎پاسخ بر اساس بازیابی ‎اطلاعات (Information Retrieval).· سیستم‎های پرسش‎ و‎پاسخ بر اساس پایگاه ‎دانش (knowledge based).· سیستم‎های پرسش‎ و‎پاسخ هیبرید که ترکیبی از دو مدل بالا میباشد و سیستم هایی مانند DeepQA در واتسون IBMاز این نوع هستند.نوع اول (IRBQA)سیستم‎های پرسش ‎و‎پاسخ مبتنی بر بازیابی ‎اطلاعات یا IR،که به مقدار گسترده‎ای از اطلاعات متنی در وب یا مجموعه‎ هایی نظیر PubMedوابسته است. با توجه به سوال کاربر، تکنیک‎های بازیابی‎ اطلاعات ابتدا اسناد و مدارک مربوطه را پیدا می‎کنند. سپس سیستم‎ها (feature based، عصبی یا هر‎دو) از الگوریتم‎ های درک‎ مطلب برای خواندن این اسناد بازیابی ‎شده استفاده می‎کنند و مستقیما از قسمتی از متن، پاسخ را تهیه می‎کنند.نوع دوم (KBQA)ایده اصلی KBQA این است که کوئری های زبان طبیعی را به کوئری ساخت یافته پایگاه‎ داده تبدیل کند. مثلا :ex: query = “When was Mady born??"به یک کوئری پایگاه ‎داده تبدیل می‎شود :SELECT born_year FROM testtable WHERE name= 'Mady'و سپس پاسخ به کاربر برگردانده می‎شود.مجموعه داده های موجود برای پاسخ به سؤالبرای شروع به کار در این موضوع نیاز به ابزارهایی داریم که ما را برای ساخت این سیستم ها پشتیبانی کنند که می توان به بعضی از این مجموعه داده ها اشاره کرد :1- مجموعه داده پاسخ‌گویی به پرسش استنفورد (SQuAD) : یک مجموعه داده درک مطلب است که شامل سوالاتی است که توسط جمعی‌ از متخصصین در مجموعه‌ای از مقالات ویکی‌پدیا مطرح می‌شود، که در آن پاسخ به هر سؤال بخشی از متن یا گستره‌ای از متن خوانده شده می باشد یا ممکن است سوال بی پاسخ باشد.2- مجموعه داده WikiQA ، مجموعه‌ای از جفت‌های پرسش و پاسخ در دسترس عموم است که برای تحقیق درباره پاسخ‌گویی به سؤالات دامنه باز جمع‌آوری و حاشیه‌نویسی شده است.این مجموعه با استفاده از یک فرآیند طبیعی تر ساخته شده است و بیش از دو برابر مجموعه داده قبلی است.3- مجموعه داده TREC-QA شامل الگوهای پرسش و پاسخ و همچنین مجموعه ای از اسناد است که توسط تیم های شرکت کننده بازگردانده شده اند.4- مجموعه داده NewsQA : برای کمک به جامعه تحقیقاتی در ساخت الگوریتم هایی است که قادر به پاسخگویی به سؤالاتی است که نیاز به درک در سطح انسانی و مهارت های استدلالی دارند.انواع پاسخ به سوالسه الگوی اصلی پیشرفته برای پاسخ به سؤال وجود دارد:1- پاسخگویی به پرسش طبیعی(واقعی) مبتنی بر IRIR-based Factoid Question Answeringپاسخ به سؤال کاربر با یافتن بخش های متن کوتاه در وب یا مجموعه دیگری از اسناد است. در مرحله پردازش سوال تعدادی از اطلاعات از سوال استخراج می شود. نوع پاسخ یعنی نوع موجودی که پاسخ از آن تشکیل شده است را مشخص می کند (شخص، مکان، زمان و غیره). در نهایت پرس و جو کلمات کلیدی را مشخص می کند که باید برای سیستم IR در جستجوی اسناد استفاده شود.2- پاسخ به پرسش مبتنی بر دانشایده پاسخ به یک سوال زبان طبیعی با روش هدایت آن به یک پرسش در یک پایگاه داده ساختاریافته انجام می گیرد .بنابراین، شکل منطقی سؤال یا به صورت پرس و جو است یا به راحتی می توان آن را به یک سؤال تبدیل کرد. پایگاه داده می تواند یک پایگاه داده کامل رابطه ای یا پایگاه داده های ساده تر ساختار یافته مانند مجموعه های سه گانه RDF باشد. سیستم های نگاشت از یک رشته متنی به هر شکل منطقی را تجزیه کننده معنایی می نامند. تجزیه‌کننده‌های معنایی برای پاسخ‌گویی به سؤال معمولاً به نسخه‌ای از محاسبات معمول یا یک زبان پرس و جو مانند SQL یا SPARQL نگاشت می‌شوند.3- استفاده از منابع اطلاعاتی متعدد:سیستم واتسون 2011 نمونه ای از سیستمی است که برای پاسخ به سؤالات از منابع متنوعی استفاده می کند- مرحله اول پردازش سوال است.- سیستم DeepQA تجزیه، برچسب گذاری موجودیت نامگذاری شده و استخراج رابطه را روی سوال اجرا می کند.- سپس، مانند سیستم‌های مبتنی بر متن، سیستم DeepQA تمرکز، نوع پاسخ (که نوع پاسخ لغوی یا LAT نیز نامیده می‌شود) را استخراج می‌کند و طبقه‌بندی سؤال و بخش‌بندی سؤال را انجام می‌دهد.در نهایت سوال بر اساس نوع به عنوان سوال تعریف، چند گزینه ای، پازل یا پر کردن جای خالی طبقه بندی می شود.مرحله بعدی، مرحله تولید پاسخ داوطلب با توجه به نوع سؤال است، که در آن سؤال پردازش شده با اسناد خارجی و سایر منابع دانش ترکیب می شود تا پاسخ های بسیاری از داوطلبان را پیشنهاد دهد. این پاسخ های نامزد را می توان از اسناد متنی یا از پایگاه های دانش ساخت یافته استخراج کرد.سپس نوبت به نمره دهی پاسخ های داوطلبان می رسد که از منابع زیادی برای نمره دادن به داوطلبان استفاده می کند.یکی از مهمترین آنها نوع پاسخ لغوی است.در مرحله ادغام و امتیازدهی پاسخ نهایی، ابتدا پاسخ های داوطلب را که معادل هستند ادغام می کند.ادغام و رتبه بندی در واقع به صورت تکراری اجرا می شود. ابتدا کاندیداها توسط طبقه‌بندی‌کننده رتبه‌بندی می‌شوند، یک مقدار اولیه تقریبی برای هر پاسخ داوطلب ارائه می‌شود، سپس از آن مقدار برای تصمیم‌گیری استفاده می‌شود که کدام یک از انواع یک نام به عنوان پاسخ ادغام‌شده انتخاب شود، سپس پاسخ‌های ادغام‌شده دوباره رتبه‌بندی می‌شوند.چالش ها در پاسخ به سوالچالش‌های اصلی که توسط یک سیستم پاسخگویی به سؤالات ایجاد می‌شود در زیر توضیح داده شده‌اند:1- شکاف واژگانی:در یک زبان طبیعی، یک معنا را می توان به اشکال مختلف بیان کرد.از آنجایی که معمولاً تنها در صورتی می توان به یک سؤال پاسخ داد که هر مفهوم ارجاعی مشخص شود، پر کردن این شکاف به طور قابل توجهی نسبت سؤالاتی را که می تواند توسط یک سیستم پاسخ داده شود افزایش می دهد.2- گنگی :این پدیده همان عبارت است که معانی متفاوتی دارد. این می تواند ساختاری و نحوی (مانند "هواپیماهای پرنده") یا لغوی و معنایی (مانند "بانک") باشد. همان رشته به طور تصادفی به مفاهیم مختلف (مانند بانک پول در مقابل ساحل رودخانه) و چند معنایی اشاره دارد، که در آن رشته یکسان به مفاهیم متفاوت اما مرتبط (مانند بانک به عنوان یک شرکت در مقابل بانک به عنوان یک ساختمان) اشاره دارد.3- چند زبانگی:دانش در وب به زبان های مختلف بیان می شود. در حالی که منابع RDFرا می توان به چندین زبان به طور همزمان با استفاده از برچسب های زبان توصیف کرد، هیچ زبان واحدی وجود ندارد که همیشه در اسناد وب استفاده شود. علاوه بر این، کاربران زبان های مادری متفاوتی دارند. انتظار می رود یک سیستم QA یک زبان را تشخیص دهد و نتایج را در حرکت دریافت کند!منابع :http://nlpprogress.ir/farsi/question_answeringhttps://medium.com/lingvo-masino/question-and-answering-in-natural-language-processing-part-i-168f00291856مهدی نساجیمهدی نساجیTue, 21 Jun 2022 11:42:53 +0430https://virgool.ir/@m_87774900/سیستم-های-پاسخگویی-به-سوالات-زبان-طبیعی-پاسخ-های-سریع-به-سوالات-مشخص-را-دریافت-کنید-b5hbtmeaz7pgمن مطمئن هستم که شما همچنین صرف بارهای از زمان جستجو برای پاسخ به یک سوال خاص در میان ثروت کامل از اطلاعات موجود در جهان دیجیتال ما. پیدا کردن آنچه ما نیاز داریم این است که همیشه چالش برانگیزتر و وقت گیرتر شود. چه در وسعت وب جهانی و چه در وب درهم از داده های شرکت ها و سیستم های اطلاعاتی، جستجو کلمه کلیدی اغلب تنها محدود کردن جستجو. پس از آن شما نیاز به فیلتر را از طریق توده ای از نتایج جستجو برای پیدا کردن آنچه شما به دنبال. با این حال، کمک در دست وجود دارد. کشف در این مقاله چه زبان طبیعی سوال سیستم پاسخ است ، و چگونه آن را آسان تر برای پیدا کردن پاسخ در جنگل داده ها.با پیشرفت دیجیتالی شدن، حجم داده ها در سراسر جهان نیز به سرعت در حال رشد است. پورتال آمار استتیستا تخمین می زند که در سال ۲۰۲۱، ۷۹ زتابایت داده ایجاد، اسیر و مصرف شده اند. آنها انتظار دارند این تعداد در عرض 4 سال بیش از دو برابر شود، پیش بینی 181 zettabytes از داده ها برای سال 2025[1].شرکت های با استفاده از SEEBURGER کسب و کار ادغام سوئیت (BIS) قادر به پردازش مقادیر عظیمی از داده ها هر روز. این ممکن است از فاکتورها الکترونیکی، تماس های API و یا در پروتکل ها و فرمت های دیگر باشد. BIS می تواند بین سیستم های مختلف با استفاده از این داده های ساخت یافته ارتباط برقرار کند.با این حال، علاوه بر داده های ساخت یافته، داده های بیشتر و بدون ساختار بیشتری در حال تولید وجود دارد. این شامل اسناد، مقالات وبلاگ، پیام های صوتی و فیلم ها است. بخش عمده ای از این داده های بدون ساختار حاوی اطلاعات جالبی در مورد طیف گسترده ای از موضوعات است. با این حال، پیدا کردن پاسخ به یک سوال خاص شما ممکن است در مورد این موضوعات داشته باشد نه سریع است و نه آسان است. تعداد این اسناد و فایل ها فقط در حال رشد نگه می دارد! موتورهای جستجوی کلاسیک مانند گوگل، بینگ و غیره به شما کمک می کنند تا اسناد خاصی را در وب پیدا کنید، اما در واقع سیف کردن از طریق ثروت اسناد برای جزئیات خاص اغلب به کاربر باقی می مانند.یک رویکرد جدید مورد نیاز است تا جستجو سریع تر و آسان تر شود و کاربران نهایی اطلاعات مورد نیاز را پیدا کنند. اجازه دهید شما را با سیستم های پاسخ به سوال زبان طبیعی معرفی کنیم.یک سیستم پاسخ به پرسش زبان طبیعی چه چیزی است؟بر خلاف جستجوی کلمات کلیدی سنتی، یک سیستم پاسخ به پرسش زبان طبیعی یک سند کامل را به کاربر برنگرداند. در عوض کاربران به زبان طبیعی سوالی می پرسند و در مقابل پاسخ خاصی دریافت می کنند.کاربری که در «پایتخت آلمان چیست؟» نوع می کند، نه تنها یک صفحه وب با اطلاعات مرتبط دریافت می کند، بلکه پاسخ ملموس «برلین» را نیز دریافت می کند. این باعث صرفه جویی در کاربر زمان زیادی در پیدا کردن پاسخ، به خصوص اگر او در غیر این صورت باید از طریق اسناد به خصوص طولانی ترال.یک سیستم پاسخ دادن به سوال زبان طبیعی چگونه کار می کند؟در حال توسعه سیستم های پاسخ به سوال شده است یک موضوع داغ در فناوری اطلاعات برای مدتی. پیش از این تلاش هایی برای راه اندازی قوانین پیچیده ای برای فعال کردن یک سیستم برای درک سوال به طور طبیعی کلمه شده یک کاربر و ارائه پاسخ وجود داشت.سیستم های پاسخ به سوال زبان طبیعی امروز اغلب یک رویکرد استخراجی را در پیش می گیرد، و متشکل از یک بازیابی کننده و یک خواننده است. پاسخ به سوالات در پایگاه داده های بزرگ ذخیره نمی شود، بلکه سیستم تلاش می کند تا پاسخ مناسبی برای سوال یک کاربر از توده ای از متون پیدا و استخراج کند. اولاً اسناد مربوط به سوال کاربر از یک فروشگاه اسناد بارگذاری می شوند. سپس خواننده تلاش می کند تا پاسخ سوال کاربر را استخراج کند.فروشگاه اسناد چيه؟مسئولیت ارائه مدارک مربوطه به فروشگاه اسناد می باشد. راه های مختلفی برای انجام این کار وجود دارد. اغلب از یک شاخص ساده یا معکوس استفاده می شود. یکی از شناخته شده ها، که معمولاً از چنین شاخص معکوسی استفاده می شود، آپاچی لوسنه است که به عنوان شاخص در Elasticsearch مورد استفاده قرار می گیرد. این یک راه سریع و کارآمد برای تماس با اسناد است.بازیابی کننده چیه؟بازیابی کننده مسئول بازیابی اسناد مربوطه برای پرسش کاربر است. اول از همه، تلاش می کند تا شرایط مربوطه را در سوال استخراج کند. سپس از این ها برای بازیابی اسناد مربوطه استفاده می کند.به منظور تبدیل سوال کاربر به نوع پرس و جو بازیابی می تواند پردازش، تکنیک های مختلف پردازش زبان طبیعی (NLP) استفاده می شود. از جمله این موارد می توان به موارد زیر اشاره کرد:از بین بردن نقطه گذاریتوقف کامل، کاما و نقطه گذاری دیگر در بازیابی اسناد مربوطه فوق العاده است. بنابراین این ها از سوال کاربر حذف می شوند.از بین بردن کلمات توقفکلمات توقف معمولاً در حال رخ دادن کلماتی هستند که تأثیر قابل توجهی بر محتوا ندارد. مثال ها شامل مقالاتی مانند 'the', 'a', 'an'. بنابراین این کلمات فیلتر می شوند.برچسب گذاری نهادهاموجودیت ها مانند محصولات یا نام ها معمولاً بسیار مربوط به پرس و جو هستند. بنابراین این ها در پرس و جو گنجانیده شده اند.ناشیکلمات می توانند به شکل های مختلف یا مزدوگ ها (پیاده روی، راه رفتن، راه رفتن و غیره) ظاهر شوند. همانطور که آنها به خوبی ممکن است در اشکال مختلف در داخل در یک سند ظاهر می شود، چنین کلماتی به یک فرم پایه قبل از اینکه در پرس و جو گنجانیده کاهش می یابد.این مراحل به ایجاد یک پرس و جو کمک می کنند، که سپس به فروشگاه سند ساخته می شود. بازیابی کننده مرتبط ترین اسناد را می گیرد و این ها را به خواننده می رساند تا پاسخی به سوال کاربر استخراج کند.یک خواننده در یک سیستم پاسخ پرسشی چه چیزی است؟یک خواننده مسئول استخراج پاسخ از اسنادی است که دریافت می کند. با استفاده از یک مدل زبان مناسب، سعی می کند هم پرسش و هم اسناد را درک کند و مناسب ترین پاسخ را از متون استخراج کند.مدل زبانی چه چیزی است؟یک مدل زبان برای استخراج پاسخ از متون ارسال شده استفاده می شود. یکی از این مدل ها مدل BERT است که اغلب در شکل ۲ نشان داده شده است، با این حال مدل های زبان دیگری نیز در دسترس هستند. یک مدل زبان برای محاسبه احتمال وقوع یک کلمه یا عبارت آموزش دیده است.چندین نوع مختلف از مدل زبان وجود دارد. کیفیت نتایج آنها بستگی به حوزه هایی دارد که در آن ها به کار گرفته می شوند. بسیاری از این مدل ها یک ترانسفورماتور یا رویکرد مبتنی بر توجه را در نظر می گیرند که آن ها را قادر به درک و پردازش زبان می کند.مدل برت چگونه کار می کند؟نمایندگی های انکودر دولین و همکارانش از ترانسفورماتورها که معمولاً با نام BERT شناخته می شوند، یک مدل زبان قدرتمند است. آن را بر روی encoder از ترانسفورماتور Vaswani و همکاران و مکانیسم توجه می سازد.با تقسیم ورودی به کلمات فردی شروع می شود که به نشانه معروف است. این ها با نشانه های خاص بیشتر BERT تقویت می شوند و وارد مدل می شوند. برای یک سناریوی پاسخ پرسش، ورودی هم شامل سوال و هم پاراگرافی است که قرار است پاسخ از آن استخراج شود.لایه های متعددی از ترانسفورماتورها بین ورودی و خروجی مدل وجود دارد که برای محاسبه پاسخ استفاده می شوند.خروجی های مدل شروع می کنند و نشانه ها را پایان می دهند تا بهترین پاسخ را تعیین کنند. سپس از این ها برای کمک به بازگشت پاسخ به کاربر استفاده می شود.در این مرحله مدل هنوز قادر به محاسبه پاسخ های معنی دار خود نیست. برای امکان پذیر کردن این امر، مدل باید آموزش دیده باشد. در ابتدا مدل آموزش دیده بود تا درک عمومی خواندن داشته باشد. این امر آن را قادر می سازد تا در زمینه های بیشتر مورد استفاده قرار گیرد. برای این کار مدل BERT با استفاده از بیش از ۸۰۰ میلیون کلمه در BooksCorpus و همچنین نسخه انگلیسی ویکی پدیا از پیش آموزش دیده بود. برای دومی، این مدل تنها بر روی بدنه اصلی مقالات فردی آموزش دیده بود که بیش از ۲٫۵ میلیارد کلمه را در بر می گرفت. مدل توانست یاد بگیرد که کدام کلمات یا عبارات وابسته هستند یا معمولاً با کدام دیگران استفاده می شوند، و می توانند از این دانش برای کارهای دیگر استفاده کنند. مزیت پیش آموزش یک مدل این است که بعداً تطبیق آن با طیفی از وظایف خاص نسبتاً آسان است - مانند پیدا کردن پاسخ در پاراگراف ها بدون اینکه لزوماً نیاز به آموزش مجدد آن داشته باشد. https://virgool.io/p/b5hbtmeaz7pg/%F0%9F%93%B7%DA%86%DA%AF%D9%88%D9%86%D9%87%D9%85%D8%AF%D9%84BERT%DA%A9%D8%A7%D8%B1%D9%85%DB%8C%DA%A9%D9%86%D8%AF%D8%A8%D8%B1%D8%A7%DB%8C%D9%BE%D8%A7%D8%B3%D8%AE%D8%A8%D9%87%D8%B3%D9%88%D8%A7%D9%84%D8%B2%D8%A8%D8%A7%D9%86%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C[2] مدل از پیش آموزش دیده بیشتر برای وظایف پاسخ به سوال استخراجی خود با استفاده از مجموعه داده های SQuAD آماده شد. مجموعه داده های SQuAD شامل ۱۰۰٬۰ جفت سوال و پاسخ به مقالات ویکی پدیای منتخب است. با کار کردن از طریق این جفت نمونه ها، مدل بر روی درک زبان عمومی که قبلاً آموخته شده بود می سازد و استخراج و بازگشت پاسخ های درست به پرسش ها را یاد می گیرد.یک مدل از پیش آموزش دیده BERT را می توان به طور مستقیم در یک سیستم پاسخ به سوال به کار گرفت. با این حال، با پیگیری با استفاده از مجموعه داده ها از مناطق بهره متخصص یا انواع خاصی از سند، مدل را می توان آموزش داد تا نتایج حتی بهتری را در یک منطقه خاص ارائه دهد.SeeQA – SEEBURGER 'sتماشات سوال طبیعی سیستم پاسخبرنامه SeeQA یک ابزار پاسخ به سوال زبان طبیعی است که SEEBURGER از آن در خانه برای بازیابی اطلاعات از سیستم های مختلف استفاده می کند. کاربران سوالات خود را وارد یک برنامه می کنند و سیستم اسناد و مقالات وبلاگ را برای کلمات مربوطه جستجو می کند و پاسخ ها را برای کاربر استخراج می کند. مرتبط ترین پاسخ ها در یک لیست ارائه شده اند، به رنگ زرد برجسته شده اند، و در زمینه نشان داده شده اند. این بدان معنی است که کاربر نه تنها می شود و پاسخ به سوال خود را، او نیز محتوای مرتبط نشان داده شده است. https://virgool.io/p/b5hbtmeaz7pg/%F0%9F%93%B7%D8%B4%DA%A9%D9%845:%D8%A8%D8%B1%D9%86%D8%A7%D9%85%D9%87SeeQA--%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C%D8%B3%DB%8C%D8%B3%D8%AA%D9%85%D9%BE%D8%A7%D8%B3%D8%AE%D8%B3%D9%88%D8%A7%D9%84%D8%A7%D8%B2SEEBURGER این سیستم به کارکنان ما کمک کرده است تا اطلاعاتی را که نیاز دارند با سرعت بیشتری پیدا کنند. بر اساس یک نظرسنجی داخلی، پیدا کردن اطلاعات مورد نیاز را به طور قابل توجهی آسان تر کرده است. اگرچه سیستم همیشه به هر سوالی پاسخ درستی نداده است، اما بیشتر کاربران توانسته اند اطلاعاتی پیدا کنند که به مسئله آنها کمک کرده است.یک تسهیلات بازخورد یکپارچه اطلاعاتی در مورد چگونگی پاسخ های مربوطه به کاربران در اختیار سیستم قرار می دهد. این بازخورد جمع آوری و ذخیره می شود. سپس برای ایجاد داده های آموزشی جدید استفاده می شود تا مدل حتی بیشتر بهبود یابد. این فرایند یادگیری مداوم به سیستم کمک می کند تا بهتر با متون و پرسش های خاص SEEBURGER سازگار شود.این سازگاری مداوم از مدل انتخاب شده ما به متون خاص SEEBURGER به ما کمک خواهد کرد تا ببینیم تا چه حد سیستم می تواند یاد بگیرد و بهبود خود را، و در چه نقطه ای که مدل خاص را نمی توان بهینه سازی بیشتر.منبع :سیستم های پاسخ به پرسش زبان طبیعی (seeburger.com)مهدی نساجیمهدی نساجیThu, 02 Jun 2022 06:52:58 +0430https://virgool.ir/@m_87774900/مثالهايي-از-باياس-و-واريانس-در-دنياي-واقعي-nw6rdegtkuqyمثال واریانس در دنیای واقعیکلاس درس بگیرید قد مردم متفاوت است. یک قد متوسط ​​وجود دارد و قد اکثر افراد از میانگین انحراف دارد )به میزانی یا بیشتر یا کمتر(آن انحرافات را مربع کنید و سپس میانگین آنها را بگیرید. این واریانس است. حالا جذر واریانس را بگیرید. این انحراف معیار است.البته، شما همچنین می توانید میانگین، واریانس و انحراف معیار ارتفاعات را در یک کلاس درس متفاوت داشته باشید. از ارتفاعات همه در یک کشور؛ وزن به جای قد؛ درآمد به جای وزن؛ و غیره و غیره و غیره هر زمان که اطلاعات خود را توصیف یک متغیر عددی (یعنی مقدار)، آن را به یک میانگین، واریانس و انحراف استاندارد است.**********************************************************************************************وجود بایاس در برخورد گزینشی با اطلاعات و خطای تایید خودهمه‌ی ما به خوبی می‌دانیم که ظرفیت پردازش مغز انسان محدود است.خصوصاً وقتی این ظرفیت را با حجم گسترده‌ای از سیگنال‌ها و پیام‌ها که انسان از دنیای اطراف دریافت می‌کند، مقایسه می‌کنیم.این بحثی است که قبلاً تحت عنوان هیوریستیک و مغز خطاساز مورد اشاره قرار داده‌ایم.یکی از کارکردهای ارزشمند مغز این است که می‌تواند سیگنال‌ها و پیام‌هایی را که برای ما جذاب یا مفید نیستند، فیلتر کند و انرژی خود را برای پردازش پیام‌های مفیدتر ذخیره نماید.یا اگر آنها را دریافت کرد، بدون پردازش، کنار بگذارد و رها کند.تصوير كلي باياس و واريانس :مهدی نساجیمهدی نساجیFri, 14 Jan 2022 02:27:31 +0330https://virgool.ir/@m_87774900/شرح-يك-مقاله-تخصصي-كه-از-روش-داده-كاوي-پيشرفته-استفاده-كرده-است-e8iny6cqpdp4سلام دوستاندر یک مقاله پزشکی سعی شده با در نظر گرفتن علایمی خاص در افراد مختلف به این مهم با درصد 93 پی ببرند که چه اشخاصی به بیماری آنفاركتوس قلبی مبتلا می شوند.می توانید متن کامل مقاله رو اینجا ببینید : https://www.sid.ir/fa/journal/ViewPaper.aspx?id=228815البته با روشی خاص و مدرن این کار انجام شده و آن استفاده از درخت تصمیم می باشد که یک تکنیک فوق العاده در داده کاوی ست.تکنیکهای داده كاوی به طور كلی به دو دسته توصیف كننده و پیش گویی كننده تقسیم می شوند.وظایف توصیفی خواص عمومی داده ها را مشخص می كند و هدف آن پیدا كردن الگوهای قابل تفسیر توسط افراد برای داده هاست.وظایف پیش گویانه، پیش بینی رفتار آینده آنهاست و منظور از آن بکارگیری چند متغیر در پایگاه داده برای پیش گویی مقادیر آینده متغیرهاست.روشهای متعددی برای اجرای پروژه های داده كاوی وجود دارد كه یکی از روشهای قدرتمند در این زمینه متدولوژی كریسپ می باشد . مقاله نامبرده نیز بر اساس این متدولوژی تنظیم شده استدر گام اول پژوهشگر با مشورت پزشك متخصص قلب و عروق و نیز با مطالعه بر روی بیماری آنفاركتوس قلبی وتعیین فاكتورهای موثر در ابتلا و همچنین روش های تشخیصی و درمانی و روش های پیشگیری از ابتلا به بیماری، سعی در شناخت كافی حوزه مورد بررسی داشت.در گام بعد به جمع آوری داده ها از پرونده های بیماران پرداخته شد. داده های استفاده شده در این مطالعه مربوط به پرونده بیماران مراجعه كننده به بیمارستان شهید رجایی تهران در سال 3333 بود. تعداد بیماران مراجعه كننده به این بیمارستان در سال مذكور 3253 نفر بود.حجم نمونه با جدول مورگان 533 بدست آمد كه نهایتا تعداد 353 ركورد از آنها به علت عدم تکمیل متغیرهای مورد بررسی ،از پایگاه داده حذف گردید.در نتیجه میانگین سنی بیماران تحت بررسی 88سال بود. در متغیرهای سن، فشارخون سیستولیك، قند و كراتینین بین دو BUN ، خون ناشتا، قند خون كل گروه سالم و بیمار اختلاف معنی داری وجود داشت بین سایر متغیرها اختلاف معنی داری وجود نداشت و نسبت به بیماران زن بیشتر بود. سابقه خانوادگی ابتلا به بیماری های عروق كرونر، سابقه مصرف سیگار، سابقه اعتیاد، سابقه دیابت و چربی خون در گروه بیماران بیشتر از افراد سا لم بود. اما سابقه فشارخون بالا در گروه سالم بیشتر از افراد بیمار بودمهدی نساجیمهدی نساجیFri, 07 Jan 2022 21:02:12 +0330https://virgool.ir/@m_87774900/تست-hxtwfhyjyjlgاللّهمَّ صلِّ وَ سَلِّم، وَ زِد وَ بارِک، عَلی: صاحبِ الدَّعوَةِ النَّبویَّة، وَ الصَّولَةِ الحَیدریَّة، و العِصمَةِ الفاطِمیَّة، و الحِلمِ الحَسَنِیَّة، و الشّجاعَةِ الحُسَینِیَّة، و العِبادَةِ السَّجّادِیَّة، و المآثِرِ الباقِریَّة، و الآثار الجَعفَرِیَّة ، و العُلومِ الکاظِمیَّة، و الحُجَجِ الرَّضَوِیَّة، و الجُودِ التَّقَوِیَّة، و النَّقاوَةِ النَقَوِیَّة ،و الهَیبَةِ العَسکَریَّة، و الغَیبَةِ الإلهیَّة، القائمِ بِالحَقِّ، و الدّاعی إلی الصِّدقِ المُطلَقِ، کَلمةِ الله، و أمانِ الله، و حُجّةِ الله، القائمِ بِأمرِ الله، المُقسِطِ لِدینِ الله، الغالِبِ لِأمرِ اللهِ، و الذّابِّ عن حَرَمِ الله، إمام السّرِّ والعَلَنِ، دافعِ الکَربِ والمِحَن، صاحبِ الجُودِ و المِنَن، الإمامِ بِالحَقِّ، أبی القاسِم محمّدِ بن الحَسن، صاحبِ العَصرِ والزَّمان، وقاطعِ البُرهان، و خَلیفةِ الرَّحمان، و شَریکِ القُرآن، و مُظهرِ الإیمان، و سیِّد الإنسِ و الجانّ، صَلَوات اللهِ و سلَامُهُ عَلیه و علیهِم أجمَعین. الصَّلاةُ و السَّلامُ عَلیک، یا وَصیَّ الحَسَن، و الخَلَفَ الصّالِح، یا إمامَ زَمانِنا، أیُّها القائمُ المُنتَظَرُ المَهدِیّ، یابنَ رسول الله، یَابنَ أمیرِالمُؤمنین، یا إمام المسلمین! یا حُجَّةاللهِ عَلی خَلقه! یا سَیِّدنا و مولانا! إنّا تَوَجَّهنا، و استَشفَعنا، وَ تَوَسَّلنا بِکَ إلی اللهِ، وَ قَدَّمناکَ بَینَ یَدَی حاجاتِنا، فِی الدُّنیا و الآخِرَة، یا وجیهاً عِندَ الله، إشفَع لَنا عِندَ الله ـ عَزَّوَجَلّ.مهدی نساجیمهدی نساجیFri, 10 Dec 2021 22:25:36 +0330https://virgool.ir/@m_87774900/ترجمه-مقاله-زیر-رو-در-عکس-ها-دنبال-کنید-rvensw5ywifaCross-Validation in Machine Learning: How to Do It RightIn machine learning (ML), generalization usually refers to the ability of an algorithm to be effective across various inputs. It means that the ML model does not encounter performance degradation on the new inputs from the same distribution of the training data.For human beings generalization is the most natural thing possible. We can classify on the fly. For example, we would definitely recognize a dog even if we didn’t see this breed before. Nevertheless, it might be quite a challenge for an ML model. That’s why checking the algorithm’s ability to generalize is an important task that requires a lot of attention when building the model.To do that, we use Cross-Validation (CV).In this article we will cover:What is Cross-Validation: definition, purpose of use and techniquesDifferent CV techniques: hold-out, k-folds, Leave-one-out, Leave-p-out, Stratified k-folds, Repeated k-folds, Nested k-folds, Complete CVHow to use these techniques: sklearnCross-Validation in Machine Learning: sklearn, CatBoostCross-Validation in Deep Learning: Keras, PyTorch, MxNetBest practises and tips: time series, medical and financial data, imagesWhat is Cross-ValidationCross-validation is a technique for evaluating a machine learning model and testing its performance. CV is commonly used in applied ML tasks. It helps to compare and select an appropriate model for the specific predictive modeling problem.CV is easy to understand, easy to implement, and it tends to have a lower bias than other methods used to count the model’s efficiency scores. All this makes cross-validation a powerful tool for selecting the best model for the specific task.There are a lot of different techniques that may be used to cross-validate a model. Still, all of them have a similar algorithm:Divide the dataset into two parts: one for training, other for testingTrain the model on the training setValidate the model on the test setRepeat 1-3 steps a couple of times. This number depends on the CV method that you are usingAs you may know, there are plenty of CV techniques. Some of them are commonly used, others work only in theory. Let’s see cross-validation methods that will be covered in this article.Hold-outK-foldsLeave-one-outLeave-p-outStratified K-foldsRepeated K-foldsNested K-foldsCompleteادامه این مقاله به زبان انگلیسی در سایتhttps://neptune.ai/blog/cross-validation-in-machine-learning-how-to-do-it-rightترجمه در عکسهای پایینمهدی نساجیمهدی نساجیThu, 09 Dec 2021 13:59:07 +0330