همانطور که پردازش زبان طبیعی (NLP) به پیشرفت خود ادامه می دهد، نیاز به ارزیابی مدل های NLP اهمیت فزاینده ای پیدا می کند.معیارهای ارزیابی NLP به محققان و متخصصان این امکان را می دهد تا عملکرد مدل های NLP را به طور عینی ارزیابی کرده و آنها را برای تصمیم گیری بهتر مقایسه کنند.
دو معیار رایج در زمینه ارزیابی NLP امتیازات BLEU و ROUGE هستند. در این پست، به معیار BLEU خواهیم پرداخت و اهمیت آنها را در ارزیابی مدل های NLP درک خواهیم کرد. همچنین در پست بعدی به معیار ROUGE خواهیم پرداخت.
امتیاز BLEU یک معیار پرکاربرد برای کارهای ترجمه ماشینی است که در آن هدف ترجمه خودکار متن از یک زبان به زبان دیگر است. این به عنوان راهی برای ارزیابی کیفیت ترجمه های تولید شده توسط ماشین با مقایسه آنها با مجموعه ای از ترجمه های مرجع ارائه شده توسط مترجمان انسانی پیشنهاد شد.
اگرچه BLEU برای ترجمه توسعه یافته است، اما می تواند برای ارزیابی کارهای مختلف پردازش زبان طبیعی مانند بازنویسی و خلاصه سازی متن استفاده شود.امتیاز BLEU کامل نیست، اما محاسبه آن سریع و ساده است، مستقل از زبان است و مهمتر از همه، با ارزیابی انسانی بسیار مرتبط است.
دو ترجمه مرجع R1 و R2 را در نظر بگیرید که توسط متخصصان انسانی تولید شده اند و ترجمه C1 که توسط سیستم ترجمه تولید شده است.
برای بیان کیفیت ترجمه خود با یک متریک، ممکن است شمارش کنیم که چند کلمه در ترجمه C1 در ترجمه های مرجع R1 و R2 وجود دارد و نتیجه را بر تعداد کلمات C1 تقسیم کنیم تا یک درصد بدست آوریم. بنابراین نمره کامل 1.0 است و بدترین نمره 0.0 است. بیایید این متریک را *BLEU بنامیم.
در C1 سه کلمه ('the'، 'cat'، 'the') وجود دارد که در ترجمه های مرجع ظاهر می شوند، بنابراین:
BLEU*(C1) = 3/5 = 0.6
ترجمه از C1 از ترجمه کامل فاصله زیادی دارد و امتیاز 0.6 را دریافت می کند. همه چیز خوب به نظر می رسد.
مشکل تکرار یونیگرام ها
بیایید امتیاز *BLEU را برای ترجمه جدید C2 محاسبه کنیم:
این بار متاسفانه ترجمه ما خیلی خوب نیست.
هر کلمه در C2 حداقل در یک کلمه بین R1 و R2 وجود دارد، بنابراین:
BLEU*(C2) = 5/5 = 1
ما با ترجمهای بیمعنی به امتیاز کاملی دست یافتیم پس چیزی وجود دارد که باید در معیار خود اصلاح کنیم.
منطقی نیست که کلمه 'The' را پنج بار در شمارنده در نظر بگیرید، زیرا حداکثر دو بار در هر ترجمه مرجع ظاهر می شود. ما میتوانیم کلمه «The» را فقط برای دفعاتی که در هر ترجمه مرجع ظاهر میشود، بشماریم، یعنی دو. بیایید این متریک جدید را **BLEU بنامیم.
BLEU**(C2) = 2/5 = 0.4
اکنون امتیاز منطقی تر است، زیرا ما جلوی این واقعیت را گرفتیم که یک کلمه ترجمه شده خوب بارها در ترجمه ما ظاهر شود.
با در نظر گرفتن n-گرم
بیایید امتیاز **BLEU را روی دو ترجمه دیگر C3 و C4 محاسبه کنیم تا بررسی کنیم که آیا همه چیز خوب به نظر می رسد.
امتیازات **BLEU به شرح زیر است:
BLEU**(C3) = 7/7 = 1.0
BLEU**(C4) = 7/7 = 1.0
هر دو ترجمه حاوی کلماتی هستند که در ترجمه های مرجع وجود دارند، بنابراین هر دو به حداکثر امتیاز می رسند. با این حال، C4 یک جمله انگلیسی خوب نیست.
یک راه سریع برای به دست آوردن نمرات بالاتر برای جملات خوب این است که به جای 1-گرم فقط 2-گرم یا 3-گرم را در نظر بگیرید. بیایید BLEU**1 را امتیازی بنامیم که فقط 1-گرم را در نظر می گیرد و BLEU**2 را امتیازی را که فقط 2-گرم را در نظر می گیرد.
BLEU**₁(C3) = 7/7 = 1.0
BLEU**₂(C3) = 6/6 = 1.0
در عوض، در C4 تمام 2-گرم ها در هیچ ترجمه مرجعی ظاهر نمی شوند، بنابراین:
BLEU**₁(C4) = 7/7 = 1.0
BLEU**₂(C4) = 0/6 = 0.0
به طور کلی گفته می شود که امتیاز BLEU**ₙ برای n-گرم برای n کم بر روی معنی جمله و برای n بالا بر روی فرم خوب جمله تمرکز می کند.
مشخص شده است که میانگین هندسی امتیازهای BLEU**ₙ برای n بین یک تا چهار بهترین همبستگی را با ارزیابی انسانی دارد. بگذارید آن را **MEAN_BLEU بنامیم.
بیایید اکنون امتیازات BLEU**1 و BLEU**2 برای ترجمه C5 را محاسبه کنیم:
امتیازات عبارتند از:
BLEU**₁(C5) = 4/4 = 1.0
BLEU**₂(C5) = 3/3= 1.0
به نظر میرسد که C5 به ازای هر n امتیاز عالی را به دست میآورد، حتی اگر ترجمه یک قطعه از متن را با توجه به ترجمههای مرجع از دست داده باشد.
با اضافه کردن جریمه برای ترجمهای که طول آن کمتر از ترجمه های مرجع است، از این امر جلوگیری می شود. ما آن را جریمه کوتاهی (Brevity penalty) می نامیم.
امتیاز نهایی BLEU این است:
BLEU = BP * MEAN_BLEU**
یعنی، BLEU حاصلضرب جریمه کوتاهی BP (که ترجمههای کوتاهی را که حاوی متن مرتبط از ترجمههای مرجع نیستند جریمه میکند) و میانگین هندسی امتیازات BLEU**ₙ برای n بین یک تا چهار (که شامل n-گرم های کوچک را برای دریافت معنی جمله و n-گرم های بزرگ برای به دست آوردن جملات خوب).
مقدار جریمه کوتاهی Brevity penalty(BP) چقدر است؟
اگر طول ترجمه بزرگتر از طول ترجمه مرجع باشد، نباید جریمه کنیم و بنابراین BP برابر با یک است. در غیر این صورت، BP یک مقدار نمایی رو به کاهش است که زمانی که اختلاف طول بین ترجمه ما و ترجمه مرجع بیشتر باشد، کمتر است. مقاله BLEU پیشنهاد میکند که جریمه کوتاهی را در کل مجموعه به جای ترجمههای تکی محاسبه کنید تا جریمههای ترجمههای کوتاه را هموارتر کنید.