«خلاصهسازی خودکار متن»، عبارتی است که اگرچه هنوز برای خیلیها یک شوخی بیشتر نیست، اما سالهاست که در رشتهی هوش مصنوعی مورد کاوش قرار گرفته و ابزارهای برخط و غیر برخط زیادی هستند که این کار را به خوبی انجام میدهند. شاید جالب باشد که اولین سامانهی خلاصهساز عمری طولانی دارد و به دههی ۵۰ میلادی باز میگردد.
خلاصهسازی متن چیست و چرا مهم و کاربردی است؟

در دنیای امروز، حجم اطلاعات موجود بسیار زیاد است و این امر دسترسی ما به دادههای متنی مهم را از میان انبوده دادههای متنی پیچیدهتر میکند. امروزه با رشد قابل ملاحظهی ميزان اطلاعات در اينترنت، انتخاب اطلاعات مرتبط، کار مشکلي است. از طرفی اطلاعات به طور همزمان روي بسياري از کانالهاي رسانهاي با نسخههاي متفاوت منتشر ميشود. اینجاست که خلاصهسازی خودکار به عنوان یکی از مهمترین راهکارهای مدیریت دادههای متنی مطرح میشود. در خلاصهسازی خودکار، هدف، کاهش حجم متن و در عین حال حفظ نکات کلیدی و مهم در متن میباشد.
وضعیت خلاصهسازی متن در زبان فارسی چگونه است؟
زبانهای مختلف از همان قرن ۲۰ ام مورد پژوهش قرار گرفت. زبان فارسی اما متاسفانه مانند دیگر کاربردهای متنکاوی بازهم عقب افتاد و بیشتر کارها در سالهای گذشته بنا نهاده شدهاند. این تاخیر طولانی علتهای زیادی داشت. از جملهی آنها:
۱. نبود پیکرهی آموزشی
۲. نبود ابزارهای پایهای مانند ریشهیاب، تشخیصدهندهی گروههای اسمی، برچسبزن اجزای سخن
۳. مشکلات و استانداردهای دوگانهی نگارشی مانند نیمفاصله و نویسههایی که چند شکل متفاوت به خود میگیرند (ی و ي، و ...)
با این وجود برخی از مشکلاتی که در بالا گفته شد همچنن پابرجا هستند و تا سالهای آینده نیز دور از ذهن است که برطرف شوند. با این وحود اما اگر علاقمند هستید که یک خلاصهساز کوچک با زبان پایتون بسازید، ادامهی مقاله را از دست ندهید!
پیش از شروع کدنویسی، باید این نکته را ذکر کرد که خلاصهسازی از منظرهای گوناگونی قابل دستهبندی است. یکی از این منظرها، دستهبندی خلاصهسازها به دو دستهی «استخراجی» و «انتزاعی» است. خلاصهساز استخراجی، خلاصهسازی است که جملههای مهم و اصلی متن اولیه را تشخیص میدهد و تلاش میکند با امتیاز دادن جملهها، جملههای مهم را تشخیص دهد و به کاربر در قالب یک متن نشان دهد اما خلاصهسازی مفهومی! خلاصهساز مفهومی، خلاصهسازی است که متن اولیه را بازنویسی میکند و چکیدهی آن را در خروجی ظاهر میکند. دقیقا مانند خلاصه کردنهای انسانی. خلاصهساز مفهومی بسیار پیچیدهتر از خلاصهساز استخراجی است و هنوز هم مبحث بسیار پرچالشی است. حتی در زبان انگلیسی!
خلاصهسازی که الان باهم خواهیم ساخت، خلاصهساز استخراجی است.
مراحل کلی کار:
۱. استخراج جملههای متن
۲. استخراج توکنهای هر جمله
۳. امتیازدهی به هر جمله (یک روش ساده برای امتیازدهی به جمله، جمع فراوانی واژگان هر جمله است)
۴. مرتب کردن جملهها برحسب امتیازهایشان، به صورت نزولی
۵. نمایش n (برای نمونه n=5) جملهی اول به کاربر به عنوان چکیده یا خلاصهی متن
به همین راحتی!
در نظر داشته باشید که این خلاصهساز، سادهترین مدل خلاصهسازی متن است.
در پایان اشارهای داشته باشیم به برخی از سامانههای خلاصهساز متن فارسی:
۱. سامانهی «لبکلام»: این سامانه مدتی است که در دسترس قرار گرفته است و جالب آن که سرویسهای مختلفی مانند، خلاصهسازی خودکار خبرهای خبرگزاریهای ایران و جهان و همچنین خلاصهسازی لینک و خلاصهسازی متن عادی را پشتیبانی میکند. جالب انکه این سامانه، متنهای سایت ویرگول را هم خلاصه میکند. در نسخهی تازهی «لبکلام»، قادر هستید متنی را وارد کنید و سپس خلاصهی آنچه که گوگل به شما نشان خواهد داد را در سایت لب کلام بهلحظه دریافت کنید. با توجه به فعلیتهای لبکلام احتمالا در اینده از لبکلام بیشتر بشنوید.
۲. سامانهی ایجاز: متاسفانه این سامانه که تحت حمایت دانشگاه فردوسی مشهد نیز بود مدتی است از دسترس خارج شده. اما جزء سامانههای قدیمی قرار دارد.
۳. سامانهی متنک: سامانهای است که توسط متخصصان مرکز تحقیقات کامپیوتری علوم اسلامی ساخته شده و هماکنون نیز امادهی سرویسرسانی است.