ویرگول
ورودثبت نام
امیرحسین مجیری
امیرحسین مجیریبذارید بهش فکر کنم. طبقه‌بندی مطالب در «انتشارات».
امیرحسین مجیری
امیرحسین مجیری
خواندن ۹ دقیقه·۵ سال پیش

معرفی سیستم استپ وان: ریشه‌یابی و قطعه‌بندی (توکنایز) متون فارسی

«استپ وان» یکی از پروژه های آزمایشگاه پردازش زبان طبیعی دانشگاه شهید بهشتی تهران است. دو کاربرد اصلی این ابزار، یکی ریشه یابی (استمینگ) واژه ها است و دیگری قطعه بندی (توکنایز کردن) متن ها. هر دو ابزار برای زبان فارسی کار می کنند. با توجه به کمبود ابزار پردازش زبان فارسی، چنین سیستمی که به رایگان قابل استفاده است و API هم دارد، می تواند خیلی مفید باشد.

این ابزار با زبان C# نوشته شده و علاوه بر دو کاربرد اصلی در هر بار فراخوانی، کارهای دیگری هم می کند. در معرفی این ابزار از دو نسخه ی «قبلی» و «جدید» صحبت شده اما API هر دو یکی هستند. در این معرفی هم از فرم خود سایت (نسخه ی جدید) استفاده می کنم و هم از API. برای ارسال و دریافت اطلاعات از و به API از افزونه ی RESTED Client در مرورگر کروم استفاده می کنم.

ریشه یابی

بخش ریشه یابی این ابزار برای واژه ها کار می کند. برای مثال بیایید ریشه ی «بگیرید» را پیدا کنیم:

یافتن ریشه ی «بگیرید» در وب سایت استپ وان
یافتن ریشه ی «بگیرید» در وب سایت استپ وان


مشخص است که برای این واژه سه حالت پیدا شده است. در یک حالت «بگیر» ریشه تشخیص داده شده و در دو حالت دیگر «گیر». همین کار را با ارسال این واژه به عنوان پارامتر inputString به صورت پست به نشانی http://nlp.sbu.ac.ir:40101/Api/Client/Stem می توان انجام داد.

ارسال «بگیرید» به API استپ وان
ارسال «بگیرید» به API استپ وان


خروجی این تابع به صورت جیسون است و فیلدهای زیادی دارد. به نظر می رسد وبسایت از دو فیلد output و stemmer_Morph استفاده می کند. برای هر حالت پیدا شده، خود واژه، پیشوندها و پسوندها، ریشه، تگ، نوع واژه، زمان دستوری (tense)، بسامد، حالت آوایی (فونتیک)، «داشتن ضمیر مفعولی چسبیده»، «ضمیر مفعولی چسبیده بودن» و شماره برگردانده می شود. در جایی از سایت فهرستی از تگ ها نیافتم و همچنین نمی دانم بسامد هر واژه در چه پیکره ای شمارش شده است. شماره (num) را هم نمی دانم چیست.

{ "message": "باموفقیت انجام شد", "result": true, "data": { "output": "بگیر|گیر|گیر", "stemmer_Morph": "نوع: صفت + فعل دوم شخص جمع\r\nصورت واجی ریشه: begir\r\nبسامد ریشه:1\r\nبگیر + ید\r\n\r\n********************************\r\n\r\nزمان: فعل حال التزامی\r\nنوع: دوم شخص جمع\r\nصورت واجی ریشه: gir\r\nبسامد ریشه: 5000\r\nب + گیر + ید\r\n\r\n********************************\r\n\r\nنوع: ب + صفت + فعل دوم شخص جمع\r\nصورت واجی ریشه: gir\r\nبسامد ریشه: 165\r\nب + گیر + ید\r\n\r\n********************************\r\n\r\n", "morphs": [ { "word": "بگیرید", "prefixs": [], "postfixs": [ "ید" ], "stem": "بگیر", "tag": "A0", "kind": "صفت + فعل دوم شخص جمع", "tense": "", "frequency": 1, "phonetic": "begir", "hasZamir_mafooli_chasbide": false, "zamir_mafooli_chasbide": "", "num": 0 }, { "word": "بگیرید", "prefixs": [ "ب" ], "postfixs": [ "ید" ], "stem": "گیر", "tag": "V1", "kind": "دوم شخص جمع", "tense": "فعل حال التزامی", "frequency": 5000, "phonetic": "gir", "hasZamir_mafooli_chasbide": false, "zamir_mafooli_chasbide": "", "num": 0 }, { "word": "بگیرید", "prefixs": [ "ب" ], "postfixs": [ "ید" ], "stem": "گیر", "tag": "A0", "kind": "ب + صفت + فعل دوم شخص جمع", "tense": "", "frequency": 165, "phonetic": "gir", "hasZamir_mafooli_chasbide": false, "zamir_mafooli_chasbide": "", "num": 0 } ] } }


من واژه های دیگری را هم تست کردم. خیلی از واژه ها به خوبی ریشه یابی شدند. مثلن در جدانویسی «می» در بعضی افعال (استفاده نکردن از نیم فاصله). که در بعضی موارد، ابزار درست عمل نکرد. مثلن:

  • واژه های محاوره ای ریشه یابی نمی شوند.
  • بعضی واژه ها ریشه یابی نشدند. مثل: نیم فاصله
  • برای بعضی واژه ها ریشه های عجیبی یافت شد. مثل ریشه ی «سلیم» برای واژه ی «سلیمانی».
  • افعال مرکب ریشه یابی نمی شوند.
  • بعضی جمع های مکسر به درستی ریشه یابی نشدند. مثل «امثال» و «خزائن».

قطعه بندی

در بخش قطعه بندی استپ وان می توان یک متن فارسی را توکنایز کرد. من از یک جمله ی ساده («متغیرها از نظر مقیاس هم با هم متفاوتند.») استفاده کردم.

توکنایز کردن یک جمله ی ساده در وبسایت استپ وان
توکنایز کردن یک جمله ی ساده در وبسایت استپ وان


با ارسال این جمله به API با نتیجه ای مشابه زیر روبرو می شویم (بخشی از نتایج را برای کوتاه شدن حذف کردم):

{ "message": "باموفقیت انجام شد", "result": true, "data": { "inputString": "متغیرها از نظر مقیاس هم با هم متفاوتند.", "tokenOutput": "متغیرها از نظر مقیاس هم با هم متفاوتند. ", "taggedSubstrings": [ { "kind": "صفت + علامت جمع", "prefixs": [], "postfixs": [ "ها" ], "word": "متغیرها", "frequency": 45, "phonetic": "motaqayyer", "num": 0, "stem": "متغیر", "tag": "A0", "tense": "", "zamirMafoliChasbide": "" }, { "kind": "قید", "prefixs": [], "postfixs": [], "word": "هم", "frequency": 7500, "phonetic": "ham", "num": 0, "stem": "هم", "tag": "Ad", "tense": "", "zamirMafoliChasbide": "" }, { "kind": "حرف اضافه", "prefixs": [], "postfixs": [], "word": "با", "frequency": 87825, "phonetic": "bA", "num": 0, "stem": "با", "tag": "Pr", "tense": "", "zamirMafoliChasbide": "" }, { "kind": "صفت + فعل سوم شخص جمع", "prefixs": [], "postfixs": [ "ند" ], "word": "متفاوتند", "frequency": 270, "phonetic": "motafAvet", "num": 0, "stem": "متفاوت", "tag": "A0", "tense": "", "zamirMafoliChasbide": "" }, { "kind": "علامت", "prefixs": [], "postfixs": [], "word": " ", "frequency": 0, "phonetic": "", "num": 0, "stem": "", "tag": "Si", "tense": "", "zamirMafoliChasbide": "" } ], "sentences": [ "متغیرها از نظر مقیاس هم با هم متفاوتند.", " " ], "words": [ "متغیرها", " ", "از", " ", "نظر", " ", "مقیاس", " ", "هم", " ", "با", " ", "هم", " ", "متفاوتند", ".", " " ] } }


در این جا هم فیلدهای زیادی برگردانده می شوند. فرق inputString و tokenOutput را متوجه نشدم (مشابه بودند). فیلدهای موجود برای هر واژه هم تقریبن مشابه بخش ریشه یابی هستند. نکته ی جالب این است که همه ی فاصله ها هم برچسب می خورند که باعث طولانی شدن نتایج شده است. همچنین به نظر نمی آید محدودیتی از نظر تعداد کاراکتر ارسالی وجود داشته باشد. من یک متن طولانی را در سایت وارد کردم و مشکلی پیش نیامد (به جز زمان طولانی پاسخ گویی).

نتیجه گیری

در این نوشته دو بخش اصلی ابزار استپ وان را که یک ابزار رایگان برای پردازش متون فارسی است بررسی کردیم: ریشه یابیو قطعه بندی. این ابزار برای توسعه ی ابزارهای مرتبط با پردازش زبان فارسی و پیکره های زبانی می تواند بسیار مفید باشد.

پردازش زبان طبیعیزبان فارسی
۳
۰
امیرحسین مجیری
امیرحسین مجیری
بذارید بهش فکر کنم. طبقه‌بندی مطالب در «انتشارات».
شاید از این پست‌ها خوشتان بیاید