ویرگول
ورودثبت نام
سالار محتاج
سالار محتاج
سالار محتاج
سالار محتاج
خواندن ۲ دقیقه·۶ سال پیش

پروژه همتاجو

من حدود 4 سال پیش عضو تیمی بودم که تو پژوهشکده فناوری اطلاعات جهاد دانشگاهی سیستم مشابهت‌یاب متنی همتاجو رو توسعه دادیم. تقریبا همه‌مون تازه فارغ التحصیل‌های ارشد با تخصص پردازش متن یا NLP بودیم و تا جایی که میدونم این پروژه اولین تجربه کار جدی همه‌مون بود.

مشابهت‌یاب متنی چیه؟

به طور خلاصه سیستم‌های مشابهت‌یاب متنی یا کشف سرقت علمی (plagiarism detection) سیستم‌هایی هستن که میزان مشابهت متنی نوشته‌های علمی مثل مقاله یا پایان‌نامه رو با منابع متنی که در اختیار دارن بررسی می‌کنن. منابع متنی میتونه مقاله‎های قبلا چاپ شده، پایان‌نامه‌ها یا حتی صفحه‌های وب باشه. معمولا داشتن یک مقدار مشخص مشابهت متنی با منابع دیگه مجاز هست (معمولا حدود 30 درصد) و اگر میزان مشابهت بیشتر باشه بنا به قوانین کنفرانسی که مقاله برای اون ارسال شده، یا دانشگاهی که پایان‌نامه رو برای اون می‌نویسیم، ممکن هست از نویسنده خواسته بشه که بخش‌های مشابهت‌دار متن رو بازنویسی کنه یا مقاله و پایان‌نامه به طور کلی مرجوع بشه.

صفحه اصلی همتاجو
صفحه اصلی همتاجو


درباره همتاجو

سایت همتاجو تقریبا از بهمن 95 بالاست و سرویس اصلی که ارائه میده بررسی میزان مشابهت متنی بین فایل یا متنی که کاربر بارگزاری میکنه با مجموعه مقاله‌های فارسی هست که تو مجله‌ها و کنفرانس‌ها چاپ شدن و دسترسی به متنشون برای عموم آزاد هست. دو تصویر پایین نمونه‌ی خروجی هستند که بعد از انجام مشابهت‌یابی به کاربر همتاجو نمایش داده میشه.

نمونه خروجی سیستم همتاجو. تو این مثال 75 درصد متن ورودی دارای مشابهت بوده و دو مقاله مشابه مقاله (متن) بارگزاری شده توسط سیستم پیدا شده
نمونه خروجی سیستم همتاجو. تو این مثال 75 درصد متن ورودی دارای مشابهت بوده و دو مقاله مشابه مقاله (متن) بارگزاری شده توسط سیستم پیدا شده
نمونه خروجی سیستم همتاجو. جزئیات مشابهت متن وارد شده با مقاله های مشابه اون
نمونه خروجی سیستم همتاجو. جزئیات مشابهت متن وارد شده با مقاله های مشابه اون

همتاجو تا به حال بیش از 170 هزار صفحه مقاله و پایان‌نامه رو مشابهت‌یابی کرده که تقریبا معادل بیش از 13هزار مقاله 13 صفحه‌ای هست. همونطور که انتظار میره بیشترین حجم تقاضا برای مشابهت‌یابی اواخر ترم‌های تحصیلی هست و از بین اون‌ها توی دی ماه بیشترین تعداد مشابهت‌یابی انجام شده. تصویر زیر نسبت درخواست‌های مشابهت‌یابی تو ماه‌های مختلف سال رو نمایش میده.

نسبت درخواست مشابهت‌یابی در ماه‌های مختلف سال
نسبت درخواست مشابهت‌یابی در ماه‌های مختلف سال

تو نسخه فعلی همتاجو هر کاربر بعد از ثبت‌نام 20 صفحه اعتبار برای انجام مشابهت‌یابی دریافت میکنه و برای انجام مشابهت‌یابی بیشتر از این مقدار باید اعتبار خریداری کنه. معمولا با سازمان‌ها یا مجلاتی که از همتاجو برای مشابهت‌یابی مقالات و اسنادشون استفاده میکنن قرارداد بسته میشه.



نتایج فرعی پروژه

به جز همتاجو که در واقع محصول اصلی پروژه بود، تیم توسعه دهنده همتاجو تو مسابقات بین‌المللی مشابهت‌یابی PAN آلمان تو سال 2015 شرکت کرد و نتایج قابل توجهی گرفت و تو سال 2016 هم یک دوره مسابقه بین‌المللی مشابهت‌یابی برای زبان فارسی رو با مشارکت انجمن بازیابی اطلاعات هند برگزار کرد. هر دوی این مسابقات تجربه‌های بسیار ارزشمندی برای تیم همتاجو بود که شرح مفصلشون یک پست جدا می‌طلبه.

به جز این، در طول توسعه همتاجو سه پیکره متنی مشابهت‌یابی به زبان‌های فارسی و انگلیسی گردآوری شده که از طریق این صفحه قابل دانلود هستند.


پردازش متنnlp
۲
۰
سالار محتاج
سالار محتاج
شاید از این پست‌ها خوشتان بیاید