در این مطلب میخوایم یکی از مسالههای مهم این روزهای دنیای محصول و فنی که خود ما در موری هم درگیر کار کردن روی اون هستیم رو شرح بدیم: اینکه موتورهای جستجو چهطور کار میکنن، چهطور میشه از ظرفیتهای یادگیری ماشین کمک گرفت تا امکان انجام جستجوهای پیچیدهتر و هوشمندتر رو فراهم کرد، و چه چالشهایی در این مسیر وجود داره! این مطلب با دید محصولی نوشته شده و بدون پیشنیاز فنی قابل مطالعه است.
یک موتور جستجو (Search Engine) در حالت کلی از سه لایه زیر تشکیل میشه:

به شکل کلی میتوان گفت دو مدل موتور جستجو وجود داره که در ادامه سعی میکنیم هر کدوم رو کمی معرفی کنیم و از مزیتها و ایرادهای هر کدوم بگیم. یک مساله باز در فضای فنی و محصول پارادایم هیبریدی (تلفیق دو پارادایم قبلی) هست که تیمهای مختلفی از جمله موری در حال حاضر دارن روی اون کار میکنن و در انتهای مطلب به این پارادایم هیبریدی هم اشاره میکنیم.
مدل اول موتورهای جستجو، به شکل Keyword Search یا سرچ کلیدواژهای هستن. به اختصار ساختار اصلی این مدلها به این شکل کار میکنه که بر اساس شباهت متنی بین عبارت جستجو و اطلاعات کالاها، کالاها رو Rank میکنه و از شبیهترین کالا به پایین به کاربر نشان میده. پایهی این مدل جستجو بسیار ساده است، اما چند مساله جانبی محصولی/دیتایی در این مدل جستجوگری وجود داره که در هر دامین خاص نیاز به کار کردن روی اونها هست. اصلیترین این مسائل عبارته از:
از پایهایترین مدلهای این فضای جستجوگر -الگوریتم رنکینگ- BM25 هست.
خوبیها و محدودیتها
از اصلیترین خوبیهای این مدل جستجوگری در نسبت با جستجوی معنایی میشه به این موارد اشاره کرد:
میشه گفت اکثر پلتفرمهای آنلاین و موتورهای جستجو بر مبنای این مدل جستجوگری هستن و از اصلیترین دلایل این انتخاب نیز موارد ذکرشده است. البته یک نکته مهم دیگه هم اینه که جستجوی معنایی مدت کمی هست که از لحاظ مهندسی و تئوری به قوتی رسیده که قابلیت استفاده در مقیاس بالا داشته باشه.
از جمله محدودیتهای این مدل جستجو هم میشه این موارد رو ذکر کرد:
مدل جستجوی معنایی، پارادایمی هست که تلاش میکنه محدودیتهای بالا رو رفع کنه. چند دلیل اصلی وجود داره که این پاردایم اخیراً خیلی مطرح شده:
به شکل کلی این مدلها این طوری کار میکنن که یک Encoder یادگیری ماشین (تبدیلکنندهی محتوای متنی/عکسی کالاها به بردار) اطلاعات کالا را به یک بردار تبدیل میکنه و در دیتابیس ذخیره میکنه، در زمان جستجو نیز عبارت جستجو به همان Encoder داده میشه و بردار خروجی در دیتابیس جستجو میشه.

خوبیها و محدودیتها
اصلی ترین دلایلی که از مدل جستجو معنایی استفاده میشه:
مدل های زیادی در سال های اخیر ارائه شدن که کیفیت و دقت اونها هنوز در حال بهبوده. در نتیجه خوبه که به چند نقطه ضعف و محدودیتی که این مدل ها در حال حاضر دارن هم اشاره کنیم:

با بررسی کامل این ۲ روش متوجه شدیم که هر دوی این روشها محدودیتهای زیادی دارن و نمیتونیم به راحتی مدل جستجو معنایی رو با مدل قدیمی جستجوی کلیدواژهای جایگزین کنیم. اما اگه بتونیم با کمک مدل جستجوی کلیدواژهای بعضی از مشکلات مدل معنایی رو حل کنیم، تلفیق این دو روش میتونه نتیجه قابل قبولی داشته باشه. در این قسمت میخوایم بررسی کنیم که چطوری میتوانیم این ۲ روش را در کنار هم بطور همزمان استفاده کنیم.
ساده ترین حالت استفاده همزمان از هر دو مدل، اینه که درخواست جستجو رو به هر دو مدل بدیم و بهترین نتایج هر مدل رو بگیریم و بین این نتایج یک سیستم رنکینگ جدید درنظر بگیریم. از خوبی های این روش اینه که بهترین نتایج هر دو مدل رو در نتیجه نهایی داریم و کیفیت نهایی سرچ بهبود پیدا میکنه. ولی از اون طرف در سناریوهایی که یکی از مدلها عملکرد خوبی نداشته باشه نتایج نهایی سرچ تحت تاثیر قرار میگیره.
مدل های جستجو معنایی با روش Encode کردن دیتاها کار میکنن. اما معمولاً این دیتاها از جنسهای یکسانی هستن. مثلاً مدلی که فقط بر روی عکس کار میکنه یا مدلی که فقط متن رو میفهمه. اگر بتونیم مدل جدیدی بسازیم که چندین جنس داده رو (عکس و متن) بطور همزمان Encode کنه میتونیم از این مدل تلفیقی جدید برای جستجو استفاده کنیم. خوبی این روش اینه که کار با مدل نهایی بسیار ساده خواهد بود و پیچیدگی در فرآیند جستجو نداریم. اما ساخت این مدل نیاز به دانش فنی، جمعآوری دیتا در حجم بالا و چندین Iteration برای ساخت مدل نهایی داره.
اگر در فرایند جستجو، امکان انتخاب فیلتر رو داشته باشیم، با کمک گرفتن از مدل جستجو کلید واژهای میتونیم فیلترهای مناسبی برای اعمال در نتیجه جستجو پیدا کنیم. انتخاب این فیلترها میتونه اشتباهات احتمالی مدل معنایی رو جبران کنه و کیفیت جستجو رو افزایش بده. یکی از مشکلات این روش پیچیدگی پیادهسازی و Integrate کردن این ۲ مدل در کنار هم هستش.
ما توی موری برای جستجو بین لباس ها، روش های جستجو کلیدواژه ای و جستجو معنایی رو بطور جدا بررسی و تست کردیم. روش جستجو هیبریدی دقیق ترین نتیجه رو واسمون داشته و داریم روی این روش بیشتر کار میکنیم.
سایت موری