
کشف، بررسی و نمایهسازی محتوا فقط اولین قسمت این پازل می باشد. موتورهای جستجو همچنین به روشی برای رتبهبندی نتایج منطبق هنگام انجام جستجو توسط کاربر نیاز دارند. این وظیفه الگوریتم های موتورهای جستجو است. هر موتور جستجو الگوریتمهای منحصر به فردی برای رتبهبندی صفحات وب دارد.
موتورهای جستجو درک میکنند که نتایج متفاوت برای افراد مختلف جذاب می باشد. و به این شکل متوجه میتوان نتیجه گرفت که موتورهای جستجو چگونه کار میکنند . به همین دلیل آنها نتایج خود را برای هر کاربر تنظیم میکنند.
اگر تا به حال چیزی مشابه را در چندین دستگاه یا مرورگر جستجو کردهاید، احتمالا آثار این شخصیسازی را مشاهده کردهاید. نتایج اغلب بسته به عوامل مختلف در موقعیتهای مختلف ظاهر میشوند.
برای پاسخ کاملتر به سوال اینکه موتورهای جستجو چگونه نتایج را شخصیسازی میکنند؟ میتوان گفت که گوگل اظهار میدارد که "اطلاعاتی مانند موقعیت مکانی شما، سابقه جستجوی گذشته و تنظیمات جستجو همه به ما کمک میکند تا نتایج شما را مطابق با آنچه در آن لحظه برای شما مفید و مناسب است، تنظیم کنیم."
بیایید نگاهی دقیقتر به این سه مولفه بیندازیم:
اگر چیزی مانند "رستوران ایرانی" جستجو کنید، همه نتایج موجود در بسته نقشه رستورانهای محلی هستند. همچنین از موقعیت مکانی شما هم برای شخصیسازی نتایج جستجو استفاده میکند. به عبارت دیگر گوگل صفحات را با فهرستهای محلی به جای فهرستهای ملی برای شما به نمایش میگذارید. به این علت که شما قصد ندارید به کشور دیگر یا منطقه ی دوری از خود دیگری نقل مکان کنید. گوگل اصطلاحا به آن "خرید خانه" میگوید.
به این ترتیب موقعیت مکانی شما نتایج جستجوهای محلی را به طرز چشمگیری تحت تأثیر قرار میدهد به طوری که هنگام جستجوی یک چیز به زبان مختلف، عملا هیچ تداخلی وجود ندارد.
گوگل میداند که نشان دادن نتایج انگلیسی به کاربران اسپانیایی عمدتا فایدهای ندارد. با این حال، گوگل تا حدی به صاحبان وب سایتها متکی می باشد. که این کار را انجام دهند. اگر صفحات شما را به چند زبان است، ممکن است گوگل متوجه نشود از چند زبان پشتیبانی میکند. در نتیجه باید به گونه درستی به آنها بگویید که این وب سایت از چند زبان به خصوص پشتیبانی میکند.
میتوانید این کار را با یک ویژگی HTML به نام hreflang انجام دهید که یک قطعه کوچک از کد می باشد. که رابطه بین نسخههای متعدد یک صفحه در زبانهای مختلف را نشان میدهد.
شاید بارزترین مثال استفاده از گوگل از سابقه جستجو برای شخصیسازی نتایج، زمانی باشد که چند بار یک جستجو را انجام میدهید و به این صورت یک موارد را رتبهبندی میکند.
این انفاق همیشه نمیافتد، اما به نظر میرسد بسیار رایج می باشد. ؛ به خصوص اگر چندین بار در مدت کوتاهی روی یک صفحه کلیک کرده یا از آن دیدن کنید.
اگر در هیچ یک از نتایج جستجو، سایت شما ظاهر نمیشود، چند دلیل ممکن است وجود داشته باشد:
سایت شما کاملا جدید می باشد و هنوز بررسی نشده است.
سایت شما به هیچ وب سایت خارجی پیوندی ندارد.
سایت شما شامل برخی از کدهای اصلی به نام دستورالعملهای بررسی است که موتورهای جستجو را مسدود میکند.
سایت شما به دلیل تاکتیکهای نامطلوب، توسط گوگل مجازات شده است.
اگر از گوگل کنسول (Google Search Console) یا اپراتور جستجوی پیشرفته (site: domain.com) استفاده کردهاید و متوجه شدهاید که برخی از صفحات مهم شما در فهرست نیستند یا برخی از صفحات بیاهمیت شما به اشتباه فهرستبندی شدهاند، برخی از بهینهسازیها را میتوانید پیادهسازی کنید تا گوگل ربات را بهتر هدایت کنید که چگونه میخواهید محتوای وب شما بررسی شود.
این که به موتورهای جستجو بگویید که چگونه سایت شما را بررسی کنند، میتواند به شما کنترل بهتری در مورد آنچه در فهرست ذکر میشود، بدهد.
ببینید کدام صفحات گوگل میتوانند با MOZ PRO کار کنند و گوگل کدام صفحات را میتواند با Moz Pro بررسی کند. (Moz Pro میتواند مشکلات مربوط به قابلیت بررسی سایت شما را شناسایی کند.)
برای هدایت گوگل بات از صفحات و بخشهای خاصی از سایت خود، از robots.txt استفاده کنید.
فایلهای Robots.txt در فهرست اصلی وب سایتها، به عنوان مثال (yourdomain.com/robots.txt) قرار دارند و نشان میدهند که موتورهای جستجوی سایت شما باید کدام قسمتها را بررسی کنند و همچنین سرعت بررسی آنها در سایت شما را از طریق دستورالعملهای خاص robots.txt. انجام میشود.
اگر ربات نتواند فایل robots.txt را برای یک سایت پیدا کند، به جستجو در سایت ادامه میدهد ولی اگر یک فایل robots.txt برای یک سایت پیدا کند، معمولا به پیشنهادات پایبند بوده و به بررسی سایت ادامه میدهد.
اگر هنگام تلاش برای دسترسی به فایل robots.txt یک سایت، با خطایی روبرو شود و نتواند تعیین کند که آیا این سایت وجود دارد یا خیر، دیگر سایت را بررسی نمیکند. در نهایت میتوان فهمید که موتورهای جستجو چگونه کار میکنند .
برخی از سایتها (که رایجترین آنها در تجارت الکترونیک است) با پیوستن پارامترهای خاصی به آدرسهای اینترنتی (URL)، محتوای یکسانی را در چندین نشانی اینترنتی مختلف در دسترس قرار میدهند. اگر تا به حال به صورت آنلاین خرید کردهاید، احتمالا جستجوی خود را از طریق فیلترها محدود کردهاید. به عنوان مثال، شما میتوانید واژه کلاه را در سایتی جستجو کنید، سپس جستجوی خود را براساس اندازه، رنگ و سبک اصلاح کنید. هر بار که اصلاح میکنید، URL کمی تغییر میکند:
https://www.example.com/products/women/dresses/green.htmhttps://www.ex category=dresses&color=greenhttps
چگونه گوگل میداند که کدام نسخه از آدرس اینترنتی برای جستجوگران ارائه میشود؟ گوگل در تعیین آدرسهای اینترنتی نمایندگی به درستی عمل میکند، اما میتوانید از ویژگی پارامترهای آدرس اینترنتی در کنسول جستجوی گوگل استفاده کنید تا دقیقا به گوگل بگویید که میخواهید با صفحات شما چگونه رفتار کند.
گاهی اوقات یک موتور جستجو قادر می باشد. قسمتهایی از سایت شما را پیدا کند، اما سایر صفحات یا بخشها ممکن است به دلایلی مبهم باشند و یافت نشوند. این نکته مهم است که مطمئن شوید موتورهای جستجو چگونه کار می کنند و قادر به کشف تمام محتوای موردنظر شما هستند و نه فقط صفحه اصلی شما. مواردی باعث میشود crawlها نتوانند به صفحه شما دست پیدا کنند.
به عنوان مثال خود شما رباتها را از این کار منع کردهاید، در نتیجه استفاده از این گونه ابزارها نمایانگر سایتی است که میتوان آن را بررسی کرد، اما نمیتوان از آن عبور کرد یا مواردی که محتوای شما در پشت فرمهای ورود پنهان شده است.
اگر از کاربران میخواهید قبل از دسترسی به محتوای خاصی وارد سیستم شوند، فرمها را پر کنند یا به نظرسنجیها پاسخ دهند، موتورهای جستجو آن صفحات محافظت شده را نمیبینند پس crawlها وارد سیستم نمیشود.
رباتها نمیتوانند از فرمهای جستجو استفاده کنند. برخی افراد معتقدند که اگر یک کادر جستجو در سایت خود قرار دهند، موتورهای جستجو قادر خواهند بود هر آنچه را که بازدیدکنندگان آنها جستجو میکنند، بیابند ولی این ایده غلط می باشد.