موتورهای جستجو به کاربران امکان میدهند در اینترنت با استفاده از کلمات کلیدی مطالب را جستجو کنند. موتورهای جستجو زیادی وجود دارد که افراد میتوانند از آنها استفاده کنند. هنگامیکه یک کاربر یک عبارت را در موتور جستجو وارد میکند، یک صفحه نتایج موتور جستجو نمایش داده میشود و صفحات پیدا شده را به ترتیب ارتباط آنها رتبهبندی میکند. نحوه انجام این رتبهبندی در موتورهای جستجو متفاوت است.
موتورهای جستجو اغلب الگوریتمهای خود را برای بهبود تجربه کاربر تغییر میدهند (برنامههایی که نتایج را رتبهبندی میکنند). هدف آنها درک نحوه جستجو کاربران است تا بهترین پاسخ را به پرسش آنها بدهند. این بدان معناست که اولویت را به بالاترین کیفیت و مرتبط ترین صفحات بدهند.
هر موتور جستجو از دو بخش اصلی تشکیل شده است:
۱. فهرست جستجوی کتابخانه دیجیتالی اطلاعات مربوط به صفحات وب
۲. الگوریتم های جستجو برنامههای رایانهای که نتایج مطابقت را از فهرست جستجو رتبهبندی میکند
نمونههایی از موتورهای جستجوی محبوب عبارتند از Google ، Bing و DuckDuckGo.

هدف هر موتور جستجو ارائه بهترین و مرتبطترین نتایج برای کاربران است. به این صورت از لحاظ تئوری، آنها سهم بازار را بهدست میآورند یا حفظ میکنند.
۱. نتایج ارگانیک از فهرست جستجو که شما نمیتوانید برای حضور صفحه خود در این نتایج هزینه کنید.
۲. نتایج مربوط به تبلیغ کنندگان، که شما میتوانید هزینه کنید تا وب سایت شما در اینجا باشد.
هر بار که شخصی روی یک نتیجه جستجوی پولی کلیک میکند، تبلیغ کننده به موتور جستجو پول میدهد. این تبلیغات با عنوان “پرداخت به ازای کلیک” (PPC) شناخته میشود. به همین دلیل است که سهم بازار اهمیت دارد. وجود کاربران بیشتر به معنی کلیک بیشتر و در نتیجه تبلیغات و درآمد بیشتر است.
درک اینکه موتورهای جستجو چگونه کار می کنند و چگونه محتوا را پیدا میکنند، فهرستبندی و رتبهبندی میکنند به شما کمک میکند تا وب سایت خود را در نتایج جستجوی ارگانیک برای کلمات کلیدی مرتبط و محبوب رتبهبندی کنید و در نتیجه تعداد بیشتری کلیک و ترافیک ارگانیک به محتوای خود اختصاص خواهید داد.
در نتیجه اینکه بدانید موتورهای جستجو چگونه کار میکنند ، میتواند به کسب و کار شما کمک کند تا از سئو برای رسیدن به مشتریان بالقوه خود استفاده کند.
گوگل ۹۲ درصد سهم بازار را در اختیار دارد. گوگل موتور جستجویی است که اکثر متخصصان سئو و صاحبان وب سایتها به آن اهمیت میدهند زیرا این پتانسیل را دارد که ترافیک بیشتری را نسبت به سایر موتورهای جستجو به دنبال داشته باشد.
اکثر موتورهای جستجوی معروف مانند گوگل و بینگ میلیاردها صفحه در فهرستهای جستجوی خود دارند. بنابراین قبل از اینکه در مورد رتبهبندی الگوریتمها صحبت کنیم، بیایید در ادامه مکانیسمهای مورد استفاده برای ایجاد و حفظ یک فهرست وب را عمیقتر بررسی کنیم.
فرایند اصلی Google را مرحله به مرحله تجزیه کنیم:
۱. آدرسهای اینترنتی (URLs)
۲. جستجو (Crawl)
۳. پردازش و ارائه (Processing)
۴. نمایهسازی (Indexing)
روند زیر به طور خاص در مورد گوگل اعمال میشود، اما به سایر موتورهای جستجوی وب مانند Bing بسیار شبیه است. انواع دیگری از موتورهای جستجو مانند آمازون، یوتیوب و ویکی پدیا وجود دارند که فقط نتایج وب سایت خود را نشان میدهند.
جستجو (Crawl)
جایی که یک ربات رایانهای به نام عنکبوت، مثلا Googlebot، صفحات کشفشده را بازدید و بارگیری میکند.
توجه به این نکته ضروری است که گوگل همیشه صفحات را به ترتیبی که آنها را کشف میکند نمیگردد بلکه بر اساس چند عامل آدرسهای URL را بررسی میکند از جمله؛ رتبه صفحه URL، اینکه هر چند وقت یکبار URL تغییر میکند، جدید است یا نه.
اگر وب سایت بزرگی دارید، ممکن است مدتی طول بکشد تا موتورهای جستجو به طور کامل آن را بررسی کنند.
پردازش جایی است که گوگل برای درک و استخراج اطلاعات کلیدی از صفحات بررسی کار میکند. هیچ کس خارج از گوگل از تمام جزئیات این فرایند اطلاع ندارد، اما بخشهای مهم درک ما استخراج پیوندها و ذخیره محتوا برای نمایهسازی است.
نمایهسازی جایی است که اطلاعات پردازش شده از صفحات بررسیشده به یک پایگاه داده بزرگ به نام فهرست جستجو اضافه میشود. این ویژگی اساسا یک کتابخانه دیجیتالی از تریلیونها صفحه وب است که نتایج جستجوی گوگل از آن نشأت میگیرد.
این نکته بسیار مهم است. به این صورت که هنگامیکه یک کلمه یا جمله را در موتور جستجو تایپ میکنید، به طور مستقیم در اینترنت برای نتایج منطبق جستجو نمیکنید. شما در حال جستجو در فهرست موتورهای جستجو صفحات وب هستید. اگر یک صفحه وب در فهرست جستجو نباشد، کاربران موتور جستجو آن را پیدا نمیکنند. به همین دلیل فهرستبندی وب سایت شما در موتورهای جستجوی اصلی مانند Google و Bing بسیار مهم است.