موتور های جستجو به طور کلی روزانه بیلیون ها صفحه را توسط خزنده ها (crawlers) خود بررسی و ثبت می کنند. این خزنده ها توسط همان شرکت های سازنده موتور های جستجو برنامه نویسی و توسعه داده شده اند. به این خزنده ها در گفتار های عامیانه، عنکبوت یا اسپایدر و یا ربات های موتور های جستجو میگویند.
این اسپایدر ها با استفاده از لینک هایی که در درون محتوای صفحات وب وجود دارد، به دیگر صفحات می روند و آنها را بررسی میکند. آشنایی با موتور های جستجو و ساختار آنها یکی از اصلی ترین دانش ها در زمینه سئو سایت می باشد که بسیاری از افراد تازه کار، از کنار آن به سادگی می گذرند و به آن اهمیتی نمی دهند؛ در صورتی که دانستن نحوه کار موتور های جستجو یک برتری به حساب می آید.
چرا درک ساختار موتور های جستجو اهمیت دارد؟
به خاطر آن که شما باید در ابتدا با این ساختار آشنا باشید تا بتوانید آن را بهینه کنید و در آن رتبه کسب کنید! شما نمی توانید یک ماشین را تعمیر کنید زمانی که نمی دانید در درون آن چه چیز در کجا قرار دارد و با ساختار آن آشنایی ندارید. اما خبر خوب این است که نیاز نیست تمامی الگوریتم های این موتور های جستجو مانند الگوریتم های گوگل را حفظ کنید. در این مقاله از فن سئو قصد دارم تا شما را با ساختار کامل این موتور های جستجو به صورت مرحله به مرحله آشنا کنم تا بتوانید یک ساختار مناسب برای سئو وب سایت خود بچینید و در این امر فردی حرفه ای شوید؛ پس با من همراه باشید.
برترین موتور های جستجو در بین کاربران جهان
- گوگل (Google)
- بینگ (Bing)
- بایدو (Baidu)
- یاهو (Yahoo)
- پارسی جو (موتور جستجوگر ایرانی)
گوگل چگونه کار میکند و چگونه به سایت ها رتبه می دهد
اسپایدر های گوگل (خزنده های گوگل) در دو مرحله کار می کنند:
- کراول کردن نتایج و بررسی آن ها
- ایندکس نتایج بررسی شده
خزیدن و فهرست بندی نتایج (Crawling & Indexing)
در ادامه قصد داریم به این دو فاکتور به صورت دقیق تری نگاه کنیم. هر موتور جستجو برای خود الگوریتم هایی دارد و از قوانین خاص خود پیروی می کند. برای مثال اگر شما در موتور جستجوگر یاهو توانستید رتبه یک را کسب کنید به این معنا نمی باشد که در موتور جستجوگر گوگل نیز شما رتبه یک را دارید و این مورد در تمام موتورهای یکسان است.
برخی از آنها به تولید محتوای با کیفیت اهمیت میدهند، برخی دیگر به تجربه کاربری اهمیت می دهند و برخی دیگر به لینک سازی در سئو. فهمیدن نیاز هر موتور جستجو یک موفقیت بزرگ برای ما به حساب می آید و به ما کمک می کند بتوانیم در نتایج رتبه های بهتری کسب کنیم. یکی از بهترین موتور های جستجو و محبوب بین مردم، کمپانی گوگل است که در این راهنما آن را بررسی خواهیم کرد.
- گوگل 72.86٪ از بازار جهانی موتور های جستجو را دارد.
- و “to Google” یک فعل رسمی در فرهنگ لغت انگلیسی است.
بازار موتور های جستجو
همانطور که مشاهده می کنید گوگل از رقبای خود بالاتر است، اما به نظر شما چگونه توانست به خوبی سبقت بگیرد و رقبای خود را پشت سر بگذارد و کاربران خود را هم راضی نگه دارد؟
در واقع این امر بسیار ساده به نظر می رسد و در یک فرآیند دو مرحله ای انجام می شود که عبارتند از:
- Crawling: ابتدا گوگل صفحات را کراول میکند و آنها را در دیتابیس خود ذخیره می کند.
- Indexing: سپس این دیتاهای دریافت شده توسط فاکتورهای گوگل فهرست بندی می شوند.
در نگاه اول این فرایند مانند ساختن یک کتابخانه بزرگ می باشد:
- Crawling: ابتدا کتاب ها را جمع آوری می کنیم و آنها را به کتابخانه میبریم.
- Indexing: سپس کتاب ها بر اساس معیارهای خاصی دسته بندی و فهرست بندی می شوند.
فهرست بندی موتور های جستجو
تنها تفاوتی که می‌توان به این یک کتابخانه منظم و گوگل یافت این است که گوگل شامل بیلیون ها کتاب است.
کراول کردن (Crawling) چیست؟
زمانی که شما یک عبارت را در گوگل جستجو می کنید، این سیستم در تمامی سایت های دنیا به دنبال عباراتی متناسب با واژه سرد شده توسط شما می گردد. چیزی که در واقع اتفاق می افتد این است که گوگل در دیتابیس خود به دنباله عبارات و سایتهای متناسب با جستجوی شما می‌گردد و شما در واقع در دیتابیس گوگل در حال جستجو هستید.
این بانک اطلاعاتی از وب سایتهای از قبل تأیید شده ساخته شده است که گوگل آن را بررسی کرده و برای کاربران خود ایمن دانسته است. بنابراین شما برای جستجوی جستجوی خود هنگام استفاده از Google ، هیچ چیز نگران کننده ای از “Dark Web” پیدا نخواهید کرد.
چرا Google این کار را می کند؟
- با اطمینان می تواند به این پایگاه داده دسترسی پیدا کند.
- این یک تجربه سریعتر و کاربر پسند را فراهم می کند.
این امکان را به Google می دهد تا “برچسب” های خود را به این صفحات اضافه کند و نتایج مرتبط را ارائه دهد. اولین مرحله از افزودن وب سایت ها به دیتابیس گوگل را کراولینگ میگویند. گوگل کراولر(اسپایدر و یا خزنده) های زیادی را دارد که از آنها برای جستجو در بین صفحات وب و بررسی آنها استفاده می کنند.
خزنده های گوگل دو وظیفه اصلی دارند که آنها عبارتند از:
- پیدا کردن صفحات جدید برای ایندکس شدن.
- جمع آوری اطلاعات مربوط به هر صفه از وب.
می توان این خزنده ها را به جاسوسان نیز تشبیه کرد که به طور مخفیانه به وبسایت ها رفته و جاسوسی می کنند و اطلاعات را به مرکز اصلی میبرند. شاید برایتان سوال باشد که خزنده ها چگونه به وبسایت ها می روند و از آنها دسترسی می‌گیرند تا اطلاعات جدیدشان را ثبت کنند؟
یک خزنده موتور جستجو (Crawler) چگونه کار میکند؟
همه وب سایت ها بخشی از شبکه ای به نام شبکه جهانی وب هستند که اساساً مانند یک تار عنکبوت عظیم در سراسر جهان پخش شده اند؛ همه این وب سایت ها توسط لینک به یکدیگر متصل شده اند و دقیقا این لینکها هستند که راه های ارتباطی از یک وب سایت به یک وبسایت دیگر را می سازند.
هنگامی که یک وب سایت کراول می شود، زمان آن رسیده است تا به دیتابیس گوگل اضافه شود. Indexing جایی است که موتور جستجو آنچه را که پیدا کرده است را فهرست بندی و ذخیره می کند.
موتور جستجوی ایرانی
پس از اتفاقاتی مانند اینترنت داخلی و عدم دسترسی به اینترنت بین الملل، یکی از نیاز های کشور ایران موتور جستجو داخلی بود. شرکت های مختلفی در این زمینه دست به کار شده اند و سر انجام موتور جستجو ایرانی به نام پارسی جو معرفی شد. پارسی جو قوی ترین موتور جستجوی ساخت ایران می باشد.