در این مقاله قصد داریم بودجه خزش گوگل یا همان کرال باجت را معرفی کرده و به میزان تاثیر آن در سئو سایت بپردازیم.
بودجه خزش چیست؟
قبل از پرداختن به موضوع بودجه خزش ابتدا به این موضوع میپردازیم که اساسا خزش یا کرال سایت به چه معناست؟ در پاسخ به این سوال باید بگوییم که گوگل برای بررسی صفحات و محتوای یک سایت از خزنده هایی موسوم به کرولر استفاده میکند، این خزنده ها با استفاده از پیوند ها یا همان لینک های موجود در صفحات وب، وارد دیگر صفحات شده و محتوای آن را بررسی میکنند.
حال با مشخص شدن مفهوم خزش یا کرال باید بگوییم که بودجه خزش یک سایت، مقدار صفحاتی است که کرولر ها و خزنده های گوگل و دیگر موتور های جست و جو در یک بازه زمانی مشخص بررسی و کرول میکنند. این نرخ خزش (یا همان Crawl Budget) در هر سایت متفاوت بوده و به فاکتور های مختلفی بستگی دارد که در ادامه به بررسی هر یک از این فاکتور ها خواهیم پرداخت.
چرا موتورهای جستجو برای سایت ها نرخ کراول در نظر میگیرند؟
اجازه دهید چند قدم به عقب برداریم و درباره ماموریت اصلی گوگل حرف بزنیم:
رساندن بهترین محتوا به دست کاربر
برای اینکه گوگل بتواند این ماموریت سخت ولی ارزشمند را انجام دهد، نیاز دارد که به هر سایت نمره بدهد و بر اساس این نمره بندی، بهترین را انتخاب و در اختیار کاربر قرار دهد. اولین قدم برای نمره دهی چیست؟
اولین قدم این است که گوگل وارد آن سایت ها شود (به آن ها خزش کند!)
چرا بودجه خزش برای سئوی سایت‌مان مهم است؟
اگر بخواهیم بودجه خزش را به زبان ساده‌تر بیان کنیم باید بگوییم که هر سایتی سهمیه‌ای از ربات‌های گوگل دارد. همه ما خیلی خوب می‌دانیم که روزانه میلیون‌ها و شاید میلیاردها صفحه جدید در اینترنت ایجاد می‌شود. به همین خاطر گوگل و ربات‌های آن نمی‌توانند همه صفحات یک سایت را با اولویت یکسان بخزند و ایندکس کنند. در چنین شرایطی بودجه‌ای برای خزش در آن سایت اختصاص می‌دهند.
حالا بیایید اهمیت این موضوع را از منظر سئو بررسی کنیم. اگر گوگل صفحه‌ای را ایندکس نکند آن صفحه رتبه‌ای هم در موتور جستجوی محبوب ما نخواهد داشت. در صورتیکه تعداد صفحات سایت شما بیشتر از بودجه خزش‌تان باشد ممکن است صفحات، دیگر به درستی در گوگل ایندکس نشوند. اگرچه این موضوع از اهمیت بسیار زیادی برخوردار است اما بیشتر سایت‌ها نباید زیاد نگران آن باشند.