برای وبسایت هایی با بار صفحات بالا، بهینه سازی بودجه خزش، میتواند روند ایندکس صفحات را تحت تاثیر زیادی قرار دهد. چرا که هر روزه چند صد سایت طراحی میشود که گوگل باید همه آنها را خزش و اطلاعات آنها را بررسی و در نتایج خود بیاورد. اما منابع آن برای خزش همه صفحات کافی نیست.
اولویت بندی بین صفحات میتواند کمک کند، ربات های گوگل صفحات مهمتری را خزش و ایندکس کنند. ما برای این موضوع دو راهکار آسان داریم:
- ساخت و مدیریت فایل Robots.txt
- ساخت سایت مپ و ارائه به گوگل
فایل Robots.txt
این فایل که با پسوند txt در هاست قرار میگیرد، مشخص میکند که ربات های مختلف از جمله گوگل به کدام یک از صفحات سایت دسترسی ندارند. در واقع این فایل دارای تابلوهای ورود ممنوعی برای برخی از صفحات سایت است که قصد داریم از دید ربات ها مخفی بمانند.
برای مثال صفحات سبد خرید، پروفایل کاربری، ویدئوهای آموزشی، صفحه ورود یا ثبتنام میتوانند در این دسته قرار بگیرند.
ممکن است بگویید که برای جلوگیری از ایندکس میتوانیم تگ Noindex را در صفحه قرار دهیم اما با این کار درست است که از ایندکس جلوگیری میشود اما باز هم ربات صفحه را میبیند و آن را خزش میکند. ما در این مرحله قصد داریم از خزش صفحات بی اهمیت، جلوگیری کنیم. این کار باعث میشود بودجه خزش صرف صفحات مهم تر شود.
برای درک بهتر این موضوع پیشنهاد میکنم آموزش ساخت فایل Robots.txt را در وب نسیم مطالعه کنید.
ساخت سایت مپ و ارائه به گوگل
راهکار بعدی برای بهینه سازی بودجه خزش، ساخت نقشه سایت (Sitemap) و معرفی آن به گوگل است. در مرحله قبل مشخص میکردیم که گوگل چه صفحاتی را نبیند؛ اکنون در نقشه سایت صفحات مهم را مشخص میکنیم و به گوگل ارائه میکنیم. با این کار نرخ بروزرسانی و اهمیت صفحات سایت را به گوگل نشان میدهیم تا قبل از شروع خزش در سایت با نگاه به آن تصمیم بهتری در اولویت بندی صفحات بگیرد.
نکته مهم این است که گوگل موظف به اجرا و پیروی از نقشه سایت نیست. نقشه سایت که با پسوند XML ساخته میشود تنها در حد پیشنهاد به ربات های گوگل است و بس!
برای ساخت نقشه سایت میتوانید از پلاگین های مختلفی از جمله Yoast SEO و XML Sitemaps استفاده کنید که کاملا رایگان هستند و در عین حال کار با آنها بسیار آسان است.