crawl budget چیست؟
چگالی خزش سایت میانگین تعداد صفحاتی است که روزانه پیمایش می شوند. در واقع از طریق چگالی خزش تعیین می کنیم که گوگل چقدر برای پیمایش سایت شما زمان صرف می کند.
هدف گوگل ارائه اطلاعات مفید برای کاربرانی است که در وب جستجو می کنند. برای رسیدن به این هدف گوگل باید محتوا را از منابع باکیفیت، ایندکس و ارزیابی کند.
پیمایش در وب فرآیندی هزینه بر است. گوگل مقدار زیادی انرژی برای خزیدن در وب سایت های تمام ایران در یک سال مصرف می کند. ربات ها باید الگوریتم های برنامه ریزی شده ای را که تعیین می کنند کدام وب سایت ها در چه زمانی crawl شوند، به منظور ارزیابی تعداد هرچه بیشتر صفحات دنبال کنند. اهمیت رتبه بندی صفحات گوگل از این امر حکایت می کند که راه هایی قابل سنجش برای تعیین این که چه صفحاتی اولویت بندی شوند، وجود دارد.
شاخصی با معیارهای ثابت برای پیمایش یک سایت وجود ندارد. پیمایش های موجود براساس آنچه که گوگل فکر می کند توسط سرور شما انجام می شود و علائق کاربران به صفحات وب سایت شما، انجام می شوند.
چرا باید چگالی خزش خود را بهینه سازی کنید؟
به کمک اطلاعات ارائه شده توسط شرکت OnCrawl از میلیون ها صفحه به این نتیجه رسیدیم که رابطه ای بین تعداد دفعات پیمایش شدن یک صفحه توسط گوگل و تعداد نمایش هایی که آن صفحه دریافت می کند، وجود دارد. صفحاتی که بیشتر پیمایش می شوند، اغلب در نتایج جستجو بیشتر دیده می شوند.
این ارتباط بیانگر این است که شما می توانید از بهینه سازی چگالی پیمایش وب سایت به عنوان یک استراتژی استفاده کنید تا گروهی از صفحات را در نتایج جستجو ارتقاء دهید. برای بالا آوردن این صفحات در نتایج جستجو باید آنها را در یک دوره زمانی مناسب نسبت به صفحات دیگر وب سایتتان برای گوگل ارتقاء دهید.
با به کارگیری استراتژی های بهینه سازی چگالی خزش می توانید توجه گوگل را از برخی صفحات منحرف و به برخی صفحات جلب کنید و از این طریق مقدار نمایش صفحاتی را که در وب سایتتان ماهیت فصلی دارند، افزایش دهید.
شما باید:
- چگالی پیمایش کلی وب سایت خود را بهینه سازی کنید.
- با استفاده از تکنیک هایی که به آن ها از دسته بندی صفحات اصلی در ساختار سایت تان لینک داده شده است، عمق صفحات فصلی مهم را کاهش دهید.
- محبوبیت داخلی صفحات مهم را، با ساخت بک لینک هایی از صفحاتی مرتبط افزایش دهید.
- نظارت بر crawl budget سایت
سرچ کنسول گوگل، ترکیبی از مقادیر crawl stat را برای بازدیدکنندگان از همه رباتهای گوگل ارائه می دهد. در اطلاعات ارائه شده توسط OnCrawl مشاهده کردیم که علاوه بر 12 ربات رسمی، یک ربات دیگر هم با نام Google AMP وجود دارد. این ربات اطلاعات همه URL ها را نظیر JavaScript، CSS و URL های فونت و عکس، برای همه ربات ها دربر می گیرد.
به دلیل متفاوت بودن رفتار ربات ها، مقادیر داده شده به طور میانگین ارائه می شوند. برای مثال از آنجایی که ربات های AdSense و موبایل برخلاف ربات Googlebot دسکتاپ، باید هر صفحه را به طور کامل بخوانند، زمان ارائه شده برای بارگذاری صفحه، میانگینی بین زمان های بارگذاری تقریبی و زمان های بارگذاری کامل هستند.
این امر برای تحلیل های سئو کافی نیست.
از این رو مطمئن ترین روش برای سنجش چگالی خزش سایت شما، بررسی منظم log های سرور سایت تان می باشد. وب سرورها هر فعالیتی را ضبط می کنند؛ به این اطلاعات log گفته می شود. این log ها برای عیب یابی مشکلات مربوط به عملکرد سایت مورد استفاده قرار می گیرند.
هر فعالیتی که در فایل log قرار میگیرد، در واقع درخواستی برای یک URL است. هر خط فایل log شامل اطلاعاتی نظیر آدرس IP که درخواست را ارسال کرده، آدرس URL، تاریخ، ساعت و همچنین کد وضعیت نتیجه درخواست می باشد. به عنوان مثال :
("www.mywebsite.com:443 66.249.73.156 [15/Aug/2018:00:02:59 +0000] "GET /news/my-article-URL HTTP/1.1" 200 44506 "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html
با شناسایی همه درخواست های ایجاد شده از ربات های گوگل، شما می توانید تعداد بازدید های ربات های گوگل را در یک دوره زمانی معین دقیقا اندازه گیری کنید. نتیجه این سنجش، بهبود چگالی خزش شما است.
عدد به دست آمده در نتیجه این بررسی نمی تواند به شما بگوید که آیا گوگل به صفحات سایت شما به اندازه کافی توجه می کند یا خیر. خزنده های سئو با قابلیت نظارت بر log ها مانند OnCrawl، معیارهای دیگری را هم برای سنجش سلامت چگالی خزش وب سایتتان ارائه می کنند.
از آنجایی که چگالی خزش شاخص تعیین کننده ایندکس صفحات بروزرسانی شده و جدید یک سایت است، باید مشکلات و تغییرات ناگهانی را مد نظر قرار دهید.
- رفع کردن مشکلات سرور
اگر که سایت شما سرعت بسیار کمی داشته باشد یا سرور سایتتان، خطاهای سرور و یا تایم اوت سرور زیادی را نشان دهد، گوگل به این نتیجه می رسد که سایت شما نمی تواند تقاضای بیشتری را برای صفحاتش پشتیبانی کند.
شما می توانید مشکلات مربوط به سرور را با رفع کدهای وضعیت 400 و 500 و اصلاح عوامل مرتبط با سرور برطرف کنید.
بررسی لاگ، کلیدی برای عیب یابی و رفع مشکلات سرور است زیرا log ها کد وضعیت و تعداد بایت های دانلود شده را نشان می دهند.
اگر سایت شما توسط یک سرور اشتراکی پشتیبانی می شود، باز هم می توانید به واسطه کش سرور (caching)، شبکه توزیع محتوا (CDN)، بهینه سازی اندازه عکس ها، بروزرسانی نسخه PHP و استفاده از تکنیک های کند و ناهماهنگ بارگذاری برای منابع، کارایی سرور خود را بهبود بخشید.
- هدایت ربات های خزنده به سمت صفحات فصلی
خزنده گوگل را به طرف صفحاتی که می خواهید در آنها رنک بگیرید، هدایت نمایید و از قسمت های نامناسب سایتتان دور کنید. چگالی خزش شما به جای پیمایش صفحات جدید یا به روز رسانی شده، صرف کارهای دیگری می گردد.
اطلاعات بدست آمده از بررسی لاگ، تصویری را از آنچه که گوگل ارزیابی می کند و چیزهایی که توسط این غول فناوری کشف نمی شود، ارائه می سازد.
ادغام اطلاعات log با اطلاعات بدست آمده از ربات های خزنده سئو، به شما در پاسخ دادن به سوالات زیر کمک می کند:
- آیا صفحات پیمایش شدند با وجود این که غیر قابل ایندکس (non-indexable) هستند؟ آیا این صفحات در نقشه وب سایت هستند؟
- آیا صفحات پیمایش شده ای که کد وضعیت 200 را بازگشت نداده باشند، وجود دارند؟
- آیا گوگل URL های شامل تصاویر، فایل های PDF و فایل های رسانه ای دیگر را پیمایش می کند؟
- آیا گوگل صفحاتی از سایت شما را که توسط هیچ کاربری بازدید نمیشود، پیمایش می کند؟
- آیا گوگل تعداد زیادی از صفحات ریدایرکت شده را پیمایش می کند؟
اگر به هر یک از این سوالات پاسخ مثبت دهید، می توانید چگالی خزش این منابع را با عدم پیمایش توسط ربات ها آزاد کنید. اهدافی را که بیشترین بودجه را مصرف می کنند در اولویت قرار دهید.
تحلیل های شرکت OnCrawl، می توانند روابط بین این عوامل را هم نشان دهند:
- عمق صفحات در ساختار سایت شما و تعداد دفعات پیمایش صفحه
- کدهای وضعیت و تعداد دفعات پیمایش صفحه
- محبوبیت صفحات بر حسب دفعات بازدید و تعداد دفعات پیمایش صفحه
- ساختار لینک های داخلی و تعداد دفعات پیمایش صفحه
اگر که می خواهید صفحات فصلی بسازید، این روابط تاثیر بالایی در کار شما خواهند داشت. روابط فوق بهترین نوع محتوا و ساختار را در وب سایت شما نمایش می دهند. ساختار لینک صفحات فصلی سایت خود را طوری اصلاح کنید که این صفحات نسبت به صفحات زیرین سایت، بالاتر قرار گیرند.
داده های پیمایش سایت و بررسی log، صفحاتی را که لینک دریافت نکرده اند و صفحاتی را که توسط خزنده گوگل پیمایش می شوند، نیز به شما نشان می دهند. اگر که این صفحات توسط خزنده گوگل بازدید میشوند آنها را به ساختار سایت خود متصل کنید تا از مزیت ترافیک جستجوی آن ها هم بهرمند شوید؛ در غیر اینصورت توصیه می شود که آن صفحات را حذف کنید یا رابطه بین ربات ها و آن را قطع کنید.
- بهینه سازی Googlebot
انسان ها می توانند کارهایی را انجام دهند که ربات ها قادر به انجام آن ها نیستند یا نباید آن ها را انجام دهند. برای مثال ربات ها باید بتوانند به صفحه ثبت نام شما دسترسی پیدا کنند اما آنها نباید سعی کنند ثبت نام کرده و یا وارد سیستم شوند. ربات ها فرم های تماس را تکمیل نمی کنند، به کامنت ها جواب نمی دهند، نظر و امتیاز نمی دهند، در خبرنامه عضو نمی شوند، به فاکتورهای خرید کالایی را اضافه نمی کنند و سبد خرید شما را نمی بینند.
تا زمانی که شما به ربات ها دستور توقف ندهید، آن ها لینک های مورد نظر را دنبال می کنند. از لینک های nofollow به خوبی استفاده کنید و محدودیت هایی را در فایل robots.txt خود اعمال کنید تا ربات ها را نسبت به محدودیت هایشان مطلع سازید. انجام این اقدامات تا حدی چگالی خزش شما را برای صفحات با اهمیت سایت، آزاد می کند.
- بهبود کیفیت محتوا
بیانیه های رسمی منتشر شده توسط گوگل نشان می دهند که چگالی خزش، به میزان زیادی تحت تاثیر کیفیت محتوای شما قرار دارد.
شواهد بدست آمده از ترکیب داده های log و تحلیل های معنایی انجام شده توسط OnCrawl هم این حقیقت را تایید می کنند. در بیشتر سایت ها بین عوامل زیر رابطه وجود دارد:
- تعداد لغات و رفتار پیمایش
- محتوای تکراری و رفتار پیمایش
- پیج رنک داخلی و رفتار پیمایش
شما همچنین باید از مزیت محتوای باکیفیت برای تقویت کردن صفحات ضعیف تر با به کارگیری موارد زیر استفاده کنید:
- لینک های خارجی
- ساختارهای لینک داخلی
- بهینه سازی Canonical
اگر صفحات فصلی وب سایت خود را ارتقاء می دهید، ابتدا این صفحات را بهینه سازی کنید. گزارشات ارائه شده توسط چگالی خزش ها نشان می دهند که کدام صفحات سایت شما مزایای بیشتری را از این بهینه سازی ها دریافت می کنند.
بهینه سازی چگالی خزش
یک چگالی خزش بهینه، کلید افزایش نرخ بازگشت سرمایه (ROI) در اقدامات صورت گرفته در رابطه با سئو است زیرا این اطمینان را ایجاد می کند که گوگل صفحات بهینه شده شما می بیند.
زمانی که بهینه سازی های مورد نظرتان را اعمال کردید، باز هم چگالی خزش سایت خود را نظارت کنید. این نظارت شما را قادر می سازد تا نتایج را بسنجید و برای واکنش نشان دادن به تغییرات احتمالی آماده باشید.
موضوعات مرتبط:
برچسب‌ها: