بودجه کراول یا Crawl Budget یک فاکتور نسبتا مهم در دنیای گوگل است که می تواند در سئو تاثیرگذار باشد و همچنین می تواند نباشد!

بنابراین بهتر است بدانید بودجه کراول دقیقا چیست و همچنین بدانید که در چه حالاتی این فاکتور برای شما و سایتتان مهم خواهد بود.

من در این مقاله علاوه بر پرداختن به چیستی آن، ۶ نکته برای بهینه سازی بودجه کراول هم به شما آموزش می دهم.

توصیه می کنم حتما این مقاله را تا انتها بخوانید…

آپدیت ۲ مهر ۹۸ – برای اطلاع از آپدیت بعدی، در خبرنامه عضو شوید.

بودجه کراول چیست؟

بودجه کراول یا Crawl Budget عبارتست از ؛

تعداد صفحاتی که ربات های گوگل در یک بازه زمانی خاص و از یک وبسایت خاص، کراول و ایندکس می کنند.

خب طبیعتا چون این مفهوم به گوگل و ربات های آن مرتبط است، بنابراین احتمالا در بحث های مربوط به سئو هم باید تاثیرگذار باشد.

احتمالا که چه عرض کنم، قطعا تاثیر دارد!

مفهوم بسیار ساده است، تا زمانی که صفحات شما توسط ربات های گوگل کراول و ایندکس نشوند، شما در نتایج جستجو نخواهید بود! بنابراین اگر به طور مثال ۱۰۰۰ صفحه داشته باشید و بودجه کراول شما ۱۰۰ صفحه در روز باشد، حداقل ۱۰ روز باید صبر کنید تا تمامی صفحات سایتتان در نتایج گوگل ظاهر شود و قبل از آن نمی توانید فرآیند سئو خود را بر روی تمامی صفحات آغاز کنید!

اما نکته اینجاست که اکثر وبسایت ها نیازی به نگرانی در این باره ندارند، چرا که گوگل به صورت کاملا هوشمندانه بودجه کراول هر سایت را تنظیم می کند.

اما در چند مورد زیر، استثنا لازم است به بودجه کراول سایت خود توجه کنید و برای بهینه سازی آن اقدام کنید :

  • اگر یک سایت بزرگ مثل سایت های فروشگاهی و با بیش از ۱۰ هزار صفحه دارید.
  • اگر یک بخش جدید به سایت خود اضافه کرده اید که خود شامل چند صد صفحه می باشد.
  • اگر ریدایرکت و زنجیره های ریدایرکت زیادی دارید.

در ادامه درباره روش های بهینه سازی بودجه کراول صحبت خواهم کرد اما قبل از آن بگذارید به یک سوال چالشی پاسخ بدهم.

آیا بودجه کراول در سئو تاثیرگذار است؟

همیشه هر موضوعی در دنیای سئو و گوگل مطرح می شود، اولین سوال که همه افراد مشتاقانه منتظر پاسخ آن هستند این است که :«تو سئو تاثیر داره؟!!؟!؟!»

در مورد بودجه کراول باید عرض کنم که خیر! بودجه کراول یا Crawl Budget به طور مستقیم هیچ تاثیری در سئو ندارد و از زبان گوگل، بودجه کراول یک فاکتور رتبه بندی نیست.

در واقع بهینه بودن بودجه کراول سایت شما، صرفا سبب افزایش نرخ شناسایی و ورود صفحات به نتایج جستجو گوگل می شود اما تاثیری در رتبه گرفتن آنها ندارد.

در این لحظه شاید با خودتان بگویید : «خب پس چه اهمیتی داره بهینه سازی بشه وقتی تو سئو تاثیر نداره؟!»

در پاسخ به شما می گویم که مستقیما بله، هیچ تاثیری در سئو ندارد، اما غیرمستقیم چه؟

به نظر شخصی من بودجه کراول تاثیرات غیرمستقیمی می تواند بر روی سئو داشته باشد. برای اینکه بیشتر به منظور من نزدیک شوید، یک مثال برای شما می زنم.

همانطور که می دانید و در اکثر مقالات وبمسترخاکستری هم به این موضوع اشاره کرده ام، آپدیت کردن محتوای صفحات یکی از روش های فوق العاده تاثیرگذار برای افزایش رتبه در گوگل می باشد.

از طرف دیگر اگر بودجه کراول شما بالا باشد، این آپدیت شدن ها بسیار سریعتر شناسایی شده و بسیار سریعتر وارد نتایج جستجو می شوند.

در نتیجه اگر بودجه کراول شما بهینه باشد، با آپدیت کردن محتوای سایت خود خیلی سریعتر شاهد افزایش رتبه سایتتان خواهید بود! (مگه نه؟؟ :))

۶ نکته بهینه سازی بودجه کراول

تا به اینجا درباره چیستی بودجه کراول یا Crawl Budget و همچنین نقش آن در دنیای گوگل و سئو صحبت کردم.

اکنون زمان آن است که چند نکته به شما آموزش بدهم تا به کمک آنها بتوانید بودجه کراول سایت خود را بهینه سازی کنید و تاثیرات آن را ببینید.

با من همراه باشید.

۱/ در فایل Robot.txt اجازه کراول شدن را صادر کنید.

اولین و مهمترین و در عین حال ساده ترین موضوع این است که ورود ربات های گوگل به سایت شما توسط فایل robot.txt مسدود نشده باشد!

بنابراین حتما این فایل را ویرایش کرده و تمامی صفحات مهم سایت خود را برای ربات های گوگل باز بگذارید تا آزادانه آن را کراول کنند.

۲/ زنجیره های ریدایرکت را رصد کنید.

ریدایرکت ها به خودی خود مضر نیستند و نمی شود گفت ریدایرکت در سایت خود نداشته باشید، چون غیرممکن است!

امکان ندارد یک سایت متوسط از لحاظ تعداد صفحه داشته باشید و هیچ ریدایرکتی در آن وجود نداشته باشد.

اما مشکل در داشتن ریدایرکت نیست، مشکل در داشتن زنجیره های ریدایرکت متعدد است. زنجیره های ریدایرکت اصطلاحا بودجه کراول سایت شما را می خورند و اسراف می کنند!

البته تاکید می کنم که ۱ یا ۲ زنجیره ریدایرکت هم مشکلی ایجاد نمی کند اما حواستان باشد که تعدادشان افزایش نیابد.

۳/ سرعت سایت (Site Speed) را افزایش دهید.

افزایش سرعت بارگزاری صفحات سایت شما می تواند منجر به این شود که ربات های گوگل، سریعتر از قبل صفحات را کراول کنند و در نتیجه در زمان ثابت، تعداد صفحات بیشتری کراول می شود. این یعنی همان بهینه سازی و افزایش بودجه کراول !

گوگل در مقاله ای عنوان کرده است که :

افزایش سرعت سایت، سبب بهبود تجربه کاربری می شود، همانطور که بودجه کراول را افزایش می دهد.

گوگل (Google)

در حقیقت هرچقدر سایت شما کندتر لود شود، وقت با ارزش ربات های کراولر گوگل بیشتر هدر می رود!

۴/ لینک سازی داخلی انجام دهید.

ربات های گوگل در هنگام کراول کردن، صفحاتی که لینک های خارجی و داخلی به آن بیشتر اشاره می کنند را در اولویت خود قرار می دهند.

بنابراین حتما سعی کنید در صفحات مختلف سایت خود، در جایی که لازم است و امکان آن وجود دارد، به صفحات دیگر سایتتان لینک بدهید.

لینک سازی سبب می شود که ربات های کراولر در سایت شما پخش شده و درگیر شوند و در نتیجه بودجه کراول سایتتان را افزایش می دهد.

۵/ طراحی سایتتان بصورت Flat باشد.

گوگل بیان کرده است که :

صفحات یا URLهایی که در سطح وب شناخته شده تر هستند، بیشتر کراول می شوند تا همیشه در تازه ترین حالت ممکن باشند.

گوگل (Google)

امیدوارم بدانید که منظور گوگل از «شناخته شده تر» یعنی «بک لینک بیشتر» !

بنابراین برای اینکه بودجه کراول صفحات سایتمان را بالا ببریم، لازم است آنها را شناخته شده تر جلوه بدهیم، یعنی بک لینک های بیشتری برایشان دریافت کنیم.

اما بک لینک زیاد می تواند خطرساز باشد، پس به جای آن از ساختار چیدمان صفحات Flat استفاده می کنیم.

به تصویر زیر توجه کنید :

چیدمان flat صفحات سایت | بهینه سازی بودجه کراول
ساختار و چیدمان فلت صفحات یک سایت

به این نوع طراحی و چیدمان صفحات یک سایت، ساختار Flat گفته می شود.

همانطور که احتمالا می دانید، در این چیدمان اگر بک لینکی برای صفحه Home دریافت شود، ارزش آن میان ۳ صفحه Parent و در مرحله بعدی میان ۶ صفحه Child ، بصورت آبشاری سرازیر می شود.

در نتیجه این اتفاق، با یک تعداد بک لینک کم به صفحات اصلی، می توانید به صفحات لایه سوم سایت خود هم اعتبار برسانید تا نرخ کراول آنها نیز افزایش پیدا کند.

۶/ صفحه رهاشده نداشته باشید.

صفحه رهاشده یا اصطلاحا Orphan Page نداشته باشید!

به تصویر زیر توجه کنید :

صفحه رها شده یا Orphan Page

همانطور که در تصویر مشاهده می کنید، Orphan Page ها صفحاتی هستند که هیچگونه ارتباط لینکی با صفحات دیگر سایت ندارند، یعنی حتی یک لینک هم به این صفحات داده نشده است.

در نتیجه پیدا کردن این صفحات برای ربات های کراولر گوگل سخت می شود و بودجه کراول شما را هدر می دهد.

بنابراین حتما سعی کنید حداقل ۱ لینک به همه صفحات سایتتان داشته باشید.

خب دوستان، شانزدهمین مقاله از چالش #صدروز_نویسندگی به اتمام رسید. حتما تو توییتر نظرتون رو درباره این چالش به من منتقل کنین.
درضمن کامنت و اشتراک گذاری این مقاله در شبکه های اجتماعی (توییتر+لینکدین) فراموش نشه! ممنون 🙂

0 پاسخ

دیدگاه خود را ثبت کنید

تمایل دارید در گفتگوها شرکت کنید؟
در گفتگو ها شرکت کنید.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *