بودجه خزش چیست؟

احتمالا برای شما هم پیش آمده است که یک صفحه جدید را در سایت خود ایجاد کرده‌اید؛ اما حتی با گذشت زمان زیاد، هنوز هیچ اثری از آن در گوگل وجود ندارد. به این معنا که هنوز در لیست انتظار ملاقات با ربات‌های گوگل قرار دارد و هیچ اعتباری به آن تعلق نگرفته است. در این حالت متخصصان به شما خواهند گفت که کرال باجت (بودجه خزش Crawl Budget) شما کم است و باید آن را افزایش دهید. اما برای بهبود این مسئله باید چه کاری انجام داد؟

بودجه خزش یا کرال باجت چیست؟

تمام تلاش گوگل در این مسئله خلاصه می شود که محتوای خوبی را در اختیار کاربران خود قرار دهید. به همین دلیل نیاز دارد که دائما بازرسان خود را به سراغ صفحه‌های مختلف بفرستد و بررسی کند که آیا چیز جدیدی برای ارائه به کاربر وجود دارد یا خیر؟ اما نمی‌تواند تعداد زیادی کارآگاه خصوصی استخدام کند که به محض ایجاد کوچک‌ترین تغییرات در وب‌سایت شما، آن‌ها را مورد بررسی قرار دهد. زیرا ممکن است روزها و هفته‌ها هیچ تغییر جدیدی ایجاد نشود. بنابراین در اینجا گوگل یک برنامه زمانی را برای بازرسان خود تعریف می‌کند که در چه زمانی وارد یک وب‌سایت بشوند و آن را ارزیابی کنند. پس به طور کلی می‌توان گفت که بودجه خزش به این صورت تعریف می‌شود:

Crawl Budget یا بودجه خزش تعداد دفعاتی است که خزنده‌های گوگل در یک بازه زمانی مشخص، وارد وب‌سایت شما شده و صفحات را بررسی می کنند. در واقع هرچه زمان گردش ربات‌ها در وب‌سایت شما بیشتر باشد؛ تعداد برگه‌ها و نوشته‌های ایندکس شده هم بیشتر خواهد بود.

بنابراین دو مفهوم بسیار مهم در زمان بررسی بودجه یا نرخ خزش مطرح می‌شود:

• بازه زمانی مشخص حضور ربات‌ها در سایت
• تعداد صفحات ایندکس شده

این دو موضوع با هم رابطه مستقیم دارند؛ به این معنا که تعداد صفحات INDEX شده زمانی افزایش پیدا می‌کند که ربات‌ها مدت زمان بیشتری را در site شما بگذرانند. اما چگونه می‌توان این زمان را افزایش داد؟

فلسفه به وجود آمدن بودجه خزش Crawl Budget

از زمانی که تعداد سایت‌ها و صفحات جدید در اینترنت رو به افزایش گذاشت؛ گوگل تصمیم گرفت که نرخ خزش را تعریف کند. در نتیجه به هر وب‌سایت بسته به زمان فعالیت و اعتباری که دارد؛ یک بودجه مشخص اختصاص داده می‌شود. به این ترتیب Google هر صفحه را بر اساس معیارهای مختلفی، اولویت‌بندی کرده و زمانی را برای بررسی فعالیت‌های آن تعیین می‌کند. در این زمان به خصوص بازرسان خود را به سمت وب‌سایت خواهد فرستاد و به این ترتیب به هر صفحه فرصتی می‌دهد که قابلیت‌های خود را نشان داده و در فرایند اعتباربخشی قرار بگیرد. به این ترتیب صفحه ایندکس شده و به عنوان یکی از صفحات وب شناخته می‌شود. بنابراین اگر بودجه خزش به یک وب‌سایت تعلق نگیرد؛ مثل این است که آن صفحه یا سایت، اصلا وجود خارجی ندارد. اما این معیارها چه چیزهایی هستند؟

معیارهای تعیین کرال باجت

قبل از اینکه بخواهیم به شما بگوییم که چه کارهایی را می‌توانید برای افزایش بودجه خودتان انجام دهید؛ باید بدانیم که اصلا Crawl Budget چگونه تعیین می‌شود؟ باید بدانید که عملا شما نقش زیادی در تعیین مقدار این باجت نخواهید داشت و خود گوگل همه چیز را مدیریت می‌کند. به طور کلی 4 عامل اصلی برای تعیین نرخ خزش در نظر گرفته می‌شود که از قرار زیر هستند:

1. اندازه سایت

منظور از اندازه سایت، تعداد صفحات موجود در یک وب‌سایت است؛ فارغ از اینکه فعال باشند یا نه! هرچه تعداد صفحه‌های شما بیشتر باشد؛ زمان بیشتری برای بررسی آن‌ها نیاز است. در نتیجه سهم بیشتری را از برنامه زمانی بازرسان به خودتان اختصاص خواهید داد.

2. زمان بارگذاری سایت

طبق گفته Google، هرچه زمان بارگذاری سایت کمتر باشد؛ بودجه بیشتری به شما تعلق خواهد گرفت. باید بدانید که مشغله بازرسان گوگل به قدری زیاد است که نمی‌توانند منتظر بمانند تا سایت شما بارگذاری شود و سپس آن را ایندکس کنند. پس هرچه سریع‌تر صفحات خود را بالا بیاورید؛ تعداد برگه‌ها و نوشته‌های بیشتری در بازه زمانی مشخص فهرست خواهند شد. برای این که چنین مشکلی گریبانگیر شما نشود؛ ما در گروه لاک پشت خدمات افزایش سرعت سایت را به شما ارائه داده‌ایم.

3. فرکانس آپدیت

منظور از فرکانس آپدیت این است که در چه فاصله زمانی مطالب سایت خود را به‌روزرسانی می‌کنید؟ اگر وب‌سایت خود را به طور مرتب آپدیت کرده و صفحات جدیدی را به آن اضافه می‌کنید؛ گوگل برای هم‌راستا شدن با تغییرات شما، زمان بیشتری را برای بررسی سایت در نظر خواهد گرفت.

4. لینک سازی داخلی

لینک سازی داخلی به ربات‌های گوگل کمک می‌کند که بتوانند به سادگی در سایت بچرخند و به قسمت‌های مختلف آن سر بزنند. وجود پیوندهای مرده یا شکسته در وب‌سایت باعث می‌شود که بودجه خزش تا حد زیادی کاهش پیدا کند.

limit و Crawl demand چیست؟

Crawl limit و Crawl demand دو مفهوم بسیار اساسی هستند که در زمان مشخص کردن نرخ خزش مورد توجه قرار می‌گیرند. اطلاع از معنای این دو کلمه کلیدی به شما کمک می‌کند تا بتوانید در زمان راه‌اندازی وب‌سایت، هاست بهتری را انتخاب کنید و در عین حال ارزش صفحات خود را بالا ببرید.

Crawl limit یا حد خزش

این مفهوم به طور مستقیم به ظرفیت هاست و سرور شما بستگی دارد. باید بدانید که هر بار Google یک صفحه را برای خزیدن انتخاب می‌کند؛ از سرور می‌خواهد که امکان دسترسی به منابع سایت را فراهم کند. هر چه بودجه خزش شما بیشتر باشد؛ تعداد این درخواست‌ها هم بالاتر خواهد رفت. در نتیجه اگر از سرور قدرتمندی استفاده نکرده باشید؛ این درخواست‌ها بدون پاسخ می‌مانند و در نهایت سایت داون یا down می‌شود یا از کار می‌افتد. به این ترتیب گوگل تعیین می‌کند که ظرفیت یا حد خزش شما چقدر است. برای اینکه بتوانید یک هاست قدرتمند را انتخاب کنید؛ مقاله 11 سوالی که باید قبل از خرید هاست و سرور از خودتان بپرسید را مطالعه کنید.

قدرت پاسخگویی سرور و هاست در این مورد، با توجه به دو مورد تعیین می‌شود:

• سرعتی که در فراهم کردن دسترسی به منابع از خود نشان می‌دهد
• تعداد سایت‌هایی که در یک سرور اشتراکی در حال اجرا هستند

بنابراین اگر سایتتان به سمتی پیش روی کرده که تعداد صفحات زیادی دارد و در حال توسعه است؛ بهتر است از هاست اختصاصی استفاده کنید. به این ترتیب ظرفیت خزش بالا خواهد رفت و فرصت بیشتری برای نشان دادن تغییرات به گوگل و قرار دادن صفحات در نوبت نمره دهی خواهید داشت.

Crawl demand یا درخواست خزش

Crawl Demand تعیین می‌کند که کدام یک از صفحات شما آماده پذیرایی از خزنده‌های گوگل هستند. Google برای تعیین ارزش خزیده شدن هر یک از صفحات شما، الگوریتم تازگی محتو (فرشنس fresh ness) را تعریف کرده است که مشخص می‌کند شما چقدر به هر صفحه رسیدگی و آن را آپدیت می‌کنید. به علاوه میزان محبوبیت صفحه که بر اساس لینک سازی‌ها و کلمه‌های کلیدی مشخص می‌شود؛ در تعیین این کمیت تاثیرگذار هستند.

تاثیر Crawl Budget بر روی سئو

سوالی که ممکن است برای شما هم پیش بیاید این است که آیا بالا بودن بودجه خزش گوگل نشان‌دهنده این است که صفحات شما رتبه بالایی دارند؟ پاسخ این سوال خیر است. به عبارت بهتر اینکه نرخ خزش بالا باشد و گوگل زمان زیادی را در صفحات وب‌سایت شما بگذراند؛ تاثیر مستقیمی در بهبود جایگاه شما در میان نتایج جستجو نخواهد داشت. اما می‌تواند با سرعت بخشیدن به ایندکس شدن صفحات، بهینه‌سازی سایت را هم سریع‌تر کند.

به عبارت بهتر باید بدانید که کرال باجت یک فاکتور رتبه دهی در سئو نیست؛ اما می‌تواند به طور غیرمستقیم بر روی آن تاثیر بگذارد. زیرا بالا بودن نرخ خزش به این معنا است که شما لینک سازی داخلی خوبی داشته‌اید و سرعت بارگذاری سایتتان هم بالا است. در نتیجه می‌توان گفت که تا حد زیادی در سئو عملکرد خوبی داشته‌اید و خیلی از فاکتورها را رعایت کرده‌اید. یکی از خدمات اصلی ما برای سئو در اصفهان، بهینه‌سازی نقشه سایت و بودجه خزش است. به این ترتیب شما می‌توانید سایت خود را تا هر مقداری که می‌خواهید گسترش داده و روز به روز بزرگ و بزرگ‌تر شوید.

اهمیت بودجه خزش Crawl Budget

پس اگر نرخ خزش تاثیری بر رتبه‌بندی وب‌سایت ندارد؛ چرا باید به آن اهمیت دهیم؟ این موضوع زمانی مهم می‌شود که یک صفحه جدید را به سایت خود اضافه کرده یا تغییری را به وجود آورده‌اید. در این حالت انتظار دارید که گوگل خیلی سریع این تغییرات را احساس کرده و آن‌ها را ایندکس کند. اما اگر به بودجه خزش اهمیت ندهید؛ چیزی که در واقعیت اتفاق می‌افتد، چیز دیگری خواهد بود. یعنی باید روزها و هفته‌ها منتظر بمانید تا بالاخره صفحه جدید شما در نوبت نمره دهی قرار بگیرد و ایندکس شود. اگر چنین اتفاقی بیفتد؛ یک تاخیر بزرگ در فرایند سئو سایت اتفاق خواهد افتاد و از همه رقبا عقب می‌افتید.

نقطه مقابل این موضوع هم این است که ربات‌ها حضور فعالی را در وب‌سایت شما دارند و صفحات را به طور دائم ایندکس می‌کنند. اما مشکل اینجا است که صفحاتی بیشتر مورد توجه قرار می‌گیرند که اصلا برای شما مهم نیستند. پس دریافت ترافیک ارگانیک برای صفحات هدف غیرممکن خواهد شد و در نتیجه همه وقت و زمانتان برای سئو سایت هدر خواهد رفت. پس باید چه کار کنید؟

برای حل این مشکلات، باید بودجه خزش سایت خود را بهینه کنید.

منظور از بهینه‌سازی بودجه خزش این است که از لحظه‌لحظه حضور ربات‌های گوگل در وب‌سایت خود استفاده کرده و مطمئن شوید که دقیقا همان صفحاتی را می‌بینند که شما برای رتبه گرفتن در آن‌ها برنامه‌ریزی کرده‌اید. برای رسیدن به این هدف یک ابزار بسیار قدرتمند به نام سایت مپ در اختیار شما قرار گرفته است.

تاثیر سایت مپ بر کرال باجت

نقشه سایت (sitemap) یکی از بهترین ابزارها برای مدیریت بودجه خزش است. از این طریق شما می‌توانید به ربات‌های گوگل بفهمانید که گردش در وب‌سایت را از چه نقطه‌ای شروع کنند و کدام بخش‌ها از نظر شما اهمیت بیشتری دارند. در نتیجه مطمئن خواهید شد که خزنده‌ها از صفحات ارزشمند بازدید خواهند کرد و سئو سایت شما به موفقیت خواهد رسید. داشتن سایت مپ به سایت‌های بزرگ کمک می‌کند تا به راحتی آدرس قسمت‌های مختلف خود را به خزنده‌ها بدهند و باعث می‌شود که هر تغییری، هرچند کوچک، از قلم نیفتد. به این ترتیب مشخص خواهید کرد که به هر صفحه چه مقدار زمان باید اختصاص داده شود و حتی می‌توانید مشخص کنید که ربات‌های گوگل چه زمانی را برای بازدید بعدی خود برنامه‌ریزی کنند. برای اینکه بدانید چگونه می‌توانید sitemap خوبی طراحی کنید؛ مقاله سایت مپ چیست را در وبلاگ ما مطالعه کنید.

نحوه بهینه سازی بودجه خزش

هرچند خود Crawl Budget به تنهایی بر روی سئو تاثیرگذار نیست؛ اما اقداماتی که برای بهینه‌سازی بودجه خزش انجام می‌دهید، بدون شک می‌تواند به بهبود رتبه سایت شما کمک کند. زیرا در این صورت صفحات مهم خود را Bold خواهید کرد و از تلف شدن وقت گوگل و منابع خودتان جلوگیری کنید. برای این کار باید یک سری اقدامات ساده را انجام دهید که از قرار زیر هستند:

• پارامترهای فیلتر محصولات را در URL سایت‌های فروشگاهی از دسترس خزنده‌ها خارج کنید.
• محتوای تکراری یا بی‌کیفیت را از صفحات خود حذف کنید.
• از لینک‌های شکسته یا ریدایرکت شده استفاده نکنید.
• URLهای اشتباه را از سایت مپ خود حذف کنید
• صفحات هدف را در سایت مپ قرار دهید.
• لینک سازی‌های داخلی را بهینه‌سازی کنید.
• تعداد صفحات غیر قابل ایندکس خود را کم کنید.
• صفحات زامبی که دارای محتوای بی‌ارزش هستند را حذف کنید.

در نهایت باید بگوییم …

گوکل برای اینکه همه سایت‌ها فرصت رسیدن به نتایج برتر را داشته باشند؛ بودجه خزش Crawl Budget را برای آن‌ها تعیین کرده است. اما اینکه چه مقدار از این بودجه به شما تعلق می‌گیرد؛ کاملا وابسته به نحوه عملکردتان است. به این معنا که هر چقدر شما بیشتر به سایتتان برسید و لینک سازی‌های داخلی درستی را انجام دهید؛ ربات‌ها زمان بیشتری را برای گردش در سایت به شما اختصاص می‌دهند. در نتیجه صفحه‌های جدید و تغییراتی که اعمال کرده‌اید؛ خیلی سریع دیده می‌شوند و می‌توانید فرایند سئو کردن آن‌ها را برای رسیدن به رتبه یک آغاز کنید.

سوالات متداول (FAQ)