یکی از مهم‌ترین نکاتی که باید در حوزه سئو تکنیکال بدانید، کراول باجت crawl budget یا بودجه خزش و یا نرخ خزش است. شاید در نگاه اول این اصطلاح برای کسانی که اولین بار است می‌شنوند، کمی عجیب و غریب باشد، اما ما قصد داریم با بیان یک مثال ساده درک آن را برای شما آسان کنیم.
تصور کنید که در ابتدای ماه هستید و به تازگی هم حقوق دریافت کرده‌اید، اگر جزو افرادی باشید که برنامه‌ریزی برای انجام هر امور مالی اولویت شما باشد، حتما بودجه ماهیانه خود را کنترل خواهید کرد. یعنی ممکن است بخشی از بودجه خود را به پرداخت اقساط اختصاص دهید و معمولا هم با اولویت‌بندی خریدهای ضروری و غیرضروری پیش بروید.
حالا گوگل هم برای خزش میلیون‌ها سایت، بودجه‌ای در نظر گرفته است که با توجه به معیارهای خاصی برای هر سایت اولویت‌هایی قرار می‌دهد. باید اشاره کنیم که crawl budget برای رتبه‌گیری صفحات وب‌سایت شما اهمیت دارد و اگر موتورهای جستجوی گوگل سایت شما نخزند، امکان اینکه اصلا دیده نشوید نیز وجود دارد. در ادامه این مطلب از آکادمی سئو محمد پور فیض بیشتر درباره نرخ خزش و تاثیر آن روی سئو بیشتر توضیح می‌دهیم.
- Crawl Budget چیست؟
- چرا Crawl Budget برای سئو و بهینه‌سازی موتورهای جستجو گوگل اهمیت دارد؟
- گوگل چگونه بودجه خزش را به وب‌سایت‌ها اختصاص می‌دهد؟
- چگونه کراول باجت سایت خود را افزایش دهیم؟
- چگونه بودجه خزش سایت را رصد کنیم؟
- سخن پایانی درباره نرخ خزش
کراول باجت یا Crawl Budget چیست؟
گوگل برای اینکه میلیون‌ها سایت و صفحات مرتبط به آن را پیدا کند یک فرآیندی را ایجاد کرده، این فرآیند خزیدن است. برای خزیده شدن میلیون‌ها سایت فعال، مرورگر محبوب یعنی گوگل یک بودجه خاصی لحاظ کرده است. البته گوگل برای انجام آن هم دلایل خاص خودش را دارد، برای آنکه بتواند از همه سایت‌های فعال باخبر شود و بتواند یک فهرست مناسب در اختیار کاربر قرار دهد، یک باجت در نظر گرفته است.
در حقیقت گوگل با کراول و خزیدن صفحات قصد دارد تا محتواهای آن‌ها را دقیق‌تر رصد کند و به محض درخواست کاربر، بهترین پاسخ را در اختیار او قرار دهد. دقیقا Crawl Budget به تعداد صفحاتی اشاره دارد که توسط گوگل بات (Googlebot) در یک بازه زمانی مشخص خزیده، مرور و فهرست می‌شود.
جالب است بدانید که در سال ۲۰۰۹ گوگل اعلام کرد که تنها درصد کمی از محتواهای آنلاین را می‌تواند پیدا کند و به متخصصین سئو توصیه کرد که بیشتر روی بهینه‌سازی سایت کار کنند. فضای اینترنت آنقدر گسترده و بزرگ است که تنها گوگل درصدی از آن‌ها را می‌تواند بخزد و بیابد و فهرست کند.
برای وب‌سایت‌های بزرگی همانند دیجی کالا یا آمازون، کراول باجت فوق‌العاده اهمیت دارد؛ زیرا چندین هزار آدرس و صفحه دارند که باید خزیده شوند. اما برای سایت‌های کوچک با تعداد صفحات کمتر، نگرانی کمتری از بابت بودجه خزیده شدن وجود دارد، زیرا آن‌ها به طور طبیعی توسط گوگل خزیده و فهرست می‌شوند. هرچند که در این سایت‌ها هم بهتر است که بودجه خزش سایت بهینه سازی شود.
چرا Crawl Budget برای سئو و بهینه‌سازی موتورهای جستجو اهمیت دارد؟
اگر بخواهیم در یک جمله درباره اهمیت کراول باجت برای سئو بگوییم باید اشاره کنیم که خزیده شدن صفحات سایت با ایندکس آن‌ها در ارتباط است. یعنی اگر سایتی ایندکس نشود، خبری از رتبه گرفتن در نتایج گوگل نیست؛ بنابراین اگر تعداد صفحات شما بیشتر از بودجه خزیدن باشد، امکان دارد برخی از آن‌ها ایندکس نشوند.
یکی دیگر از مواردی که معمولا کراول باجت برای سئو سایت اهمیت می‌یابد، زمانی است که صفحات و آدرس جدیدی ایجاد کرده‌اید. اگر تعداد این صفحات زیاد باشد، می‌خواهید مطمئن شوید که بودجه کافی برای خزیده و ایندکس شدن آن‌ها دارید یا خیر. اگر این بودجه به خوبی مدیریت شود، می‌توانید از ایندکس شدن همه صفحات جدید اطمینان یابید.
اگر تعداد زیادی صفحات را ریدایرکت کرده‌اید، ممکن است بخش قابل توجهی از باجت خزش را از دست بدهید و این مستقیما روی سئو سایت تاثیر خواهد گذاشت؛ زیرا بازهم به بخش ایندکس نشدن صفحاتی که مهم هستند، مرتبط است.
گوگل چگونه بودجه خزش را به وب‌سایت‌ها اختصاص می‌دهد؟
نکته مهم دیگری که در این مطلب اهمیت بالایی دارد و باید از آن آگاهی داشته باشید این است که فاکتورهای گوگل برای تعیین بودجه کراول کردن سایت‌ها چیست. یعنی جناب گوگل به چه مواردی توجه می‌کند و براساس آن یک نرخ و بودجه خاصی را برای مرور کردن صفحات سایت‌ها در نظر می‌گیرد.
یکی از مهم‌ترین عوامل میزان محبوبیت آن صفحه است، یعنی صفحه مورد نظر چقدر می‌تواند برای مخاطب ارزش افزوده ایجاد کند. اگر صفحهای را به وجود آورده‌اید که دقیقا مطابق با نیاز کاربر است و از طرفی گوگل را متوجه کرده‌اید که این صفحه محبوبیت دارد، خیالتان راحت، آن صفحه مورد توجه خزنده‌ها قرار می‌گیرد و یک بودجه اختصاصی را از آن خود خواهد کرد.
نکته مهم بعدی در تعیین باجت خزش گوگل، میزان تحمل سایت مورد نظر است. این بدان معناست که یک وب‌سایت چقدر توان خزش را دارد. برخی سئوکاران معتقدند که هر چقدر سایت فعالیت بیشتری داشته باشد و مکرر محتوای مدنظر کاربر را انتشار دهد، احتمال اینکه همه روزه مورد لطف خزنده‌های گوگل قرار گیرد زیاد است.
چگونه کراول باجت سایت خود را افزایش دهیم؟
تعجب نکنید، باجت خزش را نیز می‌توانید افزایش دهید. بله آنقدرها هم که تصور می‌کنید گوگل سختگیرانه رفتار نمی‌کند. برای افزایش بودجه باید بهتر و بیشتر روی سئو و بهینه‌سازی موتورهای جستجوی گوگل کار کنید.
این فرآیند بهینه‌سازی بودجه خزش نشان‌دهنده این است که گوگل زمان بیشتری را در صفحات سایت شما می‌گذراند. اکنون شما به عنوان یک مدیر سایت یا یک سئوکار باید بدانید که استفاده از چه روش‌هایی باعث استفاده عاقلانه و مدیریت شده از این بودجه می‌شود. روش‌هایی مثل:
افزایش سرعت سایت باعث افزیش نرخ خزش می‌شود
اگر مایلید که حداکثر استفاده را از بودجه اختصاص داده شده برای خزش سایت ببرید، باید از سرعت سایت مطمئن شوید. افزایش سرعت سایت و دسترسی آسان و سریع به محتوای صفحات سایت، می‌تواند به مدیریت Crawl Budget کمک کند. به جای آنکه بات‌های گوگل همه زمان را در یک صفحه سپری کنند، به صفحات بیشتری از سایت شما سر می‌زنند.
اگر سرعت لود صفحات شما زیاد باشد و زمان زیادی از خزنده‌های گوگل بگیرد، از بودجه سایت شما کم می‌شود؛ بنابراین با استفاده از روش‌های بهینه‌سازی معتبر سرعت سایت را تا جای ممکن افزایش دهید. همه این‌ها در کنار هم باعث بهبود تجربه کاربری خواهد شد.
برای مثال اگر سایت شما برای بارگذاری صفحات از جاوا اسکریپت استفاده می‌کند (برای فهمیدن نقش جاوا اسکریپت در سئو کلیک کنید)، ممکن است بخشی از بودجه برای باز کردن فایل‌ها و API (رابط کاربری) هدر برود. در وب‌سایت‌های سازمانی بزرگ زمانی که کاربر از سمت رندر مشتری به رندر سرور تغییر مکان می‌دهد، بررسی فایل لاگ نشان داد که گوگل زمان بیشتری را در برای بارگذاری محتوای مهم سایت صرف می‌کند.
به حداقل رساندن خطاهای خزیدن یکی دیگر از راه‌های افزایش نرخ خزش
یکی دیگر از نکات مهمی که باید برای کراول باجت سایت خود در نظر بگیرید، خطاهای رایجی که در زمان خزش در سایت رخ می‌دهد را به حداقل برسانید. اگر گوگل بات در زمان خزیدن سایت شما با خطاهایی مانند خطای ۵۰۰ که مرتبط با سرور است، مواجه شود بخشی از بودجه را از دست می‌دهد.
خطاهایی مانند ۴۰۴ که نشان از عدم وجود آن صفحه دارد، ممکن است روی باجت خزنده‌های سایت شما تاثیر بگذارد. به زبان ساده، چرا باید زمان ارزشمند خزیدن گوگل را صرف صفحاتی کنید که دیگر وجود ندارند، در حالیکه می‌توانید همین زمان را صرف صفحات ارزشمند و مهم سایت خود کنید.
همچنین پیشنهاد می‌کنیم که از ایجاد لینک‌های داخلی برای صفحاتی که دیگر وجود ندارند نیز خودداری کنید. مثلا صفحاتی که تغییر مسیر داده‌اید و از ارسال ربات‌های گوگل به چندین صفحه میانی نیز هدر ندهید. در مقابل به همان صفحه نهایی پیوند و ارتباط دهید.
اگر می‌خواهید به صورت دقیق متوجه شوید که موتور جست و جوی گوگل چگونه کار می کند کلیک کنید
برای بالا بردن بودجه خزش انتشار محتواهای تکراری را فراموش کنید
برای آنکه Crawl Budget سایت خود را افزایش دهید، یکی از کارهایی که باید جدا از آن خودداری کنید، انتشار محتواهای تکراری است. این اصطلاحا Duplicate Contents می‌توانند بخش قابل توجهی از کراول باجت سایت را بیهوده هدر دهند. حتی اگر بیش از ۱۰۰۰ صفحه هم داشته باشید، باید برای آن‌ها محتوای یونیک و انحصاری تولید کنید، در غیر این صورت به این بخش مهم سایت خود آسیب خواهید زد.
از لینک‌های داخلی مفید در مطالب خود استفاده کنید تا کراول باجت افزایش یابد
ایجاد پیوند و لینک‌های داخلی مفید در مطالب صفحات مختلف سایت می‌تواند بودجه خزش را افزایش دهد؛ زیرا خزنده‌ها در هر بار مرور با مجموعه‌ای لینک‌ها مواجه می‌شوند که آن‌ها را به سایر صفحات نیز هدایت می‌کند. جالب است بدانید که ربات‌های گوگل بیشترین اولویت را به صفحاتی می‌دهند که از لینک‌های داخلی یا خارجی مناسبی در محتواهای خود استفاده کرده‌اند.
بهتر است که از انتشار صفحات بدون لینک داخلی یا خارجی جلوگیری کنید؛ زیرا امکان اینکه چنین صفحاتی اصلا خزیده و ایندکس نشوند، زیاد است. وجود حداقل یک یا دو لینک داخلی و خارجی می‌تواند به افزایش توجه ربات‌های گوگل به صفحات شما کمک کند.
محتوای صفحات را آپدیت کنید
ممکن است گوگل بات چندین بار محتوای صفحات سایت شما را خزیده باشد و به این خاطر که محتوای آن قدیمی بود، دیگر سراغی از آن صفحه نگیرد. مرورگرهای گوگل همواره دوست دارند بهترین و به‌روزترین منابع و اطلاعات را در اختیار کاربر قرار دهند؛ بنابراین آپدیت محتواها از اهمیت ویژه‌ای برای افزایش بودجه باجت خزیده شدن سایت دارد.
برای مثال اگر جزو سایت‌هایی هستید که همه روزه محتوا منتشر می‌کنید، امکان دارد ربات‌ها گوگل تنها به آن‌ها سر بزند. در صورتی که محتواهای منتشر شده در سه سال اخیر را به خاطر قدیمی بودن اطلاعات درج شده در آن کنار بگذارد. در صورت لزوم اطلاعات قدیمی را به روز کنید.
از سایت مپ کمک بگیرید (بهترین را برای بهینه سازی بودجه خزش)
یکی از روش‌های مناسب برای خزیده شدن صفحات سایت؛ به‌ویژه برای سایت‌های بزرگ معرفی تک تک صفحات به گوگل از طریق نقشه سایت یا سایت مپ است. با انجام این کار نیز می‌توانید بخشی از Crawl Budget خود را ذخیره و افزایش دهید، یعنی به جای گوگل خود ربات‌های مرورگر را راهی سایت شما کند، شما خودتان با استفاده از این ترفند صفحات را به گوگل معرفی و به ایندکس شدن سریع‌تر آن‌ها کمک می‌کنید.
چگونه بودجه خزش سایت را رصد کنیم؟
برای آنکه یک آمار نسبی از میزان باجت خزش ربات‌های گوگل در سایت خود به دست آورید، می‌توانید از پنل گوگل سرچ کنسول کمک بگیرید. برای انجام این کار کافی است که به صفحه سرچ کنسول سایت خود بروید و لاگین کنید.
برای رصد نرخ خزش سایت به بخش تنظیمات یا settings گوگل سرچ کنسول بروید. سپس گزارش Crawl stats را بیابید و روی Open Report کلیک کنید. در اینجا می‌توانید نمودار روند خزیدن سایت را توسط ربات‌های گوگل ببینید.
پیش از هر کاری هم بهتر است که به بخش ارورهای سایت خود در سرچ کنسول توجه کنید. گاهی کراول نشدن برخی از صفحات شما ممکن است به خاطر بروز خطاهای سرور، جاوا اسکریپت یا صفحات ۴۰۴ باشد.
سخن پایانی درباره نرخ خزش سایت
آنچه که در این مطلب مفصل درباره‌اش بودجه خزش یا کراول باجت سایت بود. اهمیت این بخش برای سئو و بهینه‌سازی سایت غیر قابل انکار است؛ زیرا به افزایش ترافیک و در انتها بیشتر دیده شدن صفحات توسط ربات‌های گوگل به مخاطبان کمک زیادی می‌کند. هر چقدر این بودجه بهتر مدیریت شود و از طرفی هم افزایش یابد، بازدیدکنندگان و درآمد بیشتری را برای کسب و کار به ارمغان می‌آورد.
