فرایند خزش

گوگل همیشه همه صفحات سایت را بلافاصله ایندکس نمی کند. در واقع ، گاهی اوقات ، ممکن است این روند هفته ها طول بکشد. این ممکن است مانع تلاشهای شما در زمینه سئو شود. صفحه ی جدید تازه بهینه شده شما ممکن است خزش نشود. در آن زمان است که باید بودجه خزیدن خود را بهینه کنید.ما در مورد اینکه بودجه خزیدن چیست و می توانید برای بهینه سازی آن چه کاری انجام دهید در این مقاله بحث خواهیم کرد.

بودجه خزیدن چیست؟
بودجه خزیدن تعداد صفحاتی است که گوگل در هر روز در سایت شما آن ها را آنالیز میکند. این تعداد ازبه نسبت روزانه کمی متفاوت است ، اما به طور کلی ، نسبتاً پایدار است. گوگل ممکن است هر روز 6 صفحه را در سایت شما خزش کند ، ممکن است 5000 صفحه را خزش کند، حتی ممکن است هر روز 4،000،000 صفحه را خزش کند. تعداد صفحاتی که گوگل خزش میکند بودجه خزش نام دارد ، "بودجه" شما به طور کلی توسط اندازه سایت ، "سلامت" سایت شما (تعداد خطاهایی که گوگل با آنها روبرو می شود) و تعداد پیوندها به سایت شما تعیین می شود. برخی از این فاکتورها مواردی هستند که می توانید در آنها تأثیر بگذارید.

ربات خزنده چگونه کار می کند؟
یک خزنده مانند لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند. این لیست را به طور سیستماتیک طی می کند. هر چند وقت یک بار پرونده robots.txt شما را می خواند تا مطمئن شود که هنوز هم اجازه دارد هر URL را بخزد و سپس URL ها را یکی یکی خزش میکند. هنگامی که یک ربات یک URL را خزید و محتویات آن را تجزیه کرد ، URL های جدیدی را که در آن صفحه پیدا کرده است اضافه می کند که باید دوباره به لیست روند خزش اضافه شود.

بودجه خزیدن اگر Google مجبور باشد URL های زیادی را در سایت شما جستجو کند و  مقدار زیادی خزنده اختصاص داده باشد مشکلی ایجاد نمی کند  . اما اگر سایت شما 250،000 صفحه دارد و Google هر روز فقط 2500 صفحه را در این سایت خزش میکند.و اگر اقدامی نکنید ، Google متوجه تغییرات خاص در بیشتر صفحات شما نمی شود و تا 200 روز طول می کشد تا تمام صفحات شما را آنالیز کند.

مشخص کنید که چند صفحه در سایت خود دارید ، تعداد URL های شما در نقشه سایت XML ممکن است شروع خوبی باشد.

راه های برای افزایش بودجه خزیدن

قسمتهایی از سایت خود را مسدود کنید
اگر بخشهایی در سایت خود دارید که واقعاً نیازی به حضور در نتایج Google ندارند ، آنها را با استفاده از robots.txt مسدود کنید .

زنجیره های تغییر مسیر را کاهش دهید
وقتی 301 URL را هدایت می کنید، Google آن URL جدید را می بیند و آن URL را به لیست موارد مورد خزش اضافه می کند. وقتی زنجیره ریدایرکت می کنید ، به عنوان مثال ، وقتی غیر www را به www هدایت می کنید ، سپس http را به https تغییر می دهید ، در همه صفحات دو ریدایرکت دارید ، بنابراین خزیخزش دن برای همه صفحات بیشتر طول می کشد.

پیوندهای بیشتری دریافت کنید

با دریافت لینک های بیشتر ،بودجه ی خزش شما افزایش می یابد

پیوند داخلی صفحات باید همراه با تعداد زیادی بک لینک به صفحه هایی که قرار است بیشتر خزیده شوند باشد

اگر سایت شما نسبتاً کوچک است ، احتمالاً نیازی به بهینه سازی برای افزایش بودجه خزش ندارید.

صفحات 404 را شناسایی و حذف کنی.وجود چنین صفحاتی در سایت شما موجب کاهش بودجه ی خزش میشود