رفع خطاهای Crawl Errors گوگل وبمستر تولز

آموزش رفع خطاهای Crawl Errors در گوگ را یاد بگیریم.  گوگل در سال ۲۰۱۵ این سرویس را از Google Webmaster Tools به Search Console تغییر نام داد) به شما کمک می کند تا بر عملکرد گوگل در سایت خود نظارت کنید، وضعیت جستجوی فعلی خود را مشاهده کنید و سایت خود را عیب یابی کنید و رتبه بهتری در گوگل کسب کنید. در این ابزار کارآمد، بخشی به نام Crawl Errors وجود دارد که خطاهایی را که خزنده های گوگل هنگام مرور سایت شما با آن مواجه شده اند نشان می دهد.

رفع خطاهای Crawl Errors

گاهی اوقات شاهد افت شدید سئو سایت هستیم . این موضوع دلایل زیادی می تواند داشته باشد یکی از آن ها می تواند عدم دسترسی  گوگل به سایت یا صفحاتی از آن قطع شده باشد. خطاهای سایت مختص به یک URL خاص نیستند ، آنها کل سایت را تحت تاثیر قرار می دهند. در این لحظه هنگام جست و جوی صفحه با خطای DNS یا timeout  رو به رو می شویم. خطاهای رخ داده می تواند مربوط به تنظیمات DNS ، اتصال با سرور و مشکلات دسترسی به فایل robots.txt باشد.

 

 

اگر سایت شما در بخش های بالا مشکلی نداشته باشد در کنار هر کدام از بخش ها تیک سبزرنگ به معنای عدم مشکل و صحت این بخش ها نمایش داده می شود.

 

گاهی اوقات خطا مربوط به یک URL خاص می باشد. این به این معناست که وقتی گوگل سعی در بررسی این آدرس داشته ، توانسته با DNS شما ارتباط برقرار کند ، به سرور متصل شده و اطلاعات فایل robot.txt را خوانده و آدرس را درخواست کرده اما بعد از این مشکلی رخ داده است و روند دسترسی به URL ناقص مانده است . اکثر اوقات این صفحات، صفحاتی هستند که دیگر وجود ندارند و همان خطای ۴۰۴ را بوجود می آورند.

 

 

انواع خطاهای Crawl Errors

در زیر هر کدام از خطاها را به صورت جداگانه بررسی میکنیم:

۱-  ۵xx error 

برای مشاهده لیست کامل این وضعیت کدها ، RFC 2616 را ببینید. دلایل احتمالی این خطا , خطای سرور داخلی یا خطای مشغول بودن سرور است. اگر سرور مشغول است ، ممکن است اضافه بار را برگردانده باشد تا از Googlebot بخواهد سایت را کندتر کند.

۲- DNS issue (مشکل DNS) 

گوگل هنگام تلاش برای دسترسی به صفحه ، نمی تواند با سرور DNS ارتباط برقرار کند. این می تواند به این دلیل باشد که سرور شما خراب است یا مشکلی در مسیریابی DNS به دامنه شما وجود دارد. مطمئن شوید که دامنه شما به درستی کار می کند و دوباره امتحان کنید.

۳-  Robots.txt file unreachable ( فایل robot.txt در دسترس نیست ) 

گوگل قبل از اینکه صفحات سایت شما را بررسی کند ، سعی می کند  فایل robots.txt شما را بررسی نماید تا مطمئن شود هیچ صفحه ای را از داخل آن خارج نکند . حال اگر ، فایل robots.txt شما غیرقابل دسترسی باشد ,  برای اطمینان از اینکه گوگل هیچ صفحه ای را که در آن فایل ذکر شده است را خوانش نکرده ، خوانش خود را به تعویق می اندازد. هنگامی که این اتفاق می افتد ، گوگل بعداً به سایت شما باز می گردد و هنگامی که بتواند به فایل robots.txt شما برسد ، آن را خوانش می کند.

توجه داشته باشید که هنگام جستجوی فایل robots.txt این پاسخ با پاسخ ۴۰۴ متفاوت است. اگر ۴۰۴ دریافت کند ، فرض می کند که فایل robots.txt وجود ندارد و خوانش را ادامه می دهیم.

۴-  Network unreachable (شبکه در دسترس نیست) 

این خطا زمانی اتفاق می افتد که Googlebot هنگام درخواست فایل از سایت شما با وقفه زمانی یا مشکلی در ارتباط با شبکه مواجه می شود. بنابراین مجبور می شود درخواست را رها کند. این می تواند ناشی از یک یا چند مورد از موارد زیر باشد:

• به دلیل وجود صفحات پویا
• خرابی , پیکربندی اشتباه سرور یا بارگذاری بیش از حد
• مسدود کردن خزنده ی گوگل توسط سرور میزبان
• وجود اشکال در پیکربندی DNS
• Failed to connect (خطا در اتصال) : اتصال نمی تواند برقرار شود.
• No response (بدون پاسخ) : قبل از آن که گوگل بتواند اتصالی را برقرار کند سرور اتصال را قطع می کند.
• Truncated response (پاسخ کوتاه): سرور قبل از اینکه پاسخ کاملی به گوگل بدهد اتصال را قطع می کند. اصطلاحا بدنه ی پاسخ کوتاه است.
• Connection refused (رد ارتباط) : اتصال توسط سرور رد می شود.
• Truncated headers (سرصفحه ی کوتاه شده) : سرور قبل از ارسال کامل سرصفحه اتصال را قطع می کند.

روش رفع خطاهای Crawl Errors

۱-  حافظه کش مرورگر را پاک کنید.

۲-  DNS client را ری استارت کنید. با فشار دادن Start + R در صفحه کلید خود یا با تایپ Run در نوار جست و جو ، ماژول Run خود را باز کنید.service.msc  را در ماژول run تایپ کنید.با این کار لیستی از خدمات در دسترس شما باز می شود. شما می خواهید لیست را برای سرویس گیرنده DNS اسکن کرده و روی آن راست کلیک کنید. گزینه restart را بزنید.

۳-  سرورهای DNS را تغییر دهید.

۴-  کش DNS را پاکسازی کنید. شما باید ماژول فرمان را با تایپ کردن cmd در بخش جستجوی  در منوی START ، کلیک راست روی آن و اجرای آن به عنوان سرپرست ، راه اندازی کنید.پس از آماده شدن ، دستور زیر را وارد کنید: ipconfig /flushdnsهنگامی که دستور با موفقیت اجرا شد ، پیغام “حافظه پنهان DNS برطرف شده” روی صفحه شما ظاهر می شود.کامپیوتر خود را مجدداً راه اندازی کنید تا ببینید آیا خطا برطرف شده است یا خیر.

خطای DNS DOMAIN

شایع ترین نوع خطاهای رخ داده مربوط به DNS دامین یا مشکلاتی در سرور سایت است که می تواند به سئو سایت آسیب برساند .

برای اطلاع از این خطا می توانید از webmaster tools گوگل استفاده کنید . Webmaster در بخش  crawl یک گزارش ۹۰ روزه از سایت را نمایش می دهد . در صورتی که مشکل سایت شامل یکی از مواردی باشد که در بالا گفتیم گوگل آن را در بخش site error در وبمستر متذکر خواهد شد .

اگر سایت شما در بخش های بالا مشکلی نداشته باشد در کنار هر کدام از بخش ها تیک سبزرنگ به معنای عدم مشکل و صحت این بخش ها نمایش داده می شود.

گاهی اوقات خطا مربوط به یک URL خاص می باشد. این به این معناست که وقتی گوگل سعی در بررسی این آدرس داشته ، توانسته با DNS شما ارتباط برقرار کند ، به سرور متصل شده و اطلاعات فایل robot.txt را خوانده و آدرس را درخواست کرده اما بعد از این مشکلی رخ داده است و روند دسترسی به URL ناقص مانده است . اکثر اوقات این صفحات، صفحاتی هستند که دیگر وجود ندارند و همان خطای ۴۰۴ را بوجود می آورند.

برای رفع خطاهای Crawl Errors این مشکل به بخش crawl و زیر منوی crowlerror بروید و تمامی صفحاتی را که گوگل نتواسته به آنها دسترسی پیدا کند را چک کنید در صورتی که وجود دارند به آنها محتوا دهید و در صورتی هم که وجو ندارند آنها را حذف کنید .

بعد از بررسی و رفع خطا آدرس ها ،  با استفاده از امکانی که گوگل قرار داده آدرس ها را انتخاب کرده و Mark as fixed را کلیک کنید.

سپس درخواست ایندکس مجدد کل سایت را در بخش  fetch as googlebot انجام دهید.