اگر مدتی از انتشار یک صفحه در سایت گذشته اما وقتی عنوان یا آدرس آن را در گوگل جستجو می کنید، چیزی پیدا نمی کنید، احتمالا با مشکل ایندکس نشدن سایت در گوگل مواجه هستید.
ایندکس نشدن سایت در گوگل یکی از مشکلاتی است که ممکن است برای سایت‌های تازه راه‌اندازی شده یا حتی سایت‌های قدیمی اتفاق بیفتد. در این شرایط ممکن است یک یا چند صفحه سایت در نتایج جستجوی گوگل نمایش داده نشوند…
ایندکس شدن به این معنی است که گوگل صفحه را پیدا کرده، آن را بررسی کرده و اطلاعات آن را در فهرست صفحات قابل نمایش خود قرار داده است. با این حال، صرفا قرار گرفتن یک صفحه در سایت یا اضافه کردن آن به نقشه سایت، تضمین نمی کند که گوگل حتما آن را ایندکس کند.
دلایل مختلفی می توانند باعث شوند یک صفحه هنوز توسط گوگل ایندکس نشده باشد؛ از مشکلات ساده مانند قرار گرفتن تگ noindex روی صفحه گرفته تا مشکلات فنی سرور، محتوای تکراری، لینک سازی داخلی ضعیف یا تصمیم خود گوگل برای ایندکس نکردن صفحه.
در این آموزش بررسی می کنیم چرا سایت یا صفحات آن در گوگل ایندکس نمی شوند، چگونه علت را در Google Search Console پیدا کنیم و برای هر مشکل چه راه حلی وجود دارد.
ایندکس شدن سایت در گوگل دقیقا یعنی چه؟
گوگل برای نمایش صفحات سایت ها در نتایج جستجو چند مرحله اصلی را طی می کند.
ابتدا باید صفحه را کشف کند. سپس Googlebot صفحه را خزش یا Crawl می کند. بعد از بررسی و پردازش محتوا، گوگل تصمیم می گیرد که آیا صفحه را در فهرست صفحات خود قرار دهد یا خیر.
به صورت ساده می توان این فرآیند را این طور در نظر گرفت:
- کشف صفحه
- خزش
- پردازش و ارزیابی
- ایندکس
- نمایش در نتایج جستجو
بنابراین اگر صفحه ای در گوگل دیده نمی شود، لزوما به این معنی نیست که گوگل اصلا آن را پیدا نکرده است.
ممکن است:
- گوگل هنوز صفحه را پیدا نکرده باشد.
- صفحه پیدا شده اما هنوز Crawl نشده باشد.
- صفحه Crawl شده اما ایندکس نشده باشد.
- صفحه به دلیل
noindexاز ایندکس شدن منع شده باشد. - گوگل صفحه دیگری را به عنوان نسخه اصلی انتخاب کرده باشد.
- صفحه به دلیل کیفیت پایین یا محتوای تکراری فعلا ایندکس نشده باشد.
- سایت یا سرور مانع دسترسی Googlebot شده باشد.
قبل از هر چیز؛ مطمئن شوید صفحه واقعا ایندکس نشده است
گاهی تصور می کنیم یک صفحه ایندکس نشده، در حالی که صفحه در گوگل وجود دارد اما با جستجوی معمولی آن را پیدا نمی کنیم.
برای بررسی سریع می توانید از عملگر site: در جستجوگر گوگل استفاده کنید.
برای مثال:
site:example.com/example-page/
یا برای بررسی کل سایت:
site:example.com
را در باکس جستجو گوگل وارد کنید .
البته نتیجه این جستجو را نباید تنها معیار قطعی قرار دهید. Google Search Console و ابزار URL Inspection اطلاعات دقیق تری درباره وضعیت ایندکس صفحه ارائه می کنند.
بهترین روش بررسی وضعیت ایندکس صفحه در سرچ کنسول
وارد Google Search Console شوید و آدرس دقیق صفحه را در قسمت URL Inspection وارد کنید.
سرچ کنسول می تواند اطلاعات مهمی درباره وضعیت صفحه ارائه دهد، از جمله اینکه:
- آیا URL در گوگل قرار دارد یا خیر؟
- آیا صفحه توسط گوگل Crawl شده است؟
- آیا صفحه اجازه ایندکس شدن دارد؟
- Canonical انتخاب شده توسط گوگل چیست؟
- آخرین Crawl چه زمانی انجام شده است؟
- آیا مشکل دسترسی وجود دارد؟
اگر صفحه جدیدی منتشر کرده اید، پس از اطمینان از برطرف بودن مشکلات می توانید از گزینه Request Indexing نیز استفاده کنید.
البته درخواست ایندکس به معنی اجبار کردن گوگل به ایندکس کردن صفحه نیست. این گزینه فقط از گوگل می خواهد صفحه را برای بررسی مجدد در صف قرار دهد.
مهم ترین دلایل ایندکس نشدن سایت در گوگل
۱. سایت تازه راه اندازی شده است
اگر سایت شما جدید باشد، طبیعی است که گوگل هنوز همه صفحات آن را پیدا نکرده باشد.
سایت های جدید معمولا هنوز:
- لینک خارجی زیادی ندارند.
- لینک داخلی کافی ندارند.
- صفحات زیادی ندارند.
- سابقه خزش مشخصی ندارند.
راه حل
در ابتدا مطمئن شوید:
- سایت در Google Search Console ثبت شده است.
- Sitemap صحیح است.
- صفحات مهم از طریق لینک داخلی قابل دسترسی هستند.
- سایت برای موتورهای جستجو مسدود نشده است.
- صفحات مهم محتوای واقعی و مفید دارند.
در سایت های تازه راه اندازی شده، کمی زمان دادن نیز طبیعی است.
۲. صفحه در Sitemap وجود ندارد
Sitemap به گوگل کمک می کند URL های مهم سایت را پیدا کند.
اگر صفحه ای در Sitemap قرار نگرفته باشد، الزاما ایندکس نمی شود، اما پیدا کردن آن ممکن است برای گوگل سخت تر شود.
راه حل
Sitemap سایت را بررسی کنید و مطمئن شوید URL های مهم در آن قرار دارند.
در سایت های وردپرسی معمولا افزونه های SEO مانند Rank Math ، Yoast یا افزونه های مشابه Sitemap ایجاد می کنند.
در عین حال باید توجه داشت که Sitemap محل قرار دادن هر URL نیست.
برای مثال URL هایی که:
noindexهستند- 404 هستند
- Redirect شده اند
- Canonical آنها به صفحه دیگری اشاره می کند
نباید بدون دلیل در Sitemap قرار داشته باشند.
۳. صفحه با robots.txt مسدود شده است
فایل robots.txt می تواند به ربات های موتورهای جستجو اعلام کند که به بخش خاصی از سایت دسترسی نداشته باشند.
برای مثال:
User-agent: *
Disallow: /private/
در این حالت، مسیر مشخص شده برای خزش Googlebot محدود شده است.
راه حل
فایل زیر را بررسی کنید:
https://example.com/robots.txt
به دنبال قوانین Disallow بگردید و بررسی کنید آیا URL موردنظر به اشتباه مسدود شده است یا خیر.
نکته مهم
robots.txt با noindex یکی نیست.
robots.txt برای کنترل خزش استفاده می شود و به تنهایی روش مناسبی برای حذف یک صفحه از نتایج جستجو نیست.
اگر صفحه ای قبلا ایندکس شده باشد و بعد فقط دسترسی Crawl آن را با robots.txt مسدود کنید، حتی ممکن است مدیریت وضعیت آن صفحه برای گوگل دشوارتر شود.
۴. روی صفحه تگ noindex قرار گرفته است
یکی از رایج ترین دلایل ایندکس نشدن صفحات، وجود دستور noindex است.
ممکن است در HTML صفحه چیزی شبیه این وجود داشته باشد:
<meta name="robots" content="noindex">
یا:
<meta name="googlebot" content="noindex">
در این حالت به موتور جستجو گفته می شود صفحه را در نتایج جستجو قرار ندهد.
چگونه بررسی کنیم؟
در سرچ کنسول، URL را با ابزار URL Inspection بررسی کنید.
همچنین می توانید سورس HTML صفحه را بررسی کنید و عبارت noindex را جستجو کنید.
در وردپرس نیز تنظیمات افزونه SEO و تنظیمات خود صفحه را بررسی کنید.
۵. هدر HTTP دارای X-Robots-Tag: noindex است
این مورد کمی متفاوت است.
گاهی noindex داخل HTML صفحه قرار ندارد و از طریق HTTP Response Header ارسال می شود.
برای مثال:
X-Robots-Tag: noindex
در این حالت نیز گوگل متوجه می شود که صفحه نباید ایندکس شود.
چگونه بررسی کنیم؟
در ویندوز می توانید CMD را باز کنید و دستور زیر را اجرا کنید:
curl -I https://example.com/
در خروجی به دنبال این عبارت بگردید:
X-Robots-Tag: noindex
اگر وجود نداشته باشد، این مشکل برای آن URL وجود ندارد.
همچنین می توانید از تب Network در Developer Tools مرورگر استفاده کنید و Response Headers درخواست صفحه را بررسی کنید.
این هدر ممکن است از کجا ایجاد شود؟
در سایت وردپرسی ممکن است توسط موارد مختلفی ایجاد شود، از جمله:
- تنظیمات افزونه SEO
- افزونه های امنیتی
- تنظیمات سرور
- CDN
- فایل
.htaccess - کدهای سفارشی
- تنظیمات مربوط به فایل های خاص مانند PDF
۶. صفحه Redirect شده است
اگر لینک صفحه به لینک دیگری Redirect شود، معمولا همان لینک اولیه به عنوان صفحه قابل ایندکس در نظر گرفته نمی شود.
برای مثال:
/page-old/
به:
/page-new/
ریدایرکت شده است.
در چنین شرایطی باید صفحه مقصد را بررسی کنید.
راه حل
اگر Redirect عمدی است، معمولا مشکلی وجود ندارد.
اما اگر Redirect اشتباهی ایجاد شده، تنظیمات:
.htaccess- افزونه های Redirect
- افزونه SEO
- تنظیمات وردپرس
- تنظیمات سرور
را بررسی کنید.
۷. صفحه خطای 404 یا 410 دارد
اگر صفحه وجود نداشته باشد و سرور پاسخ 404 Not Found یا 410 Gone بدهد، گوگل نمی تواند آن را به عنوان یک صفحه قابل استفاده ایندکس کند.
برای بررسی می توانید از URL Inspection یا ابزارهایی مانند curl در CMD ویندوز استفاده کنید.
مثال:
curl -I https://example.com/example-page/
اگر پاسخ چیزی مانند:
HTTP/1.1 404 Not Found
باشد، صفحه در دسترس نیست.
راه حل
اگر صفحه باید وجود داشته باشد، URL، فایل ها، تنظیمات وردپرس یا Rewrite Rules را بررسی کنید.
اگر URL حذف شده و جایگزین مناسبی دارد، Redirect مناسب ایجاد کنید.
۸. سرور خطای 5xx می دهد
خطاهایی مانند:
500
502
503
504
می توانند باعث شوند Googlebot نتواند صفحه را به درستی دریافت کند.
این مشکل می تواند مربوط به مواردی مانند:
- سرور
- PHP
- مصرف بیش از حد منابع
- افزونه های وردپرس
- خطای کد
- دیتابیس
- CDN
- فایروال
باشد.
راه حل
ابتدا وضعیت سرور و Error Log ها را بررسی کنید.
اگر خطای 500 دارید، فایل های Log در cPanel و همچنین لاگ های PHP و وب سرور می توانند سرنخ مهمی ارائه دهند.
۹. Googlebot توسط فایروال یا افزونه امنیتی مسدود شده است
گاهی خود سایت سالم است اما سیستم امنیتی اجازه نمی دهد Googlebot به صفحات دسترسی پیدا کند.
این مشکل ممکن است توسط موارد زیر ایجاد شود:
- Firewall
- WAF
- CDN
- افزونه امنیتی
- Rate Limiting
- قوانین ضد ربات
- تنظیمات سرور
ایجاد شود.
راه حل
اگر سرچ کنسول خطای دسترسی یا Crawl نشان می دهد، تنظیمات امنیتی سایت را بررسی کنید.
مخصوصا اگر اخیرا:
- افزونه امنیتی نصب کرده اید.
- قوانین Firewall تغییر کرده است.
- CDN فعال کرده اید.
- تنظیمات ضد ربات را تغییر داده اید.
احتمال وجود این مشکل بیشتر است.
۱۰. صفحه محتوای کم یا ارزش محتوایی پایینی دارد
گاهی هیچ مشکل فنی وجود ندارد.
صفحه:
200 OK
است، سایت مپ نیز درست است، فایل robots.txt مشکلی ندارد و noindex هم وجود ندارد؛ اما گوگل همچنان صفحه را ایندکس نمی کند.
یکی از دلایل احتمالی، کیفیت یا ارزش پایین محتوا است.
برای مثال صفحه ای فقط چند خط متن دارد و اطلاعات جدید یا مفیدی ارائه نمی کند.
راه حل
صفحه را از نظر محتوایی بررسی کنید.
از خودتان بپرسید:
- آیا این صفحه واقعا به یک نیاز مشخص پاسخ می دهد؟
- آیا اطلاعات کاربردی ارائه می کند؟
- آیا محتوای آن کامل است؟
- آیا چیزی بیشتر از صفحات مشابه ارائه می دهد؟
- آیا متن فقط برای موتور جستجو نوشته شده است؟
هدف نباید صرفا تولید تعداد زیادی صفحه برای افزایش تعداد لینک سایت باشد.
۱۱. محتوای صفحه تکراری است
اگر چند لینک تقریبا یک محتوای یکسان داشته باشند، گوگل ممکن است یکی از آنها را به عنوان نسخه اصلی انتخاب کند.
برای مثال:
example.com/product/
example.com/product/?ref=123
example.com/product/?source=google
ممکن است محتوای یکسانی داشته باشند.
راه حل
ساختار URL و Canonical را بررسی کنید.
اگر چند URL واقعا یک محتوا دارند، مشخص کنید کدام URL نسخه اصلی است و Canonical را به شکل صحیح تنظیم کنید.
۱۲. گوگل Canonical دیگری را انتخاب کرده است
یکی از وضعیت های مهم در سرچ کنسول این است که گوگل URL دیگری را به عنوان Canonical انتخاب کرده باشد.
ممکن است در صفحه شما این Canonical وجود داشته باشد:
<link rel="canonical" href="https://example.com/page-a/">
در حالی که URL مورد بررسی:
https://example.com/page-b/
است.
اگر گوگل تشخیص دهد Page A نسخه اصلی است، ممکن است Page B را به صورت جداگانه ایندکس نکند.
راه حل
در URL Inspection مقدار Google-selected canonical را بررسی کنید.
اگر Canonical انتخاب شده اشتباه است، موارد زیر را بررسی کنید:
- Canonical داخل HTML
- Redirect ها
- لینک های داخلی
- Sitemap
- محتوای صفحات
- نسخه های مختلف URL
۱۳. صفحه لینک داخلی مناسبی ندارد
صفحه ای که هیچ صفحه دیگری در سایت به آن لینک نداده باشد، اصطلاحا می تواند یک Orphan Page باشد.
ممکن است URL را در Sitemap قرار داده باشید، اما بهتر است صفحات مهم از داخل ساختار واقعی سایت نیز قابل دسترسی باشند.
راه حل
از صفحات مرتبط به صفحه موردنظر لینک داخلی بدهید.
برای مثال اگر مقاله ای درباره افزایش سرعت وردپرس دارید، از مقالات مرتبط درباره:
- کش وردپرس
- بهینه سازی تصاویر
- افزونه های افزایش سرعت
- بهینه سازی دیتابیس
به آن لینک بدهید.
این کار هم به کشف URL کمک می کند و هم ارتباط موضوعی صفحات سایت را بهتر مشخص می کند.
۱۴. صفحه بیش از حد در عمق سایت قرار گرفته است
اگر برای رسیدن به یک صفحه مجبور باشید از چندین صفحه عبور کنید، احتمال دارد ساختار سایت بیش از حد عمیق شده باشد.
ساختار مناسب معمولا باید به شکلی باشد که صفحات مهم با تعداد مناسبی کلیک از صفحات اصلی قابل دسترسی باشند.
راه حل
ساختار منو، دسته بندی ها و لینک های داخلی را بررسی کنید.
صفحات مهم را از:
- صفحه اصلی
- دسته بندی ها
- مقالات مرتبط
- صفحات خدمات
- صفحات محصولات
به یکدیگر متصل کنید.
۱۵. JavaScript مانع دسترسی یا پردازش درست محتوا شده است
در سایت های مدرن، بخشی از محتوا ممکن است با JavaScript ایجاد شود.
اگر محتوای اصلی صفحه فقط بعد از اجرای JavaScript ایجاد شود، ممکن است پردازش آن برای موتور جستجو پیچیده تر شود.
این موضوع مخصوصا در سایت هایی که کاملا به Client-side Rendering وابسته هستند اهمیت بیشتری دارد.
راه حل
محتوای اصلی و مهم صفحه باید به شکل قابل دسترسی برای موتورهای جستجو ارائه شود.
در صورت استفاده از JavaScript، با URL Inspection و قابلیت های بررسی صفحه در سرچ کنسول مطمئن شوید محتوای اصلی قابل مشاهده و پردازش است.
۱۶. سرعت و پایداری سرور مشکل دارد
سرعت پایین به تنهایی به معنی ایندکس نشدن صفحه نیست، اما مشکلات شدید عملکردی می توانند روی Crawl تاثیر بگذارند.
مثلا اگر سرور:
- مرتب Timeout کند.
- خطای 503 بدهد.
- منابع کافی نداشته باشد.
- در ساعات خاصی از دسترس خارج شود.
خزش سایت می تواند با مشکل مواجه شود.
راه حل
فقط سرعت ظاهری سایت را بررسی نکنید.
پایداری سرور، زمان پاسخ، خطاهای HTTP و وضعیت منابع هاست را نیز بررسی کنید.
۱۷. تعداد زیادی URL کم ارزش در سایت وجود دارد
سایت هایی که هزاران لینک کم ارزش، تکراری یا پارامتری تولید می کنند ممکن است ساختار خزش پیچیده ای داشته باشند.
این موضوع در سایت هایی که دارای:
- فیلترهای متعدد
- پارامترهای URL
- صفحات جستجوی داخلی
- آرشیوهای تکراری
- صفحات برچسب زیاد
- صفحات کم محتوا
هستند اهمیت بیشتری دارد.
راه حل
لینک های غیرضروری را شناسایی کنید و ساختار سایت را ساده تر کنید.
هدف این نیست که تمام لینک های سایت را مجبور به ایندکس شدن کنیم؛ هدف این است که صفحات ارزشمند و مورد نیاز کاربران در دسترس و قابل ایندکس باشند.
۱۸. Sitemap با وضعیت واقعی صفحات هماهنگ نیست
یکی از اشتباهات رایج این است که Sitemap تعداد زیادی URL داشته باشد اما بعضی از آنها:
- 404 باشند.
- Redirect شده باشند.
noindexباشند.- Canonical متفاوت داشته باشند.
- محتوای ضعیفی داشته باشند.
راه حل
Sitemap را به صورت دوره ای بررسی کنید و فقط لینک های مهم و قابل ایندکس را در آن نگه دارید.
Sitemap باید به گوگل کمک کند، نه اینکه مجموعه ای از لینک های مشکل دار را در اختیار آن قرار دهد.
۱۹. سایت در تنظیمات وردپرس از موتورهای جستجو درخواست عدم نمایش کرده است
در وردپرس گزینه ای وجود دارد که می تواند از موتورهای جستجو بخواهد سایت را ایندکس نکنند.
مسیر آن:
پیشخوان وردپرس ← تنظیمات ← خواندن
در بخش مربوط به نمایش به موتورهای جستجو، مطمئن شوید گزینه مربوط به جلوگیری از ایندکس سایت فعال نباشد.
این مورد مخصوصا بعد از انتقال سایت از محیط توسعه، نصب وردپرس جدید یا انتقال سایت به هاست اصلی ارزش بررسی دارد.
۲۰. سایت تازه محتوا منتشر کرده و گوگل هنوز آن را Crawl نکرده است
قرار دادن مقاله روی سایت به این معنی نیست که گوگل همان لحظه آن را Crawl می کند.
اگر سایت کوچک یا کم فعالیت باشد، ممکن است فاصله زمانی بین انتشار و Crawl بیشتر باشد.
راه حل
ابتدا لینک داخلی و Sitemap را بررسی کنید.
بعد از اطمینان از سالم بودن صفحه، می توانید لینک را در Search Console بررسی کرده و در صورت نیاز Request Indexing را انتخاب کنید.
۲۱. Crawl شده اما هنوز ایندکس نشده است
یکی از مهم ترین وضعیت های سرچ کنسول:
Crawled – currently not indexed
است.
این وضعیت به این معنی است که گوگل صفحه را Crawl کرده اما در حال حاضر آن را در فهرست صفحات ایندکس شده قرار نداده است.
در این حالت نباید بلافاصله نتیجه بگیریم که یک خطای فنی وجود دارد.
ممکن است گوگل صفحه را از نظر:
- کیفیت محتوا
- تکراری بودن
- ارزش افزوده
- ارتباط با سایت
- وضعیت کلی سایت
ارزیابی کرده و فعلا تصمیم به ایندکس نگرفتن آن گرفته باشد.
راه حل
محتوا را بررسی و در صورت نیاز بهبود دهید.
سپس:
- لینک داخلی مرتبط ایجاد کنید.
- Canonical را بررسی کنید.
- Sitemap را بررسی کنید.
- محتوای تکراری را حذف یا اصلاح کنید.
- اطلاعات مفید و اختصاصی بیشتری اضافه کنید.
پس از اصلاح، می توانید درخواست ایندکس مجدد ارسال کنید.
۲۲. Discovered – currently not indexed
وضعیت:
Discovered – currently not indexed
معمولا به این معناست که گوگل URL را کشف کرده اما هنوز آن را Crawl نکرده است.
در این حالت ممکن است مسئله مربوط به اولویت خزش، ساختار سایت یا تعداد زیاد لینک ها باشد.
چه کار کنیم؟
ابتدا موارد زیر را بررسی کنید:
- URL در Sitemap وجود دارد؟
- صفحه از صفحات دیگر لینک داخلی دارد؟
- URL صحیح است؟
- صفحه
200 OKمی دهد؟ - صفحه
noindexنیست؟ - Canonical درست است؟
- سایت خطای سرور ندارد؟
- تعداد زیادی URL غیرضروری در سایت تولید نشده است؟
اگر همه چیز صحیح است، لزوما نیاز به اقدام فوری نیست.
۲۳. سایت نسخه های مختلف URL دارد
برای مثال:
http://example.com
https://example.com
http://www.example.com
https://www.example.com
اگر این نسخه ها به شکل صحیح مدیریت نشده باشند، موتور جستجو با چند نسخه از سایت مواجه می شود.
راه حل
یک نسخه اصلی را مشخص کنید و سایر نسخه ها را به آن Redirect کنید.
در بیشتر سایت ها نسخه HTTPS نسخه اصلی است.
همچنین باید Canonical، Sitemap و لینک های داخلی نیز با نسخه اصلی هماهنگ باشند.
۲۴. لینک داخلی شکسته است
ممکن است صفحه ای وجود داشته باشد اما لینک هایی که به آن اشاره می کنند خراب باشند.
مثلا:
https://example.com/old-page/
در حالی که صفحه به:
https://example.com/new-page/
منتقل شده است.
راه حل
لینک های داخلی را بررسی و لینک های خراب را اصلاح کنید.
۲۵. محتوا صرفا برای موتور جستجو تولید شده است
یکی از اشتباهات رایج در SEO این است که تصور کنیم هرچه تعداد صفحات بیشتر باشد، ترافیک بیشتری خواهیم داشت.
تولید تعداد زیادی مقاله مشابه، بازنویسی شده یا کم ارزش می تواند نتیجه مطلوبی نداشته باشد.
محتوا باید ابتدا برای کاربر مفید باشد و سپس برای موتورهای جستجو به شکل صحیح ساختاردهی شود.
چگونه مشکل ایندکس یک صفحه را مرحله به مرحله پیدا کنیم؟
اگر یک صفحه ایندکس نشده، بهتر است به جای بررسی تصادفی تنظیمات، این مراحل را به ترتیب انجام دهید.
مرحله اول: URL Inspection
آدرس صفحه را در Search Console وارد کنید.
مرحله دوم: وضعیت ایندکس
بررسی کنید آیا صفحه:
- ایندکس شده است؟
- Crawl شده است؟
- Discover شده است؟
- یا به دلیل خاصی حذف شده است؟
مرحله سوم: وضعیت HTTP
با ابزارهایی مانند CMD بررسی کنید:
curl -I https://example.com/page/
باید در حالت عادی پاسخ مناسبی مانند:
HTTP/1.1 200 OK
دریافت کنید.
مرحله چهارم: noindex
بررسی کنید:
noindex
در Meta Robots وجود نداشته باشد.
همچنین Response Header را برای:
X-Robots-Tag: noindex
بررسی کنید.
مرحله پنجم: robots.txt
بررسی کنید URL به شکل ناخواسته در robots.txt مسدود نشده باشد.
مرحله ششم: Canonical
Canonical صفحه را بررسی کنید و ببینید آیا به URL دیگری اشاره می کند یا خیر.
مرحله هفتم: Sitemap
بررسی کنید URL در Sitemap قرار دارد.
مرحله هشتم: لینک داخلی
مطمئن شوید صفحه از صفحات مرتبط سایت لینک دریافت می کند.
مرحله نهم: محتوا
اگر مشکلات فنی وجود ندارد، کیفیت و ارزش محتوایی صفحه را بررسی کنید.
مرحله دهم: درخواست ایندکس
پس از اصلاح مشکلات، در صورت نیاز از Request Indexing استفاده کنید.
آیا با Request Indexing می توان گوگل را مجبور به ایندکس کردن کرد؟
خیر. Request Indexing فقط یک درخواست برای بررسی مجدد URL است.
گوگل همچنان خودش تصمیم می گیرد که صفحه را Crawl و Index کند یا خیر.
بنابراین اگر صفحه مشکل فنی، محتوای تکراری یا ارزش کمی داشته باشد، چندین بار درخواست ایندکس کردن لزوما مشکل را حل نمی کند.
آیا تعداد زیاد صفحات ایندکس نشده مشکل است؟
نه لزوما. هدف یک سایت حرفه ای این نیست که تمام URL های موجود در سایت ایندکس شوند.
برای مثال ممکن است بخواهید صفحات زیر ایندکس نشوند:
- صفحات ورود
- صفحات حساب کاربری
- صفحات داخلی جستجو
- بعضی URL های فیلتر
- صفحات تکراری
- صفحات کم ارزش
- صفحات آزمایشی
آنچه اهمیت دارد این است که صفحات مهم، مفید و قابل جستجوی سایت وضعیت مناسبی داشته باشند.
تفاوت Crawl، Index و Ranking چیست؟
این سه مفهوم را نباید با یکدیگر اشتباه گرفت.
Crawl
Googlebot صفحه را دریافت و بررسی می کند.
Index
گوگل تصمیم می گیرد اطلاعات صفحه را در فهرست صفحات خود قرار دهد.
Ranking
اگر صفحه ایندکس شده باشد، گوگل تعیین می کند برای جستجوهای مختلف در چه جایگاهی نمایش داده شود.
بنابراین:
ایندکس شدن به معنی رتبه گرفتن نیست.
ممکن است صفحه ای کاملا ایندکس شده باشد اما برای کلمات کلیدی موردنظر در نتایج اولیه گوگل دیده نشود.
چک لیست نهایی رفع مشکل ایندکس
اگر صفحه ای در گوگل ایندکس نشده، این موارد را بررسی کنید:
- سایت در Google Search Console ثبت شده است.
- URL در Sitemap وجود دارد.
- صفحه وضعیت HTTP مناسب دارد.
- صفحه خطای 404 یا 5xx ندارد.
- صفحه Redirect نشده است.
noindexوجود ندارد.X-Robots-Tag: noindexوجود ندارد.- URL در robots.txt به اشتباه مسدود نشده است.
- Canonical صحیح است.
- صفحه از صفحات دیگر لینک داخلی دریافت می کند.
- محتوای صفحه تکراری نیست.
- محتوا ارزش واقعی برای کاربر دارد.
- صفحه بیش از حد کم محتوا نیست.
- سایت مشکل دسترسی یا Firewall ندارد.
- سرور پایدار است.
- نسخه HTTPS سایت به درستی تنظیم شده است.
- تنظیمات وردپرس مانع ایندکس نیست.
- Sitemap شامل URL های مشکل دار نیست.
- وضعیت URL در URL Inspection بررسی شده است.
جمع بندی
ایندکس نشدن سایت در گوگل یا ایندکس نشدن یک صفحه همیشه به معنی وجود یک خطای فنی نیست.
گاهی گوگل هنوز صفحه را پیدا نکرده یا Crawl نکرده است. گاهی صفحه به دلیل noindex، robots.txt، Canonical، Redirect یا خطای سرور قابل ایندکس نیست. در بعضی موارد نیز هیچ مشکل فنی وجود ندارد و گوگل پس از Crawl کردن صفحه، فعلا تصمیم گرفته است آن را ایندکس نکند.
به همین دلیل بهترین روش این است که ابتدا URL Inspection در Google Search Console را بررسی کنید و سپس سراغ موارد فنی مانند وضعیت HTTP، robots.txt، Meta Robots، X-Robots-Tag، Canonical، Sitemap و لینک های داخلی بروید.
اگر تمام این موارد صحیح باشند، باید کیفیت و ارزش واقعی محتوا را بررسی کنید.
در نهایت به خاطر داشته باشید که Sitemap، درخواست ایندکس و لینک داخلی هیچ کدام تضمین نمی کنند که یک صفحه حتما در گوگل ایندکس شود. این موارد به گوگل کمک می کنند صفحه را پیدا و بررسی کند، اما تصمیم نهایی درباره ایندکس شدن با سیستم های گوگل است.
