واحدة من أكثر مشكلات تحسين محركات البحث الفنية شيوعًا التي نحصل عليها من العملاء هي شيء من هذا القبيل: "تقوم Google بفهرسة الصفحات التي حظرتها في ملف Robots.txt الخاص .
الذي يتعين علينا الرد عليه ، "من الناحية الفنية ، هذا يعمل كما هو متوقع. الزحف عملية مختلفة تمامًا. لا يمنع عدم السماح بالزحف الفهرسة. ولكن إليك ما يمكنك فعله.
المشاكل شائعة المتعلقة بالزحف إلى مواقع الويب وفهرستها استخدام ملف Robots.txt و Robots Meta والعلامات الأساسية بشكل صحيح وفعال
للتوضيح ، سنقوم هنا بتفصيل ماهية هذه الآليات ، والأدوات الأساسية لحل أخطاء الفهرس والزحف التي تكتشفها ، والمزالق الشائعة التي يجب تجنبها عند تنفيذها.
ما الفرق بين الزحف والفهرسة في تحسين محركات البحث
زحف
هل تمنح محركات البحث الإذن بالوصول إلى الروابط التي أشرت إليها على عنوان URL المعني وعرضها والتحقق منها (يتم تعريف الزحف على أنه "روبوت أو نص برمجي أو برنامج يزور صفحة ويب ويستحوذ على المحتوى والروابط منها")؟ في حالة Google ، يُطلق على الزحف بشكل عام اسم Googlebot ، مع بعض الاستثناءات.
إذا لم يتم الزحف إلى الصفحة ، فلن تتم فهرستها ولن يتم عرضها في نتائج البحث . بمعنى آخر: تحسين محركات البحث الخطوة 1.
في ما يلي قائمة (مستخدمة بشكل متكرر) لبرامج زحف الويب ووكلاء المستخدمين المعنيين اعتبارًا من أغسطس 2020 (من منظور معتمد في الولايات المتحدة):
بحث Google
Googlebot (سطح المكتب): Googlebot
Googlebot (الهاتف المحمول / الهاتف الذكي): Googlebot (إنه عالم الجوال أولاً ، نعم!)
مقاطع فيديو Google: Googlebot و Googlebot-Video
صور جوجل: Googlebot ، Googlebot-Image
أخبار Google: Googlebot-News
تطبيقات الجوال Android: Adsbot-Google-Mobile-Apps
AdsBot: AdsBot-Google
AdsBot للجوال: AdsBot-Google-Mobile
أدسنس: برنامج Mediapartners جوجل
بنج البحث:
Bingbot: Bingbot
دك دك غو البحث:
DuckDuckBot: DuckDuckBot
بايدو البحث:
Baiduspider: Baiduspider
ياندكس البحث:
Yandexbot: Yandexbot
الفهرسة
هل تمنح محركات البحث الإذن بتضمين موقع ويب أو عنوان URL محدد في فهرس محرك البحث (مثل مواقع الويب المعروضة في نتائج البحث) ؟ في حالة Google ، يسمى محرك الفهرسة Caffeine . إذا / عندما يقرر محرك البحث تضمين صفحة الويب الخاصة بك ، فإنها تصبح "مفهرسة".
AKA: SEO الخطوة 2.
نصيحة للمحترفين: من المهم أن تفهم أن أ) الزحف ليس هو نفسه الفهرسة ، و ب) يتم تشغيل هذه العمليات بواسطة فرق مختلفة تمامًا داخل Google. على هذا النحو ، فإن التحكم في أحدهما لا يتحكم بطبيعته في الآخر.
مع وضع ذلك في الاعتبار ، إليك دليل لأكثر الأدوات والوسائل شيوعًا للتحكم في محرك البحث والزحف والفهرسة ، حتى تتمكن من تعيين الإرشادات الصحيحة لحالة الاستخدام الخاصة بك - وتجنب مشكلات الفهرسة الشائعة. يشملوا:
- ملف Robots.txt
- علامة Meta Robots
- العلامة المتعارف عليها
- أداة Google Search Console (المعروفة سابقًا باسم أدوات مشرفي المواقع من Google) أداة إزالة عنوان URL
ماذا عن "التقديم"؟
التقديم ، حسنًا ، شيء آخر تمامًا. من أجل "عرض" صفحة ويب ، سيعالج متصفحك (مثل Chrome و Safari و IE و Firefox وما إلى ذلك) كل HTML و JavaScript و CSS (مثل الكود) من أجل إنشاء التخطيط والصفحة المرئية التي تشاهدها عند التصفح موقع ويب ( إليك شرح أفضل وأكثر تعمقًا لأولئك الذين قد يكونون مهتمين .)
إنها خارج نطاق محادثتنا هنا قليلاً ، ولكن الشيء المهم الذي يجب أن نضعه في الاعتبار هو أ) إنها خطوة مهمة أخرى ، و ب) تقديم الكثير من فهرسة التأثيرات.
كلما زاد العمل الذي يتطلبه تقديم شيء ما ، قل احتمال ترتيبه (و / أو الجودة والقيمة الأعلى التي يجب أن تكون / توفرها من أجل التأهل للترتيب والترتيب الجيد. شعبية علامتك التجارية ، و الصفحة المعنية (اقرأ على النحو التالي: الكثير من الروابط الخلفية!) تهم كثيرًا في هذه الحالة.) ببساطة ، كلما زادت صعوبة عمل Google على تصنيف موقع الويب الخاص بك ، قل احتمال قيامهم بذلك.
هذا حرفيًا نقيض مُحسّنات محرّكات البحث التقني ، حيث نعمل على تسهيل قيام محركات البحث بالزحف إلى موقع الويب الخاص بك. هذا هو السبب في أن SPA SEO و JavaScript SEO و Rendering SEO هي أشياء. من الصعب فقط ترتيب تلك المواقع على الرغم من شعبيتها النسبية.
ما هي علامات أو أدوات تحسين محركات البحث المتاحة للتحكم في الزحف والفهرسة
إذا كنت تبحث عن خيار" robots.txt noindex "، فهذا لم يعد موجودًا. لم تكن طريقة "معتمدة" أبدًا ، لكنها كانت فعالة للغاية. لسوء الحظ ، تم تقاعده رسميًا ".
ملف Robots.txt
التعريف: ملف Robots.txt هو ملف نصي يعيّن تعليمات الروبوتات / العناكب (مثل Googlebot) التي تقوم بالزحف إلى موقع ويب معين ، بشكل عام لوضع حدود حول ما هو مسموح وما لا يجوز الزحف إليه. فكر في الأمر على أنه مجموعة من الإرشادات حول كيفية استخدام محركات البحث لموقع الويب الخاص بك ، وما الذي يمكنهم الوصول إليه وما لا يمكنهم الوصول إليه.
القواعد الأساسية لملف Robots.txt
يجب أن يكون موجودًا في /robots.txt (خارج نطاق الجذر. أيضًا - حساس لحالة الأحرف. بالنسبة لشركة Gray Dot ، هذا https://thegray.company/robots.txt)
إذا لم يكن لديك ملف robots في مسار URL المحدد هذا ، فسيتم اعتباره صفحة 404 بحكم التعريف.
يمكن للروبوتات * اختيار * لاتباع هذه التعليمات ... أو لا. لا تهتم برامج التتبع الضارة ، بينما يحترم Googlebot و Bingbot إرشاداتك بشكل عام.
مزايا Robots.txt
التحكم في الزحف على مستوى الموقع والدليل (أو المجلد)
إنها رافعة ميزانية زحف رائعة (عن طريق حظر المحتوى المكرر غير ذي الصلة أو المحتوى منخفض الجودة تمامًا مثل الأوجه المكررة على مواقع التجارة الإلكترونية )
الصيغة البسيطة لمطابقة الأنماط مسموح بها وسهلة الاستخدام
من السهل التعديل في معظم الحالات
سلبيات Robots.txt
يمكنه فقط التحكم في الزحف .... وليس الفهرسة
لم يكن المقصود من التحكم على مستوى الصفحة مطلقًا ، وإذا / عندما تحاول القيام بذلك عبر ملف الروبوتات ، فإنه يصبح فوضويًا بسرعة كبيرة
يمكن الوصول إليها للجمهور ، وبالتالي لا ينبغي استخدامها لإخفاء المعلومات الحساسة أو السرية
من السهل نسبيًا حظر أقسام الزحف من موقعك التي لم تكن تنوي منعها عن طريق الخطأ
نصائح للمحترفين حول Robots.txt
توفر Google أداة لاختبار ملف robots.txt للتأكد من أنه يعمل بالشكل المتوقع. يمكنك ويجب عليك اختبار الصفحات التي يجب أن يكون الوصول إليها متاحًا ويجب ألا يكون الوصول إليها لتأكيد أنك قمت بإعدادها بشكل صحيح.
إصدار بحث Bing .
علامة Meta Robots
التعريف: Meta Robots عبارة عن مقتطف من التعليمات البرمجية التي يمكنك إضافتها إلى قسم <head> من HTML لمواقع الويب الخاصة بك والذي يمنحك تحكمًا على مستوى الصفحة في الفهرسة و bot / spider. الروبوتات الوصفية ليست علامة مطلوبة. إذا / عند عدم التعيين ، فإن القيمة الافتراضية هي "index ، متابعة". بمعنى آخر ، كل شيء يمكن الوصول إليه حتى تقول غير ذلك ، باستخدام إحدى هذه الأدوات. يشار إلى هذا أحيانًا باسم "علامة noindex".
كن حذرًا عند تنفيذ علامة meta robots عبر JavaScript - فقد يراها Googlebot أو لا يحترمها.
محاسن Meta Robots
يعني التحكم على مستوى الصفحة التحكم الدقيق
إنها وسيلة فعالة للغاية للتحكم في فهرسة الصفحات
يعتبر "توجيهًا" ، مما يعني أنه من المحتمل جدًا أن تمتثل محركات البحث لتعليماتك.
سلبيات Meta Robots
لا يمكن قراءة هذه العلامة أو العثور عليها إذا تم حظرها عبر ملف robots.txt. بعبارة أخرى ، إذا تم حظر عنوان URL عبر ملف robots.txt ، فلن يقوم Googlebot بالزحف إلى الصفحة لمعرفة ما تم تعيين علامة meta robots عليه. هذا ليس "خداع" بقدر ما من المهم أن تكون على دراية به.
إنه غير فعال في التحكم في ميزانية الزحف على نطاق واسع ؛ سيتعين على Googlebot فحص كل صفحة أولاً لمعرفة ما إذا كان بإمكانهم الزحف إليها / فهرستها - وفي ذلك الوقت من المحتمل أن يكون الوقت ضائعًا بالفعل.
لاحظ أن هذا لا يهم بالنسبة للمواقع الصغيرة أو حتى معظم المواقع متوسطة الحجم. لا تعد مخاوف ميزانية الزحف سوى مشكلة كبيرة وكبيرة جدًا في الموقع (على سبيل المثال ، عدة آلاف من الصفحات +)
مرة أخرى ، تمامًا مثل علامة robots.txt ، لا يتعين على برامج الروبوت اتباع تعليماتك. ومع ذلك ، فإن روبوتات "المواطن الصالح" - مثل تلك الموجودة في معظم محركات البحث الرئيسية - ستحترمها.
بينما تتوفر إرشادات أخرى ، تتحكم أكثرها شيوعًا في أ) فهرسة (فهرس و noindex) للصفحة نفسها ، و ب) الزحف إلى الصفحات المرتبطة في الصفحة الأصلية (متابعة أو nofollow.)
يمكن أن تكون - وهي - عادةً مجتمعة ، على الرغم من أن هذا ليس مطلوبًا. هذه بترتيب تقريبي لتكرار الاستخدام:
"noindex، nofollow" - حالة الاستخدام الأكثر شيوعًا بشكل عام لسبب إضافة العلامة الوصفية لبرامج الروبوت إلى موقعك في المقام الأول (أي أن "الفهرس والمتابعة" أكثر شيوعًا ، ولكن هذا هو الوضع الافتراضي للعلامة الوصفية لبرامج الروبوت يسمح لك بتجاوز). يتم استخدامه بشكل شائع عندما لا تريد أن تهتم محركات البحث بالصفحة على الإطلاق.
فهرس ، متابعة" - الصفحة المعنية جيدة وصالحة ، وبالتالي يجب تضمينها في نتائج محرك البحث. يجب أيضًا الزحف إلى الصفحات التي ترتبط بها من هذه الصفحة.
يناسب هذا حالة الاستخدام لمعظم الصفحات على الإنترنت - أي صفحة عادية وصالحة يمكن الوصول إليها بشكل عام.
noindex، follow" - عندما تريد عدم تضمين الصفحة نفسها في فهرس Google (أو فهارس محركات البحث الأخرى) ولكنك تريد ، أو لا تهتم ، إذا كانت الروبوتات تزحف وتمرر ترتيب الصفحة إلى الصفحات المرتبطة من الصفحة هذه تم تعيين الأمر على. (لاحظ أنه بمرور الوقت ، ستتجاهل Google أمر "متابعة" نظرًا لكون تعليمات noindex قوية جدًا. وبعبارة أخرى ، سيتم قراءة الأمر noindex ، follow في النهاية باعتباره أمر noindex ، nofollow.)
"index ، nofollow" - الصفحة المعنية جيدة وصالحة ، لكنك لا تريد الزحف إلى أي من الروابط الموجودة على الصفحة. ربما تكون حالة استخدام جيدة للمحتوى المدعوم. على أي حال ، هذا غير شائع جدًا.
العلامة المتعارف عليها
التعريف: التعليمات الأساسية عبارة عن مقتطف من التعليمات البرمجية المضمنة في قسم <head> من موقع الويب حيث يمكنك إعطاء نظرة ثاقبة على مستوى الصفحة لمحركات البحث حول المحتوى الأصلي وشبه المكرر والمكرر - وأي صفحة هي مصدر ذلك المحتوى. هناك طرق أخرى لتنفيذ ذلك ، لكنها أقل شيوعًا.
يجب أن يكون المصدر الأصلي للمحتوى متعارف عليه (يشير إلى نفسه على أنه المصدر الأصلي للمحتوى) ؛ يجب أن تشير الصفحة المكررة أو شبه المكررة بشكل عام إلى صفحة المحتوى الأصلية الأخرى باعتبارها المصدر الأساسي.
لا يتعين على الصفحات المهمة تحديد عنوان URL الأساسي من الناحية الفنية ، ولكنها لا تزال فكرة جيدة - خاصةً إذا كان لديك أشكال مختلفة من المعلمات لتلك الصفحات.
لاحظ أن الصفحات المتعارف عليها (مثل الصفحات التي تشير إلى صفحات أخرى وليست نفسها) قابلة للزحف والفهرسة.
العلامة هي "تلميح" حول الطريقة التي تريد أن يتعامل بها Google ومحركات البحث الأخرى مع هذه العلامة ، وليست "توجيهًا" حول ما يجب عليهم فعله. في الممارسة العملية ، هذا يعني أنه تتم فهرسة بعض الصفحات المتعارف عليها ، والبعض الآخر ليس كذلك. يجب أن يتخذ محرك البحث هذا القرار.
في معظم الحالات ، يؤدي استخدام العلامة الأساسية إلى تمرير حقوق تحسين محركات البحث التي اكتسبتها الصفحة ويمررها ، بدلاً من ذلك ، إلى الصفحة المشار إليها في العلامة (على سبيل المثال نفسها ، أو صفحة أخرى) مما يمنحها قدرة أكبر على الترتيب.
حالات الاستخدام الشائعة لاستخدام العلامات الأساسية
المحتوى المنشور على مواقع ويب متعددة
المواقع التي بها مشكلات فنية أو متغيرات في المعلمات
مثال 1: الفرق بين /Robots.txt و /robots.txt (نعم ، عناوين URL في الواقع حساسة لحالة الأحرف!)
مثال 2: الفرق بين / products and / products؟ category = 1 ( بعض أشكال المعلمات من عناوين URL صالحة وصفحات مختلفة ، لكن الكثير منها ليس كذلك. يمكن أن تساعدك العلامة الأساسية في إرسال الإشارات الصحيحة حول أيهما.)
مثال 3: ما هو عنوان URL الذي تريد ترتيبه؟ / products؟ category = جداول ، أو / products / table. يمكن التعامل مع واجهات وفلاتر التجارة الإلكترونية بشكل صحيح - في كثير من الحالات - عن طريق المتعارف عليه.
المواقع التي بها مشكلات هيكلية ، أو جماهير مستهدفة متشابهة ولكنها مختلفة قليلاً: في بعض الأحيان يكون من المستحسن تكرار نفس الصفحة في قسم مختلف من الموقع - ربما لجمهور مختلف مع تعديلات نسخ صغيرة للتحدث إلى الجمهور المعني.
العلامات التجارية التي تستخدم إستراتيجية النطاق الفرعي للترويج لمنتجات معينة كمنتجات قائمة بذاتها ؛ غالبًا ما يكون لديهم صفحة على الموقع الأساسي لهذا المنتج بالإضافة إلى موقع مصغر.
قواعد التنفيذ الكنسي
مطلوب مراجع URL المسار الكامل (بما في ذلك جزء http: //)
لا تضع عنوانًا أساسيًا للصفحات غير الصالحة والقابلة للفهرسة نفسها (يؤدي هذا إلى إنشاء حلقة متعارف عليها)
لا تجعل الصفحات المرقمة عنوانًا أساسيًا للصفحة 1.
ترقيم الصفحات صالح وغير مكرر بطبيعته (الصفحة 2 ليست الصفحة 1!) ؛ إذا كنت تريد أن تزحف محركات البحث إلى الصفحات المرتبطة عبر ترقيم الصفحات (على سبيل المثال المنتجات المدرجة في الصفحة 2) ، فسيؤدي هذا الخطأ الأساسي إلى تقليل الزحف وتقليل نسبة تحسين محركات البحث التي يتم تمريرها إلى تلك الصفحات.
كن حذرًا عند تنفيذ العلامة الأساسية عبر JavaScript - فقد يراها Googlebot أو لا يحترمها.
الايجابيات الكنسي
بالنسبة للجزء الأكبر ، فإنه يفعل ما يُفترض القيام به - منح الفضل إلى المحتوى الأصلي
سلبيات الكنسي
لا يمكن قراءة / العثور على العلامة إذا تم حظرها عبر ملف robots.txt (نفس مشكلة برامج الروبوت الوصفية - إذا لم تسمح للصفحة عبر ملف Robots.txt ، فلن يقوم Googlebot بالزحف إلى الصفحة حتى يرى العلامة الأساسية).
من السهل نسبيًا ارتكاب الأخطاء
SEO QA هي خطوة حاسمة للتأكد من أنك قمت بإعداد هذا بشكل صحيح. تم توضيح الأخطاء الشائعة مع العلامات الأساسية أدناه.
أداة إزالة عناوين URL من Google Search Console (GSC)
التعريف: أداة إزالة عنوان URL متاحة في GSC ؛ أنها = تسمح بالتحكم الواضح على مستوى الموقع ومستوى الدليل ومستوى الصفحة في الفهرسة ... مؤقتًا.
نوصي بشكل عام باستخدام هذه الأداة من أجل * سريع * إلغاء فهرسة المحتوى الذي قمت بحظره أيضًا عبر وسيلة أخرى ؛ فهو يساعد في سير عملية الانتقال بسرعة أكبر.
يجب * أيضًا * حظر عناوين URL التي تحظرها عبر هذه الأداة عبر وسيلة أخرى - robots.txt أو علامة meta robots.
إزالة URL Tool Pros
إنها الوسيلة الأسرع والأكثر فاعلية لإلغاء فهرسة عناوين URL وبالتالي حل مشكلات الفهرسة
الرئيسية (من حيث السرعة التي تحدث بها)
إنه خاص (لك ولجوجل ، أي شخص لديه حق الوصول إلى حساب GSC الخاص بك) ، مما يعني أنه يمكنك حظر فهرسة المعلومات الحساسة في هذه الأداة. لن يتمكن أي من المنافسين من معرفة ما قمت بحظره باستخدام هذه الأداة.
قم بإزالة سلبيات أداة URL
إذا كنت لا تعرف ما تفعله ، فيمكنك عن طريق الخطأ حظر صفحات الويب أو الأقسام الهامة من موقع الويب الخاص بك. أو الموقع بأكمله ... (نعم ، لقد رأيت هذا يحدث.)
بعد 6 أشهر ، قد تحتاج إلى إعادة تنشيط منع عنوان URL الخاص بك لأنه ، بحكم تعريفه ، طلب مؤقت. ومع ذلك ، ليس الأمر أن الصفحات الشائعة تعود إلى الفهرس بدون عمل محدد لمقاومة ذلك.
لماذا يعودون احيانا؟
يشير عدد كبير جدًا من الروابط الداخلية أو الخارجية إلى تلك الصفحة (بشكل أساسي - هناك إشارات قوية إلى أن الأشخاص يهتمون بهذه الصفحة.)
لم يتم حظر الصفحة أيضًا عن طريق ملف robots.txt أو meta robots
خلاصة القول ، أداة إزالة عنوان URL هي أداة تكميلية للتحكم في الفهرسة ، بشكل أسرع أو أكثر فعالية. لا ينبغي أن تكون أداتك الوحيدة. هذا هو دليلك لفك فهرسة الأشياء بشكل دائم من Google.
المشكلات والأخطاء الشائعة عند استخدام أدوات تحسين محركات البحث هذه معًا
عندما لا يتم اتخاذ تدابير ضمان الجودة الصحيحة لتحسين محركات البحث ، فمن السهل كسر الأشياء. علاوة على ذلك ، إعطاء رسائل مختلطة إلى برامج الزحف. فيما يلي بعض الأخطاء الأكثر شيوعًا التي رأيناها.
Robots.txt والعلامات الوصفية للروبوتات
إذا لم تسمح بعنوان URL ، فلن تتمكن برامج الروبوت من قراءة العلامة الوصفية لبرامج الروبوت لاتباع هذه التعليمات.
يمكن أن ينتج عن ذلك صفحات مفهرسة بدون سياق
Robots.txt والعلامات الأساسية
إذا لم تسمح بعنوان URL ، فلن تتمكن برامج الروبوت من قراءة العلامة الأساسية لاتباع هذه التعليمات.
هذا يعني أن أي روابط حصلت عليها الصفحة لم تعد تمرر حقوق تحسين محركات البحث إلى مادة المصدر.
العلامات الكنسية وعلامات Meta Robots
كلما كان ذلك ممكنًا ، لا تستخدم العلامة الوصفية لبرامج الروبوت والعلامة الأساسية في نفس الصفحة ، حيث يمكن أن ترسل إشارات متضاربة.
ومع ذلك ، فإن "index، follow" في meta robots وعلامة self-canonical ليست هي حالات الاستخدام المثيرة للقلق. إليك المواقف التي تريد تجنبها:
Noindex هي صفحة تجعلها أساسية. إذا كانت صفحة أصلية صالحة ، فلماذا لا تقوم بفهرستها؟ إنها إشارة متضاربة ستربك محركات البحث بشأن الإجراء الذي تريد حدوثه. قد يتسبب ذلك في تجاهلهم للتعليمات الموجودة في كلتا العلامتين. لا تخبرنا بما سيفعلونه في هذا السيناريو.
Noindex صفحة يمكن أن تصبح عنوانًا قانونيًا في أي مكان آخر. في هذه الحالة ، بشكل عام ، يتم إبطال تعليمات العلامة الأساسية الخاصة بك ولم يعد بإمكانها تمرير الائتمان إلى المصدر الأصلي للمحتوى.
نوصيك باختيار العلامة الصحيحة واستخدام تلك العلامة فقط. اختر الأداة المناسبة للوظيفة!
المزيد من النصائح الاحترافية:
gsc- فحص- urlطلب فهرسة gsc
لا تقم بتضمين صفحات غير مسموح بها أو غير مفهرسة أو غير متعارف عليها في خريطة موقع XML. فقط 200 (موافق) رمز الحالة ، يجب تضمين الصفحات القابلة للفهرسة (/sitemap.xml.)
إذا كانت مشكلة الفهرسة تكمن في الحصول على محتوى موجود أو جديد في بحث Google ، فهذه مشكلة مختلفة.
إذا كانت صفحة جديدة ، فيجب أن تبدأ بإرسال الصفحة في GSC عبر أداة فحص عنوان URL. تأكد من مراقبة أخطاء GSC عن كثب وإصلاحها في أسرع وقت ممكن.
إذا كانت إحدى الصفحات الحالية التي أرسلتها بالفعل ولا تعتبرها Google جديرة بالفهرسة (على سبيل المثال ، وجدت عناوين URL صالحة في تقرير التغطية "مُرسَل وغير مفهرس" في GSC) ، فقد يكون لديك مشكلة في جودة الموقع / الصفحة أو مشاكل أداء الموقع (المعروف أيضًا باسم: السرعة / العرض).
يمكنك استكشاف ما يزحف إليه محرك بحث Google بالتفصيل عبر ملفات السجل الخاصة بك ، وبشكل إجمالي في تقرير إحصائيات الزحف الخاص بـ GSC.
استنتاج
لا تتفاجأ عندما تتم فهرسة الصفحات غير المسموح بها - خاصةً عندما تكون هذه الصفحات مرتبطة في مكان آخر على الويب ، خارج موقع الويب الخاص بك. بدلاً من ذلك ، فهم مجموعة الأدوات الخاصة بك وحل المشكلة بالطريقة الصحيحة ، وبالتالي التأكد من أنك ترى الصفحات الصحيحة في SERPs.