كيفية منع محركات البحث (بالصور)

2024 مؤلف: Gilbert Ryder | [email protected]. آخر تعديل: 2023-12-16 17:25

تم تجهيز محركات البحث بالروبوتات ، المعروفة أيضًا باسم العناكب أو الروبوتات ، التي تزحف إلى صفحات الويب وتفهرسها. إذا كان موقعك أو صفحتك قيد التطوير أو تحتوي على محتوى حساس ، فقد ترغب في منع برامج التتبع من الزحف إلى موقعك وفهرسته. تعرف على كيفية حظر مواقع الويب والصفحات والروابط بالكامل بملفات robots.txt وحظر صفحات وروابط معينة بعلامات html. تابع القراءة لاكتشاف كيفية منع برامج روبوت معينة من الوصول إلى المحتوى الخاص بك.

خطوات

الطريقة الأولى من 2: حظر محركات البحث باستخدام ملفات robots.txt

الخطوة الأولى. فهم ملفات robots.txt

ملف robots.txt هو ملف نصي عادي أو ملف ASCII يُعلم عناكب محرك البحث بما يُسمح لهم بالوصول إليه على موقعك. قد لا يتم الزحف إلى الملفات والمجلدات المدرجة في ملف robots.txt وفهرستها بواسطة عناكب محرك البحث. قد تحتاج إلى ملف robots.txt إذا:

تريد حظر محتوى معين من عناكب محرك البحث.
أنت تطور موقعًا مباشرًا ولست مستعدًا لجعل عناكب محركات البحث تزحف إلى الموقع وتفهرسه
تريد تقييد الوصول إلى برامج الروبوت ذات السمعة الطيبة.

الخطوة 2. إنشاء وحفظ ملف robots.txt

لإنشاء الملف ، قم بتشغيل محرر نص عادي أو محرر كود. احفظ الملف باسم: robots.txt. يجب أن يكون اسم الملف كله أحرفًا صغيرة.

لا تنس "s".
عند حفظ الملف ، اختر الامتداد ".txt" ". إذا كنت تستخدم برنامج Word ، فحدد خيار "نص عادي".

الخطوة الثالثة. اكتب ملف robots.txt ممنوع بالكامل

من الممكن منع كل عنكبوت لمحرك البحث ذا السمعة الطيبة من الزحف إلى موقعك وفهرسته باستخدام ملف robots.txt "غير مسموح به بالكامل". اكتب الأسطر التالية في ملفك النصي:

وكيل المستخدم: * Disallow: /

لا يوصى بشدة باستخدام ملف robots.txt "ممنوع بالكامل". عندما يقرأ روبوت ، مثل Bingbot ، هذا الملف ، فلن يقوم بفهرسة موقعك ولن يعرض محرك البحث موقع الويب الخاص بك.
وكلاء المستخدم: هذا مصطلح آخر لعناكب محركات البحث أو الروبوتات
*: تشير العلامة النجمية إلى أن الرمز ينطبق على جميع وكلاء المستخدم
عدم السماح: /: تشير الشرطة المائلة للأمام إلى أن الموقع بأكمله محظور على برامج الروبوت

الخطوة 4. اكتب ملف robots.txt بالسماح المشروط

بدلاً من حظر جميع برامج الروبوت ، ضع في اعتبارك حظر بعض العناكب من مناطق معينة من موقعك. تتضمن أوامر السماح الشرطية الشائعة ما يلي:

حظر روبوت محدد: استبدل العلامات النجمية المجاورة لـ وكيل المستخدم مع googlebot, googlebot- أخبار, googlebot- صورة, بينجبوت ، أو تيوما.

حظر دليل ومحتوياته:

وكيل المستخدم: * Disallow: / sample-directory /

حظر صفحة ويب:

وكيل المستخدم: * Disallow: /private_file.html

حظر صورة:

وكيل المستخدم: googlebot-image Disallow: /images_mypicture.jpg

منع كافة الصور:

وكيل المستخدم: googlebot-image Disallow: /

حظر تنسيق ملف معين:

وكيل المستخدم: * Disallow: /p*.gif$

الخطوة الخامسة. شجع برامج الروبوت على فهرسة موقعك والزحف إليه

يرغب العديد من الأشخاص في الترحيب بعناكب محركات البحث بدلاً من حظرها لأنهم يريدون فهرسة موقعهم بالكامل. لتحقيق ذلك ، لديك ثلاثة خيارات. أولاً ، يمكنك إلغاء الاشتراك في إنشاء ملف robots.txt - عندما لا يعثر الروبوت على ملف robots.txt ، سيستمر في الزحف إلى موقعك بالكامل وفهرسته. ثانيًا ، يمكنك إنشاء ملف robots.txt فارغ - سيجد الروبوت ملف robots.txt ويدرك أنه فارغ ويستمر في الزحف إلى موقعك وفهرسته. أخيرًا ، يمكنك كتابة ملف robots.txt كامل السماح. استخدم الكود:

وكيل المستخدم: * عدم السماح:

عندما يقرأ روبوت ، مثل googlebot ، هذا الملف ، فلا تتردد في زيارة موقعك بالكامل.
وكلاء المستخدم: هذا مصطلح آخر لعناكب محركات البحث أو الروبوتات
*: تشير العلامة النجمية إلى أن الرمز ينطبق على جميع وكلاء المستخدم
عدم السماح: يشير الأمر disallow الفارغ إلى إمكانية الوصول إلى جميع الملفات والمجلدات

الخطوة 6. احفظ ملف txt في جذر المجال الخاص بك

بعد كتابة ملف robots.txt ، احفظ التغييرات. قم بتحميل الملف إلى الدليل الجذر لموقعك. على سبيل المثال ، إذا كان المجال الخاص بك هو www.yourdomain.com ، ضع ملف robots.txt في www.yourdomain.com/robots.txt.

الطريقة 2 من 2: منع محركات البحث باستخدام العلامات الوصفية

الخطوة الأولى: فهم العلامات الوصفية لروبوتات HTML

تسمح العلامة الوصفية لبرامج الروبوت للمبرمجين بتعيين معلمات للروبوتات أو عناكب محركات البحث. تُستخدم هذه العلامات لمنع برامج التتبع من فهرسة والزحف إلى موقع بأكمله أو أجزاء منه فقط. يمكنك أيضًا استخدام هذه العلامات لمنع محرك بحث محدد عنكبوت من فهرسة المحتوى الخاص بك. تظهر هذه العلامات في رأس ملف HTML الخاص بك.

تُستخدم هذه الطريقة بشكل شائع من قبل المبرمجين الذين لا يمكنهم الوصول إلى الدليل الجذر لموقع الويب

الخطوة 2. حظر الروبوتات من صفحة واحدة

من الممكن منع جميع برامج الروبوت من فهرسة صفحة و / أو تتبع روابط الصفحة. تُستخدم هذه العلامة بشكل شائع عندما يكون موقع حي قيد التطوير. بمجرد اكتمال الموقع ، يوصى بشدة بإزالة هذه العلامة. إذا لم تقم بإزالة العلامة ، فلن تتم فهرسة صفحتك أو البحث عنها عبر محركات البحث.

يمكنك منع برامج الروبوت من فهرسة الصفحة ومن متابعة أي من الروابط:
يمكنك منع جميع برامج الروبوت من فهرسة الصفحة:
يمكنك منع جميع الروبوتات من اتباع روابط الصفحة:

الخطوة 3. اسمح للروبوتات بفهرسة الصفحة ، لكن لا تتبع روابطها

إذا سمحت للروبوتات بفهرسة الصفحة ، فستتم فهرسة الصفحة ؛ إذا قمت بمنع العناكب من تتبع الارتباطات ، فسيتم قطع مسار الارتباط من هذه الصفحة المحددة إلى الصفحات الأخرى. أدخل السطر التالي من التعليمات البرمجية في رأسك:

الخطوة 4. دع عناكب محرك البحث تتبع الروابط ولكن لا تفهرس الصفحة

إذا سمحت للروبوتات بتتبع الروابط ، فسيظل مسار الارتباط من هذه الصفحة المحددة إلى الصفحات الأخرى ساريًا ؛ إذا قمت بتقييدهم من فهرسة الصفحة ، فلن تظهر صفحة الويب الخاصة بك في الفهرس. أدخل السطر التالي من التعليمات البرمجية في رأسك:

الخطوة 5. حظر ارتباط صادر واحد

لإخفاء ارتباط واحد على صفحة ، قم بتضمين ملف rel علامة داخل علامة الارتباط. قد ترغب في استخدام هذه العلامة لمنع الروابط الموجودة في الصفحات الأخرى والتي تؤدي إلى الصفحة المحددة التي تريد حظرها.

أدخل ارتباط إلى الصفحة المحظورة

الخطوة 6. منع محرك بحث محدد عنكبوت

بدلاً من حظر جميع برامج الروبوت من صفحة الويب الخاصة بك ، قد ترغب في منع روبوت واحد من الزحف إلى الصفحة وفهرستها. لتحقيق ذلك ، استبدل "robot" داخل العلامة الوصفية باسم روبوت معين. الامثله تشمل: googlebot, googlebot- أخبار, googlebot- صورة, بينجبوت ، و تيوما.