قد تضطر في بعض الأحيان إلى عدم فهرسة بعض الملفات على موقعك نظراً للأهمية التي تمثلها هذه الملفات كأن تكون مثلاً صفحات وحدة معالجة المحتوى Content Management System أو صفحات تحت الإنشاء.

ما أقصده بعملية إخفاء هذه الملفات أو المجلدات تحديداً هو عدم فهرستها من قبل محركات البحث المختلفة بحيث تتوقف برمجيات هذه المحركات Search Engine Spiders or Robots المنوط بها فهرسة المواقع عن فهرسة هذه الصفحات أو المجلدات وبالتالي عدم ظهورها ضمن نتائج البحث في هذه المحركات.

ما الفائدة من عدم فهرسة بعض الصفحات على الموقع: