تعتبر الملفات الموجهة لروبوتات محركات البحث Search Engine Robots أحد الطرق المعتمدة للتعرف على المجلدات والملفات التي يرغب مديرو المواقع في إخفاءها وعدم زيارتها وفهرستها من قبل محركات البحث، هذه الملفات في حقيقة الأمر ليست أكثر من واجهة بين الموقع ومحرك البحث ولاتحتوى إلا على سطور قليلة توضح أسماء المجلدات أو الملفات التي لانرغب في ظهورها على صفحات نتائج البحث في محركات البحث Search (Engine Results Pages (SERPs.

غير أن المأخذ في مثل هذه الحالات هو إمكانية وصول البعض إلى هذا الملف وإستكشاف الصفحات أو المجلدات المهمة التي يشير إليها وهذا يقودنا في الحقيقة إلى التطرق إلى موضوع شديد الأهمية هو حماية وأمن المواقع الإلكترونية وبعدها عن الإختراق.