Το robots.txt είναι ένα αρχείο που χρησιμοποιείται για να καθοδηγήσει τις μηχανές αναζήτησης σχετικά με το ποιο περιεχόμενο της ιστοσελίδας επιτρέπεται να ανιχνεύουν και να εμφανίζουν στα αποτελέσματα αναζήτησης. Χρησιμοποιείται κυρίως για να αποκλείσει σελίδες ή φακέλους από την ανίχνευση.

Παράδειγμα: Αν μια επιχείρηση δεν θέλει να εμφανίζονται ορισμένες σελίδες στις αναζητήσεις, τις αποκλείει μέσω του robots.txt.