Ο “Crawler” είναι ένα αυτόματο πρόγραμμα που περιηγείται στο διαδίκτυο για να αναζητήσει και να συλλέξει δεδομένα από ιστοσελίδες, χρησιμοποιούμενος κυρίως από μηχανές αναζήτησης.

Για παράδειγμα, οι crawlers της Google επισκέπτονται ιστοσελίδες για να ανανεώσουν τις πληροφορίες που χρησιμοποιούνται στα αποτελέσματα αναζήτησης.