En crawler er et stykke automatiseret software, der besøger forskellige sider på nettet for at indeksere dem.