Das sind Suchmaschinenbots (Spiders), die klicken auf jede Seite, die sie finden können, und tragen sie in den Suchmaschinenindex ein. Wenn du auf deinem Server eine robots.txt anlegst, kannst du auch noch steuern, wie sich die Bots verhalten sollen.

Google & Co. können ja die Seiten nicht kennen, wenn sie nicht besucht wurden.