Когда роботы поисковых машин ползают по всемирной паутине, они периодически индексируют новые сайты. Однако никто не мешает вебмастерам добавлять URLы своих сайтов в поисковики.