Co to jest crawling?

Crawling to proces znajdowania nowych lub zaktualizowanych stron, które dodawane są do indeksu Google. Podczas crawlingu indeksowane są linki wewnętrzne i zewnętrzne naszego serwisu, a także jego kod źródłowy.