Crawling
Pe scurt
Crawling-ul este procesul prin care roboții motoarelor de căutare (ex. Googlebot) descoperă și parcurg paginile de pe web, urmând linkuri. Dacă o pagină nu poate fi crawl-ată, nu poate fi indexată și nu apare în rezultate.
De ce contează
Pe site-uri mari, bugetul de crawl e limitat. O structură curată și un sitemap bun ajută Google să prioritizeze paginile importante.
Crawling vs indexare
Crawling = descoperirea și parcurgerea paginii. Indexare = includerea ei în baza de date a motorului. O pagină crawl-ată nu e automat și indexată.