robots.txt
Pe scurt
robots.txt este un fișier în rădăcina site-ului care le spune roboților motoarelor de căutare ce zone pot sau nu pot crawl-a. Controlează bugetul de crawl și blochează secțiuni irelevante, dar nu e o metodă de a ascunde pagini din index (pentru asta se folosește noindex).
Ce poate face
Blochează crawl-ul unor directoare (ex. coș, cont, filtre) și indică locația sitemap-ului.
Capcană frecventă
A bloca din greșeală resurse (CSS/JS) sau pagini importante poate strica indexarea. robots.txt nu înlocuiește noindex pentru a scoate pagini din Google.