Scopriremo perché è opportuno preoccuparsi di comunicare con i crawler per ottimizzarne le risorse, affronteremo l'argomento andando ad esaminare tutti gli strumenti tecnici che ci vengono forniti nella documentazione ufficiale di Google e nel modo in cui Google reagisce agli status HTTP, analizzandoli di volta in volta nel dettaglio:
- basi metodologiche della CBO
- robots.txt
- meta robots
- Header HTTP x-robots tag
- Header HTTP status code
- rel canonical
- rel next-prev