Podcast 116. Sitemap, robots, la lista de la compra y la casa real

Hoy Hablamos del sitemap y el robots.txt con Álex Serrano (@alexserramar), Marc Cruells (@Marc__Cruells) y Pol Rodríguez (@polrodriguezriu):

Qué es el sitemap?
Diferencia xml vs html.
Para qué sirve?
Para qué es importante?
Tener más de un sitemap en tu site: uno para cada parte de tu contenido.
Sitemap y robots.txt tienen algún uso interno en la web?
El truco cuando cambias de CMS.
Solo sirve para Google? No sirve para los demás buscadores?
Comando “user agent”: qué es? Cómo usarlo?
Bloquear buscadores y herramientas.
Cómo lo generamos?
Dónde informamos a Google de cuál es nuestro sitemap?
Qué es “no index”.
Qué es “no follow”.
Los sitemaps generados por plugins VS manuales.
Desindexar contenidos.
El error de bloquear en el robots las páginas que queremos desindexar.
Ambos nos ayuda a mejorar el rastreo de nuestra web y evitar desperdiciar el Crawl budget que tenemos.
Cómo podemos optimizarlos?
Tienen impacto a nivel SEO?
Qué es el robots.txt
Para qué sirve el robots.txt?
Para qué es importante el robots.txt?
Cómo lo generamos?
Qué podemos hacer en un robots.txt
Disallow carpetas enteras dentro de la web.
Dónde informamos a Google de cuál es nuestro robots.txt?
Antiguo informe de robots en search console.
Cagadas habituales.
Informe de cobertura.
Herramientas?
Consejos a tener en cuenta?

Y además:

Decirle a Google dónde tiene que ir y dónde no.
Ambos son una sugerencia. Después Google hace lo que quiere como siempre.
El sitemap es como una lista de la compra.
Usos “poco estéticos”.
Enlace desde el perfil de un foro.
Si bloqueamos una URL en el robots.
Ojo si lo has creado a mano.
Espiar el sitemap y el robots de tus competidores para descubrir las URLs y posibles palabras clave.
El robots.txt de la casa real.
Truco de magia donde se ve el truco.
El robots.txt de la SGAE.
Google Boombing.
URLs de búsqueda.
El regalador.
Curriculums en el robots.txt
El delay del informe robots en search console
La cagada de poner el el robots una url no index.