Sitemap y robots.txt: qué son y cómo configurarlos bien

Dos archivos pequeños pueden decidir si Google encuentra tu web o la ignora: el sitemap y el robots.txt. Casi todas las webs profesionales los tienen, y configurarlos mal es una de las fallas más costosas del SEO.

El sitemap.xml

Es una lista de las direcciones que quieres que Google conozca, con la fecha de la última modificación. Funciona como el índice de un libro: no obliga al buscador a nada, pero lo ayuda a descubrir tus páginas más rápido, sobre todo si son nuevas o están poco enlazadas.

• Incluye solo páginas que quieres posicionar, con respuesta correcta (sin errores).
• Deja afuera las páginas duplicadas, las de agradecimiento y las privadas.
• Mantenlo actualizado: que se regenere solo al publicar contenido.
• Envía la dirección del sitemap en Google Search Console.

El robots.txt

Es un archivo en la raíz de tu sitio que les indica a los rastreadores qué zonas pueden visitar y cuáles no. También suele incluir la dirección del sitemap.

• Úsalo para bloquear áreas privadas o sin valor, como el panel de administración.
• Indica siempre la dirección de tu sitemap al final.
• No lo uses para ocultar páginas confidenciales: es un archivo público.

El error que sale caro

Durante el desarrollo es común bloquear todo el sitio para que no se indexe una versión de prueba. Si se olvida quitar ese bloqueo al publicar, Google no indexa nada. Revisa tu robots.txt el día del lanzamiento.

Cómo comprobarlos

Escribe /robots.txt y /sitemap.xml al final de tu dirección y fíjate que se vean bien. En Search Console, el informe de sitemaps y de indexación te muestra qué tomó Google y qué rechazó.

Cómo debería verse cada uno

El sitemap es un archivo, normalmente en tudominio.com/sitemap.xml, que lista las direcciones que quieres que Google conozca, con su fecha de última modificación. El robots.txt está en tudominio.com/robots.txt y dice a los robots qué zonas no deben rastrear, y dónde está el sitemap.

• En el sitemap incluye solo páginas indexables, con respuesta 200 y sin noindex.
• Excluye páginas de agradecimiento, de búsqueda interna y de administración.
• En el robots.txt, indica la línea Sitemap con la dirección completa.

Un error muy común: bloquear de más

Una línea mal puesta en el robots.txt puede impedir que Google rastree todo tu sitio. Es habitual que ocurra en la etapa de desarrollo y se olvide quitarla al publicar. Revisa siempre el archivo después de lanzar. Además, recuerda que el robots.txt no protege información privada: solo pide a los robots que no entren, y un enlace externo puede igualmente exponer una dirección.

Cómo verificarlos

• Abre ambos archivos en el navegador y comprueba que cargan.
• Envía el sitemap en Search Console y mira si reporta errores.
• Usa la inspección de direcciones para ver si una página está bloqueada.

En sitios que crecen, conviene generar el sitemap de forma automática para que se actualice solo cada vez que publicas contenido nuevo.

Preguntas frecuentes

¿Es obligatorio tener un sitemap?

No, pero ayuda, sobre todo en sitios nuevos o grandes. Google puede descubrir páginas siguiendo enlaces, aunque el sitemap acelera y ordena el proceso y te permite ver qué páginas se indexan.

¿Cuántos sitemaps puedo tener?

Todos los que necesites. Existen límites por archivo, por lo que los sitios grandes dividen la lista en varios y los agrupan en un índice de sitemaps.

¿Qué hago si mi página no aparece indexada pese al sitemap?

Inspecciona esa dirección en Search Console. A veces el motivo es calidad insuficiente o contenido duplicado; otras, un bloqueo o una canonical equivocada. Soluciona la causa y solicita una nueva indexación.

Cinco minutos de revisión de estos dos archivos pueden evitar meses de invisibilidad.