Googlebot

Qué significa Googlebot

Googlebot es un rastreador, no una simulación de visitante que garantice que cada URL se indexará. Google documenta variantes de Googlebot para móvil y para escritorio, aunque muchos sitios se evalúan sobre todo con el rastreador móvil. El descubrimiento, la rastreabilidad, el código de estado de la respuesta, el renderizado y la selección para el índice son etapas relacionadas pero distintas.

zoom_in

Regla de decisión y pruebas

Controla lo que un rastreador puede obtener con las reglas de acceso y de robots; controla la indexación con las directivas de indexación y la política de contenido. Un sitemap es una pista para el descubrimiento, no una orden de indexación, y la cadena user-agent por sí sola no demuestra que una solicitud proceda de Google.

Flujo de trabajo práctico

User-agent: Googlebot
Disallow: /private/

# Index control is separate: use noindex on a crawlable page when appropriate.

El descubrimiento de Googlebot suele empezar por los enlaces rastreables, y los sitemaps aportan una lista adicional de URL. La navegación con JavaScript que no tiene destinos href habituales, las páginas que solo se ven con inicio de sesión y los recursos bloqueados pueden impedir que Google vea la misma ruta o el mismo contenido renderizado que ve un usuario en el navegador.

1. Define por separado los conjuntos de URL que quieres públicas, rastreables e indexables.
2. Revisa las reglas de robots, el código de estado HTTP, las etiquetas canonical y las barreras de inicio de sesión en páginas representativas.
3. Ofrece enlaces internos coherentes y un sitemap con las URL indexables preferidas.
4. Verifica el tráfico de rastreo sospechoso con el método de verificación documentado por Google, en lugar de fiarte de una cabecera.
5. Usa Search Console y los logs como pruebas complementarias, y guarda las fechas y el alcance.

Verificación y errores habituales

Registra qué URL se probaron, el user agent o la fuente verificada cuando proceda, el estado, el resultado de robots y las dependencias renderizadas. Indica como no disponibles las pruebas que no lo estén, en lugar de deducir un rastreo correcto.