GoogleBot ¿Qué es? Araña o robot de rastreo para el buscador

Googlebot es el robot de rastreo web de Google (en ocasiones, también denominado "araña").

Se utiliza una enorme cantidad de equipos informáticos para obtener (o "rastrear") miles de millones de páginas de la Web.

Googlebot utiliza un proceso de rastreo algorítmico: a través de programas informáticos se determinan los sitios que hay que rastrear, la frecuencia y el número de páginas que hay que buscar en cada sitio.

El proceso de rastreo de Googlebot comienza con una lista de URL de páginas web generada a partir de procesos de rastreo anteriores y se amplía con los datos de los sitemaps que ofrecen los webmasters.

A medida que Googlebot visita cada uno de esos sitios web, detecta enlaces (SRC y HREF) en sus páginas y los añade a la lista de páginas que debe rastrear. Los sitios nuevos, los cambios en los existentes y los enlaces obsoletos se detectan y se utilizan para actualizar el índice de Google.

Cómo accede Googlebot a su sitio

Googlebot no suele acceder a la mayoría de los sitios más de una vez cada pocos segundos.

Sin embargo, debido a los retrasos de la red, esta frecuencia puede parecer ligeramente superior durante breves períodos de tiempo. Por lo general, Googlebot descarga una sola copia de cada página de forma simultánea.

Googlebot está diseñado para distribuirse en varios equipos con el fin de mejorar el rendimiento y el alcance a medida que la Web se desarrolla.

Además, para reducir el uso del ancho de banda, muchos de los rastreadores se ejecutan en equipos ubicados cerca de los sitios que indexan en la red.

Por tanto, es posible que sus registros muestren visitas de varios equipos a la página google.com, en todos los casos con Googlebot como "user-agent".

Su objetivo consiste en rastrear el mayor número posible de páginas de su sitio en cada visita sin colapsar el ancho de banda de su servidor.

Bloqueo de acceso de Googlebot al contenido de su sitio

Resulta prácticamente imposible no publicar enlaces a un servidor web para mantenerlo en secreto.

En el momento en que un usuario utilice un enlace de su servidor "secreto" para acceder a otro servidor web, su URL "secreta" podrá aparecer en la etiqueta de referencia, y el otro servidor web podrá almacenarla y publicarla en su registro de referencia.

Además, la Web contiene un gran número de enlaces obsoletos y dañados.

Siempre que se publique un enlace incorrecto a su sitio o que los enlaces no se actualicen correctamente para reflejar los cambios realizados en su servidor, Googlebot tratará de descargar un enlace incorrecto de su sitio.

Dispone de varias opciones para evitar que Googlebot rastree el contenido de su sitio, incluido el uso del archivo robots.txt para bloquear el acceso a los archivos y a los directorios de su servidor.

Es posible que Googlebot tarde un tiempo en detectar los cambios una vez que haya creado el archivo robots.txt

El archivo robots.txt se debe ubicar en el directorio principal del servidor (por ejemplo, www.mihost.com/robots.txt), ya que su inclusión en un subdirectorio no tendrá ningún efecto.

Si solo desea evitar que aparezcan en el registro de su servidor web mensajes de error en los que se indique que no se puede encontrar el archivo, cree un archivo vacío con el nombre "robots.txt".

Para evitar que Googlebot siga los enlaces a una página de su sitio, utilice la metaetiqueta nofollow.

Para evitar que Googlebot siga un enlace específico, añada el atributo rel="nofollow" al enlace.

A continuación se indican otras sugerencias:

• Compruebe si su archivo robots.txt funciona correctamente. La herramienta Probar robots.txt de Herramientas para webmasters de Google (Search Console) le permite comprobar cómo interpretará exactamente Googlebot el contenido de su archivo robots.txt. El robot "user-agent" de Google es muy acertadamente Googlebot.
• La herramienta Explorar como Googlebot de Herramientas para webmasters de Google le permite comprobar cómo ve exactamente su sitio Googlebot. Esta herramienta puede resultarle muy útil para la resolución de problemas relacionados con el contenido de su sitio o con la visibilidad del mismo en los resultados de búsqueda.

Cómo asegurarse de que se pueda rastrear su sitio

Googlebot encuentra sitios siguiendo enlaces entre páginas. En la página Errores de rastreo de Herramientas para webmasters de Google se indican los problemas detectados por Googlebot al rastrear su sitio.

Le recomendamos que consulte con regularidad esos errores de rastreo para identificar los problemas relacionados con su sitio.

Si está ejecutando una aplicación AJAX con contenido que desea que aparezca en los resultados de búsqueda, le recomendamos que consulte nuestra propuesta sobre cómo hacer que el contenido basado en AJAX se pueda rastrear e indexar.

Si su archivo robots.txt funciona correctamente, pero el sitio no presenta tráfico, es posible que la posición del contenido en las páginas de resultados no sea buena por alguno de los motivos que se indican a continuación.

Problemas relacionados con emisores de spam y con otros user-agents

Las direcciones IP que utiliza Googlebot varían cada cierto tiempo. La mejor forma de identificar los accesos de Googlebot es utilizar el robot "user-agent" (Googlebot).

Para comprobar si el robot que accede a su servidor es realmente Googlebot, realice una búsqueda DNS inversa.

Googlebot, al igual que el resto de robots de los motores de búsqueda acreditados, respetará las directrices del archivo robots.txt, pero es posible que algunos emisores de spam y otros usuarios malintencionados no las respeten.

Google también dispone de otros user-agents, como Feedfetcher (user-agent: Feedfetcher-Google).

Las solicitudes de Feedfetcher proceden de acciones explícitas realizadas por usuarios que han añadido feeds a la página principal de Google o a Google Reader (y no de rastreadores automatizados), por lo que Feedfetcher no sigue las directrices del archivo robots.txt.

Para evitar que Feedfetcher rastree su sitio, configure su servidor para que muestre mensajes de estado de error 404, 410 o de cualquier otro tipo al robot user-agent Feedfetcher-Google.