• 
• 
• 
• 
• 

Hoja de estilo actual: Número 1.

¿Qué es mejor el archivo robots.txt o las meta-etiquetas?

La verdad es que el efecto final es el mismo, hay webmasters que prefieren utilizar el archivo robots.txt, como es mi caso, y hay otros que prefieren utilizar las meta-etiquetas. Desde luego la mejor opción es la mezcla de ambos. Veamos cómo funcionan.

Tanto un método, como otro lo que hacen finalmente es informar a los buscadores, más concretamente a sus robots, bots, indexadores, arañas, spiders… tienen multitud de nombres, sobre cómo queremos que traten el indexado de nuestro sitio web, es decir indicarle qué queremos y qué no queremos que indexe en su base de datos.

Su uso, en ambos casos, es realmente sencillo. En el primer caso consiste en crear un archivo de texto con extensión txt y llamado robots (robots.txt) donde pondremos estas líneas:

User-agent: *Disallow:

Con estas dos líneas le estamos diciendo que admitimos a todos los robots y que no le prohibimos el rastreo en ningún sitio. También podemos prohibir que husmee determinados directorios:

User-agent: *Disallow: /cgi-bin/Disallow: /tmp/

O prohibirle el sitio web completo:

User-agent: *Disallow: /

Permitir el acceso a un sólo buscador:

User-agent: GoogleDisallow:User-agent: *Disallow: /

O prohibir a sólo uno el acceso:

User-agent: BadBotDisallow: /

Las opciones son múltiples y variadas. También se puede prohibir el indexado de extensiones o de páginas en concreto, para este último caso me gusta más el uso de las meta-tags.

User-agent: *  Disallow: /*.js$Disallow: /pagina.html

En el caso de las meta-etiquetas o meta-tags su uso se limita a la página en concreto donde su emplean y sólo pueden indicar a un robot en concreto o a todos si queremos que indexe o no esa página web en concreto y sus enlaces o imágenes. Para ello usaremos la etiqueta meta, seguida de la palabra name, la palabra robots (si va a afectar a todos ellos) o el robot en concreto al que queremos referirnos, la palabra content y tenemos sólo 6 opciones: index, noindex, follow, nofollow, imageindex y noimageindex, además de la palabra all, siendo esta última la que se utiliza por defecto y es equivalente a index, follow.

Con estas palabras se dice que queremos que indexe: index, o no: noindex, si queremos que indexe los enlaces de la página: follow, o no: nofollow (no tiene nada que ver con rel=”nofollow”, no confundir, ver: Los enlaces y el posicionamiento web), si queremos que indexe las imágenes que contiene: imageindex, o no: noimageindex.

Algunos ejemplos:

<meta name="robots" content="index, follow"> (o /> en XHTML)

<meta name="googlebot" content="index, nofollow"> (o /> en XHTML)

<meta name="robots" content="noindex, nofollow"> (o /> en XHTML)

<meta name="robots" content="index, noimageindex"> (o /> en XHTML)

Mucho cuidado con lo que hacemos con el archivo robots.txt o con las metaetiquetas, ya que podemos tener problemas serios con nuestro posicionamiento web. Como siempre os recomiendo el asesoramiento de un webmaster profesional y/o un SEO profesional.

¿Disfrutó esta entrada? Por qué no deja un comentario abajo y continúa la conversación, o se suscribe al feed y obtiene artículos como este enviados a su lector de feeds.