Os acordaréis del artículo que publicamos hace algunas fechas: Google Herramientas para webmasters y Yahoo! Site Explorer, en él hablábamos de la importancia de crear un archivo llamado sitemap.txt o sitemap.xml donde indicaremos a los buscadores un listado de todas nuestras páginas web. En aquella ocasión hablábamos de las herramientas que Google y Yahoo! utilizaban para ello.

Pues bien hoy os descubrimos la misma herramienta pero en este caso para Live Search. Para poder hacer uso de ella lo primero que tendremos que hacer es identificarnos con nuestra cuenta para Live MSN. Una vez dentro podemos añadir cuantas páginas web queramos, para ello debemos rellenar un pequeño formulario y elegir si queremos identificarla con una meta etiqueta o con un archivo XML. Una vez relleno nos proporcionará el código elegido para que lo publiquemos en nuestro sitio web. Una vez publicado e identificado, aparecerá información interesante sobre el mismo, si que es ya está indexado, y si no, le estaremos dando toda la información que el buscador necesita para indexar completamente nuestro sitio web.

A pesar de encontrarse en fase beta, parece que funciona bastante bien, ahora eso si, en inglés. Además incluye un validador de archivos robots.txt, del que hablaremos otro día.

Esperamos que os resulte fructífero el uso de las tres herramientas.

Tanto un método, como otro lo que hacen finalmente es informar a los buscadores, más concretamente a sus robots, bots, indexadores, arañas, spiders… tienen multitud de nombres, sobre cómo queremos que traten el indexado de nuestro sitio web, es decir indicarle qué queremos y qué no queremos que indexe en su base de datos.

Su uso, en ambos casos, es realmente sencillo. En el primer caso consiste en crear un archivo de texto con extensión txt y llamado robots (robots.txt) donde pondremos estas líneas:

User-agent: *Disallow:

Con estas dos líneas le estamos diciendo que admitimos a todos los robots y que no le prohibimos el rastreo en ningún sitio. También podemos prohibir que husmee determinados directorios:

User-agent: *Disallow: /cgi-bin/Disallow: /tmp/

O prohibirle el sitio web completo:

User-agent: *Disallow: /

Permitir el acceso a un sólo buscador:

User-agent: GoogleDisallow:User-agent: *Disallow: /

O prohibir a sólo uno el acceso:

User-agent: BadBotDisallow: /

Las opciones son múltiples y variadas. También se puede prohibir el indexado de extensiones o de páginas en concreto, para este último caso me gusta más el uso de las meta-tags.

User-agent: *  Disallow: /*.js$Disallow: /pagina.html

En el caso de las meta-etiquetas o meta-tags su uso se limita a la página en concreto donde su emplean y sólo pueden indicar a un robot en concreto o a todos si queremos que indexe o no esa página web en concreto y sus enlaces o imágenes. Para ello usaremos la etiqueta meta, seguida de la palabra name, la palabra robots (si va a afectar a todos ellos) o el robot en concreto al que queremos referirnos, la palabra content y tenemos sólo 6 opciones: index, noindex, follow, nofollow, imageindex y noimageindex, además de la palabra all, siendo esta última la que se utiliza por defecto y es equivalente a index, follow.

Con estas palabras se dice que queremos que indexe: index, o no: noindex, si queremos que indexe los enlaces de la página: follow, o no: nofollow (no tiene nada que ver con rel=”nofollow”, no confundir, ver: Los enlaces y el posicionamiento web), si queremos que indexe las imágenes que contiene: imageindex, o no: noimageindex.

Algunos ejemplos:

<meta name="robots" content="index, follow"> (o /> en XHTML)

<meta name="googlebot" content="index, nofollow"> (o /> en XHTML)

<meta name="robots" content="noindex, nofollow"> (o /> en XHTML)

<meta name="robots" content="index, noimageindex"> (o /> en XHTML)

Mucho cuidado con lo que hacemos con el archivo robots.txt o con las metaetiquetas, ya que podemos tener problemas serios con nuestro posicionamiento web. Como siempre os recomiendo el asesoramiento de un webmaster profesional y/o un SEO profesional.