Con este artículo, trataremos de clarificar por qué el archivo robots.txt y los mapas de sitio, son hoy en día un elemento crucial, para muchas cuestiones, pero particularmente para tus estrategias de marketing. Verificar su óptimo funcionamiento, de acuerdo a las recomendaciones que hoy en día se tienen, y optimizar su uso, es una forma importante de fortalecer el SEO, a partir de una mejor comunicación con buscadores, aquí te explicamos en qué consisten.
¿Cómo se usan como parte de tus estrategias de marketing?
Se trata de dos tipos de archivos clave que permiten definir, mediante un protocolo estandarizado, la forma en la cual te rastrean los buscadores; desde luego incluido el más importante: Google.
Explicarle con precisión a Google, qué sí queremos que rastree y qué no, es una magnífica forma de optimizar el SEO y eficientar recursos.
¿Qué es un archivo robots.txt?
Es un archivo de texto en formato txt, que puedes crear incluso en un bloc de notas, pues consiste solo de caracteres sin formato, usando el Protocolo de Exclusión de Robots (aunque claro, un editor de código como Notepad++ te permitirá visualizar esto más fácil).
Este archivo se debe alojar en la raíz de nuestro dominio (o de nuestro subdominio) y mediante una serie de comandos básicos, podemos indicar qué parte de nuestro contenido sí queremos que sea rastrado por buscadores, e incluso, usando los atributos de cada uno (Googlebot, Bingbot, etc), generar instrucciones en concreto para cada buscador en particular.
Tip adicional: Explorando el archivo robots de tus competidores (accesando a micompetidor.com/robots.txt), puedes encontrar pistas interesantes.
¿Qué es un Mapa de Sitio?
Son dos los tipos principales de mapa de sitio que tenemos, el mapa de sitio HTML, que básicamente es como una sección de nuestra web dirigida a los visitantes, para enlistarles de forma organizada las páginas más relevantes; y tenemos también el mapa de sitio XML, el cual está dirigido a buscadores, para indicar de forma específica, cual es el contenido que queremos se integren en su índice.
Este archivo, se debe indicar desde el mismo robots.txt, con la instrucción “Sitemap”. Es decir, deberías tener una línea con algo así como:
Sitemap: http://webmarketingtips/sitemap.xml (Claro, con la dirección correspondiente a tu página).
Aunque lo más recomendado, es también avisarle directamente a los buscadores; en el caso de Google, lo puedes indicar mediante la Google Search Console. Ya sea a través del sistema Google Webmaster Tools, aunque recientemente, Google ha habilitado una nueva plataforma específica de Google Search Console, en la cual puedes enviar tu sitemap, tras abrir una cuenta y verificar la propiedad del dominio.
Nota. Este mismo proceso lo puedes hacer también en el Bing Webmaster Tools y el Yandex Webmaster para estos buscadores.
Este archivo se puede generar de forma dinámica, para que siempre se actualice en automático, lo cual puedes realizar a través de múltiples herramientas y plugins, para que sea más fácil.
¿Cómo usarlos?
El objetivo esencial de estas herramientas para tus estrategias de marketing, es enfocarlos hacia el contenido realmente relevante para tu audiencia.
Es decir, tus artículos, productos, servicios, secciones, desde luego siempre deben estar integradas en el sitemap XML. Pero por ejemplo, tus páginas que solo son para los editores del sitio, los contenidos de prueba (como puede ser una versión beta), los archivos de recurso (componentes técnicos de tu plataforma) o las páginas de acceso restringido, no solo es innecesario que sean indexadas y te ayuden a evitar sobrecargar tu servidor, sino que incluso reduces riesgos de seguridad.
Además, algunos otros como los archivos de imágenes, en muchos casos resulta conveniente limitar el acceso, ya que, por ejemplo, si elaboras atractivas infografías que incluyes en tus contenidos, esto obliga a los usuarios a ingresar directamente a tu web para poder verlas de forma apropiada.
También debes tomar en cuenta una estructura óptima, de acuerdo a tu tipo de sitio. Pues por ejemplo, si tienes solo un negocio, con unas pocas secciones, y unos cuantos posts de contenido, tener enlistado todo en un solo índice, es una buena opción; no obstante que si tu empresa genera una gran cantidad de entradas a la semana, o incluso al día, lo mejor es tener un formato, que genere índices diarios o semanales, lo cual se puede interpretar de una forma más organizada. O bien, si tienes cientos o miles de productos, lo ideal es tener una buena categorización.
Hoy en día, tener optimizado tu robots.txt y tu sitemap, es esencial para tus estrategias de marketing; y una buena forma de verificar su funcionamiento, es aprovechando también las herramientas de Google, como el Robot Testing Tools y la nueva Search Console respectivamente.
Si requieres mayores detalles, o asesoría personalizada sobre tu caso en particular, puedes dejarnos un comentario o ponerte en contacto con nosotros.
Acerca del Autor:
Ximena Wem
Redactora, community manager, amante de la comunicación y las nuevas tecnologías. Comunicóloga de profesión, con especialidades en diferentes ramas del Marketing Online, como: Inbound Marketing, Google, Redes Sociales, Breaking news y Diseño responsivo.
