¿Qué es el archivo robots.txt? ¿Cómo beneficia el SEO? ¿Cómo configurarlo? Son preguntas que saltan a la vista cuando descubrimos esta pequeña herramienta que puede traer grandes beneficios al posicionamiento de tiendas online.
Hoy te traemos en este post todas las respuestas a tus preguntas, y si todavía no sabes nada sobre él, te lo vamos a presentar. Así que, sea el caso que sea, presta mucha atención, ya que es un documento que usa lenguaje codificado por lo que no puedes cometer ningún error en su configuración.
Archivo robots.txt, ¿qué es y cómo funciona?
Desde el punto de vista conceptual se define como el protocolo de exclusión de robots. Expliquémoslo mejor: los robots antes de ingresar al sitio ubican el archivo robots.txt para tener la información general, con él podemos decidir que robots entran y darles instrucciones para realizar el rastreo.
Sabemos que las tareas principales de los robots son rastrear, indexar y posicionar las páginas web siguiendo logaritmos que solo conoce Google. Estos se despliegan por todo el entorno digital para analizar y evaluar cada detalle de los sitios web. Cuando una página se gana su beneplácito es premiada con posicionamiento, mientras que cuantos estos visitantes consiguen irregularidades, son letales en las penalizaciones.
Para explicar cómo funciona el Archivo robots.txt imaginemos que nuestra página es un edificio al que para entrar debes anunciarte primero en la recepción, donde además de autorizar o negar el acceso te van a decir que pisos o habitaciones pueden visitar y cuáles no. Bueno, en nuestra página esta herramienta es el equivalente a la recepción del edificio: es con él que los robots establecen un primer contacto para definir cómo va a proceder en el interior de la web.
Después de conocer esta función, a nadie se le ocurrirá descuidar al encargado de atender a tan distinguidos visitantes, ya que a través de ellos podemos mostrar lo mejor del sitio y ocultar aquello que sabemos no le es grato. Nadie invita a las visitas a pasar al sótano, ¿verdad?
Bueno, a través de su configuración le podemos decir a los robots si pueden pasar o no, y si los dejamos pasar le diremos cuáles son las páginas que queremos sean rastreadas, indexadas y posicionadas en los SEPRs.
¿Por qué es importante configurarlo?
Lo que hemos dicho hasta el momento acerca de impedir que algunas páginas sean indexadas posiblemente pueda parecer contradictorio, ya que todos queremos indexar y posicionar nuestra tienda online. ¿Qué motivos tendríamos para no querer que algunas secciones sean rastreadas?
Tenemos varias razones:
- A veces menos es más: el motivo principal es cuidar el posicionamiento y algunas secciones de nuestra web, “por naturaleza” pueden incidir negativamente en la optimización. Por lo tanto, es mejor que tales secciones no sean rastreadas. A fin de cuentas, lo importante no es la cantidad de indexaciones que tengas sino conseguir el posicionamiento de las que son realmente importantes.
- Favorece la velocidad del rastreo: a los motores de búsqueda les gusta la rapidez y valora negativamente aquellas web que le quiten demasiado tiempo, por lo que una forma de acelerar el rastreo es evitando que entren a páginas que no son importantes.
- Optimizar los recursos: lo que se conoce como el presupuesto de rastreo determina la cantidad de URL que los motores pueden analizar en un sitio a partir de la tasa limite y la demanda de rastreo. Por lo que su configuración ayuda a dirigir inteligentemente la inversión de dicho presupuesto a aquellas páginas con mayor valor SEO.
- Está en tus manos: el hecho de poder decidir con antelación aquellos aspectos que serán evaluados por Googlebot (el robot de Google) te coloca un paso delante de la situación y concentrar esfuerzos en tales aspectos.
Ahora que ya sabes la importancia que tiene este aspecto de tu página y todos los beneficios que puede traer a tu negocio web, quizá quieras saber dónde ver el archivo robots.txt, como crearlo o como configurarlo.
Configuración del archivo robots.txt
Hemos llegado al apartado más importante y práctico de este post, donde en términos sencillos te vamos a explicar todo lo que necesitar saber para mejorar el SEO eCommerce con esta herramienta.
¿Dónde está el archivo robots.txt de mi página?
Encontrarlo es muy sencillo: tienes que ubicarte en la barra del navegador donde está URL de tu dominio (la URL principal del sitio) y solo agregarle al final /robots.txt. Automáticamente puedes visualizarlo si este ha sido configurado correctamente cuando se creó el sitio, si no es así, verás un espacio vacío (significa que debes crearlo). Pero también puede ocurrir que el sistema te arroje un error tipo 404 lo que indica que tienes un problema por resolver desde el punto de vista de la programación de tu web.
Este procedimiento también es válido para ver el archivo robots.txt de otro sitio web, lo cual es una oportunidad para saber cómo están manejando otros usuarios esta herramienta, y definir mejor lo que tú puedes hacer al respecto en el momento de crear o configurar la tuya.
Cambiar el archivo robots.txt
Si al realizar la búsqueda el sistema te muestra el documento, automáticamente el trabajo será más fácil. Debes seguir los siguientes pasos:
- Ubicar la versión editable: la obtendrás ingresando a la web de tu compañía de hosting, en el módulo de Administración de archivos.
- Edítalo: borras todo el contenido pero conservas el archivo y realiza la nueva configuración que deseas. Más adelante te explicamos cómo hacerlo.
Crear archivo robots.txt
En el caso de que tu sitio web no lo tenga lo deberás crear manualmente. Para ello te recomendamos usar un editor como Bloc de notas en el caso de sistema operativo Windows o TextEdit de Mac, los cuales son editores planos. No es conveniente usar un documento de Word, puesto que con este existen mayores riesgos de alterar la nomenclatura del código. También puedes utilizar herramientas online como editpad.org.
Configurar archivo robots.txt
Ahora sí, vamos a conocer cuál es la sintaxis de los comandos para configurar robots.txt. Este procedimiento se aplica tanto para quienes ya lo tienen y lo quieren cambiar, como para los que deben crearlo desde cero.
La edición se hace a través de un tipo de lenguaje informático que pude ser leído por la inteligencia artificial de los bots. Los comandos del archivo robots.txt son los siguientes:
- Su escritura debe comenzar con las palabras User-agent. Si quieres una web sin ningún tipo de restricciones debes agregar un espacio después de los dos punto y luego asterisco, así: User-agent: *
- En la siguiente línea escribe Disallow. Y aquí es donde se pueden hacer más cambios. Si no quieres deshabilitar ningún acceso, basta con colocar el asterisco en el comando anterior y dejar en blanco lo que sigue al término, así: Disallow:
- Si lo que quieres es usar este recurso para mejorar el SEO tienes que cerrarle el paso de los robots a algunas secciones o páginas que no sean importantes, ya que al ser indexadas pueden afectar el posicionamiento. Lo puedes agregar a la URL especifica de la sección entre diagonales (//) luego de Disallow.
Por ejemplo, para denegar el acceso al módulo de administración del CMS, suponiendo que uses WordPress, el comando sería: Disallow: /wp-admin/. Y lo mismo aplica para negar el acceso a secciones específicas: debes colocar entre las barras el slug específico de la sección, es decir, lo que está después del .com.
- Ahora bien, puede darse el caso que se necesite indexar una subcarpeta específica pero no la carpeta que la contiene. En este caso se usa el comando que inicia con Allow, al cual se le agrega la dirección de la carpeta y subcarpeta separadas por barras diagonales. Los robots entenderán que deben obviar lo que está entre las primeras dos diagonales y que deben rastrear lo que sigue después de ellas. Pongamos un ejemplo, para que sea rastreada la página buscar-palabras-claves de la carpeta estrategia-seo-2020, el comando sería: Allow:/estrategia-seo-2020/buscar-palabras-claves/
- Hay otras dos opciones que aunque no forman parte propiamente del archivo ayudan a mejorar su funcionamiento, nos referimos a los comandos noindex y nofollow.
El primero es compatible con Disallow y garantiza que las instrucciones de no indexación sea cumplidas correctamente. La segunda, les dice a los robots que no rastreen los enlaces de una página determinada. Estos comandos deben colocarse en el código fuente de la página en cuestión, específicamente entre las etiquetas head, donde se debe escribir: <meta name="robots" content="noindex"> o <meta name="robots" content="nofollow">, respectivamente. En el caso de que se considere habilitar los dos sería: <meta name="robots" content="noindex,nofollow">.
- Como subir el archivo robots.txt
Ya casi hemos terminado. Después de crearlo, llegamos al último paso que es enviarlo a Google y probarlo.
Dirigete a Search Console de Google, busca el icono Rastrear y se desplegará la caja en la que debes borrar el contenido y pegar el nuevo. Seguidamente, seleccionas Probar y si el contenido cambia al status “Permitido”, puedes estar tranquilo ¡has hecho bien tu trabajo!
Después de esto, pega el documento a tu directorio root y listo.
¡Mejora el posicionamiento de tu eCommerce ahora!
Usar el archivo robots.txt para optimizar tu página web es posible, se trata de un procedimiento sencillo que cualquiera puede hacer. Solo debes seguir cuidadosamente los pasos que hemos descrito en este post para ir un paso delante de la inteligencia de Google.