Usar el archivo robots.txt en tu servidor web para administrar tu presupuesto de rastreo es una práctica muy interesante para mejorar tu visibilidad, sobre todo para proyectos muy grandes, ya que evita el rastreo de espacios infinitos, como las páginas de resultados de búsqueda.
Hoy en día es relativamente sencillo montar un negocio online. Contratamos un dominio, un servidor, intalamos un CMS como Magento o Prestashop, una plantilla chula, volcamos el contenido y ya está. Ya tenemos nuestro primer negocio online. Luego viene la cruda realidad: la página tiene muy poco tráfico y apenas consigo ventas mensuales. El emprendedor pierde la motivación y al final acaba por invertir en adwors o en la mayoría de los casos por cerrar la página.
Igual hace unos años, este tipo de emprendedor acababa por tener éxito, pero no porque hiciera las cosas bien, simplemente había menos competencia y era mucho más sencillo darle notoriedad a su proyecto aunque cometieras mil fallos.
Sin embargo, hoy en día, hay que seguir sí o sí unas pautas antes de abrir cualquier negocio en internet. Antes de abrir cualquier tipo de negocio hay que hacer un estudio del producto que quires vender en internet, la saturación del mercado, lo saturado que estén las palabras claves que vayas a usar para que te localicen, la cantidad de tráfico que puedes conseguir diario haciendo un buen SEO…
Hay nichos en los que actualmente no merece la pena meterse, la competencia es tan feroz que es prácticamente imposible conseguir tráfico de calidad sin invertir ingentes cantidades de dinero. De esto hablaré en otro post,
Este consejo vale para cualquier tipo de proyecto, pero lo notaremos mucho más si en nuestro e-comerce tenemos un amplio catálogo de productos.
Normalmente Google nos tiene asignado un tiempo determinado para indexar nuestra página: ¿Cuanto tiempo? pues depende del proyecto, de la importancia que le de Google a nuestro e-comerce, ya os adelante que al principio será poco e hirá aumentando conforme vayamos generando contenido de calidad.
Pero vamos al grano.
¿Como optimizar el tiempo que nos da Google?
Lo primero es identificar cuales son las páginas más importantes de tu proyecto, las que más tráfico pueden generar o los productos que mayor beneficio te dejan.
Una vez localizado esto,
No es lo mismo que una página tenga en su cabecera NO-INDEX que la bloqueemos por el robots. Incluso si has puesto un enlace con NO-FOLLOW, lo que realmente funciona es el bloque por el robots.txt.
Si ponemos una página NO-INDEX, google entra, comprueba que es NO-INDEX y sale. Le hemos hecho ir a una página para decirle que no la indexe. Ese tiempo de acceso y salida es tiempo que perdemos para que otra página sí se indexe. Por lo que si hacemos una serie de pautas, no solo conseguiremos que nos indexe las páginas importantes, si no que con el mismo tiempo, conseguiremos que nos indexe muchas más páginas.
Aquí os dejo una gráfica muy clarificatoria:
Impresionante ¿verdad?, usando una política correcta en el robots.txt conseguimos no solo indexar esas páginas que sí nos interesaban si no multiplicar por 4 el número total de páginas indexadas.
- Indexa solo las categorías principales y asegurate que en estas categorías tener una buena optimización SEO: Titles, Metas y Keywords únicas y con buen uso de palabras clave. También añadir un h1 y texto descriptivo de la categoría con unos 2 o 3 párrafos a ser posible.
- optimizar aquellos productos que te interesen vender o los que creas que pueden llevarte más tráfico.
- Localizar parámetros o concordancias a la hora de realizar los filtros y bloquearlos en el robots.txt
- identificar todos los parámetros de la url y bloquearlos en el robots txt.
- Si tienes un blog bloquear las carpetas que no quieres
Disallow:/wp-admin/
Disallow:/wp-content/
Disallow:/author/
Disallow:/tag/
Disallow:/wp-admin/
Disallow:/wp-content/
Con solo estos pequeños cambios verás en search consolo como empieza a indexar cada vez más páginas y sobre todo
Disallow:/author/