Seguro que en alguna ocasión os habéis preguntado (al menos yo si lo hice) en cómo Google es capaz de rastrear todas las páginas que existen en la red. Google utiliza una serie de robots (también llamados crawlers o spiders) que van “saltando” de enlace en enlace dentro de nuestra web, encontrando así todas las páginas que existen.
¿Qué pasa si nuestros enlaces no son accesibles? Pues que Google no podrá encontrar todas las páginas que conformen nuestro sitio y por tanto no las indexará. Una forma de ver si un enlace es accesible o no para los buscadores es ver como Google tiene guardada nuestra página en su caché. Podremos verlo poniendo:
cache: www.nuestrositio.com
Una vez dentro, haremos click en “versión de sólo texto”
De esta forma veremos como Google guarda nuestra página en su caché y comprobaremos si los enlaces son accesibles o no. Normalmente, si usamos elementos Javascript o Flash (por ejemplo, en los menús de la página), tendremos enlaces que Google no será capaz de rastrear.
También es recomendable tener una buena estructura de navegación en nuestra página, con unos niveles de profundidad de página no demasiado profundos, ya que Google también podría “perderse” y no indexar algunas de esas páginas.
También podemos ayudar a Google a encontrar nuestras páginas haciendo acciones de linkbuilding interno, enlazando con páginas que nos interese posicionar o destacar de nuestro propio sitio web.
No debemos olvidar también crear el archivo robots.txt y abrirlo a todos los buscadores. Para ver como tenemos configurado nuestro archivo robots.txt y modificarlo en caso de que sea necesario, podemos hacerlo entrando en:
www.nuestrositio.com/robots.txt
En el archivo robots.txt indicaremos, entre otras cosas, las secciones que no queremos que Google indexe. Pero ojo, porque si nuestro archivo robots.txt tiene el siguiente formato…
User-agent: *
Disallow: /
… ningún buscador podrá acceder a nuestro sitio. Por eso es muy importante tener bien configurado este archivo.
Se trata de ayudar a Google y sus arañas a rastrear el mayor número posible de páginas de nuestro sitio web y, lógicamente, cuanto más fácil se lo pongamos, mejor.
Y vosotros, ¿qué más acciones hacéis para ayudar a Google a rastrear vuestras páginas?
Lo que me sale de las Webs