Para evitar contenidos no deseados en los indices de busqueda, los webmasters pueden instruir a las arañas que no rastreen ciertos archivos o directorios a traves del archivo robots.txt en el directorio raiz del dominio. Ademas, una pagina puede ser excluidad explicitamente de la base de datos de un motor de busqueda mediante una etiqueta meta en el archivo robots.txt. Cuando un motor de busqueda visita un sitio este directorio es el primero en ser rastreado esto quiere decir que si la orden es no rastrear determinado directorio en tu pagina web, por que es nesesario prevenir el rastreo de todos los directorios de la web, pues para evitar el contenido duplicado y por que La Gran G en 2007 mando un ultimatum por la indexacion de los mismos resultados con variantes muy leves de no ser considerado por los webmasters esto puede dejarlos en las ultimas posiciones de los resultados de busqueda aunque no es el unico modo de quedar largo de la primera pagina es uno de los motivos.

No hay comentarios:
Publicar un comentario