ABRIL

Utilizar el archivo robots.txt facilita la indexación

Google Search Appliance es un buscador tipo “araña” que lo primero que busca en un sitio web es el archivo robots.txt, el mismo que le indica que archivos debe incluir en su base de datos. Este tipo de archivo es útil para evitar que ciertos documentos o sitios de contenido seguro sean indexados por el appliance.

El archivo robots.txt tiene dos campos, el primero que especifica que agente puede realizar la indexación, en el caso de Google en específico éste se llama googlebot, y en el segundo campo se deben especificar los archivos o direcciones que no se requiere indexar. Existen programas de software que permiten a los usuarios, tanto principiantes como expertos, generar sus propios archivos robots.txt para proteger la información de su intranet con gran facilidad.

Más información en: http://www.flashtips.es/?p=8

Cristina Rodríguez