Ir a pagina de inicio
Home | Soporte Técnico Xpress Hosting Soporte Técnico | contactanos xpress hosting Contacto | Blog | Site Map
Contáctanos sin costo
desde cualquier ciudad

(55) 11-64-75-05

  Contratar un servicio
 
 
Como generar el archivo robots.txt para tu sitio web

Como generar el archivo robots.txt para tu sitio web

El Protocolo de Exclusión de Robots, más conocido como el robots.txt es una convención para prevenir los rastreadores el acceso a todo o parte de un sitio web.

Autor : Erick Cruz

Páqina Web | Artículos de

Ejecutivo de Soporte Técnico Nivel 1 en @XpressHosting

¿Qué es el archivo robots.txt?

El Protocolo de Exclusión de Robots, más conocido como el robots.txt es una convención para prevenir los rastreadores el acceso a todo o parte de un sitio web.

El fichero robots.txt, colocando la raíz de un sitio Web contiene una lista de los sitios que no se suponen pueden ser indexados por los motores de búsqueda de recursos. Este archivo también puede especificar la dirección del sitio de motores de archivo sitemap.xml.

Por convención, los robots consultan el fichero robots.txt antes de la indexación de un sitio web. Cuando el robot intenta acceder a una página web, como http://www.dominio.com/page.html intenta acceder al primer archivo robots.txt ubicado en http://www.midominio.com.mx/robots.txt

¿Cómo generar el archivo robots.txt?

El archivo robots.txt debe ser colocado en la raíz de tu sitio; Sólo necesitas crearlo cuando quieres impedir que ciertas páginas o directorios de tu sitio aparezcan en los resultados de búsqueda.

Deberás de crear un documento de texto con el nombre robots.txt.

El archivo robots.txt debe de contener lo siguiente

User-agent: *
Disallow: /

La instrucción User-agent: * significa que el bloqueo se aplica a todos los robots.
La instrucción Disallow: significa que el motor puede navegar por todas las carpetas y páginas.

Si desea bloquear el acceso a ciertos robots directorios, basta con especificar su nombre en la configuración de User-agent:

Ejemplo

User-agent: Googlebot
Disallow: /repertoire-a/

User-agent: *
Disallow:

Por último, dos cosas que debe saber cuando se utiliza un archivo robots.txt:

1.- Los robots pueden ignorar el archivo robots.txt, robots maliciosos especialmente crawlent sitios para investigar vulnerabilidades o dirección de correo electrónico.

2.- El archivo robots.txt es un archivo de acceso público, lo que significa que cualquier persona puede ver lo que no deseas ser indexado por los motores de búsqueda.


Email Updates Email Updates  Twitter Followers




 
Contáctenos por Teléfono
Para tu comodidad puedes llamarnos a nuestro número
en el Contact Center. Se aplican restricciones

(55) 11-64-75-05

Contáctenos por Correo Electrónico
Selecciona el departamento al que deseas comunicarte
Certificados por: GeoTrust, Register .MX, AMIPCI, Socio Anadic y AdWords Qualified Individual Google
SSL Certificate Register MX AMIPCI
Los precios se encuentran en pesos mexicanos, estan sujetos a
cambios sin previo aviso y no incluyen IVA