El archivo robots.txt tiene la finalidad de impedir que los buscadores indexen o muestren a través de sus páginas, contenidos o archivos que no tienen ese fin.  Te ayuda a tener un mejor posicionamiento y a restringir el acceso a los motores de busqueda (arañas o spider robots) al servidor donde tienes montado tu sitio.

En esta oportunidad hemos realizado un archivo robots.txt para el uso de WordPress, está validado y si deseas ampliar las restricciones o editar alguna configuración lo puedes hacer sin problemas, ya que el archivo robots.txt es sólo un archivo de texto que se ubica en la raíz de tu sitio en donde esta alojado, en el directorio public_html o www por dar dos ejemplos.

Archivo robots.txt de ejemplo

# # Sitemap permitido, búsquedas no. # # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # User-agent: googlebot Sitemap: http://www.tudominio.com/sitemap.xml Disallow: /?s= Disallow: /search Disallow: /feed/* Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/* Disallow: /*/feed/rss/* Disallow: /*/trackback/* Disallow: /*/*/feed/* Disallow: /*/*/feed/rss/* Disallow: /*/*/trackback/* Disallow: /*/*/*/feed/* Disallow: /*/*/*/feed/rss/* Disallow: /*/*/*/trackback/* # A partir de aquí es opcional pero recomendado. # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante… # Añadir al gusto del consumidor… User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y puedes dejarlo bajo e ir # subiendo hasta el punto óptimo. User-agent: noxtrumbot Crawl-delay: 50 Disallow: / User-agent: msnbot Crawl-delay: 30 Disallow: / User-agent: Slurp Crawl-delay: 10 Disallow: / # Primero el contenido adjunto. # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php User-agent: * Disallow: /private Disallow: /wp-content/uploads Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /wp-admin

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114

# # Sitemap permitido, búsquedas no. # # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. #   # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). #   User-agent: googlebot   Sitemap: http://www.tudominio.com/sitemap.xml   Disallow: /?s=   Disallow: /search   Disallow: /feed/*   Disallow: /feed   Disallow: /comments/feed   Disallow: /*/feed/*   Disallow: /*/feed/rss/*   Disallow: /*/trackback/*   Disallow: /*/*/feed/*   Disallow: /*/*/feed/rss/*   Disallow: /*/*/trackback/*   Disallow: /*/*/*/feed/*   Disallow: /*/*/*/feed/rss/*   Disallow: /*/*/*/trackback/*   # A partir de aquí es opcional pero recomendado.   # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante… # Añadir al gusto del consumidor…   User-agent: MSIECrawler   Disallow: /   User-agent: WebCopier   Disallow: /   User-agent: HTTrack   Disallow: /   User-agent: Microsoft.URL.Control   Disallow: /   User-agent: libwww   Disallow: /   # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y puedes dejarlo bajo e ir # subiendo hasta el punto óptimo.   User-agent: noxtrumbot   Crawl-delay: 50   Disallow: /   User-agent: msnbot   Crawl-delay: 30   Disallow: /   User-agent: Slurp   Crawl-delay: 10   Disallow: /   # Primero el contenido adjunto. # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php   User-agent: *   Disallow: /private   Disallow: /wp-content/uploads   Disallow: /wp-content/plugins   Disallow: /wp-content/themes   Disallow: /wp-includes   Disallow: /wp-admin

 

Descargar archivo robots.txt de ejemplo