El archivo robots.txt tiene la finalidad de impedir que los buscadores indexen o muestren a través de sus páginas, contenidos o archivos que no tienen ese fin. Te ayuda a tener un mejor posicionamiento y a restringir el acceso a los motores de busqueda (arañas o spider robots) al servidor donde tienes montado tu sitio.
En esta oportunidad hemos realizado un archivo robots.txt para el uso de WordPress, está validado y si deseas ampliar las restricciones o editar alguna configuración lo puedes hacer sin problemas, ya que el archivo robots.txt es sólo un archivo de texto que se ubica en la raíz de tu sitio en donde esta alojado, en el directorio public_html o www por dar dos ejemplos.
Archivo robots.txt de ejemplo
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114 ## Sitemap permitido, búsquedas no.### Permitimos el feed general para Google Blogsearch.## Impedimos que permalink/feed/ sea indexado ya que el# feed con los comentarios suele posicionarse en lugar de# la entrada y desorienta a los usuarios.## Lo mismo con URLs terminadas en /trackback/ que sólo# sirven como Trackback URI (y son contenido duplicado).#User-agent: googlebotSitemap: http://www.tudominio.com/sitemap.xmlDisallow: /?s=Disallow: /searchDisallow: /feed/*Disallow: /feedDisallow: /comments/feedDisallow: /*/feed/*Disallow: /*/feed/rss/*Disallow: /*/trackback/*Disallow: /*/*/feed/*Disallow: /*/*/feed/rss/*Disallow: /*/*/trackback/*Disallow: /*/*/*/feed/*Disallow: /*/*/*/feed/rss/*Disallow: /*/*/*/trackback/*# A partir de aquí es opcional pero recomendado.# Lista de bots que suelen respetar el robots.txt pero rara# vez hacen un buen uso del sitio y abusan bastante…# Añadir al gusto del consumidor…User-agent: MSIECrawlerDisallow: /User-agent: WebCopierDisallow: /User-agent: HTTrackDisallow: /User-agent: Microsoft.URL.ControlDisallow: /User-agent: libwwwDisallow: /# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen# idas de pinza, toca decirles que reduzcan la marcha.# El valor es en segundos y puedes dejarlo bajo e ir# subiendo hasta el punto óptimo.User-agent: noxtrumbotCrawl-delay: 50Disallow: /User-agent: msnbotCrawl-delay: 30Disallow: /User-agent: SlurpCrawl-delay: 10Disallow: /# Primero el contenido adjunto.# También podemos desindexar todo lo que empiece# por wp-. Es lo mismo que los Disallow de arriba pero# incluye cosas como wp-rss.phpUser-agent: *Disallow: /privateDisallow: /wp-content/uploadsDisallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /wp-includesDisallow: /wp-admin
Descargar archivo robots.txt de ejemplo