robots TXT para WordPress
Siempre he tenido dificultades con el Robots TXT para wordpress, porque nos dejábamos siempre algo en el tintero. Investigando y profundizando sobre el tema, he encontrado esta excelente entrada de Jonathan Valenzuela en la que nos explica cómo mejorar la indexación en buscadores, y en especial a nuestro odiado Google. Os recomiendo leer la entrada completamente si tenéis interes en aumentar la velocidad con la que se indexan las páginas que componen nuestro sitio, pero por si acaso, os cuento en titulares:
Robots TXT para WordPress
- El robots.txt se usa para excluir el acceso de algunos bots a directorios o documentos
- Merece la pena limitar el acceso a muchas estructuras para limpiar lo que van a tener que buscar e indexar los robots
- Hay muchos robots maliciosos que sólamente se van a dedicar a clonar o ralentizar nuestro sitio
Robots.txt a pelo
Aquí os lo añado, tal y como lo véis, para que podáis copiarlo y pegarlo:
User-agent: * Disallow: /wp-login Disallow: /wp-admin Disallow: //wp-includes/ Disallow: /*/feed/ Disallow: /*/trackback/ Disallow: /*/attachment/ Disallow: /author/ Disallow: /*/page/ Disallow: /*/feed/ Disallow: /tag/*/page/ Disallow: /tag/*/feed/ Disallow: /page/ Disallow: /comments/ Disallow: /xmlrpc.php Disallow: /*?s= Disallow: /*/*/*/feed.xml Disallow: /?attachment_id*
Y, como siempre, para los perezosos, os dejo el robots.txt descargable:
