Solucionar Indexada Bloqueada : Wordpress

Solucionar el Error Indexada, pero Bloqueada por robots.txt Cuando tus páginas dejan de ser rastreadas por Google, estas clasificaciones más bajas pueden contribuir a que haya menos visitantes y conversiones.

El error «Indexada, pero bloqueada por robots.txt» o «Indexed though blocked by robots.txt» puede significar un problema con el rastreo del motor de búsqueda en tu sitio. Cuando esto ocurre, Google ha indexado una página que no puede rastrear. Afortunadamente, puedes editar tu archivo robots.txt para especificar qué páginas deben o no deben ser indexadas.

En este articulo, explicaremos el error «Indexada, pero bloqueada por robots.txt» y cómo comprobar si tu sitio web tiene este problema. Indica que Google ha indexado algunas URLs de tu sitio, pero no puede rastrearlas debido a restricciones en el archivo robots.txt

El fichero Robots.txt es uno de los archivos más simples de su sitio web. Pero también es el lugar más fácil para cometer un error peligroso. Sólo un carácter que esté fuera de lugar y tu SEO se va al carajo. Los motores de búsqueda no ven en su sitio lo que usted quería mostrarles, pero son excelentes para leer información confidencial. Tu misión ha fracasado. Incluso los especialistas en SEO experimentados a veces cometen este tipo de errores, y mucho menos los principiantes. Si aún no sabes cómo trabajar correctamente con robots.txt, o ya has cometido un error en alguna parte y no quieres que vuelva a suceder.

Problemas potenciales en la indexación

Puede agregar directivas intencionalmente a su archivo robots.txt para evitar que los rastreadores rastreen su página. Sin embargo, es posible que estas instrucciones no eliminen completamente la página de Google. Si un sitio web externo enlaza con esta página, puede generar el error “Indexado, pero bloqueado por robots.txt”.

Google (y otros motores de búsqueda) necesitan indexar su página antes de poder clasificarla con precisión. Para garantizar que solo aparezca contenido relevante en los resultados de búsqueda, es importante comprender cómo funciona este proceso.

Aunque algunas páginas deberían indexarse, es posible que no sea así. Esto puede deberse a varias razones:

• Una directiva en el archivo robots.txt que impide la indexación.
• Enlaces rotos o cadenas de redireccionamiento.
• Etiquetas canónicas en la cabecera HTML.

Algunas páginas no deberían ser indexadas

Pueden acabar siendo indexadas accidentalmente debido a estos factores:

• Directivas noindex incorrectas.
• Enlaces externos de otros sitios.
• URLs antiguas en el índice de Google.
• Sin archivo robots.txt.

Si se indexan demasiadas páginas, tu servidor puede verse sobrecargado por el rastreador de Google. Además, Google podría perder tiempo indexando páginas irrelevantes de tu sitio web. Para evitar este problema, tendrás que crear y editar correctamente tu archivo robots.txt.

Encontrar el origen del error
«Indexada, pero bloqueada por robots.txt»

Una forma eficaz de identificar problemas en la indexación de páginas es acceder a Google Search Console. Después de verificar la propiedad del sitio, podrás acceder a informes sobre el rendimiento de tu sitio web.

En la sección Índice, haz clic en la pestaña Válido con advertencias. Esto mostrará una lista de tus errores de indexación, incluyendo cualquier advertencia de «Indexada, pero bloqueada por robots.txt». Si no ves ninguno, es probable que tu sitio web no tenga este problema.

También puedes utilizar el comprobador de robots.txt de Google. Con esta herramienta, puedes escanear tu archivo robots.txt para buscar advertencias de sintaxis y otros errores:

• En la parte inferior de la página, introduce una URL concreta para ver si está bloqueada. Tendrás que elegir un agente de usuario en el menú desplegable y seleccionar Test.
• También puedes ir al domain.com/robots.txt. Si ya tienes un archivo robots.txt, esto te permitirá verlo.
• A continuación, busca las declaraciones disallow. Los administradores del sitio pueden añadir estas declaraciones para indicar a los rastreadores de búsqueda cómo acceder a determinados archivos o páginas.
  • Si la declaración disallow bloquea todos los motores de búsqueda, podría tener el siguiente aspecto:
    Disallow: /
  • También puede bloquear un agente de usuario específico:
    User-agent: *
    Disallow: /

Con cualquiera de estas herramientas, podrás identificar cualquier problema con la indexación de tu página. Entonces, tendrás que tomar medidas para actualizar tu archivo robots.txt.

Cómo arreglar el error
«Indexada, pero bloqueada por robots.txt»

Ahora que sabes más sobre el archivo robots.txt y cómo puede impedir la indexación de páginas, es el momento de arreglar el error «Indexada, pero bloqueada por robots.txt». Sin embargo, asegúrate de evaluar primero si la página bloqueada necesita ser indexada antes de utilizar estas soluciones.

1. Método 1: Editar directamente el robots.txt Si tienes un sitio web de WordPress, probablemente tendrás un archivo virtual robots.txt. Puedes visitarlo buscando dominio.com/robots.txt en un navegador web (sustituyendo dominio.com por el nombre de tu dominio). Sin embargo, este archivo virtual no te permitirá realizar ediciones.

   Para empezar a editar robots.txt, tendrás que crear un archivo en tu servidor. En primer lugar, elige un editor de texto y crea un nuevo archivo. Asegúrate de llamarlo «robots.txt»:

   • A continuación, tendrás que conectarte a un cliente SFTP. Si utilizas una cuenta de alojamiento de tu servidor, inicia sesión en tu servidor y ve a Sitios > Información
   • Aquí encontrarás tu nombre de usuario, contraseña, host y número de puerto. A continuación, puedes descargar un cliente SFTP como FileZilla. Introduce tus credenciales de acceso al SFTP y haz clic en Quickconnect:
   • Por último, sube el archivo robots.txt a tu directorio raíz (para los sitios de WordPress, debe llamarse public_html). A continuación, puedes abrir el archivo y realizar los cambios necesarios.
   • Puedes utilizar declaraciones allow y disallow para personalizar la indexación de tu sitio de WordPress. Por ejemplo, puedes querer que se rastree un determinado archivo sin indexar toda la carpeta. En este caso, puedes añadir este código:
     User-agent: *
     Disallow: /wp-admin/
     Allow: /wp-admin/admin-ajax.php
   • Recuerda apuntar a la página que causa el error «Indexada, pero bloqueada por robots.txt» durante este proceso. Dependiendo de tu objetivo, puedes especificar si Google debe o no rastrear la página.

   Cuando hayas terminado, guarda los cambios. A continuación, vuelve a Google Search Console para ver si este método ha resuelto el error.

1. Método 2: Utilizar un plugin de SEO Si tienes un plugin de SEO activado, no tendrás que crear un archivo robots.txt completamente nuevo. En muchos casos, la herramienta SEO creará uno por ti. Además, también puede proporcionar formas de editar el archivo sin salir del panel de control de WordPress.
   1. Información SEO con Yoast SEO Uno de los plugins de SEO más populares es Yoast SEO. Puede proporcionar un análisis detallado de SEO en la página, junto con herramientas adicionales para personalizar tu indexación en los motores de búsqueda.

      Para empezar a editar tu archivo robots.txt , ve a Yoast SEO > Herramientas en tu panel de control de WordPress. En la lista de herramientas incorporadas, selecciona el editor de archivos:

      Yoast SEO no creará automáticamente un archivo robots.txt. Si aún no tienes uno, haz clic en Crear archivo robots.txt:

      Esto abrirá un editor de texto con el contenido de tu nuevo archivo robots.txt. De forma similar al primer método, puedes añadir declaraciones allow a las páginas que quieres que se indexen. Alternativamente, utiliza declaraciones disallow para las URLs para evitar la indexación:

1. Información SEO con Rank Math Rank Math es otro plugin freemium que incluye un editor de robots.txt. Después de activar la herramienta en tu sitio de WordPress, ve a Rank Math > Configuración general > Editar robots.txt:

   En el editor de código, verás algunas reglas por defecto, incluyendo tu mapa del sitio. Para actualizar su configuración, puedes pegar o eliminar código según sea necesario. Durante este proceso de edición, hay algunas reglas que debes seguir:

   • Utiliza uno o varios grupos, cada uno de los cuales debe contener varias reglas.
   • Comienza cada grupo con un agente de usuario y sigue con directorios o archivos específicos.
   • Asume que cualquier página web permite la indexación a menos que tenga una regla de desautorización.

   Ten en cuenta que este método sólo es posible cuando no tienes ya un archivo robots.txt en tu directorio raíz. Si lo tienes, tendrás que editar el archivo robot.txt directamente utilizando un cliente SFTP. Como alternativa, puedes eliminar este archivo preexistente y utilizar en su lugar el editor Rank Math.

1. Información SEO con Squirrly SEO Con el plugin Squirrly SEO, también puedes editar el archivo robots.txt. Para empezar, haz clic en Squirrly SEO > Configuración SEO. Esto abrirá la configuración de los ajustes y del sitemap
   • En el lado izquierdo, selecciona la pestaña Archivo de robots. A continuación, verás un editor de archivos robots.txt con un aspecto similar al de otros plugins de SEO:
   • Utilizando el editor de texto, puedes añadir declaraciones de permitir o no permitir para personalizar el archivo robots.txt. Continúa añadiendo tantas reglas como necesites. Cuando estés satisfecho con el aspecto del archivo, selecciona Guardar configuración.
   • Además, puedes añadir reglas noindex a determinados tipos de entradas. Para ello, sólo tienes que desactivar el ajuste Dejar que Google lo indexe en la pestaña Automatización. Por defecto, SEO Squirrly lo dejará activado.

Resumen Normalmente, Google encontrará tus páginas web y las indexará en sus resultados de búsqueda. Sin embargo, un archivo robots.txt mal configurado puede confundir a los motores de búsqueda sobre si deben ignorar esta página durante el rastreo. En este caso, tendrás que aclarar las instrucciones de rastreo para seguir maximizando el SEO de tu sitio web.
Para ayudar a que tu sitio web suba a la cima de los resultados de búsqueda, te recomendamos que elijas un alojamiento web optimizado para el SEO. nuestros servicios en Multidisc nuestro plan de gestió WordPress incluyen herramientas de SEO, como la supervisión del tiempo de actividad, los certificados SSL y la gestión de las redirecciones, para un posicionamiento de su pagina.

Otros artículos que te pueden ayudar a tener tu Gestor de Contenidos al día

  ¿Soluciones error 500 en WordPress [1/2]?
 ¿Soluciones error 500 en WordPress [2/2]?
  ¿Errores más comunes en WordPress? 
 ¿Fallos frecuentes en WordPress?
 ¿Problemas frecuentes en WordPress?

Nuestra empresa de servicios Multidisc, contamos con 25 años de experiencia ofreciendo soluciones integrales para tu presencia en la web. Nos especializamos en:

Verifique su conexión a Internet y la URL del sitio Para solucionar este problema, asegúrese de tener una conexión a Internet activa antes de publicar su contenido. Abra su navegador en una nueva pestaña y busque algo en línea.

• Soluciones Web: Desarrollo y mantenimiento de sitios web.
• Limpieza de Virus Online: Eliminación completa de malware y virus.
• Optimización de WordPress: Mejora del rendimiento y velocidad de carga.
• Resolución de Errores: Solución de errores 400, 500 y problemas con versiones de PHP.
• Desarrollo Web desde Cero: Creación de sitios web personalizados.
• SEO Personalizado: Posicionamiento web para mejorar tu visibilidad en buscadores.