Esta semana se reportó un posible problema con la función de solicitar indexación y recrawl de archivos robots.txt dentro de Search Console. No es confirmación oficial de Google todavía, pero conviene saber qué se vio y cómo no quedar trabado si te toca.
Qué se reportó
Según reportes de la comunidad recogidos por Search Engine Roundtable, la herramienta para pedir el recrawl del robots.txt no estaría funcionando bien para todos los sitios —para algunos anda, para otros no—. Lo marcamos como lo que es: un reporte de terceros y foros, no un anuncio de Google. Puede ser un bug transitorio.
Por qué importa el robots.txt
Es el archivo que le dice a Google qué puede y qué no puede rastrear. Cuando lo cambiás —abrís una sección, bloqueás otra—, querés que Google lo relea rápido. Si la función de recrawl falla, tu cambio puede tardar en tomar efecto y, mientras tanto, Google sigue con las reglas viejas.
A qué medio le pega
A cualquiera que haya tocado el robots.txt recientemente y necesite que el cambio se aplique ya: por ejemplo, para dejar de bloquear una sección que quiere posicionar, o para cerrarle el paso a un rastreador. Si el recrawl no responde, el cambio queda en el limbo.
Qué hacer si te toca
No fuerces el problema repitiendo la acción mil veces. Google suele recrawlear el robots.txt por su cuenta con cierta frecuencia, así que el cambio va a tomarse igual, aunque más lento. Si el pedido manual no anda, esperá y verificá; y si es crítico, documentalo. Como no está confirmado, tratamos esto como algo a vigilar, no como una emergencia.
Fuente: Search Engine Roundtable.
