Gary Illyes, de Google, confirmó que sus crawlers envían bastante más que GET y POST: también HEAD, OPTIONS, PUT, PATCH y DELETE. Estos últimos son menos del 1,5% del total y aparecen sobre todo por JavaScript. Es un detalle técnico, pero puede explicar más de un problema de rastreo.
Qué confirmó Google
La aclaración vino de boca de Google: los crawlers no se limitan a pedir páginas con GET. Usan HEAD para chequear si algo cambió sin descargar todo, y una fracción chica de PUT, PATCH, DELETE y OPTIONS, en su mayoría disparados por el JavaScript de los sitios. Es información oficial, no una prueba de terceros.
Por qué te puede importar
Muchos servidores, WAF o reglas de seguridad rechazan por defecto los métodos que consideran “raros”. Si Googlebot manda un HEAD o un OPTIONS y recibe un 405 o un bloqueo, podés terminar con recursos que no se rastrean bien y sin darte cuenta del motivo.
Qué hacer hoy
Antes que nada, revisá la configuración del servidor y del WAF, y confirmá que HEAD y OPTIONS respondan como corresponde. Después, mirá los logs filtrando por los crawlers de Google: ahí vas a ver qué métodos llegan y con qué código respondés. Es media hora de trabajo que evita dolores de cabeza difíciles de diagnosticar.
No es un cambio de algoritmo ni algo urgente, pero sí una de esas cosas técnicas que, cuando fallan, se disfrazan de “penalización” sin serlo.
