Why I stopped using Screaming Frog for client audits

Llevaba seis años usando Screaming Frog SEO Spider casi a diario. Era el primer programa que abría cada lunes. El año pasado lo desinstalé. No por capricho ni porque la herramienta haya empeorado —sigue siendo excelente—. Lo dejé porque mi flujo de trabajo cambió lo suficiente como para que el coste de hacer mis propios crawlers compensara el coste de la licencia y la rigidez del output.

Lo que Screaming Frog hace muy bien

Antes de explicar por qué lo dejé, dejo claro lo que hace mejor que casi cualquier alternativa:

• Crawls visuales en tiempo real. Sigues viendo el árbol mientras crawlea.
• Configuración a golpe de clic. No necesitas saber programar para auditar un sitio.
• Integraciones cómodas con Search Console, Analytics, PageSpeed. En 3 clics.
• Reportes preformateados. Si tu cliente espera un Excel, ahí lo tienes.

Por qué me dejó de servir

Mi cuello de botella no era el crawl. Era el post-crawl: cruzar el output de Screaming Frog con datos de Search Console, con datos de PageSpeed, con datos de Schema validator y producir un informe que sintetizara todo. El output de Screaming Frog es Excel; mi pipeline necesita JSON. Cada auditoría incluía 20 minutos de transformar el Excel en algo que pudieran consumir mis scripts.

Y luego está la rigidez: si quiero un crawl que solo siga los enlaces que cumplen una regex compleja, o que ignore parámetros UTM diferenciando GET vs POST, o que se autentique con un flujo OAuth, Screaming Frog tiene esas opciones pero su configuración es lenta y no se versiona en git.

Lo que uso ahora

# Stack actual
- Scrapling (Python)    → motor de crawl + parsing
- Playwright            → para JS-heavy sites (SPAs)
- SQLite                → almacenamiento local del crawl
- Pandas                → análisis y joins con GSC/PSI
- Claude Code           → orquestación y redacción del informe

# Coste mensual
0 € (todo OSS)
vs ~205€/año de Screaming Frog licencia
+ tiempo de adaptación inicial: ~3 semanas

La diferencia clave no es el coste —205€/año es ridículo si la herramienta hace su trabajo— sino que ahora el pipeline completo (crawl → JSON → enriquecimiento → informe) está en un repo de git, versionado, testeado y reutilizable. Cuando un cliente cambia de stack y yo necesito un módulo nuevo (por ejemplo, parsear el sitemap de un Magento custom), lo añado al pipeline y queda permanente. En Screaming Frog, cada cliente era una configuración guardada en el .seospider que se me olvidaba dos meses después.

Cuándo recomendaría volver a Screaming Frog

Si auditas pocas webs (menos de 4-5 al mes) y no tienes tiempo de mantener un pipeline propio, Screaming Frog sigue siendo la mejor herramienta del mercado. Si haces auditorías técnicas mensuales y produces informes comparables entre clientes, programar tu propio crawler empieza a tener sentido alrededor del crawl número 20-30. Antes, no compensa.

Y si entendiste todo lo de arriba pero te aburre la idea de programar, hay un punto medio: Sitebulb. Output más limpio, configuración más versionable que Screaming Frog, y no requiere escribir código. Lo uso para clientes puntuales donde necesito un informe visual rápido.