Rápido e inteligente.
Rastrea tu web como lo haría un buscador, con varias descargas en paralelo y respetando las reglas del sitio.
- Respeta
robots.txtyCrawl-delay. - User-Agent configurable: Googlebot, Bingbot y otros.
- Cadenas de redirección completas, salto a salto.
- Profundidad de clics real desde la portada.