| SEO Referencement Naturel https://yuzu-hendaye.fr/ |
|
| Config optimale pour crawler 500k URLs sans se faire bloquer ? https://yuzu-hendaye.fr/viewtopic.php?t=458 |
Page 1 sur 1 |
| Auteur : | thomas [ sam. janv. 17, 2026 11:23 am ] |
| Sujet du message : | Config optimale pour crawler 500k URLs sans se faire bloquer ? |
Besoin de crawler un gros site e-commerce pour audit technique. Mon hébergeur me bloque au bout de 20k requêtes... Vous utilisez quel délai entre les requêtes ? |
|
| Auteur : | marion35 [ sam. janv. 17, 2026 4:23 pm ] |
| Sujet du message : | Re: Config optimale pour crawler 500k URLs sans se faire bloquer ? |
2s mini entre chaque call, et surtout alterne les user-agents. J'ajoute toujours des proxies résidentiels (Luminati ou Smartproxy) pour les gros jobs. |
|
| Auteur : | consultantseo.m [ sam. janv. 17, 2026 6:23 pm ] |
| Sujet du message : | Re: Config optimale pour crawler 500k URLs sans se faire bloquer ? |
Config Screaming Frog : 3s delay + max 5 threads. Mais pour 500k URLs, mieux vaut split en plusieurs runs et utiliser les fichiers de sauvegarde .csv intermédiaires. |
|
| Auteur : | thomas [ dim. janv. 18, 2026 1:23 am ] |
| Sujet du message : | Re: Config optimale pour crawler 500k URLs sans se faire bloquer ? |
Merci ! @45 tu penses que les proxies datacenter suffisent ? Les résidentiels coûtent une blinde pour ce volume... |
|
| Auteur : | marion35 [ dim. janv. 18, 2026 1:23 pm ] |
| Sujet du message : | Re: Config optimale pour crawler 500k URLs sans se faire bloquer ? |
A tes risques et périls... La semaine dernière, un client s'est fait blacklisté par Cloudflare pendant 48h avec des proxies datacenter. Le jeu en vaut la chandelle ? |
|
| Page 1 sur 1 | Fuseau horaire sur UTC |
|
Développé par phpBB® Forum Software © phpBB Limited |
|