SEO Referencement Naturel

La communaute francophone du referencement naturel : technique, contenu, netlinking et strategie Google
Il est dim. juil. 05, 2026 6:24 pm

Fuseau horaire sur UTC




Publier un nouveau sujet  Répondre au sujet  [ 5 messages ] 
Auteur Message
MessagePublié : sam. janv. 17, 2026 11:23 am 
Hors ligne
Messages : 87
Besoin de crawler un gros site e-commerce pour audit technique. Mon hébergeur me bloque au bout de 20k requêtes... Vous utilisez quel délai entre les requêtes ?


Haut
   
MessagePublié : sam. janv. 17, 2026 4:23 pm 
Hors ligne
Messages : 157
2s mini entre chaque call, et surtout alterne les user-agents. J'ajoute toujours des proxies résidentiels (Luminati ou Smartproxy) pour les gros jobs.


Haut
   
MessagePublié : sam. janv. 17, 2026 6:23 pm 
Hors ligne
Messages : 23
Config Screaming Frog : 3s delay + max 5 threads. Mais pour 500k URLs, mieux vaut split en plusieurs runs et utiliser les fichiers de sauvegarde .csv intermédiaires.

_________________
Le netlinking, c'est un marathon pas un sprint


Haut
   
MessagePublié : dim. janv. 18, 2026 1:23 am 
Hors ligne
Messages : 87
Merci ! @45 tu penses que les proxies datacenter suffisent ? Les résidentiels coûtent une blinde pour ce volume...


Haut
   
MessagePublié : dim. janv. 18, 2026 1:23 pm 
Hors ligne
Messages : 157
A tes risques et périls... La semaine dernière, un client s'est fait blacklisté par Cloudflare pendant 48h avec des proxies datacenter. Le jeu en vaut la chandelle ?


Haut
   
Afficher les messages publiés depuis :  Trier par  
Publier un nouveau sujet  Répondre au sujet  [ 5 messages ] 

Fuseau horaire sur UTC


Vous ne pouvez pas publier de nouveaux sujets dans ce forum
Vous ne pouvez pas répondre aux sujets dans ce forum
Vous ne pouvez pas modifier vos messages dans ce forum
Vous ne pouvez pas supprimer vos messages dans ce forum
Vous ne pouvez pas importer de pièces jointes dans ce forum

Rechercher :
Aller :  
Développé par phpBB® Forum Software © phpBB Limited
Traduction française officielle © Qiaeru