SEO Referencement Naturel

La communaute francophone du referencement naturel : technique, contenu, netlinking et strategie Google
Il est dim. juil. 05, 2026 4:38 pm

Sujets sans réponse | Sujets actifs


» »

Fuseau horaire sur UTC



Publier un nouveau sujet  Répondre au sujet  Page 1 sur 1
  [ 6 messages ] 
  Aperçu avant impression Sujet précédent | Sujet suivant 
Auteur Message
aurelie1973
MessagePublié : mer. juin 03, 2026 1:24 pm 
Hors ligne
Messages : 98
Bonjour, je cherche à automatiser un crawl hebdo sur un site e-com avec +50k URLs. J'ai essayé avec Screaming Frog + planificateur de tâches mais ça plante systématiquement au bout de 20k URLs. Des solutions alternatives ?
Haut
Répondre en citant le message  
   
jonathan.r
MessagePublié : mer. juin 03, 2026 7:24 pm 
Hors ligne
Messages : 33
J'utilise Botify pour ce genre de volume. Certes c'est cher (à partir de 500€/mois) mais leur système de crawl distribué est imparable. Sinon en gratuit, tu peux segmenter ton crawl par catégories et fusionner les exports.
Haut
Répondre en citant le message  
   
marion35
MessagePublié : mer. juin 03, 2026 10:24 pm 
Hors ligne
Messages : 157
As-tu augmenté la mémoire allouée à Java ? Par défaut SF ne prend que 512mo. Il faut modifier le .bat pour mettre au moins 4Go. Je fais des crawls de 80k URLs comme ça sans problème.
Haut
Répondre en citant le message  
   
aurelie1973
MessagePublié : jeu. juin 04, 2026 12:24 am 
Hors ligne
Messages : 98
Merci @45 ! Je savais pas qu'on pouvait modifier ça. Tu aurais la syntaxe exacte à mettre dans le fichier batch ? Et @198 Botify c'est overkill pour moi, mon budget max est 200€...
Haut
Répondre en citant le message  
   
marion35
MessagePublié : jeu. juin 04, 2026 1:24 am 
Hors ligne
Messages : 157
Bien sûr :
"C:\Program Files\Java\jre1.8.0_301\bin\java.exe" -Xmx4096m -jar "C:\ScreamingFrog\screamingfrogseospider.jar"
Adapte les chemins selon ton installation. Pense aussi à désactiver les ressources externes dans les options.
Haut
Répondre en citant le message  
   
seofreelance59
MessagePublié : jeu. juin 04, 2026 11:24 am 
Hors ligne
Messages : 11
Petite astuce complémentaire : utilise l'option 'save/resume' de SF pour reprendre le crawl en cas de crash. Et pour l'automatisation, j'utilise Jenkins plutôt que le planificateur Windows, bien plus stable.
Haut
Répondre en citant le message  
   
Afficher les messages publiés depuis :  Trier par  
Publier un nouveau sujet  Répondre au sujet  Page 1 sur 1
  [ 6 messages ] 

» »

Fuseau horaire sur UTC

Vous ne pouvez pas publier de nouveaux sujets dans ce forum
Vous ne pouvez pas répondre aux sujets dans ce forum
Vous ne pouvez pas modifier vos messages dans ce forum
Vous ne pouvez pas supprimer vos messages dans ce forum
Vous ne pouvez pas importer de pièces jointes dans ce forum

Rechercher :
Aller :  
Développé par phpBB® Forum Software © phpBB Limited
Traduction française officielle © Qiaeru