| SEO Referencement Naturel https://yuzu-hendaye.fr/ |
|
| Configurer un crawl récurrent pour un site e-commerce (50k URLs) https://yuzu-hendaye.fr/viewtopic.php?t=468 |
Page 1 sur 1 |
| Auteur : | aurelie1973 [ mer. juin 03, 2026 1:24 pm ] |
| Sujet du message : | Configurer un crawl récurrent pour un site e-commerce (50k URLs) |
Bonjour, je cherche à automatiser un crawl hebdo sur un site e-com avec +50k URLs. J'ai essayé avec Screaming Frog + planificateur de tâches mais ça plante systématiquement au bout de 20k URLs. Des solutions alternatives ? |
|
| Auteur : | jonathan.r [ mer. juin 03, 2026 7:24 pm ] |
| Sujet du message : | Re: Configurer un crawl récurrent pour un site e-commerce (50k URLs) |
J'utilise Botify pour ce genre de volume. Certes c'est cher (à partir de 500€/mois) mais leur système de crawl distribué est imparable. Sinon en gratuit, tu peux segmenter ton crawl par catégories et fusionner les exports. |
|
| Auteur : | marion35 [ mer. juin 03, 2026 10:24 pm ] |
| Sujet du message : | Re: Configurer un crawl récurrent pour un site e-commerce (50k URLs) |
As-tu augmenté la mémoire allouée à Java ? Par défaut SF ne prend que 512mo. Il faut modifier le .bat pour mettre au moins 4Go. Je fais des crawls de 80k URLs comme ça sans problème. |
|
| Auteur : | aurelie1973 [ jeu. juin 04, 2026 12:24 am ] |
| Sujet du message : | Re: Configurer un crawl récurrent pour un site e-commerce (50k URLs) |
Merci @45 ! Je savais pas qu'on pouvait modifier ça. Tu aurais la syntaxe exacte à mettre dans le fichier batch ? Et @198 Botify c'est overkill pour moi, mon budget max est 200€... |
|
| Auteur : | marion35 [ jeu. juin 04, 2026 1:24 am ] |
| Sujet du message : | Re: Configurer un crawl récurrent pour un site e-commerce (50k URLs) |
Bien sûr : "C:\Program Files\Java\jre1.8.0_301\bin\java.exe" -Xmx4096m -jar "C:\ScreamingFrog\screamingfrogseospider.jar" Adapte les chemins selon ton installation. Pense aussi à désactiver les ressources externes dans les options. |
|
| Auteur : | seofreelance59 [ jeu. juin 04, 2026 11:24 am ] |
| Sujet du message : | Re: Configurer un crawl récurrent pour un site e-commerce (50k URLs) |
Petite astuce complémentaire : utilise l'option 'save/resume' de SF pour reprendre le crawl en cas de crash. Et pour l'automatisation, j'utilise Jenkins plutôt que le planificateur Windows, bien plus stable. |
|
| Page 1 sur 1 | Fuseau horaire sur UTC |
|
Développé par phpBB® Forum Software © phpBB Limited |
|