| SEO Referencement Naturel https://yuzu-hendaye.fr/ |
|
| Problème de crawl avec Screaming Frog sur un gros site (500k URLs) https://yuzu-hendaye.fr/viewtopic.php?t=448 |
Page 1 sur 1 |
| Auteur : | jonathan06 [ sam. août 23, 2025 5:19 pm ] |
| Sujet du message : | Problème de crawl avec Screaming Frog sur un gros site (500k URLs) |
Salut à tous, je galère avec Screaming Frog sur un site de +500k URLs. Le crawl plante systématiquement après 2-3h. J'ai pourtant un PC récent (i7, 32Go RAM). Des conseils pour optimiser ça ? |
|
| Auteur : | aurelie_du_33 [ sam. août 23, 2025 8:19 pm ] |
| Sujet du message : | Re: Problème de crawl avec Screaming Frog sur un gros site (500k URLs) |
Tu as essayé de splitter le crawl en plusieurs parties ? Perso je fais par sections de 50k URLs max, avec des pauses de 10min entre chaque. Sinon, augmente le timeout dans les paramètres. |
|
| Auteur : | loic93 [ sam. août 23, 2025 9:19 pm ] |
| Sujet du message : | Re: Problème de crawl avec Screaming Frog sur un gros site (500k URLs) |
Je confirme pour le split. Autre astuce : désactive l'extraction des assets (images, JS) si tu n'en as pas besoin. Ça réduit la charge mémoire drastiquement. |
|
| Auteur : | jonathan06 [ dim. août 24, 2025 9:19 am ] |
| Sujet du message : | Re: Problème de crawl avec Screaming Frog sur un gros site (500k URLs) |
Merci pour les tips ! J'ai testé en désactivant les assets et en limitant à 50k URLs : ça tient mieux. Par contre, le temps total est explosé... Vous utilisez des solutions cloud pour ça ? |
|
| Auteur : | reftech38 [ dim. août 24, 2025 5:19 pm ] |
| Sujet du message : | Re: Problème de crawl avec Screaming Frog sur un gros site (500k URLs) |
Oui, Botify ou DeepCrawl sont plus adaptés pour cette taille de site. Mais si tu dois rester sur SF, regarde du côté des configurations XML avancées pour exclure des patterns inutiles. |
|
| Page 1 sur 1 | Fuseau horaire sur UTC |
|
Développé par phpBB® Forum Software © phpBB Limited |
|