| SEO Referencement Naturel https://yuzu-hendaye.fr/ |
|
| Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? https://yuzu-hendaye.fr/viewtopic.php?t=464 |
Page 1 sur 1 |
| Auteur : | benjamin1994 [ mar. avr. 28, 2026 12:32 am ] |
| Sujet du message : | Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? |
Problème étrange : mon crawler (DeepCrawl) détecte 12% d'erreurs 500 sur des URLs qui répondent parfaitement en manuel. J'ai vérifié les logs serveur, rien d'anormal. Des hypothèses ? Le site est sous WordPress avec Cloudflare. |
|
| Auteur : | googleboy_du_74 [ mar. avr. 28, 2026 1:32 am ] |
| Sujet du message : | Re: Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? |
Classique avec Cloudflare ! Vérifie ton taux limite (rate limiting) dans les règles WAF. Souvent le crawler se fait bloquer parce qu'il envoie trop de requêtes en parallèle. Essaie de réduire les threads à 5-10 max. |
|
| Auteur : | sebastien34 [ mar. avr. 28, 2026 4:32 am ] |
| Sujet du message : | Re: Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? |
J'ajouterais de checker les headers HTTP pendant le crawl avec un proxy comme Fiddler. J'ai déjà vu des cas où Cloudflare injectait des 500 'fantômes' à cause d'un mauvais réglage du Browser Integrity Check. |
|
| Auteur : | benjamin1994 [ mar. avr. 28, 2026 9:32 am ] |
| Sujet du message : | Re: Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? |
Bien vu pour le rate limiting ! En passant de 50 à 8 threads, les erreurs ont disparu. Par contre ça multiplie le temps de crawl par 3... Vous pensez que je peux whitelist l'IP de DeepCrawl dans Cloudflare ? |
|
| Auteur : | googleboy_du_74 [ mar. avr. 28, 2026 11:32 am ] |
| Sujet du message : | Re: Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? |
Oui tout à fait, c'est ce qu'on fait pour nos gros crawls. Va dans Firewall > Tools > IP Access Rules. Attention par contre à ne pas laisser la whitelist active en permanence pour des questions de sécurité. |
|
| Auteur : | vince.t [ mar. avr. 28, 2026 6:32 pm ] |
| Sujet du message : | Re: Erreurs 500 en crawl mais site fonctionnel - Comment investiguer ? |
Autre piste si ça persiste : certains plugins WP comme Wordfence génèrent des faux 500 quand ils détectent des user-agents de bots. Essaie de crawler avec un user-agent standard (Chrome par exemple). |
|
| Page 1 sur 1 | Fuseau horaire sur UTC |
|
Développé par phpBB® Forum Software © phpBB Limited |
|