SEO Referencement Naturel

La communaute francophone du referencement naturel : technique, contenu, netlinking et strategie Google
Il est dim. juil. 05, 2026 6:27 pm

Sujets sans réponse | Sujets actifs


» »

Fuseau horaire sur UTC



Publier un nouveau sujet  Répondre au sujet  Page 1 sur 1
  [ 6 messages ] 
  Aperçu avant impression Sujet précédent | Sujet suivant 
Auteur Message
benjamin1994
MessagePublié : mar. avr. 28, 2026 12:32 am 
Hors ligne
Messages : 53
Problème étrange : mon crawler (DeepCrawl) détecte 12% d'erreurs 500 sur des URLs qui répondent parfaitement en manuel. J'ai vérifié les logs serveur, rien d'anormal. Des hypothèses ? Le site est sous WordPress avec Cloudflare.

_________________
On teste, on mesure, on itere
Haut
Répondre en citant le message  
   
googleboy_du_74
MessagePublié : mar. avr. 28, 2026 1:32 am 
Hors ligne
Messages : 38
Classique avec Cloudflare ! Vérifie ton taux limite (rate limiting) dans les règles WAF. Souvent le crawler se fait bloquer parce qu'il envoie trop de requêtes en parallèle. Essaie de réduire les threads à 5-10 max.
Haut
Répondre en citant le message  
   
sebastien34
MessagePublié : mar. avr. 28, 2026 4:32 am 
Hors ligne
Messages : 13
J'ajouterais de checker les headers HTTP pendant le crawl avec un proxy comme Fiddler. J'ai déjà vu des cas où Cloudflare injectait des 500 'fantômes' à cause d'un mauvais réglage du Browser Integrity Check.
Haut
Répondre en citant le message  
   
benjamin1994
MessagePublié : mar. avr. 28, 2026 9:32 am 
Hors ligne
Messages : 53
Bien vu pour le rate limiting ! En passant de 50 à 8 threads, les erreurs ont disparu. Par contre ça multiplie le temps de crawl par 3... Vous pensez que je peux whitelist l'IP de DeepCrawl dans Cloudflare ?

_________________
On teste, on mesure, on itere
Haut
Répondre en citant le message  
   
googleboy_du_74
MessagePublié : mar. avr. 28, 2026 11:32 am 
Hors ligne
Messages : 38
Oui tout à fait, c'est ce qu'on fait pour nos gros crawls. Va dans Firewall > Tools > IP Access Rules. Attention par contre à ne pas laisser la whitelist active en permanence pour des questions de sécurité.
Haut
Répondre en citant le message  
   
vince.t
MessagePublié : mar. avr. 28, 2026 6:32 pm 
Hors ligne
Messages : 22
Autre piste si ça persiste : certains plugins WP comme Wordfence génèrent des faux 500 quand ils détectent des user-agents de bots. Essaie de crawler avec un user-agent standard (Chrome par exemple).

_________________
Content is king, links are queen
Haut
Répondre en citant le message  
   
Afficher les messages publiés depuis :  Trier par  
Publier un nouveau sujet  Répondre au sujet  Page 1 sur 1
  [ 6 messages ] 

» »

Fuseau horaire sur UTC

Vous ne pouvez pas publier de nouveaux sujets dans ce forum
Vous ne pouvez pas répondre aux sujets dans ce forum
Vous ne pouvez pas modifier vos messages dans ce forum
Vous ne pouvez pas supprimer vos messages dans ce forum
Vous ne pouvez pas importer de pièces jointes dans ce forum

Rechercher :
Aller :  
Développé par phpBB® Forum Software © phpBB Limited
Traduction française officielle © Qiaeru