Spams referrer : la solution ultime !

Vous aussi, vous essayez depuis des mois de vous débarrasser des spams referrer ? Ne cherchez plus : voici une solution qui va résoudre le problème... Quelques clics suffisent ! Prêt ?

liste de spam referrerAh qu’ils sont vilains, ces spams referrer qui viennent polluer nos stats…

A cause d’eux, nos statistiques Google Analytics deviennent fantaisistes. Vous croyez avoir tel nombre de visites par mois, tel taux de rebond ? Erreur ! Des centaines de visites sur votre site sont générées par des robots, mais sont enregistrées comme de vrais visiteurs par Google Analytics.

Comment retrouver vos vraies statistiques de trafic ? C’est essentiel pour un référenceur ! Voici la solution ultime :)

Les méthodes à éviter : le fichier htaccess et le filtre Google Analytics

Comme moi, vous avez dû essayer plusieurs méthodes, depuis plusieurs mois, pour vous débarrasser de ces satanés robots qui viennent s'en prendre à votre pauvre site...

Comme moi vous avez cru vous en sortir, en trifouillant dans votre compte Google Analytics, rajoutant des filtres à n'en plus finir, ou des lignes bizarres dans votre fichier htaccess (fichier déjà assez étrange en lui-même, soit dit en passant).Et quelques semaines plus tard, vous êtes revenu sur votre compte Google Analytics, le cœur plein d'espoir.

Hélas, vous avez pu vous rendre compte, comme moi, que les spammeurs étaient revenus sous une autre forme : après votre manip', ils ne sont plus, certes, comptabilisés dans votre liste de sites référents, mais ils restent comptabilisés comme visiteurs directs, et donc les statistiques restent faussées.

De même, inutile de cocher « Filtrage des robots > Exclure tous les appels provenant de robots connus » dans les « Paramètres de la vue ». Dans Analytics, cela n'a d'autre fonction que décorative (et psychologique, pour apaiser les esprits angoissés).

Alors que faire ? La solution réside dans la création d'un segment.

Le segment Google Analytics

Voici comment résoudre définitivement le problème.J'ai créé un segment, et je l'ai partagé avec vous. Ainsi vous n'avez plus ce travail (qui prend quelques heures) à faire.Connectez-vous à votre compte Google Analytics, puis cliquez sur ce lien pour récupérer le segment : https://www.google.com/analytics/web/template?uid=5rKGsZUuR1WmRZDHPGJhug

Vous allez voir apparaître quelque chose comme cela :

capture dans les Google Analytics

Cliquez sur « toute vue » pour appliquer cela à tous les sites de votre compte Google Analytics (n'ayez crainte il n'y a aucun danger, et vous pourrez le désactiver/supprimer à tout moment si vous le souhaitez !). Sinon sélectionnez l'unique site auquel vous voulez qu'il s'applique

Un écran détaillant la nature du segment apparaît :

capture dans les Google Analytics

Ce segment répertorie les principaux spams referrer (plus de 70), identifiés grâce à un patient travail.Cliquez sur « Enregistrer ».

Maintenant vous arrivez sur la page d'accueil de votre compte Google Analytics. Cliquez sur le site sur lequel vous allez faire le test, et accédez à ses stats.Vous verrez alors ceci :

capture dans les Google Analytics

Cliquez sur « Ajouter un segment ». Vous verrez apparaître dans la liste le segment « Trafic réel ».

capture dans les Google Analytics

Cochez celui-ci, et cliquez sur « Appliquer », en bas.

Vous revenez à la page d'accueil de votre compte Google Analytics, et surprise, vous voyez apparaître à la fois les données « normales » de votre site (celles que vous avez vues jusqu'à présent), et les données sans les spams referrer, à savoir votre trafic réel !

capture dans les Google Analytics

Elle est pas belle la vie ?

En règle générale, votre taux de rebond va s'améliorer car la plupart de ces robots ont des taux de rebond de 100%. Idem pour la durée moyenne de visites et le nombre de pages par sessions.

Avantages de cette méthode

  • Cette méthode est rétroactive, contrairement aux autres méthodes, vous pouvez voir vos stats améliorées immédiatement.
  • Cette méthode améliore vos statistiques et celles de vos clients : bien que le nombre de visiteurs diminue, les informations vitales s'améliorent : le taux de rebond diminue, le temps passé sur le site augmente, car les spam referrers diminuent votre moyenne.
  • Aucun risque de détruire vos statistiques, ce n'est pas un filtre appliqué en amont, c'est une interprétation appliquée en aval : si vous vous trompez, vos informations brutes restent intactes !
  • Un segment se construit en quelques minutes, et se met à jour en quelques minutes. Contrairement à la méthode du htaccess et du filtrage, qui demande davantage de manipulation.
  • Le segment est valable immédiatement pour tous vos sites, même ceux de vos clients ! Vous pouvez l'exporter sur un autre compte et l'envoyer à vos collègues si vous le souhaitez.
  • Le segment affiche vos statistiques brutes et épurées sur un même graphique, ainsi vous pouvez comparer les deux résultats.

Le principe : au lieu d'entrer en guerre contre les spams referrer en cherchant à les bloquer (ce qui est un combat perdu d'avance), choisissez la voie de la non-violence ! Laissez-les venir polluer vos stats, mais ouvrez à côté de cela un espace de paix, un jardin ensoleillé où poussent les coquelicots et les primevères : un segment !

Remarques finales

Si vous avez utilisé la méthode htaccess ou des filtres décrites plus haut (les mauvaises méthodes donc), vos chiffres avec/sans segment ne devraient pas être très différents.La raison en est simple : à cause de ces deux méthodes, le trafic des spams referrer n'est plus reconnu comme tel par Google Analytics, mais comme du trafic direct ! Donc ces visites ne seront pas enlevées par la méthode du segment.

En fait les filtres que vous avez mis en place empêchent Google Analytics de reconnaître une visite comme venant d'un spam referrer. L'ennemi devient invisible, mais continue à nuire : impossible d'en triompher !

Il ne faut donc pas oublier de finaliser la démarche en supprimant tous les filtres antispam referrer que vous avez mis en place (pour chaque site). Si vous ne faites pas cela, la méthode du segment n'aura aucune efficacité !Vous verrez alors bientôt la différence sur vos stats futures : peu à peu les données de trafic n'auront plus rien à voir.

Pour supprimer vos filtres (ou vérifier qu'il n'y en a plus), c'est simple :

Cliquer sur Admin tout en haut à gauche, puis sur « tous les filtres ». Là, regardez s'il y a un filtre qui exclue les spams referrer, et supprimez le.

capture dans les Google Analytics

Décochez également « Filtrage des robots > Exclure tous les appels provenant de robots connus » dans les « Paramètres de la vue ».

Vous pouvez actualiser vous-même ce segment, puisque de nouveaux spams referrer font régulièrement leur apparition. Pour cela il suffit de vous rendre sur le segment, de faire défiler la liste des sources, cliquer sur le « Ou » de la dernière source, et rentrer le nouveau nom de domaine.

capture dans les Google Analytics

Note : au bout d'un moment, vous devrez cliquer sur « ajouter un filtre » au-dessous pour continuer à ajouter des spammeurs. Il faudra régler sur "exclure", cliquer sur "action d'événement", puis sur "Afficher par ordre alphabétique", et trouver dans la liste déroulante "Sources".

Vous souhaitez ne plus utiliser ce segment ? Rien de plus simple ! Cliquez sur celui-ci, puis décochez-le.

Vous pouvez aussi le supprimer si vous le souhaitez.

Voilà, vous verrez, la vie sans spam referrer, c'est quand même plus sympa ! Enjoy :)

Cet article vous a plu ? Découvrez-en d'autres !

Commentaires

 
#1 seofred34 21-07-2015 12:22
Très bon. Merci du partage. Jusqu'à présent, j'utilisais plutôt les rapports personnalisés, moins souples pour brasser toutes les données.Une remarque, on peut réduire la liste en utilisant les expressions régulières
 
 
#2 Quentin 21-07-2015 12:48
alléluia !!!Enfin une méthode simple et fonctionnelle pour en finir avec ces spams.Merci pour ce bel article. Méthode appliquée à mon site et qui permet effectivement de constater le vrai taux de rebond et temps de visite de mes internautes. :D
 
 
#3 Christophe BENOIT 21-07-2015 12:57
C'est la première réponse sensée et durable que je vois pour répondre à ce problème. Pouvoir exporter vers d'autres comptes, avoir la possibilité de retrouver les données brutes... que du positif sur ce coup.
 
 
#4 Arnaud 21-07-2015 13:08
Merci pour cette astuce ! J'obtenais pourtant déjà de bon résultat avec cette technique ( audiaweb.com/.../... ) mais je vais tester car la technique que tu présentes a l'avantage d'être rétroactive et surtout de permettre une comparaison sur un même tableau.
 
 
#5 Cyril 21-07-2015 13:24
@Arnaud : Effectivement, ton article est de référence sur le sujet, et c'est l'un de ceux que j'ai consulté lorsque j'ai voulu corriger le problème :)Mais la méthode des filtres ne m'a pour ma part pas apporté de bons résultats, ne faisant que reporter le problème (spam compté comme du trafic direct). Ce pourquoi j'ai écrit cet article, pour bien insister sur la méthode du segment !@seofred34, @quentin @Christophe : merci ! You're welcome :)
 
 
#6 Ismaël Leconte 21-07-2015 13:42
Super l'astuce !Très bonne initiative le partage ! Un travail fastidieux que tu nous évites !Ca marche du feu de dieu !et hop, je partage pour la peine ! ;)
 
 
#7 thomas 22-07-2015 07:41
J'ai testé ce segment mais du coup il ne résout pas les problèmes de spam liés au trafic référent spammy qui représente une part non négligeable ? Ce que je conseille pour les petits sites c'est de créer un segment "visite francophone" vu que toutes les sources de spam viennent de l'étrangers. Mais cela n'est plus possible pour les plus gros sites sous multi-langue.
 
 
#8 Antoine 22-07-2015 08:32
Une journée qui commence bien. Ca fait plusieurs mois que je suis assailli par des spams referrer venant de Russie. Merci pour l'astuce !
 
 
#9 Romain 22-07-2015 09:48
BonjourEst-ce que ça sert à quelque chose de supprimer ces SPAMS des sites référents via l'admin => Informations de suivi => Exclusion sites référents ?Romain
 
 
#10 Cyril 22-07-2015 10:04
@Thomas : je ne comprends pas bien car justement ce segment a pour vocation de résoudre les problèmes de spam "liés au trafic référent spammy" comme tu dis ? Pour les visites francophones, cela peut être une astuce en effet, pour les petits sites !@Romain : non selon mes tests, cela ne sert à rien @Ismaël et Antoine : de rien ! You're welcome :)
 
 
#11 Christian Nadeau 22-07-2015 15:13
Il y a maintenant un moyen plus simple de gérer ce problème : il suffit de cocher la case "Filtrage des robots: Exclure tous les appels provenant de robots connus" dans la section "Paramètres de la vue" des paramètres de la vue dans Google Analytics.Néanmoins, la technique des segments permet d'appliquer un filtre dans le passé :)Conclusion: pour le passé, utiliser la technique des segments décrite dans ce blogue et, pour le futur, simplement cocher la nouvelle case offerte par Google Analytics.
 
 
#12 Cyril 22-07-2015 15:16
@Christian : En fait, justement, cette case ne fonctionne pas ! Sinon je n'aurais pas rédigé cet article :)
 
 
#13 Nil SI-CREATIVE 23-07-2015 08:17
Merci pour ce tuto. Je viens de le mettre en place sur nos boutiques. Pour nous le trafic réel c'est 98,12% du trafic global sur notre dernier mois.
 
 
#14 Stéphane 23-07-2015 09:43
Merci pour l'astuce ! Étonnant que pas grand monde n'ait pensé aux segments. Il suffisait juste d'exclure les domaines de spam referrer et le tour est joué. C'est pas bien compliqué. En revanche il faudra régulièrement consulter la liste des sites référents pour voir si de nouveaux domaines de spam referrer n'apparaissent pas.
 
 
#15 Christian Nadeau 24-07-2015 14:32
@Cyril J'ai vérifié et, effectivement, ça ne fonctionne plus. Il me semble pourtant que ça a déjà fonctionné!Merci et bonne continuation :)
 
 
#16 Arnaud 27-07-2015 14:50
Salut Cyril,Après quelques tests, je reviens tout à fait convaincu. La méthode des segments est vraiment efficace et très pratique. Du coup, voici mon segment auquel j'ai ajouté mes spams referrers (une petite quarantaine en plus). google.com/.../...Je pense par contre (d'après ce que j'ai pu constater) que le nom de domaine suffit pour les enlever des stats, pas obligé de mettre les sous-domaines à chaque fois.
 
 
#17 Cyril 27-07-2015 14:59
Bonjour Arnaud, Ca c'est sympa, merci ! Un bel exemple de travail collaboratif improvisé :)La traque aux spammeurs continue...
 
 
#18 Sand 05-08-2015 07:45
Euh c'est juste… FABULEUX !!!!!!! Merci beaucoup pour ce super boulot et ton partage :D
 
 
#19 Jessica 08-08-2015 20:55
Bonsoir,Super article. Je cherchais ça depuis quelques temps, et finalement j'ai fini par faire ce qu'il ne fallait pas faire apparemment.Demain, je vais tester cette solution.
 
 
#20 PieceofCake 09-08-2015 07:04
Bonjour,excusez moi de refréner vos ardeurs, mais ça ne me semble pas vraiment si sûr que cela soit une si bonne méthode. De mon temps, on appelait ça "cacher la m... au chat". Les spams sont toujours là, les compteurs qui les référencent aussi, de même que le taux de rebond réel.Si quelqu'un (Google au hasard) regarde votre taux de rebond, et vos référents pour calculer ranking ou autre statistique de fiabilité ou de valeur, pourquoi diable irait il utiliser VOTRE méthode actuelle à vous en utilisant vos filtres a posteriori (car ne nous leurrons pas les segments sont des filtres appliqués sur l'affichage) sur vos chiffres, non il les appliquera sur les chiffres bruts. Utiliser les segments pour masquer les données n'est pas différent d'utiliser les mêmes segments pour augmenter de manière fallacieuse votre nombre de visites. Le seul leurré dans l'histoire c'est vous-même.Je préfère rester sur la solution de filtrer en amont et me débarrasser définitivement et laborieusement des fameux spams, même s'ils apparaissent dans les statistiques comme des visites normales (ce qui reste encore à prouver d'ailleurs)La meilleure solution restant bien entendu que Google règle lui-même les problèmes de sécurité sur SES serveurs, comme nous les faisons sur les nôtres.
 
 
#21 Cyril 09-08-2015 07:23
Merci de votre retour critique ! Le débat est ouvert :)Effectivement, Google doit considérer le trafic brut (sans segment) dans le cas où il regarde ces chiffres pour évaluer la qualité d'un site (ce qui n'est pas sûr). Par contre, s'il est vrai (et de mon côté, mes tests ont été concluants) que la méthode en amont ne fait que transformer ces spammeurs en visites indirectes, alors vos chiffres bruts restent pollués par le spam referrer. Donc impossible, pour moi, d'obtenir des chiffres bruts réels, purs de tout spam, qu'on pourrait fournir à Google.D'autre part je pense que si la méthode du segment ne permet pas de fournir à Google des vrais chiffres, en revanche, nous on les a, et en tant que propriétaire de site, cela nous rend un fier service ! Mais, on est d'accord la meilleure solution reste que Google prenne les choses en main :)
 
 
#22 PieceofCake 09-08-2015 09:54
Je suis parfaitement d'accord avec Cyril qui m'a devancé alors que je préparai la réponse ci-après et je lui apporte d'ailleurs une solution satisfaisante (il me semble) pour le problème des chiffres pollués des visites directes :Il reste simplement à les filtrer également et cela se fait TRES facilement. Le ghost referral attaque directement les serveurs Google sans même connaître mon site Web par lequel il ne passe d'ailleurs pas, ce qui rend les traitements via le fichier .htaccess inefficient.Que cela signifie t il ? simplement que le spammeur ne connait pas mon site web et qu'il génère dans les données transmises à Google un nom au hasard pour remplir le champ concerné. La solution est dès lors simple : il suffit de rajouter un nouveau filtre d'inclusion celui-ci qui n'accepte que les noms d'hôte contenant le nom de mon site CQFD. Comme les filtres sont appliqués dans l'ordre de leur rencontre, CE filtre se doit d'être placé en tout premier de la liste.Cela n'élimine pas le passif et il faut certes 30 jours au minimum pour voir disparaître les indésirables, mais au moins j'ai une situation parfaitement propre.
 
 
#23 Cyril 09-08-2015 10:26
Merci pour cette précision !De mon côté, j'ai justement tenté - entre autres - la stratégie que vous décrivez (filtre nom de l'hôte) et le problème est resté le même (spam compté comme du trafic direct, et ce même 30 jours après la manip).Ce test s'est révélé également non-concluant avec des amis, ce pourquoi j'ai écarté cette solution, de mon côté :)
 
 
#24 Geoffrey 04-05-2016 09:31
C'est vraiment un excellent article et un gros travail que vous avez fait là. Merci beaucoup ! Geoffrey