1

Quasi-ban de MJ12Bot et AHrefs du blog et le bugtracker (HTTP 403 en réponse à toutes leurs requêtes).

Il est souvent difficile pour des créateurs de jeux amateurs d’obtenir des informations statistiques sur les jeux existants. Voici donc celles des projets Reinom, pour éventuellement vous situer par rapport à d’autres projets.

Analyse des statistiques

Tendance

La tendance est à la hausse sur ces deux dernières années, mais les stats mensuelles (et encore plus celles quotidiennes) sont beaucoup plus variables. Hors robots, la hausse est bien plus légère. La chute de Juillet 2017 est due au ban de certains bots.

Robots

Suite à la suggestion d’Argorate, j’ai étudié un peu plus l’impact des bots sur les hits des jeux et des sites. Pour cela, j’ai une tâche CRON quotidienne qui m’envoie l’analyse des logs de la veille: les erreurs, le nombre d’occurence de chacune, les hits par code HTTP et par domaine, etc. En plus de ces informations, j’ai donc décidé de remonter les hits par domaine et par user-agent, et de grouper les visites par IP pour estimer le nombre d’utilisateurs (sans jouer le pisteur non plus). J’ai également mis en place ce rapport de manière hebdomadaire. Voici donc une partie du rapport de cette semaine:

Visitors: 3376
Visitors hits (excluding bots): 56922
Robots: 3972
Google: 7347
AHrefs: 8172
MJ12: 26489
All hits (including robots): 102902

Comme on le voit, MJ12 et AHrefs font un peu péter les stats n’importe comment… Du coup, je décide maintenant (18 Aout 2017) de les dégager des clients autorisés: ces robots mangeront dorénavant des erreurs HTTP 403, depuis que j’ai pu lire qu’ils revendent les données collectées à des fins marketings (et comme ils m’apportent quedale à part des hits bidons…). Le code de « ban » est simpliste, mais sera suffisant pour calmer les ardeurs à aspirer toutes les pages des sites et des jeux.

#Screw MJ12Bot and AHrefs
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ahrefs
RewriteRule ^ - [F]

Erreurs

Le taux d’erreur en hausse est inquiétant, mais certaines proviennent d’erreur clients (des pages déplacées, ou des robots qui n’arrivent pas à s’inscrire aux jeux et tombent sur des erreurs 4xx). Il faudra tout de même pallier à ce problème. Les codes http 500 sont également nombreux.

2017

Visites

Statistiques de visites 2017
Les visites des projets en 2017 (année en cours)

Hits

Statistiques des hits de 2017
Les hits en 2017 (17% d’erreurs)

Robots

Statistiques des robots en 2017
Les robots constituent environ 51% des hits (18% d’erreurs)

HTTP Codes

Statistiques des codes HTTP en 2017
Les codes HTTP en 2017

2016

Visites

Statistiques de visites 2016
Les visites des projets en 2016

Hits

Statistiques des hits de 2016
Les hits en 2016 (15% d’erreurs)

Robots

Statistiques des robots en 2016
Les robots constituent environ 56% des hits (20% d’erreurs)

HTTP Codes

Statistiques des codes HTTP en 2016
Les codes HTTP en 2016

2015

Visites

Statistiques de visites 2015
Les visites des projets en 2015

Hits

Statistiques des hits de 2015
Les hits en 2015 (6% d’erreurs)

Robots

Statistiques des robots en 2015
Les robots constituent environ 31% des hits (8% d’erreurs)

HTTP Codes

Statistiques des codes HTTP en 2015
Les codes HTTP en 2015

N’hésitez pas à donner vos propres statistiques sur votre blog et à laisser le lien en commentaire, ou à donner directement vos stats en commentaires, pour qu’elles servent à tous.

1