Vous me connaissez, j’aime les trucs un peu hardcore… Et c’est pourquoi, ce midi pendant ma pause déj, j’ai pris le temps de lire (et relire) le dernier rapport ARCEP concernant la qualité de service des 5 principaux opérateurs d’Internet fixe en France.

Et 45 pages plus tard, je vais pouvoir vous expliquer de manière claire et précise, de quoi il retourne, sans être trop chiant ;-)

Mais avant d’entrer dans le coeur du sujet, un peu d’historiques…

En janvier 2013, l’ARCEP qui est une autorité administrative indépendante et dont une des missions est de veiller à ce que les opérateurs respectent les règles du jeu (et le cas échéant à les sanctionner), a décidé que ce serait quand même top super méga cool Boris, de disposer d’un “Observatoire de la qualité du service fixe d’accès à Internet”.

Cette mission est très noble puisqu’elle a pour objectif de nous informer, nous les internautes, sur la qualité de nos FAI tout en permettant à l’ARCEP de surveiller ces mêmes FAI pour leur taper sur les doigts s’ils ne respectent pas leurs engagements et le jour où la neutralité du net sera dans leurs conditions générales de vente.

Jusqu’ici tout va bien.

Mais après avoir lu ce rapport 2 fois, je me dis quand même qu’il y a pas mal de points à soulever qui me dérangent un peu.

Alors que trouve-t-on dans ce rapport qui nous intéresse ?

• Chapitre 1 : Comment tout ceci a été pondu et où se dirige ce projet ?
• Chapitre 2 : Quelle méthodologie a été utilisée ?
• Chapitre 3 : Quelles sont les premières mesures ?

Je vais sauter directement au chapitre 3, car c’est le plus in-intéressant. En gros, ça nous dit que Bouygues est au top, que Free est dernier, mais surtout, ça nous dit que ces chiffres sont bidons parce que mesurés sur un pauvre petit mois dans des conditions merdiques de beta test. Donc pas de quoi s’alarmer si vous êtes chez Free… Si ça se trouve, Free est premier en niveau qualité de service. VA SAVOIR MAURICE…

Quand je dis qu’on ne peut pas se fier à ces premières mesures, je n’invente rien, c’est écrit dans le rapport ARCEP en première page :

Comme dans tout projet, il y a des plâtres à essuyer. Ce qui est étrange c’est que ces mesures étant incomplètes et prises sur un laps de temps trop court, les FAI (Free, Bouygues Telecom, Orange, Numéricable et SFR) n’aient pas protesté quant à leur publication.

Les FAI ? L’ARCEP n’a de compte à rendre à personne, car elle est indépendante.

OK, mais c’est là que ça devient funky…

Chapitre 1 : Comment tout ceci a été pondu.

En gros ça s’est passé en 5 étapes (pardonnez les raccourcis, c’est pour que ce soit plus digeste):

• 1/ L’ARCEP a eu l’idée de cet observatoire QoS (Woohoo, une idée !)
• 2/ Puis ils se sont rendus compte que techniquement, ils étaient un peu beaucoup limités
• 3/ Ils ont donc impliqué les FAI pour trouver une solution technique de mesure (que les FAI financent sous la coordination de la Fédération Française des Télécoms qui comme chacun le sait, déteste la neutralité du net)
• 4/ Puis ont saupoudré d’association de défense des consommateurs (Famille de France, la Quadrature du Net, UFC Que Choisir…etc.) et d’experts “techniques” (genre l’AFNIC)
• 5/ Ils ont bien secoué tout ça lors de comités techniques et voici ce qui en est ressorti.

En gros, ça se passe en 2 phases :

Phase 1 : Mise en place de “robots” installés au frais dans des data center de grandes villes et reliés en ADSL / Fibre aux opérateurs testés. Ces robots vont se connecter régulièrement à une poignée de services pour mesurer différents critères (voir le tableau ci-dessous). Ces données sont alors récupérées par une société privée qui s’appelle IP-Label. Son rôle est de fournir le matos (les fameux robots) et de collecter les chiffres. C’est l’intermédiaire technique.

Phase 2 : Mise en place d’un clone de Degrouptest / Speedtest bien au chaud dans un autre datacenter (chez OVH ou Online) comme tous les services de ce genre pour que les internautes puissent l’utiliser pour tester la qualité de leur connexion.

Quand ces 2 phases seront en place, l’ARCEP pourra alors effectuer plein de calculs “savants” pour pondre des rapports sur nos chers FAI.

Voici à quoi ressemblent ces fameux robots :

Ce ne sont ni plus ni moins que des ordinateurs connectés à des box fibres et ADSL. Et pour simuler des longueurs de ligne différentes (petite, moyenne, courte), IP-Label a mis en place des atténuateurs à l’arrivée des lignes téléphoniques pour simuler du bruit et augmenter l’affaiblissement de la ligne

Les box fournies par les FAI sont les mêmes que chez les abonnées si j’en crois le chapitre ci-dessous.

Niveau indicateurs de mesure, voici ce qui est testé sur de l’ADSL (court, moyen, long) dégroupé uniquement et sur des connexions Fibre Coax (lol) et FTTH:

À gauche des indicateurs techniques (moins la perte de paquets, car bizarrement, ça n’a pas bien fonctionné dans ce premier jeu de test) et à droite des indicateurs d’usage censé simuler une utilisation normale d’un internaute normal.

Ensuite, en face de ces robots, il y a une sélection de sites mires qui sont extraites d’un TOP médiamétrie représentant le bon goût des Français.

Basta. Pour le streaming, les tests porteront uniquement sur YouTube, Dailymotion, Vimeo et Metacafe et pour le P2P, ça portera uniquement sur Bittorrent.

Voilà en gros pour le principe de fonctionnement du bouzin.

Alors maintenant, j’ai une question pour vous. Y’a pas quelque chose qui manque dans tout ça ?

Vous ne voyez pas ?

Y’a l’ARCEP, y’a les FAI, y’a les spécialistes en tout genre, y’a les petits robots… Mais y’a pas les internautes. Ils sont où les internautes ? Je ne parle pas de leur représentation par les associations comme la Quadrature ou UFC Que Choisir. Non, je parle en terme de mesure.

Parce que là, j’ai vraiment l’impression qu’on nous prend pour des jambons. Avec ce dispositif, ce qui est mesuré là est totalement simulé de bout en bout.

• On remplace les internautes par des robots
• On remplace les vraies connexions chez des particuliers dans nos villes et nos villages par des connexions pluggées dans des data centers climatisés, qui plus est dans des grandes villes (Dijon, La Garenne Colombes, Marseille, Nantes, Paris, Schiltigheim, Toulouse, Villeurbanne)
• On remplace des vraies longueurs de lignes par des appareils atténuant artificiellement la qualité de la ligne
• Et on remplace les vrais usages des internautes par une liste prédéfinie de sites.

Comment voulez-vous qu’un tel système soit représentatif de la qualité de connexion des 26 millions de connexions aux foyers français ?

Comme le dit l’ARCEP dans son rapport :

L’outil mis en place pour cet observatoire est innovant et n’avait jamais été déployé à une telle échelle en France.

Et pour cause… Je ne sais pas si vous connaissez un peu le sujet de la mesure ou des stats, mais en gros, y’a pas 36 000 façons d’établir des mesures fiables sur une population donnée. Soit-on mesure TOUT. Soit on fait un panel représentatif comme ce que fait médiamétrie. C’est à dire qu’on prend des jeunes, des vieux, des campagnards, des citadins, des gays, des hétéros, des familles, des couples, des chomeurs, des travailleurs, des riches, des pauvres et j’en passe… et on pondère tout ça pour que ça représente la population française dans son ensemble.

Et je suis désolé, mais des outils de mesures automatisés, répartis dans 8 grandes villes de France bien interconnectées, qui répondent à un cahier des charges mis en place par les FAI eux-mêmes, pour permettre à l’ARCEP de taper sur les doigts de ces mêmes FAI, ça me choque. Et l’ARCEP a beau nous dire que c’est très compliqué, que les internautes ont des configs trop disparates pour que leur connexion soit représentative, j’ai du mal à voir en quoi des robots simulant toujours les mêmes 10 connexions programmées, ça va nous permettre de voir précisément sur quels points les FAI ne respectent pas leur contrat et pourquoi ce serait mieux que de mettre des sondes chez les gens.

Un robot qui imite madame Michue, ça ne vaut pas une vraie madame Michue, grand-mère dans le Cantal. Là c’est de la bonne connexion de grande ville et je trouve dommage de ne pas prendre en compte des points de connexions un peu moins bien servis dans certaines campagnes.

Car oui, il existe des solutions qui permettent d’obtenir des mesures fiables, sur un grand nombre de foyers, peu importe leur localisation et tout ça dans des conditions réelles et sans se bloquer à des problèmes de PC qui rame… Ce n’est pas moi qui l’ai inventé, je vous rassure, mais c’est ce que fait l’Europe avec SamKnows par exemple en plaçant des boitiers de mesure au cul des box sur un panel de foyers représentatifs. Plus il y a de monde, plus il y a de chiffres, plus les rapports sont fiables. C’est mathématique.

Bref, j’ai l’impression que le dispositif même mis au point par ce comité technique est faussé de base.

Il y a aussi d’autres trucs qui me chiffonnent. Tout d’abord le choix d’IP-Label, la société qui va collecter les données de mesure… Cette société qui j’en suis sûr dispose de compétences formidables, a été tout simplement choisie par les FAI eux-mêmes comme c’est mentionné dans le rapport. Normal, puisque IP-Label travaille avec les FAI comme c’est clairement indiqué sur son site web.

Sans tomber dans la parano, était-ce vraiment aux FAI de faire ce choix du prestataire technique ?

Je vous rassure, l’ARCEP en a conscience puisqu’elle précise dans son rapport à propos d’IP-Label que :

Son choix a préalablement été discuté et validé par le comité technique. Afin de s’assurer de l’indépendance du prestataire vis-à-vis des opérateurs, il doit fournir à l’ARCEP une déclaration du chiffre d’affaire réalisé avec les opérateurs concernés par le dispositif.

Les mecs d’IP-Label bossent déjà sur le projet, ont déjà installé tout leur matos, mais ils n’ont pas encore fourni cette fameuse déclaration… Hmmm… J’espère qu’on en aura connaissance par souci de transparence ;-)

Mais ça, c’est un détail. Car sur le fondement même d’une mesure neutre et objective, je ne comprends pas pourquoi il fallait impliquer les FAI. Si vraiment l’ARCEP avait voulu faire ses mesures sérieuseusement, elle aurait placé ses sondes à des endroits inconnus des FAIs, fait appel à un prestataire technique qui n’a pas de lien avec les FAIs et aurait mené ses réflexions techniques sans les FAIs.

Là les mecs ont plus que le pied dans la porte. Ils sont carrément tous dans le même lit. Et ils ont raison de s’y mettre, vu qu’ils payent, les bougres.

Comment voulez-vous que ça ne parte pas en couille ?

Je vous rassure, je n’ai pas trouvé dans le rapport de mention qui indique si oui ou non, les FAI connaissent les IP des box utilisées par les robots de l’ARCEP… Bah oui tant qu’à faire, ça aurait été bien de préciser.

D’ailleurs c’est drôle, car le bazar n’est même pas encore complètement lancé que Orange a déjà essayé de bidouiller en ne fournissant pas la bonne offre…

Heureusement, l’ARCEP a remarqué la chose.

Autre truc très lol… Savez-vous comment ils mesurent si le P2P est bridé ou pas chez les FAI ? Et bien c’est simple… Ils lancent une connexion bittorrent vers une ISO d’Ubuntu, laissent tourner 1 min et s’arrêtent là.

Ahahaha… Que celui qui n’a jamais remarqué dans sa vie que parfois, il peut y avoir une baisse de débit mystérieuse au bout de quelques minutes lors du téléchargement d’un fichier un peu gros, lève la main. Ici, avec cette méthodo en carton, impossible à savoir.

Et pour les sites de streaming c’est pareil. Bon, je passe sur le fait que Dailymotion appartient à Orange qui du coup est forcement “neutre” ou “neutre++” vis-à-vis de son propre service et je rigole en voyant dans la liste des sites de streaming : METACAFE.

Putain, je l’avais oublié celui-là… Qui va encore sur Metacafe à part peut-être mon grand-père avant sa mort y’a 10 ans ? Euuuh… M’enfin, c’est pas grave, d’après les voyants-médium-marabou de ce comité technique, Metacafe, ça pèse dans le milieu du streaming en France… Arf.

Et comment on détectera le jour où il y aura un abus sur un site non testé comme Netflix ?

La phase 2 du projet de l’ARCEP, c’est de mettre en place un clone de Degrouptest / Speedtest pour justement contrebalancer ces résultats forcément biaisés avec des vraies mesures de vrais internautes vivants. Seulement on le sait tous… Il suffit que les FAI s’arrangent pour que l’interconnexion avec l’hébergeur de ce service (OVH, Online, …etc.) soit au top et tous les tests de connexions seront brillants.

Si j’étais un FAI, je vous assure que je n’aurai aucun scrupule. Surtout si les mesures remontées par IP-Label peuvent déclencher des sanctions de la part de l’ARCEP. Comme je veux être un bon élève, voici comment je procéderai pour tromper le système et n’être jamais inquiété :

• 1/ Je m’arrangerai pour être dans le comité technique afin d’orienter du mieux que je peux les décisions.
• 2/ Je recommanderai un prestataire technique avec qui je bosse et qui a besoin de moi pour faire son chiffre d’affaire.
• 3/ Je prendrai en compte tous les paramètres de la méthodologie de l’ARCEP et j’activerai mes systèmes DPI pour “trouver” les paquets des petits robots dispatchés dans ces quelques villes.
• 4/ Je ferai tout ce qui est en mon pouvoir techniquement pour fournir la meilleure connexion possible à ces “abonnés” là.

Je vous rassure, nos FAI n’iront pas jusque là, car ils se sont engagés à être totalement transparents.

Ouf !

Pour résumer et conclure, je trouve dommage au plus haut point que ce soit ce dispositif technique de mesure qui ait été mis en place. Les internautes que nous sommes ont totalement été exclus de l’équation. Les mesures concernant la qualité de service, en plus d’être non représentatives des foyers français, seront si peu nombreuses que toute extrapolation aux 26 millions de connexions ne pourra être prise pour argent comptant.

Et le plus drôle là dedans, c’est que les bons élèves qui ressortiront de ce classement ne se priveront pas de se servir de ces chiffres “officiels” à des fins marketing.

A partir de là, avec un système aussi bancal, comment voulez-vous que l’ARCEP, sans même parler de sanction, puisse détecter les hypothétiques abus des FAI ? Impossible… Et même si c’est le cas, il suffit que le FAI pointé du doigt ressorte plus ou moins les arguments que je viens de vous exposer, pour démonter l’accusation.

Merci à Bluetouff pour ce LOLCAT d’une grande classe

Honnêtement, il aurait suffi de donner un petit bout du budget de l’HADOPI à l’ARCEP, faire taffer les excellents ingénieurs de l’INRIA (qui est dans le comité technique) pour faire un équivalent du système SamKnows à la française sur un Raspberry Pi, et trouver des foyers sans liens avec les opérateurs et avec l’appui des associations de consommateurs (elles aussi présentes dans ce comité technique), leur faire signer une clause de confidentialité et brancher ces petites sondes Raspberry Pi au cul de leur box. On aurait peut être dépensé un peu plus de pognon, mais on aurait eu le sentiment que ces mesures eurent été totalement objectives et indépendantes.

Bref, encore une bonne idée qui est bien partie en couille.

Edit : Et pour ceux qui veulent en savoir plus, qui ont des questions, des remarques, des choses à dire, sachez que l’ARCEP organise un chat public le 4 décembre à 17h ici. N’hésitez pas à passer pour faire entendre votre voix et poser vos questions.