Récemment,  UFC que choisir a mandaté une entreprise pour réaliser une campagne de mesure radio sur les débits atteints en 4G dans la capitale. L’étude vient de paraître, et je vous livre le résultat de l’enquête et mes impressions.

Enquête UFC : UFC porte plainte contre orange et SFR pour publicité mensongère

UFC que Choisir a récemment publié une enquête : Etude 4G, prouvant que le réseau 4G d’Orange et SFR ne couvre pas à 100% Paris IntraMuros.

Orange et SFR n’ont pas d’obligation légale à ce jour pour couvrir 100% de Paris en 4G, malheureusement ces 2 opérateurs communiquent sur une couverture totale comme le démontre les articles suivants

• http://www.mobiworld.fr/orange-couvre-tout-paris-en-4g.html
• http://groupe.sfr.fr/presse/communiques-de-presse/08272013-1018-sfr-couvre-paris-en-4g

UFC que choisir porte plainte pour Publicité Mensongère car au vu des études 80% de Paris serait couvert par Orange et SFR, alors, qu’Orange, se félicitait le 9 septembre d’une couverture qui sera totale sur Paris fin septembre, mettant en avant une carte 4G.

Notez bien sur la courbe les zones sur Paris ou les villes devaient être couvertes à fin septembre.

Orange se différenciait alors de SFR, lequel 2 semaines plus tôt annonçait une couverture partielle :

• Communiqué du 27 aout : « Fin août, SFR possède la couverture 4G parisienne la plus importante et couvrira l’intégralité de la capitale fin 2013 »

Cependant, SFR indique sur son site web une présence sur tous les arrondissements de Paris (http://assistance.sfr.fr/mobile_support/reseau/couverture-reseau/en-3233-62267).

Cependant cette animation Flash n’indique pas une couverture à 100%, SFR présente les villes couvertes en France ce qui peut provoquer une confusion.

Remise en cause des mesures effectuées par UFC

Le lendemain de la publication du rapport, ZDnet sorti un article mettant en cause les mesures réalisées. La remise en cause est légitime, d’une part nous n’avons que peu d’information sur le protocole de mesure sur lequel s’appuie les conclusions de l’UFC, et d’autre part la durée de l’expérimentation est relativement faible.

Cependant,  l’importance d’une telle étude nécessite une compétence technique, et d’ailleurs UFC a délégué ce travail à un prestataire professionnel. Je ne remettrais pas en cause pour ma part une défaillance technique, les mesures ont été réalisées de manière stricto-identique pour les 3 opérateurs et je ne suis personnellement pas plus surpris que cela par l’annonce de ces résultats.

Il existe plusieurs types de test, on peut tester le débit, la Qualité d’experience, le taux d’échec en termes de paquets, le handover et la continuité de la session ou des sessions, … Les tests doivent être répétés dans le temps car les performances du réseau dépendent du nombre de connexions simultanées. A une heure de fort trafic (BHCA), la disponibilité est moindre.

Quelques points à préciser dans ce rapport :

• Le protocole de mesure.
  • Le prestataire a utilisé 3 SIII, est ce qu’un S3 est dédié par opérateur ?
  • Combien de fois le prestataire est il passé dans la même zone ?
  • Le parcours
    • Vitesse de déplacement

Des précisions au niveau du rapport Etude 4G pourraient être apportées sur les points suivants :

Nous lisons en page 6-7 la base du test :

« Un test d’accessibilité aux réseaux 4G correspond à une tentative de chargement de cette page qui est faite simultanément avec les trois appareils. Le test se clôt une fois que la page est chargée sur les trois appareils, ou si au bout d’une minute la page n’est pas chargée sur au moins l’un des appareils (Note4). Une fois le test clôt, un autre test se lance après un timer de 40 secondes. »

Ainsi, « L’inaccessibilité à un réseau 4G est caractérisée lorsqu’au cours d’un test le réseau 4G n’a pas pu être accroché, c’est-à-dire lorsque la page web n’a pas pu être chargée sur le réseau 4G. ».

La note 4 précise que « Cette dernière configuration n’a été constatée que dans 0,05 % des cas » ce qui semble confirmer que :

• Les 3 téléphones sont utilisés pour tester un opérateur, 22 000 mesures ont donc été faites par opérateur.
• 0,05% soit un test sur 2000 par conséquent 11 mesures sur les 22 000 effectuées par opérateurs, un téléphone sur 3 n’a pas réussi à charger sa page alors que les deux autres ont terminé.

Il y a une différence fondamentale entre l’échec et la réussite :

• En cas de réussite, une deuxième mesure reprend au bout de 40 secondes.
• En cas d’échec, il faut attendre 1m40 avant de faire une deuxième mesure.

En première lecture, ce constat serait à l’avantage de l’opérateur, la question sous-jacente est de combien de mètre s’est déplacé le véhicule entre ces deux mesures ?

Mes conclusions

Les opérateurs se livrent à une course Marketing de la 4G, accélérant le déploiement d’antenne, mais pas les tests qui vont avec.

Dans l’article ZDNet, on pouvait lire une remarque concernant le nombre d’antennes :

« sur ces résultats, en particulier pour la zone Sud-Ouest de Paris, qui dispose d’un nombre de sites 4G identique aux autres arrondissements. »

Le nombre d’antennes n’est pas un gage de couverture. Il faut se préoccuper :

• De la puissance d’émission de chaque antenne
• Du tiltage des antennes
• De la position de chaque antenne permettant un taux de recouvrement suffisant.

L’opérateur se préoccupe en premier lieu de la capacité d’une antenne et non de sa couverture. La capacité permet de gérer un certain nombre d’utilisateurs simultanément. Or dans une zone très dense, il faut rajouter des antennes et réduire ensuite la puissance d’émission de chaque antenne pour réduire sa couverture.

Partant sur le principe que le prestataire UFC a réalisé des tests dans les mêmes conditions pour les 3 opérateurs, mettant néanmoins en cause la notion de répétabilités des tests, j’en conclue que SFR et Orange n’ont pas déployé le réseau sur Paris à 100% en 4G. Mais 100% de Paris semble être couverte en Très haut débit, c’est-à-dire que la H+ doit couvrir les zones ou la 4G est encore défaillante. N’oublions pas qu’en 2012, Orange et SFR ont investi dans la H+ avant l’arrivée de la 4G.

Je vais terminer cet article sur la polémique du débit. L’ARCEP, le 5 septembre 2013, a classifié comme Très Haut Débit, un débit de 30 Mbps.

Quant au 150 Mbits par seconde, seul orange est en mesure de le fournir actuellement sur les bandes qui lui sont allouées car Orange dispose de 30 MHz de bande, 20 MHz actuellement permettent d’atteindre un débit de 100 Mbits, un débit théorique rappelons le. Cependant, prochainement avec 20 MHz de bande, les opérateurs pourront fournir un débit de 150 Mbits, il faut une évolution au niveau des antennes et des téléphones compatibles…