Accueil / Que mesurer ? / La source des données : fiabilisation et limites

La source des données : fiabilisation et limites

Les données pour mesurer la couverture et qualité de service sont issues de plusieurs sources : opérateurs, régulateurs ou encore d’acteurs tiers. Il peut exister des difficultés ou limitations liées à leur collecte et leur fiabilisation.

Afin de pouvoir utiliser ces sources de données, les régulateurs utilisent différentes méthodes de collecte et de traitement pour les agréger et les fiabiliser en vue de leur analyse.

Données issues du réseau des opérateurs

Données des compteurs OMC  

Pour mesurer des indicateurs de performance et contrôler la qualité de service, certains régulateurs récupèrent directement des données réseaux auprès des opérateurs. Il peut s’agir de fichiers de performance incluant une série d’indicateurs (KPI   [1], généralement définis par le 3GPP   ou l’UIT  ) ou de données brutes en provenance des serveurs de collecte connectés directement sur les équipements réseau des opérateurs.

Schéma de collecte des données des serveurs OMC des opérateurs.

Des compteurs enregistrent un certain nombre d’événements, notamment, les différentes requêtes que les téléphones mobiles envoient et reçoivent lors d’un échange avec le réseau. Les plateformes de monitoring calculent ensuite des critères de performance sur la base de protocoles et formules spécifiques. Comme ces KPI sont calculés en temps réel, l’opérateur peut agir directement en cas de problème détecté sur son réseau. En outre, grâce à ces données agrégées, il peut dès lors analyser les performances de son réseau de façon journalière, hebdomadaire, mensuelle, trimestrielle, voire annuelle.

Fichiers de performance

Les autorités peuvent récupérer ces données au travers de fichiers de performance qui sont transmis au format brut (RAW counters) ou sous format PDF à un rythme régulier l’opérateur mobile. Ces fichiers regroupent un certain nombre de KPI établis par les opérateurs sur base des données des compteurs OMC et chaque opérateur utilise ses propres formules pour traiter ces données et les fiabiliser.

Généralement, les opérateurs adoptent les formules proposées par les équipementiers, communément conformes aux prescriptions internationales. Cependant, selon les équipementiers, les KPI ne sont pas exactement identiques et se pose dès lors la question de la comparabilité des données entre opérateurs. Ces informations sont ensuite contrôlées par le régulateur et fiabilisées en les croisant avec, par exemple, des mesures de terrain.

Serveurs de collecte dans le réseau

Les données des compteurs OMC peuvent également être déposées directement par les opérateurs sur les serveurs de collecte installés à la demande du régulateur dans leurs réseaux. Ces données sont par la suite rapatriées sur un autre serveur situé dans les locaux du régulateur à travers des liaisons sécurisées.

Ces données brutes notamment sous format CSV ou HTML sont analysées, mises en base de données par l’autorité qui, grâce à un système de rapport, peut lancer des requêtes et produire ses propres indicateurs, indépendamment des choix des opérateurs quant à leurs équipementiers. Dans ce cas, c’est le régulateur qui, sur base des données brutes, doit fiabiliser les données grâce à un outil de post-traitement. Il bénéficie dès lors d’une plus grande visibilité sur la QS des opérateurs et peut comparer ses KPI avec ceux calculés par l’opérateur.

Limites, contraintes et avantages des données de compteur OMC

Les limites

  • Ces informations, bien que riches et pertinentes pour le régulateur, reflètent une vision « opérateur » sur les performances du réseau, et pas nécessairement le ressenti client et sa capacité à utiliser le réseau.

Les contraintes

  • Le droit de collecter ces données dépend du cadre juridique mis en place dans chaque pays : il peut être difficile, voire impossible, d’imposer aux opérateurs la transmission de ces informations ou l’installation sur leurs équipements de serveurs de collecte du régulateur.
  • L’installation de serveur de collecte est techniquement complexe.
  • Le processus de fiabilisation des données requiert soit le déploiement d’une plateforme chez le régulateur, soit un outil de post-traitement et d’analyse des indicateurs.

Les avantages

La transmission des données en quasi-temps réel permet au régulateur de suivre quotidiennement la qualité des réseaux mobiles présents dans son pays et d’obtenir une très grande quantité d’informations.

Sondes

Les sondes permettent de collecter tous les flux transitant sur une interface donnée, que ce soit le trafic ou la signalisation, pour collecter le maximum d’informations. Le volume de données à collecter, stocker et traiter est assez important.

Certains régulateurs peuvent imposer aux opérateurs la mise en place de sondes au niveau des nœuds de trafic pour comptabiliser le volume des appels ou collecter certains indicateurs de QS comme le taux d’établissement d’un appel. Cette solution ne peut être que complémentaire aux autres sources de données afin d’estimer la qualité de service général d’un opérateur et n’est pas pertinente pour le contrôle de la couverture.

Outils de simulation des cartes de couverture

On peut utiliser des logiciels pour vérifier, simuler et observer les couvertures théoriques des opérateurs. Ils permettent, notamment, de calculer des prédictions théoriques des taux de couverture géographique et de population à l’échelle nationale, régionale ou locale.

Les autorités peuvent ainsi produire des cartes de couverture et vérifier la cohérence de celles des opérateurs, vérifier leurs obligations et connaître le niveau de couverture d’une zone avant la programmation d’une campagne de mesure sur le terrain.

L’utilisation des outils de simulation des cartes de couverture nécessite une expertise technique chez le régulateur. Elle n’est pas nécessairement pertinente pour tous.

Parmi les témoignages recueillis au sein de Fratel, seules trois autorités (Burkina Faso, France et Maroc) possèdent un tel outil de simulation.

Simulation d’une couverture 4G obtenue par le biais d’un outil d’analyse au Maroc

Campagnes de mesure sur le terrain

Pour la très grande majorité des membres du réseau Fratel, la principale source de données pour la mesure et le contrôle de la couverture et de la qualité de service provient des campagnes de mesure sur le terrain.

Elles sont en général menées par un prestataire externe indépendant sous le contrôle du régulateur et selon des protocoles et critères concertés avec les opérateurs afin d’en garantir la fiabilité. Elles peuvent être financées par le régulateur ou par les opérateurs. Certains régulateurs disposent de leur propre matériel et mènent eux-mêmes les campagnes de mesure.

Équipements des mesures de qualité de service des réseaux mobiles, ARPT Guinée.

Selon les critères arrêtés pour définir la couverture, l’étendue des campagnes de mesure et la complexité de la procédure peuvent différer.

Ces enquêtes de terrain peuvent s’appliquer à différents réseaux, notamment lorsqu’une forme de partage/mutualisation est mise en œuvre : lorsqu’il s’agit, par exemple, de vérifier les déploiements d’un opérateur, les mesures seront limitées à son réseau propre ; mais lorsqu’il s’agit de vérifier la fiabilité de ses cartes ou la qualité du service en « vision client », les mesures incluront également les cas où l’utilisateur est en itinérance.

Quel que soit le pays, l’analyse de la qualité du service nécessite un grand nombre de données car il faut prendre en compte de nombreux cas d’usage liés aux lieux : intérieur des bâtiments ou des véhicules (voiture, train, métro, etc.), axes de transport (autoroutes et routes principales, trains express et du quotidien, etc.) ; aux types de zones (urbaine, péri-urbaine, rurale) ; et enfin à la mobilité (en mouvement ou en statique).

Difficultés et limites des enquêtes de terrain

  • Elles sont financièrement assez coûteuses, ce qui restreint le nombre de mesures disponibles pour vérifier la couverture et mesurer la QS mobile.
  • Les autorités de régulation et les opérateurs doivent s’accorder sur le protocole de mesures afin de fiabiliser le processus et éviter la contestation des résultats. L’appel à une société indépendante en charge de ces mesures peut réduire le risque de contentieux, à condition que les protocoles soient robustes et maîtrisés ou approuvés par le régulateur.
  • Une mesure sur le terrain n’apporte qu’une information en un point donné du territoire et à un instant donné ; compte tenu du coût et de la durée de réalisation de telles mesures, il est déraisonnable d’envisager de mesurer l’intégralité de la surface d’un pays.
  • Compte tenu de la fréquence des enquêtes (le rythme est en général annuel) et du temps de traitement (plusieurs semaines), les informations publiées ne se rapportent souvent qu’à une situation du réseau datant d’il y a plusieurs mois.

Enquêtes de satisfaction consommateurs, plaintes et signalements

Les enquêtes de satisfaction consommateurs ainsi que le recueil des plaintes et signalements sont une source d’information complémentaire enrichissante pour les régulateurs, pour développer une connaissance plus fine des utilisateurs et des problèmes qu’ils rencontrent.

L’enquête utilisateur permet souvent de mieux identifier les enjeux que rencontrent les utilisateurs sur le secteur.

Les plaintes ou signalements permettent de répondre simultanément à deux objectifs des régulateurs : d’une part enrichir leur connaissance du terrain et des utilisateurs et, d’autre-part, mieux informer ces derniers.

En tirant des enseignements du vécu et des usages des utilisateurs, les régulateurs peuvent s’appuyer sur les récurrences des dysfonctionnements rencontrés, et détecter des pics pour alimenter un faisceau d’indices qui contribue à cibler leur action et penser des réponses systémiques améliorant le fonctionnement du secteur.

Ces signalements peuvent notamment être transmis grâce à la mise à disposition des consommateurs d’un numéro de téléphone gratuit comme au Mali ou d’une plateforme de signalement comme en France.

Difficultés et limites des signalements

  • La mise en place d’une plateforme de signalement ou d’un numéro dédié et la réalisation d’enquêtes de satisfaction peuvent demander des ressources financières et humaines importantes.
  • Les enseignements que le régulateur peut tirer de ces informations requièrent un traitement analytique en profondeur.
  • À elles seules, ces données ne peuvent permettre au régulateur d’analyser la qualité de service et la couverture des réseaux.

Crowdsourcing

Le suivi de la qualité de service peut également être effectué au travers de solutions de crowdsourcing  . Certains régulateurs (Belgique, Burkina Faso, Côte d‘Ivoire, Luxembourg, Qatar, Tunisie, Maroc) s’appuient ou prévoient de s’appuyer sur leurs propres applications de crowdsourcing pour collecter des informations complémentaires. Une solution alternative peut être de signer des partenariats avec des acteurs tiers spécialisés.

Ces mesures peuvent être un complément utile aux mesures en environnement contrôlé, permettant notamment de disposer d’un volume de données plus grand, en divers lieux du territoire et de manière plus régulière. Elles peuvent ainsi alimenter le travail du régulateur et l’information du citoyen dans le cadre d’un dialogue avec les données plus représentatives de l’environnement contrôlé.

Difficultés et limites du crowdsourcing

  • Les tests sont réalisés sur le terminal d’un utilisateur, en général via une application : l’environnement n’est donc plus « maîtrisé » et la comparabilité entre les mesures des différents opérateurs n’est plus garantie comme elle peut l’être dans une campagne de mesures plus encadrée.
  • Les résultats peuvent être plus ou moins pertinents selon les méthodes de mesure utilisées.
  • Les résultats dépendent grandement de la capacité et de la volonté des utilisateurs à réaliser ces mesures et donc de leur équipement terminal, du volume de données disponible dans leur forfait, de leur capacité à accéder au réseau pour effectuer et transmettre les tests, etc.
  • Se pose la question de la représentativité, de l’analyse et de fiabilisation de données collectées depuis des téléphones différents, dans des situations pas toujours précisées (à l’intérieur d’un bâtiment, dans une voiture, etc.).
  • Les informations remontent en pratique essentiellement de zones avec une couverture suffisante et ne permettent pas de visualiser les zones blanches ou grises.
Outils de collectes de données : avantages, inconvénients et critères de fiabilité
Outils de collecteAvantages Inconvénients Fiabilisation
Drive-test   Orienté QS et simulation de conditions différentes de mesure.

Évaluation objective de la qualité vocale et des services

Coûts élevés.

Longue durée d’exécution.

Vision partielle et ponctuelle de la QS.

Déterminer un échantillon représentatif selon les services, les usages, les conditions d’utilisation

Garantir le bon fonctionnement des outils de mesure. Définir un protocole de mesure selon les usages, conditions d’utilisation…

Données réseau Collecte de données à l’échelle de l’ensemble du réseau.

Coûts réduits et collecte automatique.

KPI dépendants des équipementiers.

Données orientées performances réseau et non QS/QE.

Pas de données en l’absence de couverture.

Données manipulables par l’opérateur ou l’équipementier

Collecter des données brutes réseau des opérateurs.

Utiliser des formules standards pour le calcul des KPI.

Crowdsourcing Importante quantité de données.

Information proche de la qualité d’expérience de l’utilisateur

Nécessité de disposer d’un smartphone.

Nécessité de mettre en place un plan de communication efficace.

Représentativité de l’échantillon

Impliquer tous les acteurs pour une collecte massive de données
Outil de planification radio/outil de simulation des cartes de couverture Vision globale et consolidée de la couverture radio.

Permet de déterminer les zones blanches.

Possibilité de corriger les cartes de couverture via d’autres sources de données

Besoin de calibrage des modèles de prédiction pour plus de précision.

Possible écart des données théoriques prédites et des données réelles sur le terrain.

Utiliser d’autres sources de données (drive-test, crowdsourcing…) afin de fiabiliser les cartes de couverture.

Utiliser des modèles de prédiction calibrés.

Enquête de satisfaction Vision client Subjectivité des avis Déterminer un échantillon représentatif

Source : ARCEP Burkina Faso.

ARCEP - Burkina Faso La collecte des données de couverture et de qualité de service

Arcep Burkina Faso

L’Autorité de régulation des communications électroniques et des postes (ARCEP) s’appuie sur trois sources d’information.

Le régulateur (ARCEP)

Les données sont collectées à travers des campagnes trimestrielles et annuelles de mesures drive-tests.

Les enquêtes de satisfaction constituent également une source importante de données. Elles permettent d’évaluer la perception des utilisateurs sur la qualité des services délivrés.

L’ARCEP dispose d’un outil de planification radio pour faire des simulations de couverture du territoire et de la population afin de répondre au besoin de couverture des zones blanches.

Ces différentes sources de données sont complémentaires. L’ARCEP ainsi d’une vue globale sur les performances des réseaux des opérateurs, sur la qualité de service ainsi que sur la qualité d’expérience des utilisateurs des réseaux, afin d’orienter ses actions d’amélioration de la QS.

Les opérateurs

Les données réseau des opérateurs permettent d’avoir une idée des performances du réseau. Les opérateurs partagent également avec l’ARCEP des outils de planification radio pour effectuer des simulations de couverture.

Les utilisateurs

Les utilisateurs constituent une mine d’informations importante à travers des outils de crowdsourcing   pour la collecte de données QE. Ce choix vient de la volonté de l’ARCEP de mettre les utilisateurs au cœur du processus qualité.

Le régulateur analyse également les plaintes des utilisateurs, reçues par différents canaux.

La vision client de cette solution permet de mieux orienter ses actions et de mettre à la disposition des utilisateurs une information fiable sur la qualité des réseaux dans leurs lieux de vie.

> http://www.arcep.bf/


[1Par exemple : sur la disponibilité du réseau, le taux de blocage, le taux de coupure, le taux d’appels réalisés avec succès et leur évolution, le taux de réussite du transfert intercellulaire « handover », les problèmes radio (interférences), la congestion des canaux de trafic radio…

Haut de page