Comparer la qualité de service entre équipes : fiabiliser l’analyse pour éviter les illusions d’amélioration

Comment comparer équitablement la qualité de service entre départements en tenant compte des biais de définition, de collecte et de contexte ? Méthode pour fiabiliser vos arbitrages.

stock market chart displayed on laptop screen
Photo by Markus Winkler on Unsplash

Comprendre ce que l’on compare vraiment

Comparer la qualité de service entre différents départements paraît simple : il suffit de placer côte à côte leurs taux de satisfaction, délais ou volumes traités. Pourtant, ce réflexe masque souvent des différences majeures de contexte, de méthode ou de population qui rendent toute conclusion fragile. Avant d’arbitrer ou de classer des équipes, il faut s’assurer que les chiffres portent bien sur le même phénomène, mesuré de façon comparable, et sur des populations explicitement rapprochées.

Prenons un exemple illustratif : une équipe A affiche un délai moyen de traitement de 48 heures, l’équipe B de 34 heures. Sans autre information, il serait tentant de juger B plus performante. Mais si A traite surtout des cas complexes, ou si B exclut certains dossiers du calcul, la comparaison devient trompeuse.

Distinguer performance, difficulté du contexte et qualité de la mesure

Avant toute tentative de classement, il faut séparer trois aspects :

  • Performance observée : le résultat brut (délai, taux de résolution, satisfaction).
  • Difficulté du contexte : complexité des demandes, criticité, canal, horaires, profil client, contraintes locales.
  • Qualité de la mesure : quelle méthode, quel outil, quelle règle de calcul, quelle couverture réelle ? Qui saisit la donnée, et selon quelle consigne ?

Comparer uniquement les résultats finaux sans cette distinction expose à des biais majeurs. Deux équipes peuvent utiliser le même indicateur de nom, mais mesurer des réalités différentes en raison de définitions, d’outils ou de pratiques divergentes. C’est un point central rappelé dans le "Handbook on Constructing Composite Indicators" de l’OCDE, qui insiste sur la nécessité de comprendre les concepts et procédures de mesure avant toute comparaison (source OCDE).

Formaliser les définitions pour chaque indicateur

Pour fiabiliser une comparaison, il faut construire une fiche de définition commune pour chaque indicateur retenu. Cette fiche doit préciser :

  • Unité d’analyse (ticket, appel, client, incident…)
  • Population incluse (demandes reçues, clôturées, clients répondants…)
  • Date de référence (création, prise en charge, résolution…)
  • Numérateur et dénominateur (ex : dossiers résolus dans le délai / dossiers éligibles)
  • Règles d’exclusion (doublons, abandons, transferts…)
  • Granularité (moyenne, médiane, percentiles…)
  • Période d’observation
  • Source et méthode de collecte, outil utilisé, responsable de validation
  • Version du référentiel appliqué

Cette étape évite de comparer des valeurs qui n’ont de commun que le nom. Deux taux de satisfaction n’ont de sens côte à côte que si l’enquête, la population et le mode de calcul sont identiques ou explicitement rapprochés.

Identifier et corriger les principaux biais

Biais de sélection

Si une enquête de satisfaction n’est envoyée qu’après une résolution rapide ou à certains clients, le score obtenu ne décrit pas l’ensemble du service. Pour chaque indicateur, il faut documenter le taux d’invitation, le taux de réponse, les canaux utilisés et la composition des répondants. Un test pratique consiste à comparer, pour chaque site, la population mesurée à la population totale sur les principaux critères (volume, type, canal, criticité, issue).

Biais de définition

Des règles différentes pour qualifier une demande comme "résolue" (réponse provisoire vs clôture définitive) rendent la comparaison impossible sans recoder les événements dans une définition commune.

Biais de mix

Un département gérant surtout des cas simples affichera mécaniquement de meilleurs délais. Il faut donc segmenter les résultats au minimum par type de demande, criticité, canal et niveau de traitement, et comparer d’abord à l’intérieur de ces segments homogènes.

Biais de collecte ou de saisie

Un changement d’outil, une nouvelle consigne ou l’automatisation de la saisie peuvent créer une rupture artificielle dans la série. Pour s’en prémunir, il est utile de :

  • faire mesurer un même échantillon de dossiers par plusieurs équipes ;
  • comparer les règles de classement sur des cas identiques ;
  • contrôler les écarts entre extraction système et saisie manuelle ;
  • consigner toute évolution de définition ou d’outil avec sa date d’application.

Le NIST rappelle que le biais est l’écart entre la moyenne des mesures et une valeur de référence, et propose des méthodes de contrôle par échantillons et comparaisons croisées (NIST).

Biais de volume et de moyenne

Un taux calculé sur 20 dossiers ne vaut pas un taux sur 20 000. Il faut toujours afficher le volume, le dénominateur, et – si possible – un intervalle d’incertitude pour les petits échantillons. De même, la moyenne masque les cas extrêmes : publier la médiane et des percentiles donne une vision plus juste.

Préférer une comparaison ajustée à un classement brut

Une démarche fiable se construit en plusieurs étapes :

  1. Figer la définition de chaque indicateur et son périmètre.
  2. Évaluer la couverture : quelle part de l’activité est mesurée ?
  3. Créer des strates homogènes : type de demande, canal, complexité…
  4. Calculer les résultats par strate, puis agréger avec une règle commune si nécessaire.
  5. Appliquer une pondération partagée pour les cas où l’on souhaite un score global.
  6. Comparer plusieurs indicateurs convergents : délai, résolution, satisfaction, réclamations, qualité audité…
  7. Tester la sensibilité : voir si le classement change selon la segmentation ou la pondération.
  8. Qualifier le résultat : comparable, partiellement comparable ou non comparable.
  9. Documenter la décision prise sur cette base.

L’OCDE insiste sur l’importance de la sélection, de la normalisation, des pondérations et de la gestion des valeurs extrêmes dans toute comparaison d’indicateurs composites (Handbook, chapitre 2). Les résultats sont sensibles aux choix méthodologiques : deux équipes proches sur un score global ne sont pas nécessairement équivalentes en performance réelle.

Utiliser plusieurs indicateurs convergents

Un arbitrage solide ne repose pas sur un seul score. Il s’appuie sur un faisceau d’indices convergents :

| Dimension | Exemples d’indicateurs | Risque à surveiller | |------------------|---------------------------------------------|-----------------------------------------------| | Rapidité | médiane, percentiles, respect du délai | clôtures prématurées pour améliorer la note | | Résolution | taux au 1er contact, réouverture, transfert | définition variable de "résolu" | | Expérience | satisfaction, réclamations, effort | biais de non-réponse | | Qualité réelle | audit d’échantillon, conformité, erreurs | échantillon trop petit ou non aléatoire | | Charge | volume par agent, complexité | mix non comparable | | Résultat durable | récidive, nouvelle demande | délai d’observation trop court |

La norme ISO 10004 propose un cadre pour la mesure de la satisfaction, mais souligne la dépendance à la population interrogée et à la méthode d’enquête (ISO 10004). La satisfaction ne doit donc jamais être l’unique critère.

Repérer les illusions d’amélioration

Une hausse soudaine d’un indicateur peut provenir :

  • d’un changement de définition, de périmètre ou d’outil ;
  • d’une baisse du taux de réponse ou du volume mesuré ;
  • de l’exclusion des cas complexes ;
  • d’une dégradation simultanée d’autres indicateurs (hausse des réouvertures ou des réclamations, dégradation de la qualité audité…).

Dans ces cas, il faut présenter l’évolution comme une rupture à investiguer, non comme une progression prouvée. Un exemple illustratif : si un site améliore son délai moyen après avoir exclu les dossiers complexes, il faut recalculer le délai sur une structure de cas commune et vérifier en parallèle la stabilité des taux de réouverture, de réclamation et le résultat d’un audit d’échantillon.

Livrer un arbitrage traçable

Pour chaque comparaison, il est conseillé de produire une fiche synthétique :

  • question à trancher ;
  • indicateurs utilisés et leur définition ;
  • populations et périodes couvertes ;
  • biais identifiés et corrections appliquées ;
  • segmentation et pondération ;
  • résultats par segment ;
  • convergence ou divergence des mesures ;
  • test de sensibilité ;
  • limites restantes ;
  • décision autorisée (comparer, comparer avec réserve, ne pas comparer).

Cette démarche permet de fiabiliser les arbitrages et d’éviter les décisions prises sur des illusions de progrès, tout en rendant le processus transparent pour chaque équipe concernée.

Pour aller plus loin sur la fiabilisation des indicateurs et la construction de comparaisons robustes, vous pouvez consulter le guide méthodologique de l’OCDE, qui détaille les étapes et précautions à prendre lors de la conception et l’utilisation d’indicateurs composites (Handbook OCDE).

---

Première action : Faites l’inventaire de vos indicateurs existants : pour chacun, vérifiez la définition, l’unité de mesure, la population couverte et l’outil utilisé. Identifiez les différences majeures entre équipes avant toute comparaison ou prise de décision.

Pour comprendre comment un audit ciblé peut vous aider à fiabiliser vos arbitrages et structurer vos comparaisons, vous pouvez en savoir plus sur la démarche proposée ici : Diagnostic Système – David Demonchy.

Vous reconnaissez une fuite dans votre activité ?

Je peux vous aider à comprendre ce qui bloque, à mesurer l’enjeu et à décider quoi corriger en premier.

Parler de votre situation

Restez informé

Recevez les dernières analyses pour mieux comprendre vos outils, vos données et les dépendances de votre activité. Pas de spam, désabonnement en un clic.

S'abonner gratuitement