Validation

Le questionnaire 4UP a pour objectif de construire des chemins d’apprentissage. Il est centré sur les actions de management qu' une personne effectue au travail.

Pour obtenir ce résultat, 4UP mesure la performance des actions de management. C’est cette mesure qui fait l’objet de validations.

Il est essentiel de noter que 4UP est un questionnaire « en contexte »:
les réponses des personnes évoluent en fonction du contexte de travail (la culture de l’organisation, la possibilité de prendre des actions…).

Etant donné cette caractéristique, certaines validations, adaptées à des outils qui donnent des résultats permanents, ne sont pas possibles. Néanmoins, des calculs de corrélations entre plusieurs évaluations dans différents contextes restent possibles.

Second point important, indépendamment du contexte extérieur, la situation mentale, émotionnelle, physique de la personne qui s’auto-évalue ou qui évalue une autre personne a une influence sur ses réponses.

Le questionnaire 4UP est basé sur des concepts scientifiques robustes et éprouvés.

La démarche de conception de 4UP et les évaluations périodiques de son fonctionnement garantissent l’efficacité et l’utilité des résultats.

De plus la conception du questionnaire et la réalisation du prototype ont été réalisé en coopération avec des universités en Belgique et à l’étranger.
 

Démarche de conception

1. les compétences ressources

Les compétences de management utilisées par 4UP sont définies sur base du concept de compétence tiré des travaux mondialement reconnus de Guy Leboterf.
http://www.guyleboterf-conseil.com

Les compétences utilisées dans 4UP ont été sélectionnées parmi un ensemble de ressources reconnues comme:

 

  • Les modèles de compétences réputés: PDI, Lominger, DDI, Modèle du Selor (Belgique), modèle SFIA, modèle de Quinn…
  • Les théories de management reconnues et les études sur les compétences de management: Etude Gallup, Etude de Bartam & SHL group, travaux de H. Mintzberg
  • Des modèles psychométriques reconnus: MBTI ; HBDI
  • Des inventaires de praticiens expérimentés
  • Des modèles spécifiques à un métier: SFIA, Ordre des ingénieurs du Quebec,…
  • De la littérature scientifique: Travaux de JP Kotter, travaux de P. Senge…

 

Remettre en question les compétences de 4UP consisterait à remettre en question des dizaines d’outils existants. Les compétences de 4UP sont évolutives :

 

  • Le vocabulaire utilisé pour décrire les compétences évolue
  • Des compétences peuvent être ajoutées
  • Des compétences peuvent être retirées

 

2. Le questionnaire

 

 

Le questionnaire 4UP a été conçu sur base d’une démarche scientifique structurée et recommandée pour tout questionnaire de mesure:

 

  • Le but de l’outil a été définit de manière précise préalablement
  • Les concepts sous-jacents et les concepts scientifiques liés à la mesure des compétences ont été choisis
  • La rédaction des items a été effectuée en suivant les principes de non ambigüité, d’unidimensionnalité, d’économie et d’exactitude
  • La gestion des réponses, en autoévaluation ou évaluation 360°, utilise une échelle de Likert de type positionnement
  • La méthode de questionnement se réfère à la méthode « Computarized Adaptative Rating Scale ».
  • Etant donné que 4UP est utilisé sur le web, il respecte l’ International Guidelines on Computer-Based and internet Delivered Testing de l’International Test Commission.
  • La détection des surévaluations et des tricheries repose sur plusieurs principes
    • a. Les compétences évaluées sont évaluées au travers de plusieurs questions: Au moins deux questions, des questions posées différemment, des questions sur des situations,des questions de mesure sur objet, des questions négatives/Contraires.
    • b. Les débordements de zone de fonction sont détectés.
    • c. La surévaluation est détectée par domaine de management et signifiée à l’utilisateur
  • La conception du test a été suivie d’une phase de pré-expérimentation (Utilisation manuelle, utilisation semi-automatique, 100 % automatique)
  • La conception du test a été suivie d’une phase d’expérimentation
  • Des validations statistiques ont été réalisées comme par exemple l’Indice de difficulté, la fréquence des réponses en fonction de la médiane des scores, la distribution des niveaux de compétences

 

Etude périodique de validité

 

 

4UP est ajusté périodiquement afin de garantir son efficacité et son utilité. Ces études répétées nous ont amené à la version 3.1 du questionnaire actuel.
Périodiquement, sur base d’un échantillon représentatif de questionnaires, les éléments suivants sont validés:

 

 

  • L’objectivité c'est-à-dire l’indépendance de la personne qui passe le test
  • La fidélité
    • La consistance interne. Elle consiste à vérifier que les questions posée sur un élément à mesurer sont homogènes et mesurent bien le même élément. On notera par ailleurs que des règles de rédaction et de liaisons des questions garantissent, a priori, cette homogénéité.
    • La fidélité test-retest. Elle consiste à vérifier que les résultats d’un questionnaire et la réexécution du même questionnaire donne des résultats équivaleants. Ce type de vérification n’est pas complètement utilisable dans le cas de 4UP car c’est un outil contextuel.
  • La validité. C’est l’exactitude, l’utilité des résultats du test, des résultats d’un questionnaire. Le test est-il bon ?
    • Validité convergente (validation externe) C’est le fait de valider en comparant les résultats à un autre test, à un bon évaluateur, à une procédure d’évaluation.
    • Validation du contenu (validation externe). Les questions sont- elles en relation avec ce qu’elles mesurent ?
    • Validité de construit. Le questionnaire mesure- t- il bien les construits qu’il est sensé mesurer, dans notre cas la performance de management.
      • Validité de façade. La validation des construits a été validée par des experts des compétences.
      • Validité convergente. Les items sont comparées à d’autres items d’autres tests.
      • Validité divergente. Non réalisée. Nous n’avons pas trouvé de test mesurant si un manager n’est pas performant.
  • Validité discriminante. Une personne qui n’est pas un bon manager ne doit pas avoir un bon résultat.
  • Validité nomologique ou validité de critère. Dans le cas de 4UP, c’est une validité de type prédictive qui est utilisée (par opposition à une validité concourante ou concomitante, réalisée pendant le questionnaire). C’est prouver que 4UP est OK et parallèle à un autre test qui est lui validé. Ce n’est pas possible.

La gestion des compétences transversales est un bras de levier essentiel pour les progrès de l’individu et de l’entreprise. 4UP© cartographie ces compétences et vous accompagne dans chaque étape des processus RH, sans investissements initiaux dans des profils ou des dictionnaires de compétences.