Passer au contenu principal
pdf?stylesheet=default
Blackboard Help

Analyse d'élément

Une analyse d'élément fournit des statistiques sur la performance générale d'un examen et sur des questions en particulier. Ces données vous aident à déterminer les questions qui peuvent mal refléter les aptitudes des étudiants. Vous pouvez utiliser ces informations pour améliorer les questions des examens futurs ou pour ajuster les points octroyés sur les tentatives en cours.

Les fonctions disposant de privilèges de notation (comme les professeurs, les évaluateurs et les assistants) peuvent accéder à l'analyse d'élément en trois emplacements dans le workflow d'examen. Cette option est disponible dans le menu contextuel relatif à :

  • Un examen déployé dans un onglet de contenu.
  • Un examen déployé répertorié sur la page Examens.
  • Une colonne du centre de notes.

Vous pouvez exécuter des analyses d'élément sur des examens déployés avec des tentatives soumises, mais pas sur des examens non notés. Accédez aux analyses d'éléments déjà exécutées sous l'en-tête Analyse disponible ou sélectionnez un examen déployé à partir de la liste déroulante, puis cliquez sur Exécuter pour générer un nouveau rapport. Le lien du nouveau rapport s'affiche sous l'en-tête Analyse disponible ou dans la confirmation de statut en haut de la page.

Pour obtenir de meilleurs résultats, exécutez les analyses d'éléments sur des examens à tentative unique après avoir soumis toutes les tentatives et que les questions notées manuellement ont un résultat. Interprétez les données d'analyse d'élément attentivement, en gardant à l'esprit que les statistiques sont influencées par le nombre de tentatives d'examen, du type d'étudiants passant l'examen et des erreurs hasardeuses.

Comment exécuter une analyse d'élément dans un examen ?

Vous pouvez exécuter des analyses d'éléments sur les examens comprenant des tentatives uniques ou multiples, des ensembles de questions, des blocs aléatoires, des types de questions notées automatiquement ou manuellement. Pour les examens à notation manuelle qui n'ont pas encore reçu de notes, les statistiques ne sont générées que pour les questions notées. Après avoir noté manuellement les questions, relancez l'analyse d'élément. Les statistiques pour les questions notées manuellement sont générées et les statistiques de synthèse de l'examen sont mises à jour.

  1. Pour accéder à l'analyse d'élément, rendez-vous dans un des emplacements suivants :
    • Un examen déployé dans un onglet de contenu.
    • Un examen déployé répertorié sur la page Examens.
    • Une colonne Centre de notes pour un examen.
  2. Accédez au menu contextuel de l'examen.
  3. Sélectionnez Analyse d'élément.
  4. Dans la liste déroulante Sélectionner un examen, choisissez un examen. Seuls les examens déployés sont répertoriés.
  5. Cliquez sur Exécuter.
  6. Pour voir l'analyse de l'élément, cliquez sur le lien du nouveau rapport sous l'en-tête Analyse disponible ou cliquez sur Afficher l'analyse dans la confirmation de statut en haut de la page.

À propos du Résumé de l'examen sur la page d'analyse d'élément

Le résumé de l'examen se situe en haut de la page Analyse d'élément et fournit des données sur l'examen dans sa globalité.

  1. L'option Modifier l'examen permet d'accéder au canevas de l'examen.
  2. Le résumé de l'examen fournit des statistiques sur l'examen, et notamment :
    • Les points possibles : nombre total de points pour l'examen.
    • Les questions possibles : nombre total de questions de l'examen.
    • Les tentatives en cours : nombre d'étudiants qui passent actuellement l'examen et qui ne l'ont pas encore soumis.
    • Les tentatives achevées : nombre d'examens soumis.
    • La moyenne des résultats : les résultats signalés par le signe * indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat qui s'affiche ici est le résultat moyen pour l'examen consigné dans le centre de notes.
    • La durée moyenne : temps moyen pour toutes les tentatives soumises.
    • La différenciation : cette zone indique le nombre de questions appartenant aux catégories Bon (plus de 0,3), Juste (entre 0,1 et 0,3) et Mauvais (moins de 0,1). Il est impossible de calculer un résultat de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants ont eu la même note à une question. Les valeurs des réponses aux questions avec différenciation dans les catégories Bon et Juste permettent de mieux différencier les étudiants avec un niveau de connaissances supérieur ou inférieur. Il est recommandé de revoir les questions qui entrent dans la catégorie Mauvais.
    • La difficulté : cette zone indique le nombre de questions relevant des catégories Facile (plus de 80 %), Moyen (entre 30 % et 80 %) et Difficile (moins de 30 %). La difficulté correspond au pourcentage d'étudiants ayant répondu correctement à la question. Il est recommandé de revoir les questions classées en catégories Facile et Difficile qui sont indiquées par un cercle rouge.

      seules les tentatives notées sont utilisées dans les calculs d'analyse d'élément. Dans le cas des tentatives en cours, ces tentatives sont ignorées jusqu'à leur soumission et la nouvelle génération de votre rapport d'analyse d'élément.

À propos du tableau des statistiques de question sur la page d'analyse d'élément

Le tableau des statistiques de question fournit les statistiques pour chaque question de l'examen : Les questions à revoir sont indiquées par des cercles rouges pour que vous puissiez rapidement visualiser celles qui nécessitent votre attention.

En général, les bonnes questions ont :

  • la difficulté Moyenne (30 % à 80%).
  • les valeurs de différenciation Bon ou Juste (plus de 0,1).

Les questions pour lesquelles une vérification est recommandée, sont indiquées par un cercle rouge. Elles peuvent être de mauvaise qualité ou avoir un mauvais résultat. En général, les questions pour lesquelles une vérification est recommandée ont :

  • la difficulté Facile ( > 80 %) ou Difficile ( < 30 %).
  • la valeur de différenciation Mauvais ( < 0,1).
  1. Vous pouvez filtrer le tableau des questions en fonction de leur type, catégorie de différenciation et catégorie de difficulté.
  2. Pour vous pencher sur une question en particulier, cliquez sur son titre et vérifiez sa page Détails de la question.
  3. Les statistiques pour chaque question sont affichées dans le tableau, et notamment :
    • La différenciation : indique comment une question permet de différencier les étudiants qui maîtrisent une matière et ceux qui ne la maîtrisent pas. Une question est un bon mode d'évaluation car lorsque les étudiants répondent parfaitement à une question, cela contribue également à la réussite de l'examen. Les valeurs peuvent aller de -1,0 à +1,0. Les questions sont marquées pour être vérifiées lorsque la valeur de différenciation est inférieure à 0,1 ou négative. Il n'est pas possible de calculer les valeurs de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants obtiennent le même résultat à une question.

      Ces valeurs sont calculées en utilisant le coefficient de corrélation Pearson. X représente les notes de chaque étudiant pour une question et Y la note de chaque étudiant pour l'examen.

      Les variables suivantes sont respectivement la note étalonnée, la moyenne de l'échantillon et l'écart type :

    • La difficulté : pourcentage d'étudiants ayant répondu correctement à la question. Les valeurs de difficulté sont comprises entre 0 % et 100 % ; un pourcentage élevé indiquant que la question était jugée facile. Les questions qui relèvent de la catégorie Facile (plus de 80 %) ou Difficile (moins de 30 %) doivent être vérifiées.

      Les niveaux de difficulté légèrement supérieurs à la moyennne et les scores parfaits permettent de mieux différencier les étudiants qui connaissent le sujet examiné ou non. Il convient de bien noter que les valeurs de grande difficulté n'engendrent pas forcément une grande différenciation.

    • Les tentatives notées : nombre de tentatives à une question déjà notées. Les nombres élevés d'une tentative notée produisent des statistiques calculées plus fiables.
    • La moyenne des résultats : les résultats signalés par le signe * indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat qui s'affiche ici est le résultat moyen pour l'examen consigné dans le centre de notes.
    • Écart-type : mesure des différences de notes par rapport à la moyenne. Si les notes sont très regroupées avec des valeurs très rapprochées de la moyenne, l'écart type est faible. Si les notes sont très disparates avec des valeurs très éloignées de la moyenne, l'écart type est plus grand.
    • Erreur standard : estimation du taux de variabilité des résultats d'un étudiant que l'on attribue à la chance. Plus la valeur de mesure de l'erreur standard est petite, plus la mesure de la question d'examen est précise.

Comment afficher les détails d'une question spécifique ?

Vous pouvez vous pencher sur une question qui a été marquée à revoir en y accédant par sa page Détails de la question. Cette page affiche les performances des étudiants pour une question d'examen en particulier sélectionnée.

  1. Sur la page Analyse d'élément, descendez jusqu'au tableau des statistiques de question.
  2. Sélectionnez un titre de question liée à afficher sur la page Détails de la question.
  1. Utilisez les flèches pour passer d'une question à l'autre ou pour passer directement de la première à la dernière.
  2. Cliquez sur Modifier l'examen pour accéder à la page Canevas de l'examen.
  3. Le tableau de synthèse affiche les statistiques pour chaque question, et notamment :
    • La différenciation : indique comment une question permet de différencier les étudiants qui maîtrisent une matière et ceux qui ne la maîtrisent pas. Le résultat de différenciation s'affiche en regard de sa catégorie : Mauvais (moins de 0,1), Juste (entre 0,1 et 0,3) et Bon (plus de 0,3). Une question est un bon mode d'évaluation car lorsque les étudiants répondent parfaitement à une question, cela contribue également à la réussite de l'examen. Les valeurs peuvent aller de -1,0 à +1,0. Les questions sont marquées pour être vérifiées lorsque la valeur de différenciation est inférieure à 0,1 ou négative. Il n'est pas possible de calculer les valeurs de différenciation lorsque la difficulté de la question est de 100 % ou que tous les étudiants obtiennent le même résultat à une question.

      Ces valeurs sont calculées en utilisant le coefficient de corrélation Pearson. X représente les notes de chaque étudiant pour une question et Y la note de chaque étudiant pour l'examen.

      Les variables suivantes sont respectivement la note étalonnée, la moyenne de l'échantillon et l'écart type :

    • La difficulté : pourcentage d'étudiants ayant répondu correctement à la question. Le pourcentage de difficulté s'affiche en regard de sa catégorie : Facile (plus de 80 %), Moyenne (entre 30 % et 80 %) et Difficile (moins de 30 %). Les valeurs de difficulté sont comprises entre 0 % et 100 % ; un pourcentage élevé indiquant que la question était jugée facile. Les questions des catégories Facile ou Difficile sont marquées pour être vérifiées.

      Les niveaux de difficulté légèrement supérieurs à la moyennne et les scores parfaits permettent de mieux différencier les étudiants qui connaissent le sujet examiné ou non. Il convient de bien noter que les valeurs de grande difficulté n'engendrent pas forcément une grande différenciation.

    • Les tentatives notées : nombre de tentatives à une question déjà notées. Les nombres élevés d'une tentative notée produisent des statistiques calculées plus fiables.
    • La moyenne des résultats : les résultats signalés par le signe * indiquent que certaines tentatives ne sont pas notées et que la moyenne des résultats peut changer une fois toutes les tentatives notées. Le résultat qui s'affiche ici est le résultat moyen pour l'examen consigné dans le centre de notes.
    • L'écart-type : mesure des différences de notes par rapport à la moyenne. Si les notes sont très regroupées avec des valeurs très rapprochées de la moyenne, l'écart type est faible. Si les notes sont très disparates avec des valeurs très éloignées de la moyenne, l'écart type est plus grand.
    • L'erreur standard : estimation du taux de variabilité des résultats d'un étudiant que l'on attribue à la chance. Plus la valeur de mesure de l'erreur standard est petite, plus la mesure de la question d'examen est précise.
    • Ignorée : nombre d'étudiants ayant ignoré cette question.
  4. L'énoncé de la question et le choix de réponses s'affichent. Les informations varient en fonction du type de question :
Informations sur l'analyse d'élément fournies pour les types de questions
Type d'information fourni Types de question
Nombre d'étudiants ayant sélectionné chaque réponse.

ET

répartition des réponses parmi les quartiles de la classe.

Question à choix multiples

Question à réponses multiples

Vrai/Faux

Ou/Ou

Échelle d'opinion/Likert

Nombre d'étudiants ayant sélectionné chaque réponse. Test d'appariement

Ordonnancement

Textes multiples à compléter

Nombre d'étudiants ayant donné la bonne réponse, une réponse incorrecte ou aucune réponse. Formule calculée

Valeur numérique calculée

Texte à compléter

Point actif

Jeu-questionnaire

Énoncé de la question. Dissertation

Fichier de réponse

Réponse courte

Phrase confuse (comprend également les réponses choisies par les étudiants)

Répartition des réponses

La répartition des réponses entre les quartiles de classe concerne les questions à choix multiples, les questions à réponses multiples, les questions de type Vrai/faux, les questions de type Ou/Ou et les questions d'opinion (Échelle d'opinion/Likert). Ainsi, vous avez la possibilité d'identifier les types d'étudiants ayant sélectionné les réponses correctes et incorrectes.

  • Quart supérieur (25 %) : nombre d'étudiants ayant des résultats d'examen complet et figurant dans le quart supérieur de la classe à avoir sélectionné l'option de réponse.
  • Second quart (25 %) : nombre d'étudiants ayant des résultats d'examen complet et figurant dans le second quart de la classe à avoir sélectionné l'option de réponse.
  • Troisième quart (25 %) : nombre d'étudiants ayant des résultats d'examen complet et figurant dans le troisième quart de la classe à avoir sélectionné l'option de réponse.
  • Quart inférieur (25 %) : nombre d'étudiants ayant des résultats d'examen complet et figurant dans le quart inférieur de la classe à avoir sélectionné l'option de réponse.

Légende des symboles

Des symboles apparaissent en regard des questions pour vous alerter de problèmes éventuels :

  • Vérification recommandée : cette condition est déclenchée lorsque les valeurs de différenciation sont inférieures à 0,1 ou lorsque les valeurs de difficulté sont supérieures à 80 % (la question était trop facile) ou inférieures à 30 % (la question était trop difficile). Vérifiez la question pour déterminer si elle nécessite d'être modifiée.
  • La question peut avoir changé après le déploiement : indique qu'une partie de la question a changé depuis que l'examen a été déployé. Le fait de modifier une partie de la question après le déploiement de l'examen, indique que les données de cette question ne sont peut-être pas fiables. Les tentatives soumises après modification de la question peuvent avoir tiré parti du changement. L'indicateur vous aide à en tenir compte pour interpréter ces données.

    l'indicateur ne s'affiche pas pour les cours restaurés.

  • Toutes les tentatives ne sont pas notées : s'affiche dans le cas d'un examen contenant des questions nécessitant une notation manuelle, comme des questions de dissertation. Pour un examen contenant une question de dissertation avec 50 tentatives d'étudiant, cet indicateur s'affiche jusqu'à ce que le professeur note les 50 tentatives. L'outil Analyse d'élément utilise uniquement les tentatives ayant été notées au moment où le rapport est exécuté.
  • (QS) et (RB) : indique qu'une question est extraite d'un ensemble de questions ou d'un bloc aléatoire. En raison de l'ordre aléatoire de la mise à disposition des questions, il est possible que certaines questions fassent l'objet de plus de tentatives que d'autres.

À propos de l'analyse d'élément, des tentatives multiples et des remplacements et modifications de question

L'outil d'analyse d'élément prend en compte les tentatives multiples, les remplacements et d'autres scénarios courants de la manière suivante :

  • Lorsque les étudiants sont autorisés à passer un examen plusieurs fois, c'est la dernière tentative reçue qui est prise en compte pour l'analyse d'élément. Par exemple, pour un examen qui autorise trois tentatives, l'étudiant A a terminé deux tentatives et est en train d'en effectuer une troisième. La tentative en cours de cet étudiant compte dans la liste Tentative en cours et aucune de ses tentatives préalables n'est prise en compte dans les données de l'analyse d'élément actuelle. Dès que l'étudiant A soumet sa troisième tentative, les analyses d'élément suivantes la prennent en compte.
  • Les remplacements effectués dans le centre de notes n'ont pas de répercussion sur les données d'analyse d'élément car l'outil génère des données statistiques sur des questions en fonction des tentatives terminées par les étudiants.
  • Les questions notées manuellement ou les changements apportés à l'énoncé des questions, le bon choix de réponse, les points partiels ou les points ne se mettent pas à jour automatiquement dans le rapport d'analyse d'élément. Relancez l'analyse pour voir si les modifications ont eu des répercussions sur les données de l'analyse d'élément.

Exemples

L'analyse d'élément peut vous aider à améliorer les questions pour les prochains examens ou à corriger les questions trompeuses ou ambiguës d'un examen en cours. Voici quelques exemples :

  • Vous vous penchez sur une question à choix multiple qui a été marquée à revoir dans la page Détails de la question. Plus de 25 % des étudiants ont choisi la réponse B alors que A était la bonne réponse. Vous vous rendez compte que la bonne réponse a été mal saisie lors de la création de la question. Vous modifiez la question de l'examen et elle est automatiquement renotée.
  • Dans une question à choix multiple, vous vous rendez compte qu'un nombre équivalent d'étudiants ont choisi A, B et C. Vérifiez les choix de réponse pour savoir s'ils étaient trop ambigus, si la question était trop difficile ou si le sujet n'avait pas été traité en cours.
  • Il vous est recommandé de revoir une question car elle est classée dans la catégorie Très difficile. Vous évaluez la question et vous vous rendez compte qu'elle est difficile, mais vous la conservez dans l'examen car vous devez tester vos objectifs de cours de façon adéquate.