La précision des indicateurs scolaires dépend de la fiabilité de la mesure employée ainsi que de la taille et du caractère représentatif de l’échantillon d’élèves qui font le test ou remplissent le sondage.
On entend par fiabilité le degré de régularité du processus de mesure. Par exemple, si on mène un sondage pour mesurer l'anxiété des élèves, les résultats seraient-ils les mêmes quel que soit le moment de la journée ou le jour de la semaine? Les instruments gagnent généralement en fiabilité lorsqu’ils comportent un grand nombre de questions ou d’observations et lorsqu’il existe des méthodes prescrites de collecte des données, de codification des résultats et d’attribution des pointages. La fiabilité est généralement évaluée selon un indice de 0 à 1,0, où 1,0 correspond à une fiabilité parfaite. L’indice de fiabilité de la plupart des mesures employées dans le sondage NotreÉCOLE varie entre 0,80 et 0,95, ce qui est propice à l’élaboration de politiques et de pratiques dans les écoles.
L’exactitude des indicateurs scolaires dépend aussi de la taille de l’échantillon. La plupart des mesures employées dans le sondage sont raisonnablement précises lorsque 30 élèves ont répondu aux questions. Les résultats obtenus sont légèrement plus précis si l’échantillon est plus vaste (100 élèves par exemple). L’erreur d’échantillonnage est fonction de 1/n²; c'est donc dire que plus l’échantillon est grand, moins l’erreur est importante. Il en va de même pour la ventilation des données – les résultats estimés sont raisonnablement précis pour la plupart des mesures si on prend les réponses d’au moins 30 élèves. Dans le sondage, le nombre minimum d’élèves requis pour afficher un résultat est fixé à 5. Ainsi, les résultats de ventilation des données de petits groupes sont moins précis.
Les résultats peuvent aussi être imprécis lorsque l’échantillon d’élèves qui répondent au sondage n’est pas représentatif de la population de l’école. C’est ce qu'on appelle un biais. Par exemple, si les élèves qui étaient absents le jour du sondage ont tendance à provenir d’un milieu socio-économique défavorisé, l'échantillon ne sera pas représentatif de la population complète de l'école, ce qui risque de fausser les résultats. Les écoles qui choisissent des classes comme échantillons se fient au caractère représentatif de ces classes mais, si ces écoles pratiquent le groupement par aptitudes, les résultats pour un mois donné pourraient s’en voir faussés.
Comme ces facteurs contribuent à la précision des résultats, les écoles devraient chercher à réduire le biais autant que possible en présentant le sondage aux élèves qui étaient absents le jour du sondage. Un échantillon de 100 élèves ou plus assurera une plus grande précision, mais un échantillon de 30 élèves donnera tout de même des résultats suffisamment justes pour la plupart des utilisations. Cela dit, les résultats provenant de petits groupes doivent être interprétés avec prudence, particulièrement lors de la ventilation des données.