Pourquoi les classements – y compris ceux des universités – sont des erreurs

Bien que les classements (en particulier ceux des universités) aient une valeur non nulle, ils ont une valeur bien inférieure à celle que nous, en tant que société, semblons leur attribuer.nous avons compilé iciIl s’agit d’un ensemble de données (basées sur des critères arbitraires) auxquelles on a attribué un poids (basé sur des valeurs arbitraires). Au mieux, c’est subjectif, et au pire, c’est fondamentalement erroné. En fin de compte, je suis convaincu que tout classement généré par des humains se rapproche beaucoup plus de l’extrémité « fondamentalement erronée » du spectre. Il y a des raisons à cela qui existent à la fois à l’échelle universelle et à une échelle plus granulaire qui est spécifique à notre projet.

Ce post fait partie deSemaine de l'éducation.

En commençant par le macro, la plupart des classements sont limités simplement parce qu'ils imposent un ordre sur des choses qui, par nature, n'ont pas d'ordre. Les déclarations générales sont rarement correctes dans toutes les circonstances ; nous vivons dans un monde de cas limites. L'exemple courant utilisé dans les discussions sur les raisons pour lesquelles les classements universitaires en général devraient être abolis (une position qui peut avoir du mérite) est que l'école n°1 (par exemple, Oxford, dans leClassement 2022 du Times Higher Education) ne devrait pas être le ONE choix de tout le monde. Les circonstances individuelles, les objectifs futurs, les types de personnalité, ETC créent tous un paysage complexe dans lequel Oxford n'est pas un choix universellement bon (ni même médiocre). Le fait d'être classé numéro 1 signifie en réalité que quelqu'un pense qu'Oxford a peut-être (mais pas certainement) plus de choses qu'il apprécie personnellement que la plupart des autres écoles. C'est un point de données intéressant que beaucoup de gens intériorisent comme une vérité absolue.

Pour prendre un exemple plus viscéral, il serait assez facile pour quelqu’un de créer un classement des aliments (ou, au contraire, « d’insérer ici votre élément hautement subjectif préféré »). Si j’étais ONE qui le créait, mes propres préjugés et pensées guideraient ces classements à un degré que j’espère que les gens trouveraient inacceptable. Je rassemblerais des données objectives sur des éléments tels que la probabilité d’une réaction allergique, le coût, la facilité de disponibilité commerciale, l’impact environnemental, etc. Je pourrais quantifier ces points de données dans une jolie petite feuille de calcul, exécuter une normalisation similaire et générer un classement « objectif » des meilleurs aliments. Personne, à quelques exceptions près, ne devrait changer ses préférences alimentaires en fonction de cette liste. Les données sous-jacentes peuvent être utiles (peut-être que si tout ce qui vous intéresse est l’impact environnemental, vous pourriez changer votre alimentation en fonction de cet ensemble de données restreint), mais il est très peu probable que vos valeurs spécifiques sur chaque dimension des données se reflètent dans la méthodologie. Les gens reconnaissent intuitivement la futilité de classer quelque chose d’aussi subjectif que la nourriture. Ce que nous ne parvenons pas à reconnaître, c’est que les classements scolaires ne sont pas différents.

Les mêmes préférences subjectives qui sous-tendent les réflexions sur le classement des aliments devraient être appliquées aux universités : de la même manière que certains êtres humains accordent plus ou moins d’importance au goût, à la santé ou aux allergies dans un contexte alimentaire, différentes personnes accordent plus ou moins d’importance à des choses différentes dans une expérience universitaire. En fait, j’irais jusqu’à dire, avec un degré de confiance élevé, que les classements les meilleurs et les plus utiles ne sont T vraiment des classements. Au lieu de cela, il ne s’agirait guère plus que d’une interface vers les données, permettant à chaque personne d’ajuster la méthodologie en fonction de ses propres besoins individuels. Malheureusement, non seulement cela ne produit aucun ordre, mais ce n’est pas non plus particulièrement accrocheur ou digne d’intérêt.

À une micro-échelle, nos classements sont également imparfaits à leur manière. Nous souffrons de tous les problèmes énoncés ci-dessus (à l'exception notable du fait que nous savons ici exactement quels sont les préjugés qui se glissent dans la méthodologie et qui est à blâmer, et cette personne, c'est moi, en tant que créateur et consultant pour le CoinDesk Best Universities for Blockchain classements depuis 2020), ainsi que quelques nouveaux qui sont des artefacts malheureux de notre taille et de notre portée limitées. Bien qu'il soit toujours un BIT humiliant (à la limite de l'humiliation) de réfléchir aux manières dont sa propre étude/analyse a échoué, il est plus important que tout lecteur KEEP cela à l'esprit lors de la lecture des classements. Si rien d'autre, j'espère que cela fera comprendre un certain scepticisme à l'égard des classements comme étant autre chose qu'un guide approximatif de ce que font les écoles, quelque chose de proche de ce que je pense personnellement qu'elles devraient faire pour promouvoir l'éducation à la blockchain.

Semaine de l'éducation de CoinDesk :Les meilleures universités pour la blockchain 2022

Sans pour autant diminuer les autres lacunes de notre recherche, il y adeux métriquesLes données qui suscitent des inquiétudes particulières en raison des difficultés de collecte de données, et je les souligne pour souligner les types de défis qui imprègnent les recherches de cette nature. Le premier est celui des données sur l’emploi. À mon avis, cela représente le plus grand delta entre l’importance relative des données (ici, les résultats favorables des étudiants) et la facilité de collecte de ces données (pour de nombreuses raisons, notamment le manque de suivi des résultats des étudiants avec la granularité requise). À l’heure actuelle, nous nous appuyons sur une combinaison de sensibilisation des écoles, qui reçoit un taux de réponse d’environ zéro, et de collecte manuelle des données. Le meilleur moyen (et le principal moyen) que nous ayons trouvé pour obtenir un proxy raisonnable de ces données est d’examiner les grandes entreprises internationales sur LinkedIn et de voir où leurs employés ont fait leurs études. Que vous soyez préoccupé par le biais occidental de LinkedIn, la nature subjective du choix des entreprises à gratter, l’échantillon biaisé trouvé sur LinkedIn ou quelque chose d’autre… vous avez absolument raison. Nous avons progressivement réduit l’importance de cette mesure au fil des ans pour lutter contre la surreprésentation de données biaisées et avons trouvé des proxys de plus en plus utiles pour ces données, ce qui nous permet de moins dépendre de LinkedIn. Néanmoins, cela devrait donner à réfléchir à un lecteur rationnel.

Le deuxième indicateur qui nous préoccupe est l'ensemble de notre section qualitative (un autre indicateur qui a perdu de son importance dans notre méthodologie chaque année). Dans une certaine mesure, c'est ONE qui me dérange le plus, car nous pourrions raisonnablement recueillir des données solides. Le problème est un manque de créativité dans la résolution des problèmes de ma part. une enquête très publique Chaque année, je tente de recueillir une vision solide de la façon dont le public (étudiants, universitaires, acteurs de l'industrie, ETC) perçoit les différentes universités et de se faire une idée des universités qui sont perçues comme ayant le plus d'impact. Toutes les inquiétudes attendues sont tout à fait valables (CoinDesk est biaisé en faveur des États-Unis, ETC), mais le plus gros problème, de loin, est que je n'arrive T à comprendre comment inciter correctement à des réponses précises.

Chaque année, nous faisons la même Request aux participants à l'enquête : dites-nous quelles écoles, selon vous, font le meilleur travail dans le domaine de la blockchain. Et chaque année, les résultats indiquent que tout le monde partage simplement les écoles qui, si elles étaient bien classées, bénéficieraient le plus au répondant individuel. Bien sûr, je fais un BIT de commentaires, mais l'écrasante majorité des réponses que nous recevons Réseaux sociaux le modèle hautement prévisible des réponses d'une seule école, regroupées par école, dans les 0 à 5 heures suivant le tweet d'une école sur notre enquête. Il y a une certaine logique dans l'idée que les étudiants/professeurs/anciens élèves pensent que leur école fait un excellent travail (c'est peut-être pour cela qu'ils ont choisi cette institution), mais le nombre choquant de réponses que nous recevons suivant ce modèle, suggérant même parfois qu'une école qui n'a aucune activité blockchain discernable est la meilleure école dans l'espace, implique pour moi que nous n'incitons peut-être pas la bonne chose. À l'avenir, j'espère expérimenter d'autres mécanismes (Concours de beauté keynésiens, ETC), mais pour l'instant, je considère que ces données sont très biaisées. Ce que nous avons encouragé jusqu'à présent semble être un concours de popularité, et non une analyse objective.

Cela dit, ces problèmes empoisonnent les classements de toutes sortes. Je ne partage T ces faits pour diminuer la valeur de nos classements, car je continue de croire que, correctement contextualisés, certains classements et les données sous-jacentes ont au moins une certaine valeur. Cependant, s'ils ne sont pas correctement contextualisés, ils sont nuls. En fin de compte, la chose la plus utile que nous puissions faire est peut-être de rester engagés à être ouverts et transparents avec notre méthodologie, nos données, nos processus et, plus important encore, nos échecs. Nos classements ne sont pas parfaits ; tout ce que nous pouvons faire, c'est de les améliorer année après année et d'inciter les gens à appliquer une quantité raisonnable de contexte lors de l'évaluation de la liste. N'hésitez pas à nous contacter si vous souhaitez parler de ces classements, de la manière dont ils peuvent être améliorés ou des raisons pour lesquelles ils devraient être supprimés.