Perché le classifiche, comprese quelle universitarie, sono una schifezza

Sebbene le classifiche (in particolare quelle universitarie) abbiano un valore diverso da zero, hanno un valore significativamente inferiore a quello che noi, come società, sembriamo attribuire loro. Cosaabbiamo compilato quiè una raccolta di dati (basata su criteri arbitrari) a cui è stato assegnato un peso (basato su valori arbitrari). Nella migliore delle ipotesi è soggettivo, nella peggiore è fondamentalmente imperfetto. In definitiva, sono fermamente convinto che qualsiasi classifica generata dagli esseri umani sia molto più vicina all'estremità "fondamentalmente imperfetta" dello spettro. Ci sono ragioni per questo che esistono sia su scala universale sia su una scala più granulare che è specifica del nostro progetto.

Questo post fa parte diSettimana dell'istruzione.

Iniziando dalla macro, la maggior parte delle classifiche sono limitate semplicemente perché impongono un ordine a cose che, intrinsecamente, non hanno alcun ordine. Le affermazioni generiche sono raramente corrette in tutte le circostanze; viviamo in un mondo di casi limite. L'esempio comune sfruttato nelle discussioni sul perché le classifiche universitarie in generale dovrebbero essere abolite (una posizione che potrebbe avere un merito) è che la scuola n. 1 (ad esempio, Oxford, nelClassifiche Times Higher Education 2022) non dovrebbe essere la scelta numero ONE di tutti. Circostanze individuali, obiettivi futuri, tipi di personalità, ETC. creano tutti un panorama complesso in cui Oxford non è una scelta universalmente buona (o persino mediocre). Ciò che il fatto di essere classificati al n. 1 sta realmente segnalando è che qualcuno là fuori pensa che Oxford abbia probabilmente (ma non certamente) più cose che apprezza personalmente rispetto alla maggior parte delle altre scuole. Questo è un punto di dati interessante che molte persone interiorizzano come verità assoluta.

Per fare un esempio più viscerale, sarebbe piuttosto facile per qualcuno creare una classifica di cibo (o, in alternativa, "inserisci qui la tua cosa preferita altamente soggettiva"). Se fossi ONE a crearla, i miei pregiudizi e pensieri guiderebbero queste classifiche a un livello che spero le persone troverebbero inaccettabile. Raccoglierei dati oggettivi su cose come la probabilità di una reazione allergica, il costo, la facilità di reperibilità commerciale, l'impatto ambientale e così via. Potrei quantificare questi punti dati in un grazioso piccolo foglio di calcolo, eseguire una normalizzazione simile e generare una classifica "oggettiva" del miglior cibo. Nessuno, con poche eccezioni, dovrebbe cambiare le proprie preferenze alimentari in base a questa lista. I dati di base potrebbero essere utili (forse se tutto ciò che ti interessa è l'impatto ambientale, potresti cambiare la tua alimentazione in base a quel ristretto set di dati), ma è altamente improbabile che i tuoi valori specifici lungo ogni dimensione dei dati si riflettano nella metodologia. Le persone riconoscono intuitivamente l'inutilità di classificare qualcosa di soggettivo come il cibo. Ciò che non riusciamo a riconoscere è che le classifiche scolastiche non sono diverse.

Le stesse preferenze soggettive che sostengono i pensieri sulla classificazione degli alimenti dovrebbero essere applicate alle università: proprio come alcuni esseri umani attribuiscono valore al gusto, alla salute o alle allergie in misura variabile in un contesto alimentare, persone diverse attribuiscono valore a cose diverse in un'esperienza universitaria. Infatti, mi spingerei fino a dire, con un alto grado di sicurezza, che le classifiche migliori e più utili T sono affatto classifiche. Invece, sarebbero poco più di un'interfaccia nei dati, che consente a ogni persona di adattare la metodologia in base alle proprie esigenze individuali. Sfortunatamente, non solo questo non produce alcun tipo di ordine, ma non è nemmeno particolarmente appariscente o degno di nota.

Su scala micro, anche le nostre classifiche sono imperfette a modo loro. Soffriamo di tutti i problemi esposti sopra (con la notevole eccezione che qui sappiamo esattamente quali pregiudizi si stanno insinuando nella metodologia e chi incolpare, e quella persona sono io, come ideatore e consulente per le migliori università per blockchain CoinDesk classifiche dal 2020), più alcune novità che sono sfortunati artefatti delle nostre dimensioni e portata limitate. Sebbene sia sempre un BIT' umiliante (al limite dell'umiliante) riflettere sui modi in cui il proprio studio/analisi è stato carente, è più importante che qualsiasi lettore KEEP a mente queste cose quando legge le classifiche. Se non altro, spero che questo susciti un po' di scetticismo sulle classifiche come qualcosa di più di una guida approssimativa a ciò che le scuole stanno facendo, qualcosa di simile a ciò che, personalmente, penso che dovrebbero fare per promuovere l'istruzione blockchain.

Settimana dell'istruzione di CoinDesk:Le migliori università per Blockchain 2022

Senza sminuire le altre carenze della nostra ricerca, ci sonodue metricheche stanno causando particolare preoccupazione a causa delle sfide nella raccolta dati, e le sottolineo per evidenziare i tipi di sfide che pervadono la ricerca di questa natura. La prima sono i dati sull'occupazione. Nella mia mente, questo rappresenta il più grande delta tra l'importanza relativa dei dati (qui, risultati favorevoli degli studenti) e la facilità di raccolta di tali dati (per molte ragioni, non ultima la mancanza di monitoraggio dei risultati degli studenti con la granularità richiesta). Al momento, ci affidiamo a una combinazione di sensibilizzazione scolastica, che riceve circa zero tassi di risposta, e raccolta manuale dei dati. Il modo migliore (e principale) che abbiamo trovato per ottenere un proxy ragionevole per questi dati è quello di guardare le grandi aziende internazionali su LinkedIn e vedere dove hanno studiato i loro dipendenti. Che tu sia preoccupato per la parzialità occidentale di LinkedIn, la natura soggettiva della scelta delle aziende da analizzare, il campione distorto trovato su LinkedIn o qualcos'altro del tutto... hai assolutamente ragione. Abbiamo progressivamente ridotto l'importanza di questa metrica anno dopo anno per contribuire a combattere una sovrarappresentazione di dati distorti e abbiamo trovato proxy sempre più utili per questi dati, così da essere meno dipendenti da LinkedIn. Tuttavia, questo dovrebbe far riflettere un lettore razionale.

La seconda metrica di preoccupazione è la nostra intera sezione qualitativa (un'altra metrica che è stata resa sempre meno importante nella nostra metodologia ogni anno). In una certa misura, ONE è la più sconvolgente per me perché potremmo ragionevolmente raccogliere dati solidi. Il problema è la mancanza di risoluzione creativa dei problemi da parte mia. Abbiamo messo fuori un sondaggio molto pubblico ogni anno per cercare di raccogliere una visione solida di come il pubblico (studenti, accademici, stakeholder del settore, ETC.) vede le diverse università e farsi un'idea di quali università siano percepite come quelle con il maggiore impatto. Tutte le preoccupazioni previste sono altamente valide (CoinDesk è sbilanciato verso gli Stati Uniti, ETC.), ma il problema più grande, di gran lunga, è che T riesco a capire come incentivare correttamente risposte accurate.

Ogni anno, facciamo la stessa Request ai partecipanti al sondaggio: diteci quali scuole pensate stiano facendo il miglior lavoro nel settore blockchain. E ogni anno, i risultati indicano che tutti stanno semplicemente condividendo le scuole che, se fossero classificate in alto, trarrebbero i maggiori benefici al singolo rispondente. Ovviamente, sto scrivendo BIT editoriali, ma la stragrande maggioranza delle risposte che riceviamo Seguici il modello altamente prevedibile di risposte di singole scuole, raggruppate per scuola, entro 0-5 ore dopo che una scuola ha twittato sul nostro sondaggio. C'è una certa logica nell'idea che studenti/docenti/ex studenti pensino che la loro scuola stia facendo un ottimo lavoro (forse è per questo che hanno scelto quell'istituto), ma il numero scioccante di risposte che riceviamo seguendo questo modello, che a volte suggerisce persino che una scuola che non ha un'attività blockchain discernibile è la migliore scuola singola nel settore, implica per me che forse non stiamo incentivando la cosa giusta. In futuro, spero di sperimentare altre meccaniche (Concorsi di bellezza keynesiani, ETC.), ma per ora, ritengo che questi dati siano altamente distorti. Ciò che abbiamo incentivato finora sembra essere un concorso di popolarità, non un'analisi oggettiva.

Detto questo, questi problemi affliggono classifiche di ogni tipo. T condivido questi fatti per sminuire il valore delle nostre classifiche, perché credo ancora che, correttamente contestualizzate, una combinazione di classifiche e dati sottostanti abbia almeno un certo valore. Se non correttamente contestualizzate, tuttavia, sono spazzatura. In definitiva, forse la cosa più utile che possiamo fare è continuare a impegnarci a essere aperti e trasparenti con la nostra metodologia, i nostri dati, i nostri processi e, soprattutto, i nostri fallimenti. Le nostre classifiche non sono perfette; tutto ciò che possiamo fare è migliorarle anno dopo anno e mettere in guardia le persone dall'applicare una quantità ragionevole di contesto quando valutano l'elenco. Contattatemi se volete parlare di queste classifiche, di come possono essere migliorate o perché dovrebbero essere abolite.