Por que os rankings – incluindo os rankings universitários – são uma porcaria

Embora as classificações (especialmente as universitárias) tenham valor diferente de zero, elas têm significativamente menos valor do que nós, como sociedade, parecemos atribuir a elas. O quenós compilamos aquié uma coleção de dados (com base em critérios arbitrários) aos quais foi atribuído um peso (com base em valores arbitrários). Na melhor das hipóteses, isso é subjetivo e, na pior, é fundamentalmente falho. No final das contas, sinto fortemente que qualquer classificação gerada por humanos está muito mais próxima do extremo "fundamentalmente falho" do espectro. Há razões para isso que existem tanto na escala universal quanto em uma escala mais granular que é específica para o nosso projeto.

Este post faz parte deSemana da Educação.

Começando com a macro, a maioria dos rankings é limitada simplesmente porque eles forçam uma ordem em coisas que, inerentemente, não têm ordem. Declarações gerais raramente são corretas em todas as circunstâncias; vivemos em um mundo de casos extremos. O exemplo comum alavancado em discussões sobre por que os rankings universitários em geral devem ser abolidos (uma posição que pode ter mérito) é que a escola nº 1 (digamos, Oxford, noClassificação do Times Higher Education de 2022) não deve ser a escolha número um de todos. Circunstâncias individuais, objetivos futuros, tipos de personalidade, ETC, tudo cria um cenário complexo no qual Oxford não é uma escolha universalmente boa (ou mesmo medíocre). O que ser classificado como número 1 realmente sinaliza é que alguém lá fora pensa que Oxford possivelmente (mas não certamente) tem mais das coisas que eles valorizam pessoalmente do que a maioria das outras escolas. Este é um ponto de dados interessante que muitas pessoas internalizam como verdade absoluta.

Para um exemplo mais visceral, seria muito fácil para alguém criar uma classificação de alimentos (ou, alternativamente, "insira sua coisa altamente subjetiva preferida aqui"). Se eu fosse o ONE a criá-la, meus próprios preconceitos e pensamentos guiariam essas classificações a um grau que espero que as pessoas considerem inaceitável. Eu reuniria dados objetivos sobre coisas como probabilidade de uma reação alérgica, custo, facilidade de disponibilidade comercial, impacto ambiental e assim por diante. Eu poderia quantificar esses pontos de dados em uma planilha bonitinha, executar uma normalização semelhante e gerar uma classificação "objetiva" dos melhores alimentos. Ninguém, com poucas exceções, deve mudar suas preferências alimentares com base nessa lista. Os dados subjacentes podem ser úteis (talvez se tudo o que você se importa é o impacto ambiental, você poderia mudar sua alimentação com base nesse conjunto de dados estreito), mas é altamente improvável que seus valores específicos ao longo de cada dimensão dos dados sejam refletidos na metodologia. As pessoas reconhecem intuitivamente a futilidade de classificar algo tão subjetivo quanto a comida. O que deixamos de reconhecer é que as classificações escolares não são diferentes.

As mesmas preferências subjetivas que sustentam pensamentos sobre classificação de alimentos devem ser aplicadas às universidades: assim como alguns humanos valorizam o sabor, a saúde ou as alergias em graus variados em um contexto alimentar, pessoas diferentes valorizam coisas diferentes em uma experiência universitária. Na verdade, eu diria, com um alto grau de confiança, que as melhores e mais úteis classificações T são, na verdade, classificações. Em vez disso, seriam pouco mais do que uma interface para os dados, permitindo que cada pessoa ajuste a metodologia para atender às suas próprias necessidades individuais. Infelizmente, isso não só não produz nenhum tipo de ordem, como também não é particularmente chamativo ou digno de notícia.

Em uma microescala, nossas classificações também são falhas em sua própria maneira única. Sofremos de todos os problemas definidos acima (com a notável exceção de que aqui sabemos exatamente quais vieses estão escorregando para a metodologia e quem culpar, e essa pessoa sou eu, como o criador e consultor do CoinDesk Best Universities for Blockchain classificações desde 2020), além de alguns novos que são artefatos infelizes do nosso tamanho e escopo limitados. Embora seja sempre um BIT humilhante (beirando a humilhação) refletir sobre as maneiras pelas quais o próprio estudo/análise falhou, é mais importante que qualquer leitor KEEP isso em mente ao ler os rankings. Se nada mais, espero que isso leve para casa algum ceticismo sobre os rankings como algo mais do que um guia rudimentar sobre o que as escolas estão fazendo, algo próximo do que eu, pessoalmente, acho que elas deveriam estar fazendo para promover a educação em blockchain.

Semana de educação da CoinDesk:As Melhores Universidades para Blockchain 2022

Embora não diminuam as outras deficiências da nossa investigação, existemduas métricasque estão causando preocupação particular devido aos desafios de coleta de dados, e eu os destaco para apontar os tipos de desafios que permeiam pesquisas dessa natureza. O primeiro são os dados de emprego. Na minha opinião, isso representa o maior delta entre a importância relativa dos dados (aqui, resultados favoráveis dos alunos) e a facilidade de coleta dos dados (por muitas razões, não menos importante a falta de rastreamento dos resultados dos alunos com a granularidade necessária). No momento, dependemos de uma combinação de divulgação escolar, que recebe uma taxa de resposta de cerca de zero, e coleta manual de dados. A melhor maneira (e a principal maneira) que encontramos para obter um proxy razoável para esses dados é olhar para grandes empresas internacionais no LinkedIn e ver onde seus funcionários estudaram. Quer você esteja preocupado com o viés ocidental do LinkedIn, a natureza subjetiva da escolha de empresas para raspar, a amostra distorcida encontrada no LinkedIn ou algo totalmente diferente... você está absolutamente certo. Temos diminuído cada vez mais a importância dessa métrica ano após ano para ajudar a combater uma super-representação de dados distorcidos, e encontramos proxies cada vez mais úteis para esses dados, então somos menos dependentes do LinkedIn. Ainda assim, isso deve dar uma pausa ao leitor racional.

A segunda métrica de preocupação é toda a nossa seção qualitativa (outra métrica que tem se tornado cada vez menos importante em nossa metodologia a cada ano). Até certo ponto, ONE é a mais perturbadora para mim porque poderíamos razoavelmente reunir dados sólidos. O problema é a falta de resolução criativa de problemas da minha parte. Nós colocamos uma pesquisa muito pública todo ano para tentar reunir uma visão robusta de como o público (estudantes, acadêmicos, partes interessadas da indústria, ETC) vê diferentes universidades e ter uma noção de quais universidades são percebidas como tendo o maior impacto. Todas as preocupações esperadas são altamente válidas (CoinDesk é enviesado para os EUA, ETC), mas o maior problema, de longe, é que T consigo descobrir como incentivar adequadamente respostas precisas.

Todos os anos, fazemos o mesmo Request aos participantes da pesquisa: Por favor, digam-nos quais escolas vocês acham que estão fazendo o melhor trabalho no espaço blockchain. E todos os anos, os resultados indicam que todos estão simplesmente compartilhando as escolas que, se fossem bem classificadas, mais beneficiariam o respondente individual. Claro, estou editorializando BIT, mas a esmagadora maioria das respostas que recebemos Siga o padrão altamente previsível de respostas de uma única escola, agrupadas por escola, dentro de 0-5 horas após uma escola tuitar sobre nossa pesquisa. Há alguma lógica na ideia de que alunos/corpo docente/ex-alunos acham que sua escola está fazendo um ótimo trabalho (talvez seja por isso que escolheram essa instituição), mas o número chocante de respostas que recebemos seguindo esse padrão, ocasionalmente até sugerindo que uma escola que não tem nenhuma atividade de blockchain discernível é a melhor escola no espaço, implica para mim que talvez não estejamos incentivando a coisa certa. No futuro, espero experimentar outras mecânicas (Concursos de beleza keynesianos, ETC), mas, por enquanto, considero esses dados altamente distorcidos. O que incentivamos até agora parece ser um concurso de popularidade, não uma análise objetiva.

Dito isso, esses problemas assolam classificações de todos os tipos. T compartilho esses fatos para diminuir o valor de nossas classificações, porque ainda acredito que, adequadamente contextualizadas, alguma combinação das classificações e dos dados subjacentes tem pelo menos algum valor. Se não forem adequadamente contextualizadas, no entanto, são uma porcaria. No final das contas, talvez a coisa mais útil que podemos fazer é permanecer comprometidos em ser abertos e transparentes com nossa metodologia, nossos dados, nossos processos e, mais importante, nossas falhas. Nossas classificações não são perfeitas; tudo o que podemos fazer é melhorá-las ano após ano e alertar as pessoas para aplicar uma quantidade razoável de contexto ao avaliar a lista. Entre em contato se quiser falar sobre essas classificações, como elas podem ser melhoradas ou por que devem ser abolidas.