“Você tem esse esforço para adicionar esses elementos sem um mecanismo para examinar as novas variáveis, bem como um sistema para garantir sua implementação adequada”, disse Cook. “Você quase pensaria que quem implementou isso não sabia o que estava fazendo”.

Cook ajudou a aconselhar o Departamento de Educação da Coleção de Dados do IPEDS por 20 anos e atuou em painéis de revisão técnica, que normalmente são convocados primeiro para recomendar alterações na coleta de dados. Esses painéis foram dissolvidos no início deste ano, e não há um criado para examinar a nova proposta de dados de admissões de Trump.

Cook e outros especialistas em dados não conseguem descobrir como uma agência de estatística educacional dizimada pode assumir essa tarefa. Todos os seis funcionários da NCES envolvidos na coleta de dados do IPEDS foram demitidos em março, e restam apenas três funcionários de 100 no NCES, que é administrado por um comissário em exercício que também tem vários outros empregos.

Um funcionário do Departamento de Educação, que não queria ser identificado, negou que ninguém tenha deixado dentro do Departamento de Educação ter experiência IPEDS. O funcionário disse que os funcionários dentro do escritório do diretor de dados, que são separados da agência de estatísticas, têm uma “profunda familiaridade com os dados do IPEDS, sua coleção e uso”. Ex -funcionários do Departamento de Educação me disseram que alguns desses funcionários têm experiência na análise dos dados, mas não na coleta de eles.

No passado, havia até uma dúzia de funcionários que trabalhavam em estreita colaboração com a RTI International, um Instituto de Pesquisa Científica, que lida com a maioria dos trabalhos de coleta de dados do IPEDS.

Revisão técnica eliminada

De particular preocupação é que o contrato anual de US $ 10 milhões da RTI para conduzir a coleta de dados foi reduzido aproximadamente pela metade pelo Departamento de Eficiência do Governo, também conhecido como Doge, segundo dois ex -funcionários, que pediram para permanecer anônimo por medo de retaliação. Esses graves cortes no orçamento eliminaram os painéis de revisão técnica que o veterinário propôs alterações no IPEDS e encerrou o treinamento para faculdades e universidades enviarem dados corretamente, o que ajudou na qualidade dos dados. A RTI não respondeu ao meu pedido para confirmar os cortes ou responder a perguntas sobre os desafios que enfrentará ao expandir seu trabalho com um orçamento e pessoal reduzidos.

O Departamento de Educação não negou que o orçamento do IPEDS tenha sido cortado pela metade. “O contrato da RTI está focado nas atividades de IPEDS mais críticas”, disse o funcionário do Departamento de Educação. “O contrato continua a incluir pelo menos uma tarefa sob a qual um painel de revisão técnica pode ser convocada”.

Elementos adicionais da coleta de dados do IPEDS também foram reduzidos, incluindo um contrato para verificar a qualidade dos dados.

Na semana passada, o escopo da nova tarefa se tornou mais aparente. Em 13 de agosto, o governo divulgou mais detalhes sobre os novos dados de admissões que deseja, descrevendo como o departamento de educação está tentando adicionar uma nova pesquisa à IPEDS, chamada de admissão e suplemento de transparência do consumidor (ACTS), que desagregará todos os dados de admissão e a maioria dos resultados de ajuda financeira e de ajuda financeira por aluno por corrida e gênero. A faculdade terá que relatar as admissões de graduação e pós -graduação. O público tem 60 dias para comentar, e o governo deseja que as faculdades comecem a relatar esses dados neste outono.

Coleção complexa

Christine Keller, diretora executiva da Associação de Pesquisa Institucional, um grupo comercial de funcionários do ensino superior que coletam e analisam dados, chamaram a nova pesquisa “uma das coleções mais complexas do IPEDS já tentou”.

Tradicionalmente, leva anos para fazer mudanças muito menores no IPEDS, e as universidades recebem um ano para começar a coletar os novos dados antes que sejam obrigados a enviá -los. (Aproximadamente 6.000 faculdades, universidades e escolas vocacionais devem enviar dados ao IPEDS como condição para que seus alunos assumam empréstimos para estudantes federais ou recebam subsídios federais de Pell. Falha em cumprir os resultados em multas e a ameaça de perder acesso à ajuda federal dos estudantes.)

Normalmente, o departamento de educação revelaria capturas de tela dos campos de dados, mostrando o que as faculdades precisariam para entrar no sistema de computador IPEDS. Mas o departamento não fez isso, e várias das descrições de dados são ambíguas. Por exemplo, as faculdades terão que reportar notas de teste e GPA por quintil, quebrados por raça e etnia e gênero. Uma interpretação é que uma faculdade teria que dizer quantos candidatos negros, por exemplo, pontuados acima do percentil 80 no SAT ou no ato. Outra interpretação é que as faculdades precisariam relatar a pontuação média de SAT ou ACT dos 20 % dos candidatos negros.

A Associação de Pesquisa Institucional costumava treinar administradores de faculdades sobre como coletar e enviar dados corretamente e classificar detalhes confusos – até que Doge eliminasse esse treinamento. “A ausência de treinamento abrangente e financiado pelo governo federal só aumentará a carga institucional e o risco para a qualidade dos dados”, disse Keller. A organização de Keller está agora mergulhando em seu próprio orçamento para oferecer uma pequena quantidade de treinamento gratuito do IPEDS às universidades.

O Departamento de Educação também está exigindo que as faculdades relatem cinco anos de dados de admissão histórica, divididos em inúmeras subcategorias. As instituições nunca foram solicitadas a manter os dados sobre os candidatos que não se matricularam.

“É incrível que eles estejam pedindo cinco anos de dados anteriores”, disse Jordan Matsudaira, economista da American University que trabalhou em política educacional nas administrações de Biden e Obama. “Isso será quadrado nos anos pandêmicos, quando ninguém estivesse relatando notas dos testes”.

‘Resultados enganosos’

Matsudaira explicou que o IPEDS considerou pedir a faculdades mais dados acadêmicos por raça e etnia no passado e o departamento de educação finalmente rejeitou a proposta. Uma preocupação é que cortar e cortar os dados em baldes cada vez menores significaria que haveria muito poucos estudantes e os dados teriam que ser suprimidos para proteger a privacidade dos alunos. Por exemplo, se houvesse dois homens nativos americanos entre os 20 % melhores das pontuações do SAT em uma faculdade, muitas pessoas poderiam adivinhar quem eram. E uma grande quantidade de dados suprimidos tornaria toda a coleção menos útil.

Além disso, pequenos números podem levar a resultados malucos. Por exemplo, uma pequena faculdade poderia ter apenas dois candidatos masculinos hispânicos com pontuações muito altas no SAT. Se ambos foram aceitos, isso é uma taxa de admissão de 100 %. Se apenas 200 mulheres brancas de 400 com as mesmas notas dos testes fossem aceitas, isso seria apenas uma taxa de admissão de 50 %. Na superfície, isso pode parecer discriminação racial e de gênero. Mas poderia ter sido um acaso. Talvez os dois homens hispânicos fossem atletas e músicos. No ano seguinte, a escola pode rejeitar dois candidatos hispânicos diferentes com altos notas de teste, mas sem extracurriculares tão impressionantes. A taxa de admissão para homens hispânicos com altos notas de teste cairia para zero. “Você acaba com resultados enganosos”, disse Matsudaira.

Relatar as pontuações médias dos testes por corrida é outra grande preocupação. “Parece uma armadilha para mim”, disse Matsudaira. “Isso vai dar ao governo o pretexto de afirmar que há padrões mais baixos de admissão para estudantes negros em relação aos estudantes brancos quando você sabe que isso não é uma inferência correta”.

A questão estatística é que há mais estudantes asiáticos e brancos na extremidade mais alta da distribuição da pontuação do SAT, e todos esses 1600 perfeitos puxam a média para esses grupos raciais. (Assim como uma pessoa muito alta distorcerá a altura média de um grupo.) Mesmo que uma faculdade tenha um limite de pontuação de teste alto que se aplique a todos os grupos raciais e ninguém abaixo de 1400 seja admitido, a pontuação média do SAT para estudantes negros ainda será menor que a dos estudantes brancos. (Veja o gráfico abaixo.) A única maneira de evitar isso é admitir puramente por pontuação de teste e levar apenas os alunos com as pontuações mais altas. Em algumas universidades altamente seletivas, existem candidatos suficientes com um SAT de 1600 para preencher toda a classe. Mas nenhuma instituição preenche seu corpo discente apenas com as pontuações dos testes. Isso pode significar com vista para os candidatos com potencial para serem pianistas de concertos, jogadores de futebol ou grandes escritores.

A armadilha média de pontuação

Os dados de admissão são uma questão política altamente carregada. O governo Biden liderou originalmente a coleta de dados de admissão na faculdade por raça e etnia. Os democratas queriam coletar esses dados para mostrar como as faculdades e universidades do país estavam se tornando menos diversas com o fim da ação afirmativa. Esses dados estão previstos para começar neste outono, após uma revisão técnica e processual completa.

Agora, o governo Trump está exigindo o que já estava em andamento e adicionando uma série de novos requisitos de dados – sem seguir processos normais. E, em vez de rastrear a diversidade em declínio no ensino superior, Trump quer usar dados de admissão para ameaçar faculdades e universidades. Se a nova diretiva produzir dados ruins que são fáceis de interpretar mal, ele poderá obter seu desejo.