Exam U-sväng: bakom algoritmen som utlöste betygskaos på A-nivå
'Seeds of the policy disaster' sås i brev skickat av Gavin Williamson när låsningen tillkännagavs i mars
'Seeds of the policy disaster' sås i brev skickat av Gavin Williamson när låsningen tillkännagavs i mars
Chris J Ratcliffe/Getty Images
När ilskan utbröt efter att betygen på A-nivå släpptes förra veckan, insisterade premiärminister Boris Johnson på att resultaten var robusta, bra och pålitliga för arbetsgivarna.
Men bara några dagar senare, efter Ofquals plötsliga tillbakadragande av kriterierna för att överklaga betyg, tvingades regeringen till en pinsam helomvändning, med resultat som nu ska baseras på lärarnas förutsägelser snarare än på en kontroversiell algoritm.
Det automatiserade systemet användes i ett försök att undvika vad utbildningsminister Gavin Williamson beskrev som skenande betygsinflation mot bakgrund av coronavirus-pandemin och inställda tentor. Men vem kom på algoritmen, som skulle kunna kosta Williamson hans kabinettjobb?
Oöverträffade omständigheter
Fröet till den politiska katastrofen såddes samma dag som nedstängningen trädde i kraft, när Williamson varnade i ett brev till Ofqual att undvikande av betygsinflation var en prioritet, Tiderna rapporterar.
Ofqual bör se till, så långt det är möjligt, att kvalifikationsstandarder upprätthålls och att betygsfördelningen följer en liknande profil som tidigare år, sa Williamson till tentamensmyndigheten.
Med andra ord, säger tidningen, trots att elever inte skulle göra prov, ville regeringen behandla klassen 2020 som tidigare år. A-nivåer behandlades som utbildningssystemets 'guldstandard' och fick inte devalveras.
Men när examensregulatorn gav i uppdrag att teckna en försäkring i form av dess olyckliga algoritm, gick denna önskan att begränsa betygsinflationen för långt, tillägger BBC .
Vad gick fel?
På utbildningssekreterarens begäran satte tillsynsmyndighetens statistiker igångta fram ett system för att dela ut betygsom inte tillät att provresultaten gick upp från tidigare år, förklarar Jo-Anne Baird, professor i pedagogisk bedömning vid Oxford University och medlem i Ofquals rådgivande kommitté.
Problemet var att i fallet med Covid-klassen kom upptagenhet med att upprätthålla standarder till ett för högt pris, enligt BBC.
En summa av 39 % av resultaten på A-nivå som släpptes i torsdags nedgraderades , och elever i utsatta områden drabbades oproportionerligt hårdast, säger NS Tech , en division av New Statesman.
Algoritmen förutspådde betyg efter att ha matats med olika databitar.
Den första var lärarens förutspådda betyg för varje elev baserat på deras prestationer i klassen och skenproven, förklarar nyhetssajten. Men detta ansågs otillräckligt i sig, så lärare ombads också att rangordna varje elev från högst till lägst i termer av deras förväntade betyg.
Skolor kastade sig in i bedömningsuppgiften, tillägger The Times, med avdelningschefer som leder möten där lärare argumenterade för sina elever.
Men, säger tidningen, det fanns en hake i Ofqual-systemet. A Rapportera släpptes av regulatorn förra veckan avslöjade att lärartilldelade betyg endast prioriterades i klasser med mindre än 15 elever - ett system som gynnade privata skolor med mindre klassstorlekar.
Däremot, för elever i större skolor, var betygen mycket mer påverkade av skolans historiska prestationer och deras lärares ranking än deras förutspådda betyg, tillägger NS Tech.
Denna diskrepans förklarar det oproportionerliga antalet studenter från skolor som vanligtvis inte skickar elever till Storbritanniens främsta universitet som såg sina förutspådda betyg aggressivt nedgraderas.
Var ett mer rättvist system möjligt?
Enligt Tiderna ' vetenskapsredaktör Tom Whipple, att göra en rättvis algoritm är som att försöka koka upp ett ägg - det vill säga omöjligt.
Problemet, skriver Whipple, är att när människor extrapolerar från befolkningsdata för att göra förutsägelser om individer... kan du sluta med att du gör alla möjliga kontraintuitiva, överraskande och ibland absurda misstag.
Detta är vad som gick fel med en algoritm som är så starkt baserad på en skolas historiska resultat, hävdar han. Det är uppenbart att detta kommer att vara orättvist mot exceptionella barn i exceptionella skolor, medan det omvänt kommer att vara alltför snällt mot unexceptionella barn i exceptionella skolor.
Sam Freedman, VD för den icke-statliga organisationen Education Partnerships Group, håller med om denna dom. Algoritmen skulle oundvikligen träffa extrema elever som var i toppen av distributionen i skolor som inte har haft många högpresterande tidigare, han tweetar .
Men, tillägger Freedman, regeringens beslut att bara använda lärares förutspådda betyg är också orättvist mot elever på skolor som betygsätter försiktigt, orättvist för tidigare/framtida årskullar och skapar[d] ett lotteri för universitetsplatser.
Och U-svängen kan komma för sent för vissa studenter, med många universitet som säger att kurserna för nästa läsår redan är fulla.
När det gäller algoritmen är statistik per definition ett sätt att representera många siffror i färre siffror, säger Whipple.
Detta är oerhört användbart, men vi måste veta vad det betyder: att glömma individen.
