Regn med oss

Skrevet av Wolfgang Leister og Åsmund Skomedal

Det har vært flere oppslag og debatter i media i det siste om juks ved gjennomføring av PC-basert eksamen, spesielt i videregående skoler. Se for eks. Aftenposten og NRK Nyheter. Vi tar disse oppslagene som anledning til å formidle noen tanker rundt eksamensgjennomføring når IKT-baserte hjelpemidler brukes.

Store teknologiske muligheter for juks

Ofte blir elevenes egen PCer brukt ved gjennomføring av digitale eksamener, noe som åpner for juks fra oppfinnsomme og kreative elever. Eksempelvis bygges det på forhånd opp systemer for å kommunisere med andre datamaskiner og med hverandre under eksamen. For teknologikyndige elever finnes det mange muligheter for tilgang til hjelpemidler som ikke er tillatt, for eksempel filer, programmer, chatte-sider, trådløse soner eller trådløse nettverk basert på infrarød-, bluetooth- eller annen WiFi-teknologi. De videregående skolene blir pålagt av Utdanningsdirektoratet å avholde IKT-basert eksamen med avstengt internett. Det hjelper lite så lenge elevenes PCer kan ha en rekke andre løsninger skrudd på.

Dagens utfordringer

Uten spesielle tiltak vil det for eksamensvakter og skolens IT-ansvarlige være umulig å overvåke denne type trådløs kommunikasjon. Tiltakene som ofte iverksettes, er ofte av følgende karakter: (i) Omfattende overvåkning av datatrafikken i skolens nettverk, ofte uten at elevene selv klar over at skolens systemer automatisk prøver å overvåke kommunikasjon og tastetrykk. Dermed blir mye mer informasjon eksponert for skolens ansatte og eksamensvakter enn det som strengt tatt er nødvendig. Dette på bekostning av personvern hensyn og elevenes integritet. (ii) Rensing av elevenes PC-er, også dette går utover elevenes integritet og det er dessuten arbeidskrevende å gjenskape PC-ene slik de var før eksamen.

Prinsipper å etterstrebe

Det viktigste prinsippet ved gjennomføring av eksamen forventer vi at skal være likhet for alle. Å gjennomføre det ved papirbaserte eksamener er noe en har lang erfaring med. I tillegg er kontrolltiltakene relativt enkle å gjennomføre. Ved innføring av IKT-baserte eksamener er situasjonen dessverre en helt annen. Ettersom de ulike skoler og universiteter står fritt til å velge ulike løsninger, har vi nå en situasjon der det ser ut til at mange elever benytter mulighetene som åpner seg ved at det brukes tiltak som ikke er effektive.

For å gjenspeile de samme prinsipper som ved papirbasert eksamen ved en digital eksamen, trenger man en enhetlig teknologi som gir samme tilgang til verktøy og ressurser for alle, samme kontrolltiltak for alle elever – og så lite overvåking som mulig.

Norsk Regnesentral har tidligere analysert denne problemstillingen i et oppdrag for Utdanningsdirektoratet. Eksemplene som er nevnt i Aftenposten viser tydelig at oppfinnsomme juksere lett kan lure lærere og eksamensvakter som ikke er spesialister på IKT, og dermed skaffe seg urimelige fordeler. Et sentralt problem er ny teknologi for radiobasert (trådløs) kommunikasjon som benyttes mot ressurser på nettet eller andre personer; dette er lett å etablere for en eksamen og svært vanskelig å avdekke.

Norsk Regnesentral er opptatt av at eksamener skal være like for alle, uavhengig av kunnskapsnivået til eksamensvakt. Vi er også opptatt av at overvåking og overføring av sensitive data i eksamensammenheng begrenser seg til et minimum. Derfor anbefaler vi at finmasket overvåking av bl.a. tastetrykk eller innhold i datatrafikk bør unngås – av personvernhensyn, fordi dette er kostnadskrevende og fordi disse tiltakene kan omgås. Det er også viktig at kostnadene for gjennomføringen av disse tiltakene holder seg lave, bl.a. ved at ikke nye lisenskostnader oppstår.

DigEks – Vår tilnærming til teknologistøtte som forhindrer juks

Basert på våre erfaringer har vi implementert en prototype, DigEks, for Møre og Romsdal fylkeskommune med støtte fra daværende Fornyings- og administrasjonsdepartementet (FAD). Flere videregående skoler har tatt DigEks i bruk og den forvaltes inntil videre av en frivillig brukerforening. Løsningen er bygd opp slik at man tilbyr eksamenskandidatene en midlertidig kjøreomgivelse på egen PC som kun tilgjengeliggjør de tekniske hjelpemidlene som er tillatt til en eksamen; teknisk er dette implementert ved at man starter PCen fra en ekstern enhet (minnepinne) som overtar kontrollen av datamaskinen mens eksamen pågår. Systemet er bygd opp slik at opplæringsbehovet for lærere og eksamensvakter er minimalt. Oppsummert er DigEks sine viktigste egenskaper:

• En identisk programvare for alle under en eksamen
• Meget god kontroll med tilgjengelige programmer og kommunikasjon som kan tenkes brukt til juks. Dette gjelder både lokalt i elvenes PCer og eksternt mot annet utstyr
• Minimalt med overvåkning av elevene under eksamen
• Ingen inngripen eller kontroll av eksisterende programvare på elevens PC
• Juks kan oppdages!

I utviklingen av vår prototyp har lærere vært med på utviklingen, slik at løsningen er tilpasset reelle krav og det miljøet en finner i praksis. Likevel er det behov for en videreutvikling av en del funksjonalitet. Løsningen er kompatibel med eksisterende infrastruktur på skolene og i Utdanningsdirektoratet; ingen store ekstrainvesteringer i form av maskinvare eller programvarelisenser er nødvendig. Mens vår prototyp er basert på fri programvare som er tilpasset av interesserte lærere, er det fullt mulig å utvikle en kommersiell løsning basert på alle de operativsystemene som de ulike skolene har bestemt seg for å bruke i undervisningen. Norsk Regnesentral bidrar med å veilede en slik utvikling, og har ingen egne kommersielle interesser i salg av programvare. Vi mener at løsningen egner seg som en komponent i en nasjonal løsning for å sikre rettferdig eksamengjennomføring.

Del av en nasjonal løsning?

Vi mener at vår prototyp peker riktig vei som del av en nasjonal løsning. Vi utviklet en prototyp basert på fri programvare, fordi dette var mest hensiktsmessig. Løsningen vår er ikke bundet opp mot bestemte operativsystemer eller leverandører, og den kan implementeres på andre plattformer. Det har også fremkommet at elevene ikke opplever problemer med protoypen selv om det muligens brukes et annet operativsystem under eksamen enn det de ellers bruker. Antagelig er grunnen at det under eksamen bare er behov for enkel tekstbehandling som er nesten lik i all kontorprogramvare.

Det er noen utfordringer knyttet til skolepolitiske føringer. For skoler er det ofte vanskelig å ta innovative systemer i bruk fordi midlene kommer fra fylkeskommunen som i mange tilfeller også bestemmer tekniske løsninger som gjelder mange bruksområder. Dermed er den enkelte skolen bundet mot det fylket gjør i praksis. Privatskoler står fritt, og her har vi mest erfaringer ifra. Utdanningsdirektoratet fastlegger reglene, men har ikke budsjett for løsningen den enkelte skolen bruker.

Det er vanskelig å komme opp med en innovativ løsning i denne situasjonen. Utdanningsdirektoratet er ikke involvert i den tekniske utformingen. Og selvsagt skal det midler til for å implementere noe. Investeringene er små dersom man gjør dette riktig, da DigEks-løsningen ikke krever store investeringer. Istedet blir eksisterende infrastruktur brukt i mest mulig utstrekning. Vi håper at våre kommentarer kan være en inspirasjon til alle de som jobber med dette omfattende temaet. Elevene har rett til rettferdige eksamener der ingen kan jukse seg til bedre karakterer.

På torsdag skal Usain Bolt løpe 200 m i Bislett Games. Med en verdensrekord på utrolige 19,19 kan en spørre seg: Hva er den ultimate 200 m-rekorden?

En måte å svare på dette er å benytte såkalt statistisk-matematisk ekstremverditeori, som handler om sannsynligheten for ekstreme hendelser, som flom, hundreårsbølger eller krakk i aksjemarkedet. I ekstremverditeori ser en spesielt på de mest ekstreme hendelsene, og forsøker å si noe om hvor mye bedre/verre det kan gå. Dette er helt uvurderlig kunnskap når en for eksempel skal bygge et skip eller en oljeplattform som skal tåle en hundreårsbølge.

200 m

For noen år siden tok to nederlandske forskere for seg 780 personlige bestetider på 200 m, og anslo at den ultimate verdensrekorden på 200 m er 18,63. Til sammenligning påstod den tidligere sprinteren Donovan Bailey i mandagens Aftenposten at Bolt kan løpe på 18,95 på torsdag.

100 m

I den samme studien konkluderte forskerne med at den ultimate 100 m-rekorden er så god som 9,29. Baileys 100 m-anslag er den litt mindre optimistiske tiden 9,4.

Er slike utsagn fra forskere til å stole på? I teorien er de det, og oljeplattformene står fortsatt, selv om usikkerheten naturlig nok er ganske stor. I tillegg til den metodiske usikkerheten er det usikkerhet knyttet til datagrunnlaget. Nettopp på grunn av det kom det i år en ny analyse av den ultimate 100 m-rekorden, igjen med samme hovedforfatter som sist. I 1990 innførte IAAF (det internasjonale friidrettsforbundet) dopingkontroller utenfor konkurranse. For å ekskludere mulige dopede bestetider, så derfor forfatterne bort fra noteringer før 1991. Med et bedre datagrunnlag og forbedrede metoder, fant de ut at den ultimate 100-m-rekorden er 9,51 (og ikke 9,29). Merk at Bolts siste 100 m-verdensrekord ikke var en del av datagrunnlaget, men ifølge nederlenderne vil det ikke påvirke analysen i særlig stor grad.

200 m igjen

Dette kan altså tyde på at det tidligere anslaget på 18,63 er vel optimistisk. Hvis vi grovt justerer med to ganger forskjellen i ultimate 100 m-tider (9,51 − 9,29 = 0,22), får vi 18,63 + 0,44 = 18,99. Kort oppsummert er vi og Bailey enige i at den ultimate 200 m-tiden kanskje er like under 19 blank.

Figuren viser de beste tidene de siste tjue årene, samt mulige bestetidsgrenser. Det har kanskje vært en svak forbedring av gjennomsnittsnivået til de beste over tid. Legg merke til hvor spesielt gode Michael Johnsons beste og Usain Bolts to beste tider er i forhold til resten av feltet.

Referanser

John H. J. Einmahl og Sander G. W. R. Smeets (2011)
Ultimate 100-m world records through extreme-value theory
Statistica Neederlandica 65(1) , s. 32-42

John H. J. Einmahl og Jan R. Magnus (2008)
Records in Athletics Through Extreme-Value Theory
Journal of the American Statistical Association 103(484), s. 1382-1391

Feil grunnlag?

Endringer i klimaet forventes å påvirke mange ulike felt i samfunnet. Både økonomiske og sikkerhetsmessige hensyn tilsier at det settes i verk tiltak innenfor flere sektorer. For at myndigheter og beslutningstakere skal kunne føre en målrettet og effektiv tilpasningspolitikk, kreves det kunnskap om klimaendringene på tilstrekkelig fin skala – typisk kommunenivå eller finere. Spørsmålet er om samfunnet per i dag har slik informasjon – og om den brukes forsvarlig? Eller tas avgjørelser på feilaktig grunnlag – avgjørelser som skal sikre liv og infrastruktur og som vil skape store ringvirkninger i årtier framover?

Nedskalering

Globale klimamodeller er store matematiske modeller som beskriver fysiske prosesser i hav og atmosfære. De er svært komplekse, men har likevel begrenset oppløsning i tid og rom. De kan derfor ikke brukes direkte til å si noe om effekter av klimaendringer på lokal skala. For å bygge bro mellom tilgjengelig og ønsket oppløsning benyttes ulike teknikker kalt nedskalering. Én form for nedskalering er via forenklede værvarslingsmodeller som bringer storskala værinformasjon ned til lokale forhold.

En gjennomgang NR har gjort av egenskaper ved nedskalerte nedbørdata for en historisk kontrollperiode over Norge, viser til dels betydelige avvik fra lokale observasjoner. Enkle korreksjoner som tar sikte på å utjevne forskjellene i for eksempel gjennomsnitt og standardavvik mellom de to datasettene, har blitt brukt i klimamodelleringskretser. Men selv med en slik etterbehandling avdekker ulike statistiske mål og tester både geografiske og sesongvise forskjeller. Forskjellene er gjerne størst for ekstremværsituasjoner hvor nedskaleringene gjennomgående angir for lite nedbør. Dette er spesielt kritisk, både økonomisk og sikkerhetsmessig, ettersom klimatilpasningstiltak i samfunnet i mange tilfeller dimensjoneres ut fra en "worst case"-tankegang. Det forskes derfor videre med sikte på å forbedre nedskaleringene, både gjennom mer nøyaktige nedskaleringsmodeller og via avansert statistisk etterbehandling av modellresultatene.

Uten å avfeie klimaendringene som fenomen, hevder enkelte kritikere at globale klimamodeller har iboende fysiske begrensninger som gjør dem uegnet som kilde for effektstudier, og at dette ikke kan rettes opp av noen form for nedskalering. Enkelt sagt fordi “alt henger sammen med alt”, slik at lokale egenskaper ved modellene påvirker og påvirkes av dynamikken i hele klimasystemet.

Trenger et svar!

Samfunnet på sin side står overfor utfordringer der beslutninger må tas ut fra den informasjonen som er tilgjengelig, selv om denne kan være både ufullstendig og befengt med feil. Statistikerens rolle i dette landskapet vil være å omsette og foredle denne informasjonen til en best mulig beskrivelse av framtidas klima, inkludert anslag på usikkerheten. Bruk av usikkerhetsintervaller for å angi rimelige verdier gir beslutningstakerne et langt bedre grunnlag for å ta sine avgjørelser enn om de kun fikk oppgitt én verdi – for eksempel midtpunktet i intervallet.

De lærde – og ulærde – vil nok fortsette å strides om framtidas klima – fasiten får vi først om noen tiår!

Her på NR forsker vi på mye forskjellig. Sammen med Geno, som er et norsk samvirkeforetak som eies av 12 000 storfebønder, og Veterinærhøgskolen har vi studert frekvensen av ulike brunsttegn mellom kyr.

Kyrne i våre dager blir ikke befruktet av en okse når det passer kua og oksen. De blir rett og slett inseminert når kua er, eller rettere sagt når vi tror kua er klar til å bli befruktet. Problemet er at det ikke er så lett å vite når kua skal ha eggløsning. Det man vet er at kyrne gir og mottar en rekke tegn hyppig når de er i brunst. Eksempler kan være å gni hodet mot andre kyr, legge hodet på baken til eller endog ri på andre kyr. Slike tegn vil typisk tilta når kua er klar for å bli inseminert.

Vi har analysert brunsttegnene til melkekyr av typen Holstein som har blitt videoovervåket døgnet rundt i 22 dager. Kyrne har da gått gjennom en syklus, slik at de skal ha vært i brunst i denne perioden.

Man kan dele syklusen inn i ulike faser; brunstperiode, 1-3 (4-6, 7-9, 10-12 og 13-24) timer før og etter brunstperioden og en periode der kroppen gjør seg klar til neste, totalt 12 perioder.

Vi studerte tegnfrekvensen, det vil si gjennomsnittlig antall tegn per time, for de ulike periodene og tegnene. Siden det er flere målinger per ku har vi korrelasjoner både innen og mellom kyrne. For å kunne uttrykke usikkerheten i gjennomsnittlig antall tegn per time måtte vi derfor gjøre en simuleringsprosedyre.

I figuren kan vi se frekvensen av tegnet anogential sniff, som innebærer at en ku snuser bak (initierende) på en annen liggende ku som lar seg snuse på (mottakende). Vi ser at i brunstfasen er det i snitt større frekvens av initierende tegn av denne typen enn mottakende. Dette ser ut til å gjelde for de nærmeste timene før og etter brunstperioden også, men ikke ellers. Vi ser også at usikkerheten i frekvensestimatene er nokså stor. Det er likevel ingen tvil om at det er en økning i forekomsten av dette tegnet rundt brunstperioden.

Man kan spørre seg hvorfor man gjør en slik omfattende studie. Bonden må tilkalle veterinæren for inseminering. Det er tungvint og dyrt med mange bomturer. Går man glipp av en mulighet må man vente til neste periode. Skal vi få melk til vårt brød, må kuene bli drektige og få ny kalv innen rimelig tid. I noen land hormonstyrer man alle kyrne, og inseminerer alle sammen på en gang. Dette er mer kostnadseffektivt, men man tilsetter altså kyrne kunstige hormoner. Dette er noe man har valgt å ikke gjøre i Norge. Slike analyser kan hjelpe bonden til å se etter de viktige naturlige tegnene og frekvensene av disse, slik at man treffer befruktningstidspunktet.

Dette arbeidet er en del av veterinær Guro Sveberg sitt doktorgradsarbeid, og er publisert i Journal of Dairy Science. Vi skal nå videre sammenligne brunsttegn fra disse Holstein-kyrne med tilsvarende tegn fra Norsk Rødt Fe -kyr, for å undersøke om det er noen forskjeller mellom gruppene. Følg med!

Referanse: Behavior of lactating Holstein-Friesian cows during spontaneous cycles of estrus. G Sveberg, AO Refsdal, HW Erhard, E Kommisrud, M Aldrin, IF Tvete, F Buckley, A Waldmann, and E Ropstad. J Dairy Sci. 2011; 94: 1289.

En gang i uka har vi felleslunsj i vårt senter for forskningsdrevet innovasjon (sfi²), hvor vi kan dele idéer og diskutere prosjekter.

I vår har vi krydret lunsjene med en uformell kåring av tidenes favorittstatistiker. Vi gikk systematisk til verks og tok utgangspunkt i en kronologisk liste med 16 kandidater. I første lunsj kåret vi en vinner blant de første 4 kandidatene, og så videre. Etter fire lunsjer var det klart for en finale bestående av fire herrer, som representerer hver sin tidsepoke.

GAUSS, Carl Friedrich 1777-1855

Gauss var en vitenskapelig tusenkunstner. Som statistiker har han fått en stor del av æren for minste kvadraters metode (hvordan trekke en linje gjennom data på beste måte), og ikke minst normalfordelingen (eller Gausskurven). Normalfordelingen er statistikerens viktigste verktøy, og dukker (heldigvis) ofte opp i naturen. En veldig viktig grunn til det er det nesten magiske sentralgrenseteoremet, som Gauss riktignok ikke kan ta æren for. Det kan de Moivre, men han kom ikke med på vår eksklusive liste.

MARKOV, Andrei Andreevich 1856-1922

Den godeste Markov er mest kjent for kjeder, altså Markovkjeder. I en Markovkjede trenger du bare å kjenne til forrige tilstand for å si noe om utviklingen framover (som i figuren). Denne egenskapen har vist seg å være veldig nyttig innen mange felt, for eksempel for å studere aksjemarkeder som skifter mellom høy og lav usikkerhet.

FISHER, Sir Ronald Aylmer 1890-1962

Biologen Richard Dawkins har kalt Fisher for “den største av Darwins etterfølgere”. Fisher har lagt grunnlaget for skummelt mye av moderne statistisk-matematisk metode. Hans bidrag inkluderer hvordan ukjente parametre i en modell skal estimeres, variansanalyse, forsøksplanlegging og randomisering: skal du teste ut en ny medisin må du ha en kontrollgruppe, og du må trekke tilfeldig hvem som skal behandles og ikke.

EFRON, Bradley 1938-

Efrons største bidrag er nok bootstrap-metoden, som er omtrent like magisk som å løfte seg selv etter støvelstroppene. Mens Fisher & kompani etter lange utledninger kom til hvor usikker en estimert størrelse er, viste Efron at en kan få bedre resultater ved å la datamaskinen trekke tilfeldige blandinger av dataene.

Personlig rangerer jeg Fisher høyest, med Efron på en god annenplass. Flertallet av lunsjdeltakerne ville det annerledes. Fisher måtte se seg knepent slått av Gauss i finalen.

Her kan du finne alle kandidatene og delvinnerne fra vår uformelle kåring.