Wikipedia:Kvalitet og feilrater i artikler
Kvalitet på artikler blir ofte diskutert, men uten at det er klart formulert av hva dette impliserer. Vi har en viss formening om at «kvalitet» impliserer en artikkel uten skrivefeil og formateringsfeil, og kanskje uten logiske feil, men har en litt mer diffus holdning til hvorvidt de enkelte faktoidene er riktige og hva det betyr. En måte å se på kvalitet er som informasjonsuthenting. Da er det to forhold som er vesentlig, det som kalles presisjon (precision) og tilbakekalling (recall). Presisjon er omtrent mengden korrekt informasjon i et tekstfragment, uavhengig av hva vi forventer å finne. Tilbakekalling er omtrent mengden relevant informasjon i et tekstfragment, gitt at vi vet hva vi burde finne (det vil si at vi har en fasit). Vi kan tolke «tilbakekall» som at vi vet hva som skal finnes frem igjen. Tilsammen kan disse to måltallene også formuleres som et F-tall (F-score), som er et sammensatt tall som uttrykkes ved disse to.
Det er mulig å regne på en artikkel som et sett av ord, men en kan også se på informasjonsmengden i hvert forekommende ord, og summere over informasjonsmengden. Da kan en få mer representative mål, men de er kanskje ikke så lett å tolke.
I neste omgang kan en så dele hver av disse opp i sanne positive (true positives), falske positive (false positives), sanne negative (true negatives), og falske negative (false negatives). Disse settes ofte opp i en forvirringsmatrise (confusion matrix). En slik matrise brukes for å påvise hvilke typer feil som blir introdusert. Matrisen kan settes opp for hvert enkelt bidrag, og det er ikke gitt at et bidrag vil være udelt positivt eller negativt. Skribenter gjør feil, og selv om noen endringer er gjort i beste mening så kan de likevel introdusere feil.
Bakgrunn rediger
Feil i artikler er et merkelig fenomen. Noen tror de selv er en ufeilbarlig fasit, mens andre stiller spørsmål ved alt de selv gjør. Vi har en tendens til å definere ting inn i våre mentale kategorier, og hvis en ting ikke passer helt inn i hvordan vi deler opp verden, den er på grensen mellom to slike kategorier, så flytter vi tingen slik at den passer bedre med vår mentale modell. Om vår mentale modell er riktig spiller ingen rolle, vi tilpasser verden til hvordan vi ser den. Hvor villig vi er til å godta at ting er i utakt med vår egen mentale modell er forskjellig, men alle er vi sjokkerende villige til å godta etablerte feiloppfatninger.
Når vi bruker et argument i en tekst, så kan det faktisk være gyldig (valid) og likevel bygge på et feil premiss (faktuell feil) eller et premiss kan mangle. Vi har en tendens til å ukritisk akseptere slike påstander med feil, mens noen typer riktige påstander har vi ha en tendens til å avvise. En konflikt mellom to personer om et tekstfragment vil ofte være knyttet til brukernes mentale modeller og hvordan de relaterer til premissene i argumentene. Premissene er da slik at de åpner for tolking utfra brukernes mentale kategorisering. Forankre isteden premissene i eksterne kilder.
En ting som gjør kvalitet som begrep vanskelig er at vi ofte blander det sammen med kvantitet. En kvalitet er entydig, enten har tingen en bestemt kvalitet eller så har den det ikke. Kvantitet er når tingen har litt av noe. Vi har en tendens til å tenke at rettskriving er en entydig kvalitet, men det er ikke så enkelt. Et ord kan være skrevet riktig eller feil, men en tekst kan ha flere skrivefeil. Da går en kvalitet over til å bli en kvantitet. Forskjellen er knyttet til omfanget (antall forekomster) av det vi vurderer. Utfra vår mentale modell så kategoriserer vi teksten som innenfor eller utenfor etablert rettskriving.
Artikler vil inneholde feil. Hvis to personer vurderer en tekst og begge hevder den er rett (eller feil) utfra deres mentale modell, hvem av dem er vårt sannhetsvitne? Hva er riktig? Kan vi overhode bruke smak som et kriterium ved kvalitetsvurdering?
Hvis en vilkårlig tekst skal rettes, og den er litt rett og litt feil, så vil teksten som kommer ut av rettingen fortsatt være litt rett og litt feil. Som tommelfingerregel så finner vi halvparten av feilene, retter halvpart og endrer andre halvparten til ny feil. Vi kan gjenta dette i flere sykluser, og kanskje nå en tekst uten feil etter tilstrekkelig mange repetisjoner. Hvis vi samtidig legger til ny tekst så har også denne feil, og må gjennom retting. Selv om teksten blir større så motarbeider dette feilretting. Hvis en vet hvor sannsynlig det er at en tekst blir rettet og utvidet så kan en beregne sannsynligheten for at den vil nå en korrekt slutt-tilstand.
Hvor sannsynlig det er at en feil blir rettet henger sammen med hvor synlig feilen er. Desto mer synlig en feil er, desto høyere er sannsynligheten for at den rettes. En skrivefeil er veldig synlig, og den rettes raskt. En sitatfeil er mindre synlig, for kilden må sjekkes, og den rettes derfor sjeldnere. En argumentfeil forutsetter at en oppdager at premisset er feil, og slike feil rettes svært sjelden.
Definisjoner rediger
Presisjon rediger
Presisjon er andelen av en eller annen informasjon som er funnet og relevant (relevant information), normalisert over funnet informasjon (contained information).
Særtilfeller rediger
Hvis sender contained information mot et tomt sett så får vi
Det vil si at når artikkelen går mot å være tom så har vi et veldig godt resultat. Intuitivt er alt vi har relevant informasjon. Det er nok en overraskelse for de fleste.
Hvis sender contained information mot relevant information så får vi
Det vil si at når artikkelen akkurat er stor nok til å inneholde all relevant informasjon så har vi også et veldig godt resultat.
Hvis vi sender contained information mot et uendelig stort sett, det vil si vi lager en veldig stor artikkel, men holder mengden faktoider konstant
Presisjonen faller til null, det vil si at vi får et veldig dårlig resultat. Intuitivt vil da mengden riktig innhold bli veldig liten.
Tilbakekalling rediger
Tilbakekalling er andelen informasjon som er funnet og relevant, normalisert over relevant informasjon.
Særtilfeller rediger
Hvis sender contained information mot et tomt sett så får vi
Det vil si at når artikkelen går mot å være tom så har vi et dårlig resultat. Intuitivt vil vi få tilbakekalling på en veldig liten mengde innhold, og verdien går til null.
Hvis sender contained information mot relevant information så får vi
Det vil si at når artikkelen akkurat er stor nok til å inneholde all relevant informasjon så har vi et veldig godt resultat, akkurat som tidligere.
Hvis vi sender contained information mot et uendelig stort sett, det vil si vi lager en veldig stor artikkel, men holder mengden faktoider konstant
Tilbakekalling går til en, det vil si at vi får et veldig godt resultat. Intuitivt vil vi finne alle påviste faktoider.
F-tall rediger
For å unngå feilene vi gjør når artikkelen blir veldig stor og veldig liten, så kan vi bruke F-tall. Dette kan vi se på som en sammenslått utgave av presisjon og tilbakekall. F-tall er også kalt F1-tall eller F1-skår, og er nært beslektet med harmonisk middel.
