Climber Worldwide
Missende data: vertel het hele verhaal met Qlik

Ontbrekende data: vertel het hele verhaal met Qlik

Waarom keren sommige vliegtuigen niet terug van het slagveld? Zijn de succesverhalen van bijvoorbeeld Bill Gates, Jeff Bezos en Mark Zuckerberg wel een goede leerschool? En waarom dacht men in 1987 dat katten meer kans op overleving hadden als ze van een hogere verdieping vielen? Al deze vragen hebben één gemeenschappelijke factor: ze hebben last van “survivorship bias”.

SURVIVORSHIP BIAS

Als je veel met data werkt komt deze term je mogelijk bekend voor. Survivorship bias is het verschijnsel waarbij resultaten (of overlevers) van een bepaald proces disproportioneel behandeld worden. Incomplete datasets, gebrek aan context of het foutief interpreteren van data staat vaak aan de basis van deze misvatting. Als je begrijpt waarom survivorship bias voorkomt en je het effect kan herkennen, kan dat je helpen om je data beter te doorgronden waardoor je analyses betrouwbaarder en meer valide worden. In de (recente) geschiedenis vinden we overigens tal van voorbeelden van dit verschijnsel: het overkomt wetenschappers, entrepreneurs en onderzoekers.

SUCCES BEHALEN OF NIET FALEN?

In het boek “The Black Swan: The Impact of the Highly Improbable” schrijft Nassin Taleb: “The cemetery of failed restaurants is very silent.” Vaak worden de succesverhalen van entrepreneurs gebruikt als voorbeeld hoe het moet, maar naast die kleine hoeveelheid succesverhalen bestaat een veelvoud aan entrepreneurs die het niet redden. Bill Gates (Microsoft), Jeff Bezos (Amazon), Mark Zuckerberg (Facebook) zijn inderdaad succesvol in hun business, maar zij kunnen slechts één kant van het verhaal vertellen: hoe zij het hebben gedaan en hun succes hebben behaald. Alle anderen, die wellicht exact dezelfde stappen hebben ondernomen, die exact hetzelfde talent (of zelfs meer) bezitten, die ook 100% ambitie hebben getoond, zij hebben het niet gehaald en hun verhaal is misschien nog wel interessanter. Zij kunnen je namelijk vertellen wat er gebeurd is waardoor zij gefaald hebben. Juist in deze verhalen zit vaak wijsheid waaruit we kunnen afleiden waarom dingen fout gaan, waarom we falen. Als we alleen maar focussen op diegenen die “overleven”, missen we de volledige scope van de data en begrijpen we niet hoe onze processen daadwerkelijk functioneren.

“The cemetery of failed restaurants is very silent.” – Nassin Taleb

VALLENDE KATTEN

Een ander voorbeeld is ontstaan in 1987: een groep wetenschappers onderzoekt hoe groot de kans is dat katten een val van een bepaalde verdieping overleven. De onderzoekers baseren hun conclusies op data verkregen van dierenartsen. Die zijn hoogst opmerkelijk te noemen: de onderzoekers stellen vast dat hoe hoger de kat valt, hoe groter de kans op overleving is. Het is zelfs zo dat 100% van de katten die van de zesde verdieping of hoger vallen hun val overleven. Volgens de onderzoekers kan dit doordat de katten de maximale valsnelheid behalen tijdens zo’n val en zich ontspannen en vervolgens klaarmaken voor de landing met als gevolg een betere kans op overleving.

The Straight Dope Newspaper wist deze theorie 10 jaar later te ontkrachten. Er is in deze casus namelijk ook sprake van survivorship bias: de onderzoekers troffen bij de dierenartsen slechts data aan van de katten die behandeld waren. Aangezien er geen informatie was over katten die van een hogere verdieping vielen, namen de onderzoekers aan dat deze katten hun val dus zonder kleerscheuren overleefden. Het tegendeel was echter waar: deze katten overleden (vrij) direct als gevolg van hun val en hebben dus nooit de operatietafel van de dierenarts gehaald. Daardoor werden ze niet geregistreerd, en maakten ze dus geen deel uit van de dataset.

VLIEGTUIGEN TIJDENS WOII

Het is 1943: grote delen van Europa worden bezet door Duitse troepen. De geallieerden proberen hier en daar openingen in de verdediging te slaan, onder meer met vliegtuigbommen maar nog zonder al te veel succes. Veel vliegtuigen worden uit de lucht geschoten en gaan verloren. Het Center for Naval Analyses is daarom op zoek naar een mogelijkheid om de bommenwerpers meer te bepantseren. Om ervoor te zorgen dat de vliegtuigen nog steeds kunnen opstijgen, kan niet de hele machine worden voorzien van een verstevigde laag: men moet dus kiezen op welke delen een extra pantser wordt geïnstalleerd. Terwijl de experts van het Center for Naval Analyses noteren waar de vliegtuigen die terugkomen het meest zijn geraakt, wordt ondertussen de hulp ingeschakeld van de Statistical Research Group (SRG) van Columbia University.

Climber blog plane WWII
Qlik Sense filter pane blog

Het is Abraham Wald, in 1938 nog gevlucht naar de Verenigde Staten tijdens de opmars van de Duitse troepen, die met een onverwachte conclusie komt: verstevig de vliegtuigen op de plekken waar de machine níet is geraakt. Wald komt tot deze bevinding door te stellen dat vliegtuigen die terugkomen zijn geraakt op niet-fatale plekken: zij hebben ondanks de schade toch terug kunnen keren. De vliegtuigen die geraakt zijn op andere plekken hebben het blijkbaar niet gered, en dat is de reden waarom volgens Wald de machines beter kunnen worden bepantserd op deze delen. Het advies wordt opgevolgd en mede dankzij de statistische benadering van het probleem door Wald winnen de geallieerden terrein.

“The extra armor belonged not on the part of the plane that could survive a lot of bullets, but to the part of the plane that couldn’t.”  – Abraham Wald

Qlik Sense Survivorship Bias

SURVIVORSHIP BIAS IN QLIK SENSE

De cognitieve engine van Qlik helpt je om survivorship bias tegen te gaan. In de afbeelding hierboven zijn alle type Hole Location geselecteerd (groen), behalve ‘No Holes’ (lichtgrijs). Vervolgens geeft Qlik overzichtelijk weer welke selectiemogelijkheden in Plane en Status nog beschikbaar zijn (wit), en welke niet beschikbaar zijn (donkergrijs). Met deze selectie in Hole Location zien we dat alle vliegtuigen die als status ‘Shot Down’ hebben buiten de dataset vallen. Met andere woorden: vliegtuigen met deze schade keren terug en worden dus niet fataal geraakt. Qlik zorgt er dus voor dat jij geen data mist: door gebruik te maken van verschillende kleuren wordt duidelijk wat er wel en wat er niet tot de (geselecteerde) dataset behoort. Op die manier zie jij tijdens je analyse niets over het hoofd!

Meer weten over hoe Qlik jouw data inzichtelijk kan maken?

Onze consultants helpen je graag je data goed te structureren en in kaart te brengen zodat jij goed geïnformeerde beslissingen kan nemen. Neem gerust contact met ons op of vraag een vrijblijvende demo aan.

// Geschreven door: Ronan Berendsen – BI Consultant Climber

Email: ronan.berendsen@climber.nl
Phone: +31 6 15 28 07 42

Bron:
Mangel, M., & Samaniego, F. J. (1984). Abraham Wald’s work on aircraft survivability.
Wald, A. (1980). A Reprint of’A Method of Estimating Plane Vulnerability Based on Damage of Survivors (No. CRC-432).
https://blog.qlik.com/the-hole-story-and-bias-in-ai

Ronan Berendsen - BI Consultant Climber

Nieuws

Webinar: 4 keys to succeed with self-service BI in Qlik
Event

Webinar: 4 keys to succeed with self-service BI in Qlik

Sign up for our 30 min webinar on May 5 and get a fast track to self-service success in Qlik! Together with the telecom giant Telia we’ll address self-service from a user, process, platform and license aspect.

>> Sign up here!
Je bi-infrastructuur en -software altijd beschikbaar en up-to-date wanneer je overschakelt naar de cloud
Blog

Je bi-infrastructuur en -software altijd beschikbaar en up-to-date wanneer je overschakelt naar de cloud

Met het oog op de toekomst, waarin business intelligence & analytics steeds belangrijker wordt voor organisaties, is het cruciaal dat organisaties, van medewerkers tot stakeholders, geen hinder ondervinden van de IT-infrastructuur. Alleen dan is mogelijk om de focus te houden op wat écht belangrijk is: vooroplopen in de markt. We merken dat het up-to-date houden van de IT-infrastructuur en -software een grote uitdaging vormt voor veel bedrijven. Dit is eenvoudig te ondervangen door deze zaken uit te besteden aan experts.

>> LEES MEER
Pak je voorsprong met behulp van geoanalytics
Blog

Pak je voorsprong met behulp van geoanalytics

Je omzet of marge koppelen aan een locatie biedt veel inzichten. Ofwel, je business analyse koppelen aan locatie-software voor meer inzicht om data gedreven beslissingen te nemen. In de wereld van BI hebben we het dan over geoanalytics. Met geoanalytics verrijk je bestaande data en vergroot je de beleving van je data, en dus de inzichten die hieruit voortkomen. Dit is mogelijk voor het visualiseren van bezorgroutes op een wereldkaart tot het inzichtelijk maken van een looproute op een plattegrond van een winkel: Geoanalytics heeft een duidelijke meerwaarde in allerlei business sectoren.

>> LEES MEER