Awareness meten gebeurt in de meeste organisaties met één getal: het percentage medewerkers dat op een gesimuleerde phishingmail klikt. Dat getal staat in het kwartaalrapport, het daalt meestal netjes, en het zegt opvallend weinig. Een HR-manager of CISO die moet verantwoorden wat het awarenessbudget oplevert, heeft een betere set indicatoren nodig. Dit artikel beschrijft er vier, en hoe je ze over twaalf maanden volgt zonder dat de cijfers zichzelf gaan verbeteren.
Waarom het klikpercentage je bedriegt
Onderzoekers van UC San Diego volgden ruim 19.500 medewerkers van UC San Diego Health in een gerandomiseerd experiment van acht maanden. Ze verstuurden verschillende soorten nepmails en maten wie klikte. Het gemiddelde faalpercentage per mail liep uiteen van 1,8 procent bij een mail over een Outlook-wachtwoord tot 30,8 procent bij een mail over een nieuw vakantiebeleid. Dezelfde mensen, dezelfde organisatie, dezelfde periode. De onderzoekers concluderen dat betere lokmails het faalpercentage veel sterker verhogen dan trainingsaanpakken het verlagen.
Daar zit het probleem voor iedereen die awareness meten serieus neemt. Wie in januari een moeilijke mail verstuurt en in juni een makkelijke, rapporteert een dalende lijn die niets met gedrag te maken heeft. Dat gebeurt zelden bewust. Een leverancier kiest elke ronde nieuwe sjablonen, en niemand houdt bij hoe moeilijk die waren.
Hetzelfde onderzoek vond geen significant verband tussen het recent afronden van de verplichte jaarlijkse training en de kans om in een phishingmail te trappen. De ingebedde training na een klik verlaagde de kans op klikken met slechts 2 procent, en 75 procent van de gebruikers keek een minuut of korter naar dat trainingsmateriaal. Onderzoekers van ETH Zürich kwamen eerder in een studie onder ruim 14.000 medewerkers over vijftien maanden tot een vergelijkbare conclusie over ingebedde training. Dat bevestigt wat we schreven in security awareness training werkt niet: wie alleen klikt-of-niet meet, meet vooral de lokmail.
Awareness meten met vier indicatoren
Bruikbaar awareness meten verschuift de aandacht van wat mensen fout doen naar wat ze goed doen. De ETH-studie liet zien dat medewerkers samen een effectief detectiemechanisme vormen: met een meldknop werden nieuwe phishingcampagnes snel ontdekt, met een acceptabele belasting voor het securityteam en blijvende deelname over de lange termijn. Dat inzicht is de basis voor de volgende vier indicatoren.
| Indicator | Wat je meet | Waarom het telt |
| Meldpercentage | Het aandeel ontvangers dat een gesimuleerde mail meldt via de meldknop | Laat actief gedrag zien, en is minder gevoelig voor de moeilijkheid van de lokmail dan klikken |
| Meldsnelheid | De tijd tussen verzending en de eerste melding | Bepaalt hoe snel het securityteam een echte campagne kan blokkeren |
| Zelfmelding na klik | Het aandeel klikkers dat zelf meldt dat het misging | Meet of mensen fouten durven toe te geven, het signaal dat bij een echt incident het meeste tijd scheelt |
| Echte meldingen | Aantal en kwaliteit van meldingen over echte verdachte mails, buiten simulaties | De enige indicator die laat zien wat er gebeurt als niemand een test verwacht |
Bij awareness meten verdient de meldsnelheid extra aandacht. In een organisatie van vijfhonderd mensen hoeft niet iedereen een phishingmail te herkennen. Het volstaat dat de eerste drie het binnen tien minuten melden en dat het SOC of de servicedesk de mail uit alle andere mailboxen haalt. Wie de meldsnelheid verbetert, verkleint het venster waarin een aanvaller profiteert van de collega die wel klikt.
De vierde indicator is het lastigst te verzamelen, en het eerlijkst. Telt de servicedesk hoeveel echte verdachte mails er per maand worden gemeld, en hoeveel daarvan terecht waren? Een stijging van terechte meldingen bij een gelijkblijvend aantal valse meldingen is het sterkste bewijs van gedragsverandering dat je kunt krijgen. Let wel op de keerzijde: een golf van meldingen zonder goede triage leidt tot alert fatigue bij je analisten.
Awareness meten over twaalf maanden
Bij awareness meten draait het eerste kwartaal om de nulmeting. Leg vast hoe de meldknop werkt, verstuur twee simulaties met een vooraf ingeschatte moeilijkheid, en noteer alle vier de indicatoren. Kies drie moeilijkheidsniveaus en houd per lokmail bij in welke categorie die valt. Zonder die administratie is elke latere vergelijking onbetrouwbaar.
In het tweede kwartaal volgt de interventie. Dat is het moment voor training, en bij voorkeur geen losse e-learning. Een sessie waarin medewerkers oefenen met herkennen én melden, en waarin het melden na een eigen klik expliciet wordt beloond, raakt precies de indicatoren die je volgt. Voor groepen met een hoger risico, zoals finance en het directiesecretariaat, loont een eigen sessie; de aanpak daarvan beschreven we bij business email compromise.
Het derde kwartaal is de eerste herhaalmeting, met lokmails uit dezelfde moeilijkheidsniveaus als bij de nulmeting. Pas nu zegt een verschil iets, en pas nu levert awareness meten een uitspraak over gedrag op. Het vierde kwartaal combineert een tweede herhaalmeting met een terugblik op de echte meldingen over het hele jaar, en levert het rapport dat naar het MT gaat.
Houd het jaarrapport kort. Eén pagina met de vier indicatoren per kwartaal, de moeilijkheidsniveaus van de gebruikte lokmails, en per indicator één zin over wat er veranderde en waarom. Een MT dat awareness meten op die manier aangeleverd krijgt, kan er een besluit op nemen: doorgaan, bijsturen of een specifieke groep extra trainen.
Dat ritme sluit aan op wat NIST aanbeveelt. In SP 800-50 Rev. 1, de richtlijn uit september 2024 voor het opzetten van een leerprogramma rond cybersecurity en privacy, staat dat een programma gedragsverandering moet stimuleren als onderdeel van risicomanagement, en dat het metrics en evaluatiemethoden bevat om het programma regelmatig bij te stellen. In dat kader stuurt awareness meten het programma van het volgende jaar bij.
Drie valkuilen bij awareness meten
De eerste is de moeilijkheid laten zakken. Elke ronde een iets makkelijkere lokmail levert een mooi dalende lijn op. Met vaste moeilijkheidsniveaus voorkom je dat, en een externe partij die de simulaties uitvoert, hoort die niveaus ook te rapporteren.
De tweede is klikkers straffen. Een organisatie die herhaalde klikkers op gesprek laat komen of in een rapport bij naam noemt, ziet het klikpercentage dalen en de zelfmelding na een klik verdwijnen. Medewerkers leren dan vooral dat je een fout beter verzwijgt. Dat is bij een echt incident precies het gedrag dat het meeste kost.
De derde is de meldknop belonen zonder op kwaliteit te letten. Wie alleen het aantal meldingen telt, krijgt meldingen van elke nieuwsbrief. Daarom hoort het aandeel terechte meldingen in dezelfde rapportage. Voor de manier waarop je zulke cijfers zonder vanity-effect aan de directie presenteert, zijn de principes uit onze blog over eerlijke SOC-KPI’s een goed vertrekpunt.
Wie eigenaar is van de cijfers
Awareness meten valt vaak tussen twee stoelen. HR beheert het opleidingsbudget en de deelnamelijsten, security beheert de meldknop en de simulaties, en de servicedesk ziet de echte meldingen binnenkomen. Elk van de drie heeft een deel van de data, en niemand heeft het geheel. Het gevolg is een rapport met alleen het klikpercentage, omdat dat het enige cijfer is dat één partij zelfstandig kan leveren.
Wijs daarom één eigenaar aan die de vier indicatoren samenbrengt. In de praktijk werkt een gedeelde verantwoordelijkheid het best: security levert de metingen, HR koppelt ze aan opleidingsmomenten en afdelingen, en samen presenteren ze één rapport. Spreek vooraf af dat cijfers alleen per afdeling of team worden gerapporteerd, nooit per persoon. Dat beschermt de zelfmelding en maakt awareness meten bespreekbaar in plaats van bedreigend.
Wat dit vraagt van de training zelf
Awareness meten heeft alleen zin als de training op hetzelfde gedrag mikt. De Cyber Awareness Training van Trivian behandelt naast phishing, ransomware, social engineering, malware en CEO-fraude ook het melden van incidenten, en is bedoeld voor iedereen van medewerker tot directeur. De training duurt 8 of 16 uur, als halve dag, hele dag of verspreid over meerdere sessies, en wordt op maat gegeven, op locatie of online. Die spreiding over sessies past goed bij een meetjaar: de nulmeting vóór de eerste sessie, een herhaalmeting na de laatste.
Het awareness meten zelf doe je in eigen huis of met je simulatieleverancier. De training levert het gedrag waar de indicatoren op reageren. Wie phishingdetectie als teamdiscipline wil verankeren, heeft beide nodig. Dezelfde logica geldt voor nieuwere risico’s zoals shadow AI: ook daar telt of mensen melden wat ze tegenkomen.
Een goed onderbouwd meetjaar is ook een sterk argument richting het MT en past in een maturity-traject. Voor HR is het ook een manier om opleiden zichtbaar te maken als onderdeel van goed werkgeverschap. De mogelijkheden voor teamtrajecten staan op de pagina voor werkgevers en data in de agenda. Wil je een meetjaar rond awareness opzetten met een training die daarop aansluit, plan dan een kennismaking.
