Menselijk testen vs. AI-testen: wanneer kies je voor welke optie

We gaan iets ongebruikelijks zeggen voor een beveiligingsbedrijf: "Je volgende penetratietest heeft ons (Securify) misschien niet nodig." Als de scope van een assessment past binnen de relatief beperkte omstandigheden waarin AI-tools opereren, leveren de huidige oplossingen een snelle en betaalbare detectie van kwetsbaarheden. We houden ze nauwlettend in de gaten, we respecteren wat ze doen, en in de juiste context zullen we je adviseren ze te overwegen.

Onze eigen praktijkervaring met deze tools heeft ons veel geleerd. Een van die lessen is dat de omstandigheden waarin AI-gestuurde tests alleen voldoende zijn, beperkter zijn dan de marketing doet vermoeden. Het volledig vervangen van menselijk testen door AI-gestuurde tests zorgt vaak voor een kloof tussen de beoogde testscope en de daadwerkelijke dekking. Die kloof is een plek waar kostbare kwetsbaarheden kunnen opduiken.

Het is onze missie om technologie veilig te maken voor iedereen en beveiligingsincidenten te voorkomen. Daarom willen we je helpen precies te begrijpen wat AI goed doet en waar het hulp nodig heeft om zijn volledige potentieel te bereiken.

De vraag die iedereen lijkt te stellen

In de afgelopen twee jaar is er iets significants veranderd in de wereld van beveiligingstests. AI-gestuurde penetratietesttools zijn geëvolueerd van experimenten naar geloofwaardige, productieklare producten. Deze tools specialiseren zich in precies hetzelfde gebied als wij, white-box webapplicatietesten, en ze maken een overtuigende indruk op onze klanten. De volgende vraag verschijnt steeds vaker in verkoopgesprekken: "Waarom zouden we kiezen voor Securify boven een geautomatiseerde AI-oplossing?" Het is een terechte vraag. Een scherpe, zelfs. En die verdient een eerlijk antwoord in plaats van een defensief antwoord.

Een eerlijke beoordeling van wat AI goed doet

Voordat we een argument maken voor door mensen geleide tests, is het de moeite waard om eerlijk te zijn over wat AI-testtools hebben bereikt. Bij Securify vormt kennis en eerlijkheid de basis van goed security-advies en dat geldt ook wanneer het over onze eigen rol gaat.

• AI testingtools zijn snel. Waar een door mensen geleide opdracht dagen of weken duurt, kan een geautomatiseerde tool binnen enkele uren resultaten opleveren. Voor teams die continu code opleveren, heeft die snelheid echte waarde.
• AI wordt beter met elke modelrelease. De tools die vandaag beschikbaar zijn, zijn aanzienlijk capabeler dan die van achttien maanden geleden. Dit traject vertraagt niet, en we monitoren het constant.
• AI heeft aangetoond werkelijk in staat te zijn hoog-risico kwetsbaarheden te vinden. In directe vergelijkende evaluaties hebben AI-tools menselijke testers geëvenaard en in sommige gevallen overtroffen bij het ontdekken van kwetsbaarheden. Dit is met name zichtbaar voor bekende kwetsbaarheidsklassen zoals injectiefouten, authenticatie-bypasses en onveilige directe objectreferenties. Dit is geen marketingverhaal van leveranciers, maar de realiteit.
• AI kan kosteneffectief zijn. Continue geautomatiseerde tests voor een lagere prijs dan een jaarlijkse door mensen geleide opdracht is een zinvol voorstel, met name voor organisaties die nog nooit beveiligingstests hebben uitgevoerd.

Deze sterke punten laten zien hoe ver geautomatiseerd AI-testen is gekomen. Het heeft ongelofelijke voordelen en maakt beveiligingsbeoordelingen toegankelijker voor een breder publiek. Dit zou op zijn beurt hopelijk software veiliger moeten maken, en daarom moedigen we het aan en hopen we te zien dat het steeds beter wordt.

Waar AI beperkingen heeft

Dat gezegd hebbende heeft geautomatiseerd AI-testen in zijn huidige vorm betekenisvolle beperkingen die er toe doen in echte bedrijfsomgevingen. Bijvoorbeeld:

1. Contextvensters beperken het begrip van complexe applicaties. AI-tools verwerken code en applicatiegedrag binnen een gedefinieerd contextvenster. Voor grote applicaties met veel interacterende services, gedeelde libraries, aangepaste middleware en onderling verbonden datastromen analyseert de tool niet het gehele systeem tegelijkertijd. Het vindt kwetsbaarheden in wat het kan zien. Wat buiten dat venster valt is effectief onzichtbaar.

2. AI heeft moeite met redeneren over een hele omgeving of organisatie. Wanneer een penetratietest webapplicaties, infrastructuur, cloudconfiguratie en interne services omvat, lopen de gevaarlijkste aanvalspaden vaak dwars door al deze onderdelen. Een bevinding met gemiddeld risico in één service, gecombineerd met een verkeerde configuratie in een andere en een zwakke vertrouwensgrens in een derde, kan optellen tot een kritisch inbreukpad. Dit vereist redeneren en begrip van een hele onderneming, niet alleen de beschikbare code waaruit de afzonderlijke componenten bestaan. AI-tools beoordelen componenten. Menselijke experts kunnen systemen beoordelen.

3. AI-tools vereisen dat je assets toegankelijk zijn via hun platform. De meeste geautomatiseerde oplossingen vereisen internettoegankelijke applicaties of dat je broncode wordt gedeeld met een SaaS-omgeving van derden. Voor veel organisaties in Financiële Dienstverlening, Gezondheidszorg, Overheid of Defensie is dit niet acceptabel, ongeacht de aangeboden beveiligingsgaranties. Menselijke testers kunnen volledig op locatie werken, onder NDA, in air-gapped omgevingen, zonder dat er data je infrastructuur verlaat.

4. AI opereert alleen binnen de grenzen die het zijn gegeven. Dit is de meest fundamentele beperking. Een AI-tool voert uit binnen zijn gedefinieerde parameters. Het wordt niet nieuwsgierig. Het merkt niet dat een functie die intentioneel lijkt architecturaal inconsistent is met al het andere dat het heeft gelezen. Het vraagt je lead developer niet waarom de authenticatiestroom werkt zoals die werkt, om vervolgens te beseffen dat het antwoord een aanname onthult die nooit is getest.

Hoe lang deze beperkingen blijven bestaan is onzeker. Het enige wat we kunnen zeggen is dat ze op dit moment van toepassing zijn.

Wat mensen bijdragen

Bij Securify is het onze missie om technologie veilig te maken voor iedereen. We geloven dat softwarekwetsbaarheden uiteindelijk menselijke problemen zijn. Ze ontstaan door aannames, misverstanden en kloven tussen wat werd bedoeld en wat werd gebouwd. Die overtuiging is de basis van waarom door mensen geleide tests fundamenteel andere resultaten kunnen opleveren, niet alleen betere of slechtere. Het is anders om de volgende redenen:

1. Mensen begrijpen intentie, niet alleen implementatie. Code toont wat een applicatie doet. Het toont niet altijd wat het verondersteld werd te doen. Onze experts lezen code zoals een ervaren lezer tussen de regels door leest: op zoek naar plekken waar ontwerpbeslissingen onder druk zijn veranderd of waar ontwikkelaars verschillende aannames hebben gemaakt over het beoogde gedrag van een component

2. Ons contextvenster is de gehele opdracht. Wanneer we met een klant werken, verzamelen we context uit de codebase, uit architectuurdocumentatie, uit gesprekken met developers en producteigenaren, en vanuit begrip van het bedrijfsmodel en het dreigingslandschap dat relevant is voor hun industrie. We brengen dit alles in elke bevinding die we doen. Geen enkel tool voert deze gesprekken al met alle betrokken partijen.

3. We koppelen bevindingen aan echte aanvalspaden. Individuele kwetsbaarheden zijn belangrijk. Maar de vraag die er voor je bedrijf toe doet is niet "wat kan er gevonden worden?", maar "wat kan een aanvaller daadwerkelijk doen, en wat kost je dat?" Menselijke experts koppelen bevindingen tot realistische aanvalsscenario's. We laten je niet alleen de kwetsbaarheid zien, maar ook het pad van initiële toegang tot bedrijfsimpact.

4. We fungeren als vertrouwde adviseurs, niet als rapportgeneratoren. Een goede beveiligingsbeoordeling is geen transactie. Het is het begin van een beveiligingspartnerschap. We interpreteren onze bevindingen in de context van je bedrijf, de capaciteiten van je team en je risicotolerantie. We stellen prioriteiten bij wat er toe doet, leggen uit wat het betekent in begrijpelijke taal, en werken samen met je developers om het herstelproces iets te maken waar ze daadwerkelijk mee aan de slag kunnen.

In de toekomst kan AI menselijk begrip volledig simuleren als de juiste instructies worden gegeven en het correct wordt begeleid. Het bieden van de juiste begeleiding aan de AI en het interpreteren van zijn acties is waar menselijke expertise vereist is. Gekwalificeerde menselijke expertise kun je krijgen van je beveiligingspartner.

Mensen en AI

We denken niet dat AI en menselijke expertise op een botskoers liggen. We denken dat ze convergeren naar iets krachtiger dan wat elk afzonderlijk biedt. Kiezen voor een menselijke beoordeling betekent niet dat de sterke punten van AI-beoordelingen niet kunnen worden toegepast. In feite profiteert Securify op dezelfde manier van de ontwikkelingen in AI. Onze expertise stelt ons in staat ons eigen potentieel en dat van de AI te maximaliseren. Een geautomatiseerde AI-test is als een zaklamp die licht schijnt in de duisternis en de kwetsbaarheden ontdekt die daar op de loer liggen. Met een door mensen geleide test kunnen we die zaklamp oppakken en op specifieke plaatsen richten, waardoor het veel effectiever wordt.

Welke aanpak is geschikt voor jouw organisatie?

In plaats van je te vertellen wat je moet kiezen, zijn hier de vragen die je helpen dit zelf te bepalen.

• Kan je broncode en applicatie worden gedeeld met een SaaS-platform van derden?
  Zo niet dan zijn AI-only tools mogelijk operationeel niet haalbaar voor je.

• Omvat je applicatie meerdere services, infrastructuurlagen of op maat gebouwde frameworks?
  Zo ja dan wordt het cross-component redeneren van een door mensen geleide beoordeling significant waardevoller.

• Wil je voldoen aan een compliancevereiste of wil je je risico werkelijk begrijpen? Beide zijn geldige doelstellingen maar ze vragen om verschillende aanpakken. AI kan een grote aanwinst zijn voor het voldoen aan compliancevereisten maar zal waarschijnlijk niet redeneren over, en je helpen begrijpen, wat het risico inhoudt.

• Heeft je applicatie of team significante wijzigingen ondergaan sinds je laatste beoordeling?
  Nieuwe functies, nieuwe developers en nieuwe integraties zijn plekken waar aannames zich ophopen. Menselijke experts zijn beter in het vinden van de naden.

• Bevind je je in een gereguleerde industrie met specifieke vereisten voor hoe tests moeten worden uitgevoerd?
  Verschillende frameworks, waaronder TIBER-EU, DORA TLPT en bepaalde PCI DSS-contexten, vereisen bij naam gecertificeerde menselijke testers. Een AI-rapport voldoet niet aan deze mandaten.

• Valt de organisatie onder regelgeving met specifieke testvereisten?
  Frameworks zoals TIBER‑EU, DORA TLPT en bepaalde PCI DSS‑scenario’s vereisen benoemde menselijke testers.

De antwoorden op die vragen zullen je vertellen of een door mensen geleide beoordeling waarschijnlijk de juiste keuze is. Als je dat niet kunt bepalen aan de hand van die vragen kunnen we je helpen het antwoord te vinden.

De conclusie

Terug naar de AI-zaklampmetafoor. Die schijnt wijd, schijnt consistent en wordt elk jaar helderder. Maar een ongerichte zaklamp verlicht de verkeerde dingen. Bij Securify kunnen we de zaklamp oppakken. We kennen je applicatie, je architectuur, je bedrijf en je dreigingslandschap. We weten waar we de zaklamp op moeten richten en we weten waar we naar zoeken wanneer we dat doen.

Je kiest een AI-tool wanneer je een scanner nodig hebt en de resultaten zelf kunt lezen.

Je kiest Securify wanneer je een beveiligingspartner nodig hebt die de tools voor je inzet. Als kwetsbaarheden uiteindelijk menselijke problemen zijn, zal het meest krachtige antwoord daarop altijd een mens in het middelpunt hebben, gewapend met de beste beschikbare tools. Mensen die de beste aanvallers nabootsen, met de beste tools die er zijn.