Internetrobots, spiders, web bots, crawlers. Bots zijn bekend onder vele namen. Maar wat zijn ze precies?
Bots zijn kleine softwareprogramma’s die zijn gemaakt om simpele en repetitieve taken op het internet uit te voeren die te tijdrovend of te saai zijn voor ons. Denk aan het indexeren van je website in zoekmachines, of het monitoren van de gezondheid van je website. Helaas voor ons, kunnen bots ook slecht zijn.
De waarschuwingssignalen
Bots komen regelmatig in de vorm van malware, en ze zijn overal. De helft van al het internetverkeer bestaat uit bots en een kwart daarvan zijn slechte bots. Je kunt je voorstellen dat dit problemen kan veroorzaken voor je website. Sommige schadelijke issues die bots kunnen veroorzaken zijn onder andere:
- DDoS-aanvallen
- Fraude (van creditcards tot klikfraude)
- SEO spam
- Bericht spam
- Verlaging snelheid van de website
Er zijn een aantal punten die kunnen weggeven of je website is bezocht door slechte bots.
Zie je een verminderde gemiddelde sessielengte en verhoogde bounce rates? Dan moeten de alarmbellen gaan rinkelen. Deze bots kunnen ernstige schade toebrengen aan je website. Gelukkig zijn er een aantal effectieve manieren beschikbaar om bots van je website te blokkeren.
Hoe stop je ze?
Er is geen heilige graal voor het blokkeren van bots op je website. Er zijn veel verschillende manieren om bots te blokkeren en elk van hen heeft zijn eigen voordelen. Sommige manieren om bots te blokkeren zijn:
- CAPTCHA’s
- Plug-ins
- .htaccess
CAPTCHA’s
CAPTCHA’s zijn kleine tests op een website die robots van mensen onderscheiden. Ze worden vaak gebruikt op websites die menselijke input nodig hebben, denk aan reviewsites of vragenlijsten. Let wel, CAPTHCA’s blokkeren bots niet van je website, maar van je formulieren. Het is een efficiënte manier om ervoor te zorgen dat de gegevens uit je formulieren eerlijk zijn.
De klassieke CAPTCHA is er een die we allemaal kennen: de golvende en onregelmatige letters, die we zelf moeten lezen en invullen. Google lanceerde reCAPTCHA: een simpele klik op de ”ik ben geen robot” knop doet het werk.
Hoewel deze effectief zijn om bots te blokkeren van je formulieren, kan het irritatie veroorzaken bij echte menselijke bezoekers die gewoon snel door willen gaan naar je website. De laatste tijd is er een ander soort CAPTCHA ontstaan. Bedrijven ontwikkelen CAPTCHA’s in de vorm van leuke kleine taken of puzzels.
Houd er wel rekening mee dat bots steeds slimmer en slimmer worden, en dat bekend dat ze in staat zijn om CAPTCHA’s te slim af te zijn. Daarom kan het een slimme zet zijn om meer dan één manier toe te passen om je website te beschermen tegen bots.
Plug-ins
Als je een WordPress website hebt, of een ander CMS, kunnen plug-ins een eenvoudige en tijdbesparende manier zijn om bots te blokkeren (vooral voor de niet-techneuten onder ons). WordPress biedt veel verschillende plug-ins om slechte bots te bestrijden. Een effectieve plug-in is de zogenaamde Blackhole voor Bad Bots.
De Blackhole for Bad Bots plug-in zet een leuke kleine boobytrap op voor slechte bots. Het vereist dat je website een robots.txt bestand heeft. Robots.txt is gemaakt voor zoekmachine bots die je website willen indexeren. Met het robots.txt bestand kun je de toegang tot pagina’s die je niet wilt indexeren weigeren, zoals de bedankpagina. Deze plug-in zet een verborgen link naar je website op. De volgende stap is om de toegang tot die link in je robots.txt-bestand te weigeren. Wanneer slechte bots je robots.txt niet volgen, krijgen ze toegang tot de link, die hen rechtstreeks in een zwart gat stuurt.
.htaccess
Een manier om de slechte bots te blokkeren die wat meer kennis vereist is door je .htaccess bestand te gebruiken. Door code aan je bestand toe te voegen, kun je bots onmiddellijk blokkeren wanneer ze je website binnenkomen. Houd er rekening mee dat één typefout in je code je hele website overhoop kan halen, dus zorg ervoor dat je weet wat je doet en maak altijd een back-up van je .htaccess bestand.
Weet met wie je te maken hebt! Begin met het identificeren van de slechte bots. Het identificeren van deze bots is een ingewikkeld proces, waarbij je de logbestanden van je server moet analyseren. Er zijn ook databases die lijsten van slechte bots aanbieden (let op: deze zijn nooit echt compleet). Als ze eenmaal geïdentificeerd zijn, kunnen bots geblokkeerd worden op verschillende manieren zoals User Agent, IP adres, refferers en nog veel meer. Ook hier is kennis van .htaccess en HTML noodzakelijk. Als je niet over de vereiste kennis hiervoor beschikt, kunnen veel forums of artikelen online je een handje helpen. Enkele voorbeelden van deze artikelen zijn:
