Anomaliedetectie voor de bescherming van trading bots: van Z-Score tot Transformer

Iedereen die ooit een trading bot op crypto-exchanges heeft gedraaid, kent het gevoel: de bot draait een week lang perfect en wist dan in 30 seconden de winst van diezelfde week weg. Een flash crash op één exchange. Een nepmuur in het orderboek. Een liquidatiecascade. Of de exchange geeft simpelweg rommel terug in plaats van data.

Al deze situaties hebben één ding gemeen — het zijn anomalieën. En als je bot ze niet herkent, wordt hij vroeg of laat hun slachtoffer.

Wat telt als een anomalie in crypto-trading

Voordat we anomalieën gaan jagen, moeten we het eens worden over waar we naar op zoek zijn. Machine learning onderscheidt drie typen, en alle drie komen dagelijks voor op crypto-markten.

Puntanomalieën — geïsoleerde gebeurtenissen die scherp afwijken van de norm. Een candle met een volume dat 50 keer boven het gemiddelde ligt. De BTC/USDT-spread op Binance die uitschiet naar 0,5%. Voor een market-making bot is elke zo'n gebeurtenis een potentiële val: instappen tegen een nepprijs of slippage lijden die de hele marge opeet.

Collectieve anomalieën — een reeks gebeurtenissen die individueel normaal lijken, maar in totaal een probleem signaleren. Het klassieke voorbeeld is spoofing: iemand plaatst en annuleert grote limietorders gedurende meerdere minuten. Elke individuele order is gewoon, maar het patroon "plaatsen-annuleren-plaatsen-annuleren" met een order-to-trade-ratio van 100:1 is manipulatie — en een bot die vertrouwt op orderboekdiepte handelt op niet-bestaande liquiditeit.

Contextuele anomalieën — een normale waarde in de verkeerde context. Een bitcoin-handelsvolume typisch voor de Londense sessie, maar waargenomen om 3 uur 's nachts UTC op een zondag. Zonder context in overweging te nemen, zijn zulke anomalieën onzichtbaar — en dit zijn precies de anomalieën die het vaakst langs basisdetectoren glippen.

Visualisatie van drie hoofdtypen anomalieën in tradingdata: puntpieken, collectieve patronen en contextuele afwijkingen.

Ruis versus anomalie: het contextprobleem

Een anomalie is niet zomaar "vreemde data". Het is een afwijking die informatie draagt. Het is cruciaal om onderscheid te maken tussen:

• Ruis: Willekeurige fluctuaties die deel uitmaken van het normale marktregime.
• Drift: Een geleidelijke verschuiving in marktomstandigheden (bijv. de overgang van een low-volatility nacht naar een actieve ochtend).
• Anomalie: Een plotselinge schending van het verwachte patroon.

Het bepalen van het verschil tussen onschadelijke ruis, aanhoudende drift en gevaarlijke anomalieën is een belangrijke uitdaging voor elke detector.

Simpele methoden die 80% van de problemen oplossen

Niet alles hoeft opgelost te worden met neurale netwerken. Drie basisdetectoren zijn genoeg voor de meeste trading bots.

Z-Score: snel extreemfilter

De Z-Score laat zien hoeveel standaarddeviaties de huidige waarde afwijkt van het voortschrijdend gemiddelde. Berekend in microseconden, werkt op elk tijdsframe.

We gebruiken het voor drie taken: filteren van abnormaal volume (Z-Score > 3 — signaal om spreads te verbreden of het quoten te pauzeren), spreadmonitoring (abnormale bid-ask-verbreding gaat vaak vooraf aan scherpe bewegingen), en funding rate van futures (extreme waarden waarschuwen voor een waarschijnlijke liquidatiecascade).

Z-Score identificeert extreme gebeurtenissen door te meten hoeveel standaarddeviaties een punt van het gemiddelde afligt. Waarden boven ±3σ worden in de meeste tradingsystemen als uitschieters beschouwd.

Belangrijke beperking: crypto-markten hebben distributies met dikke staarten (fat tails). Een gebeurtenis die volgens een normale verdeling eens in de miljoen jaar zou moeten voorkomen (6σ), gebeurt in crypto maandelijks. Dus Z-Score is een grof anomaliefilter, geen definitief oordeel.

Level Shift Detector: wanneer de markt van regime verandert

We nemen twee opeenvolgende voortschrijdende vensters en vergelijken hun gemiddelden. Als het verschil een drempel overschrijdt — heeft er een regimeverschuiving (level shift) plaatsgevonden. Market-makingstrategieën profiteren in een stabiele markt en verliezen bij scherpe bewegingen. Een Level Shift Detector op volume en volatiliteit waarschuwt minuten voordat een regimeverandering duidelijk wordt in de prijs.

We passen dit toe op meerdere metrieken tegelijk: gemiddelde ordergrootte, orderboekdiepte op de eerste 5 niveaus, aantal trades per tijdseenheid. Als Level Shift op ten minste twee metrieken triggert — schakelt de bot over naar de verdedigingsmodus.

Volatility Shift Detector: de storm aanvoelen

Een vergelijkbare aanpak, maar in plaats van gemiddelden worden standaarddeviaties vergeleken. Een scherpe stijging van de volatiliteit is een signaal om parameters te heroverwegen. Een interessant patroon: abnormaal lage volatiliteit gaat vaak vooraf aan een explosieve beweging. De Volatility Shift Detector vangt beide gevallen — compressie en expansie.

Level Shift- en Volatility Shift-detectoren zijn essentieel voor het identificeren van 'regimeveranderingen' — plotselinge structurele verschuivingen in marktgedrag die andere tradingparameters vereisen.

HBOS: snelle multidimensionale analyse

Wanneer je 10+ indicatoren tegelijk moet monitoren zonder de kosten van complexe ML, is HBOS (Histogram-Based Outlier Selection) de beste keuze. Het gaat uit van onafhankelijkheid van features en bouwt voor elk een histogram. De anomaliescore is het product van de omgekeerde dichtheden over alle histogrammen.

HBOS is aanzienlijk sneller dan afstandsgebaseerde methoden zoals LOF, waardoor het geschikt is voor high-frequency filtering van multidimensionale toestandsvectoren.

Machine learning: wanneer statistiek niet volstaat

Basismethoden werken met één indicator tegelijk. Maar echte anomalieën manifesteren zich vaak als een ongewone combinatie van indicatoren: het volume is normaal, de spread is normaal, maar volume + spread + snelheid van prijsverandering + orderboekonbalans samen — zijn anomaal. Dit is waar ML nodig is.

Een gestructureerd landschap van anomaliedetectiemethoden: van klassieke unsupervised algoritmen tot deep learning-architecturen.

Isolation Forest: beste balans voor productie

Van alle ML-methoden voor anomaliedetectie past Isolation Forest het best bij tradingsystemen. Het algoritme bouwt een ensemble van decision trees die de featureruimte willekeurig partitioneren. Anomale punten, die "zeldzaam en anders" zijn, worden in minder splits geïsoleerd.

Waarom Isolation Forest? Het vereist geen gelabelde data — het labelen van anomalieën op crypto-markten is vrijwel onmogelijk, omdat elke flash crash uniek is. Snelle inferentie in milliseconden maakt near-real-time gebruik haalbaar. En cruciaal voor productie: voorspellingen kunnen worden uitgelegd via SHAP-waarden — je weet niet alleen dát een moment anomaal is, je begrijpt waarom.

Op bitcoin-data detecteerde Isolation Forest niet alleen voor de hand liggende anomalieën zoals de volatiliteitspiek toen Tesla in 2021 BTC-betalingen afwees, maar ook subtiele anomalieën — periodes waarin prijsbewegingen niet werden ondersteund door volume, wat wijst op externe manipulatie. Bij analyse van spoofing tonen SHAP-waarden aan dat de belangrijkste indicatoren onevenwichtige orderboekquotes en abnormaal hoge annuleringsactiviteit zijn.

Het Isolation Forest-algoritme werkt door de ruimte willekeurig te partitioneren: uitschieters worden geïsoleerd in aanzienlijk minder splits dan punten in dichte clusters.

LOF: beste keuze voor multi-exchange monitoring

Local Outlier Factor beoordeelt de anomaliteit van een punt door zijn lokale dichtheid te vergelijken met die van zijn buren. Een onderzoek (Springer, 2024) waarin LOF, Isolation Forest en One-Class SVM op cryptocurrency-data werden vergeleken, wees LOF aan als het meest effectief — het vond echte anomalieën met de minste valse positieven, en presteerde stabiel op zowel bitcoin als dogecoin.

Waarom is LOF belangrijk voor multi-exchange-infrastructuur? Data van verschillende exchanges hebben een verschillende "dichtheid" — Binance ziet duizenden trades per seconde, een niche-exchange ziet er tientallen. Globale methoden zoals Z-Score zullen valse positieven produceren op niche-exchanges of anomalieën missen op grote exchanges. LOF past zich aan de lokale context aan.

LOF vergelijkt de lokale dichtheid van een punt met die van zijn buren. Hierdoor kan het uitschieters vinden die 'lokaal' anomaal zijn, zelfs als ze overeenkomen met globale datapatronen.

De beperking is kwadratische complexiteit ten opzichte van het aantal punten. Voor real-time data op tick-niveau is het te traag, maar voor minuutaggregaten over 100+ exchanges — ideaal.

Autoencoders: diepgaande orderboekanalyse

Een autoencoder is een neuraal netwerk dat data comprimeert tot een compacte representatie en die vervolgens reconstrueert. Getraind op "normale" data, signaleert een hoge reconstructiefout vervolgens een anomalie.

Voor orderboekanalyse is dit het krachtigste instrument. Een orderboek met 20 bid- en 20 ask-niveaus is een 40-dimensionale vector die honderden keren per seconde wordt bijgewerkt. Een LSTM Autoencoder houdt rekening niet alleen met de huidige toestand, maar ook met de dynamiek — hoe het orderboek is veranderd over de laatste N ticks. De hybride aanpak "LSTM Autoencoder + One-Class SVM" scheidt de verantwoordelijkheden: het neurale netwerk verzorgt feature-extractie, klassieke ML verzorgt de besluitvorming. Het belangrijkste nadeel is de rekenkost: real-time inferentie vereist een GPU.

Autoencoders leren een gecomprimeerde 'latente' representatie van normale data. Anomalieën worden niet nauwkeurig gereconstrueerd, wat resulteert in een hoge foutscore die voor detectie wordt gebruikt.

Cascaderende architectuur: alles samenbrengen

Geen enkele methode lost alle problemen op. Snelle methoden missen complexe anomalieën. Nauwkeurige methoden zijn te traag voor real-time. De oplossing is een cascaderende architectuur waarin elke volgende laag opvangt wat de vorige heeft gemist.

Meerlaagse architectuur voor anomaliedetectie: van hard limits op milliseconde-niveau tot deep learning-analyse op de achtergrond.

Laag 1 — Fast Path (onder 1 ms). Z-Score op volume, spread en prijsverandering. Persistentiecontrole. Hard limits. Bij trigger — onmiddellijke pauze van het handelen. Deze laag beschermt tegen flash crashes, API-fouten en grove manipulaties. Geïmplementeerd in de hoofdloop van de bot zonder externe afhankelijkheden.

Laag 2 — Near Real-Time (1–100 ms). Isolation Forest op gecombineerde features. Level Shift- en Volatility Shift-detectoren. Bij trigger — omschakeling van tradingmodus, aanpassing van parameters. Draait in een parallelle thread.

Laag 3 — Achtergrondanalyse (1–60 seconden). LOF op multi-exchange data. LSTM Autoencoder op orderboektoestanden. Analyse van seasonal decomposition residuals. Bij trigger — alerts, aanpassing van strategieparameters.

Laag 4 — Batchanalyse (uurlijks/dagelijks). DBSCAN voor het detecteren van wash trading. PCA voor het monitoren van cross-exchange correlatie. Volledige hertraining van modellen. Output — rapporten, modelupdates, herkalibratie van drempels voor eerdere lagen.

Elke laag werkt onafhankelijk. Als laag 3 uitvalt — blijven lagen 1 en 2 de bot beschermen. Foutentolerantie en graceful degradation zijn verplichte eigenschappen van elke tradinginfrastructuur.

Praktische aanbevelingen

Een paar lessen uit de productie.

Begin simpel. Z-Score + Level Shift + Volatility Shift kunnen in een dag geïmplementeerd worden. Dit dekt de meerderheid van de verliesscenario's door abnormale marktomstandigheden. Het GPU-cluster kan later komen.

De contamination-parameter is de belangrijkste hyperparameter. In Isolation Forest definieert deze het verwachte aandeel anomalieën. Voor crypto-markten gebruiken we 0,01–0,05, afhankelijk van het paar en de exchange. Te laag — je mist echte anomalieën. Te hoog — valse positieven verlammen het handelen.

Adaptieve drempels in plaats van vaste. Crypto-markten zijn niet-stationair. Een drempel die in januari werkte, zal in maart valse positieven genereren. Gebruik EWMA om drempels bij te werken, of train modellen periodiek opnieuw op een voortschrijdend venster.

Log alle anomalieën. Zelfs als je niet automatisch reageert — bewaar het label met context. Binnen een maand heb je een dataset om supervised modellen te trainen en te analyseren welke anomalieën aan verliezen voorafgingen.

Test op echte incidenten. Bouw een verzameling historische anomalieën: de flash crash van mei 2021, de liquidatiecascade van FTX, de LUNA-instorting. Voer elke nieuwe detector door deze scenario's. Als hij bekende incidenten niet vangt — is hij nutteloos.

Wat komt hierna

Drie richtingen om in de gaten te houden.

Transformer-gebaseerde modellen voor orderboeken. Recent onderzoek laat zien dat Transformer autoencoder + OC-SVM op Limit Order Book-data alle eerdere benaderingen aanzienlijk overtreft voor spoofingdetectie. Een Staged Sliding Window Transformer op high-frequency EUR/USD-data (315 miljoen records) behaalde een accuracy van 0,93, F1 van 0,91, AUC-ROC van 0,95 — aanzienlijk beter dan Random Forest, LSTM en CNN.

Transformer-architecturen met multi-head attention blijken uitzonderlijk goed in het identificeren van complexe temporele patronen in high-frequency Limit Order Book-data.

GAN's voor synthetische anomaliegeneratie. Een van de belangrijkste uitdagingen is het gebrek aan gelabelde data. GAN's kunnen realistische manipulatiescenario's genereren om supervised modellen te trainen. Er bestaan al architecturen die 94,7% accuracy behalen met een latency onder 3 ms en een doorvoer van 150.000 transacties per seconde.

Generative Adversarial Networks (GAN's) kunnen worden gebruikt om datasets aan te vullen door realistische synthetische anomalieën te creëren, wat het kritieke probleem van labelschaarste in trading oplost.

Change Point Detection (CPD). In plaats van alleen naar uitschieters te zoeken, richt CPD zich op het identificeren van het exacte moment waarop de statistische eigenschappen van het signaal veranderden. Dit is cruciaal voor het schakelen tussen market-makingregimes (bijv. van mean-reversion naar trendvolgend).

Change Point Detection identificeert structurele verschuivingen in tijdreeksdata, waarbij de grens tussen verschillende marktregimes wordt gemarkeerd.

Anomalieën zijn geen optionele feature. Het is het fundament zonder hetwelk algo-trading gokken wordt. En hoe eerder je het bouwt, hoe minder dure lessen de markt je hoeft te leren.

Referenties

1. Anomaly detection in cryptocurrency markets using Isolation Forest
2. LOF: Identifying local outliers in high dimensional space
3. Isolation Forest for Anomaly Detection (Sklearn Documentation)
4. PyOD: A Comprehensive Python Toolbox for Outlier Detection
5. Transformer-based models for Limit Order Book anomaly detection
6. Ethical Issues and Market Manipulation in Cryptocurrency

Citatie

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/en/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Which anomaly detection methods actually work in crypto algo trading, how to build a cascading protection architecture, and why this is the foundation without which algo trading becomes gambling.}
}