Сауда боттарын қорғау үшін аномалияларды анықтау: Z-Score-дан Трансформерге дейін

Крипто биржаларда сауда ботын іске қосып көрген кез келген адам мына сезімді біледі: бот бір апта бойы мінсіз жұмыс істейді, содан кейін 30 секундта сол апталық пайданы толығымен жойып жібереді. Бір биржадағы флэш-крах. Ордер кітабындағы жалған қабырға. Ликвидация каскады. Немесе биржа деректің орнына жай ғана "қоқыс" қайтарды.

Осы жағдайлардың бәрінің бір ортақ жағы бар — олар аномалиялар. Егер сіздің бот оларды тани алмаса, ерте ме, кеш пе, ол олардың құрбанына айналады.

Крипто-трейдингте не аномалия саналады

Аномалияларды іздемес бұрын, не іздейтінімізге келісуіміз керек. Машиналық оқыту үш түрін ажыратады, және үшеуі де крипто нарықтарында күн сайын кездеседі.

Нүктелік аномалиялар — нормадан күрт ауытқитын оқшауланған оқиғалар. Көлемі орташадан 50 есе жоғары шам (candle). Binance-тегі BTC/USDT спредінің 0,5%-ға секіруі. Market-making боты үшін мұндай оқиғаның әрқайсысы әлеуетті тұзақ: жалған бағамен позицияға кіру немесе барлық маржаны жейтін сырғанауды (slippage) көру.

Коллективті аномалиялар — жеке-жеке қарағанда қалыпты көрінетін, бірақ жиынтығында мәселені білдіретін оқиғалар тізбегі. Классикалық мысал — спуфинг: біреу бірнеше минут бойы үлкен лимиттік ордерлер қойып, оларды жояды. Әрбір жеке ордер қарапайым, бірақ ордер-транзакция қатынасы 100:1 болатын "қой-жой-қой-жой" үлгісі — манипуляция, ал ордер кітабының тереңдігіне сенетін бот жоқ өтімділікпен сауда жасайды.

Контекстік аномалиялар — дұрыс емес контекстегі қалыпты мән. Лондон сессиясына тән биткоин сауда көлемі, бірақ жексенбі күні UTC бойынша түнгі сағат 3-те байқалады. Контекстті есепке алмасаң, мұндай аномалиялар көрінбейді — және дәл осылар негізгі детекторлардан жиі "жалтарып кетеді".

Сауда деректеріндегі аномалиялардың үш негізгі түрінің көрінісі: нүктелік секірулер, коллективті үлгілер және контекстік ауытқулар.

Шу мен аномалия: контекст мәселесі

Аномалия — жай ғана "оғаш дерек" емес. Бұл ақпарат тасымалдайтын ауытқу. Мыналарды ажырата білу маңызды:

• Шу: нарықтың қалыпты режиміне жататын кездейсоқ ауытқулар.
• Дрейф: нарық жағдайларының бірте-бірте өзгеруі (мысалы, төмен-волатильді түннен белсенді таңертеңге көшу).
• Аномалия: күтілетін үлгінің кенеттен бұзылуы.

Зиянсыз шу, тұрақты дрейф және қауіпті аномалиялардың арасындағы айырмашылықты анықтау — кез келген детектор үшін негізгі міндет.

80% мәселені шешетін қарапайым әдістер

Барлығын нейрондық желілермен шешудің қажеті жоқ. Көптеген сауда боттарына үш негізгі детектор жеткілікті.

Z-Score: жылдам экстремум сүзгісі

Z-Score ағымдағы мәннің жылжымалы ортадан қанша стандартты ауытқуға шеткенін көрсетеді. Микросекундтарда есептеледі, кез келген таймфреймде жұмыс істейді.

Оны үш міндетке қолданамыз: аномальді көлемді сүзу (Z-Score > 3 — спредтерді кеңейту немесе бағаны белгілеуді (quoting) тоқтата тұру сигналы), спредті бақылау (bid-ask спредінің аномальді кеңеюі жиі күрт қозғалыстардың алдында жүреді), және фьючерстердің фандинг ставкасы (экстремум мәндер ықтимал ликвидация каскады туралы ескертеді).

Z-Score нүктенің орташадан қанша стандартты ауытқуда тұрғанын өлшеу арқылы экстремум оқиғаларды анықтайды. Көптеген сауда жүйелерінде ±3σ-дан асатын мәндер шектен тыс (outlier) деп есептеледі.

Маңызды шектеу: крипто нарықтарда "қалың құйрықты" (fat-tailed) үлестірімдер бар. Қалыпты үлестірім бойынша миллион жылда бір рет болуы тиіс оқиға (6σ) криптода ай сайын болады. Сондықтан Z-Score — түпкілікті үкім емес, аномалияны алдын ала сүзетін дөрекі сүзгі.

Level Shift Detector: нарық режимі өзгергенде

Біз екі кезекті жылжымалы терезені алып, олардың орташаларын салыстырамыз. Айырмашылық шектен асса — деңгей ауысуы (level shift) болды дегенді білдіреді. Market-making стратегиялары тұрақты нарықта пайда табады, ал күрт қозғалыстарда шығын көреді. Көлем мен волатильділік бойынша Level Shift Detector режим өзгерісі бағада байқалғанға дейін бірнеше минут бұрын ескертеді.

Мұны бірнеше метрикаға бір мезгілде қолданамыз: орташа сауда көлемі, алғашқы 5 деңгейдегі ордер кітабының тереңдігі, уақыт бірлігіндегі сауда саны. Level Shift кемінде екі метрикада іске қосылса — бот қорғаныс режиміне ауысады.

Volatility Shift Detector: дауылды сезіну

Ұқсас тәсіл, бірақ орташалардың орнына стандартты ауытқулар салыстырылады. Волатильділіктің күрт өсуі — параметрлерді қайта қарау сигналы. Қызық үлгі: аномальді төмен волатильділік жиі жарылғыш қозғалыстың алдында жүреді. Volatility Shift Detector екі жағдайды да — сығылу мен кеңеюді де — ұстайды.

Level Shift және Volatility Shift детекторлары нарық мінез-құлқындағы кенеттен болатын құрылымдық өзгерістерді — «режим ауысуларын» — анықтаудың кілті болып табылады, олар басқа сауда параметрлерін талап етеді.

HBOS: жылдам көпөлшемді талдау

10+ индикаторды күрделі ML-дің шығынынсыз бір мезгілде бақылау керек болғанда, HBOS (Histogram-Based Outlier Selection) ең жақсы таңдау болып табылады. Ол белгілердің (feature) тәуелсіздігін болжайды және әрқайсысы үшін гистограмма құрады. Аномалия ұпайы барлық гистограммалар бойынша кері тығыздықтардың көбейтіндісі болып табылады.

HBOS LOF сияқты қашықтыққа негізделген әдістерден едәуір жылдамырақ, бұл оны көпөлшемді күй векторларын жоғары жиілікте сүзу үшін қолайлы етеді.

Машиналық оқыту: статистика жеткіліксіз болғанда

Негізгі әдістер бір уақытта бір индикатормен жұмыс істейді. Бірақ нақты аномалиялар көбіне индикаторлардың сирек кездесетін комбинациясы түрінде көрінеді: көлем қалыпты, спред қалыпты, бірақ көлем + спред + баға өзгеру жылдамдығы + ордер кітабының теңгерімсіздігі бірге — аномальды. Дәл осында ML қажет болады.

Аномалияларды анықтау әдістерінің құрылымдық көрінісі: классикалық бақылаусыз алгоритмдерден терең оқыту архитектураларына дейін.

Isolation Forest: өндіріс үшін ең жақсы теңгерім

Аномалияларды анықтаудың барлық ML әдістерінің ішінде Isolation Forest сауда жүйелеріне ең жақсы сәйкес келеді. Алгоритм белгілер кеңістігін кездейсоқ бөлетін шешім ағаштарының ансамблін құрады. "Сирек және басқаша" болатын аномальді нүктелер аз бөлудің өзінде-ақ оқшауланады.

Неге Isolation Forest? Оған белгіленген (labeled) деректер қажет емес — крипто нарықтарында аномалияларды белгілеу іс жүзінде мүмкін емес, себебі әрбір флэш-крах бірегей. Миллисекундтардағы жылдам шығару (inference) нақты уақытқа жақын қолдануды мүмкін етеді. Және өндіріс үшін маңыздысы: болжамдарды SHAP мәндері арқылы түсіндіруге болады — сіз сәттің аномальды екенін ғана емес, неге екенін де түсінесіз.

Биткоин деректерінде Isolation Forest тек 2021 жылы Tesla BTC төлемдерінен бас тартқандағыдай айқын аномалияларды ғана емес, сонымен қатар нәзік аномалияларды да — баға қозғалысы көлеммен қолдау таппаған, сыртқы манипуляцияны білдіретін кезеңдерді де анықтады. Спуфингті талдағанда SHAP негізгі индикаторлар ретінде теңгерімсіз ордер кітабы баға белгілеулерін және аномальді жоғары болдырмау белсенділігін көрсетеді.

Isolation Forest алгоритмі кеңістікті кездейсоқ бөлу арқылы жұмыс істейді: шеткі мәндер (outlier) тығыз кластерлердегі нүктелерге қарағанда әлдеқайда аз бөлуде оқшауланады.

LOF: көп биржалық мониторинг үшін ең жақсы таңдау

Local Outlier Factor нүктенің аномальділігін оның жергілікті тығыздығын көршілерінің тығыздығымен салыстыру арқылы бағалайды. Криптовалюта деректерінде LOF, Isolation Forest және One-Class SVM-ды салыстырған зерттеу (Springer, 2024) LOF-ты ең тиімді деп тапты — ол ең аз жалған позитивтермен нақты аномалияларды тауып, биткоинде де, догкоинде де тұрақты нәтиже көрсетті.

Неге LOF көп биржалық инфрақұрылым үшін маңызды? Әртүрлі биржалардың деректерінің "тығыздығы" әртүрлі — Binance секундына мыңдаған сауда көреді, ал ниша биржа ондаған сауда ғана көреді. Z-Score сияқты жаһандық әдістер ниша биржаларда жалған позитивтер туғызады немесе үлкендерінде аномалияларды жіберіп алады. LOF жергілікті контекске бейімделеді.

LOF нүктенің жергілікті тығыздығын оның көршілерімен салыстырады. Бұл жаһандық деректер үлгілеріне сәйкес келсе де, "жергілікті" аномальды шеткі мәндерді табуға мүмкіндік береді.

Шектеу — нүктелер санына қатысты квадраттық күрделілік. Тик деңгейіндегі нақты уақыт деректері үшін тым баяу, бірақ 100+ биржа бойынша минуттық агрегаттар үшін — идеалды.

Автокодерлер: ордер кітабын терең талдау

Автокодер — деректерді ықшам көрінісіне сығатын және оны қайта құратын нейрондық желі. "Қалыпты" деректерде оқытылған кезде, қайта құру қатесінің жоғары болуы аномалия туралы сигнал береді.

Ордер кітабын талдау үшін бұл — ең қуатты құрал. 20 bid және 20 ask деңгейі бар ордер кітабы секундына жүздеген рет жаңартылатын 40 өлшемді вектор болып табылады. LSTM Автокодер тек ағымдағы күйді ғана емес, динамиканы да — ордер кітабы соңғы N тик ішінде қалай өзгергенін де ескереді. "LSTM Автокодер + One-Class SVM" гибридті тәсілі жауапкершіліктерді бөледі: нейрондық желі белгілерді бөлектеумен айналысады, ал классикалық ML шешім қабылдаумен айналысады. Негізгі кемшілігі — есептеу шығыны: нақты уақыттағы шығару (inference) GPU-ды қажет етеді.

Автокодерлер қалыпты деректердің сығылған 'жасырын' (latent) көрінісін үйренеді. Аномалиялар дәл қайта құрылмайды, нәтижесінде анықтау үшін қолданылатын қате ұпайы жоғары болады.

Каскадты архитектура: барлығын біріктіру

Ешбір жеке әдіс барлық мәселені шешпейді. Жылдам әдістер күрделі аномалияларды жіберіп алады. Дәл әдістер нақты уақыт үшін тым баяу. Шешім — әрбір келесі қабат алдыңғысы жіберіп алғанды ұстайтын каскадты архитектура.

Көп қабатты аномалияларды анықтау архитектурасы: миллисекундтық қатаң шектерден фондық терең оқыту талдауына дейін.

1-қабат — Жылдам жол (1 мс-тан аз). Көлем, спред және баға өзгерісі бойынша Z-Score. Тұрақтылықты тексеру. Қатаң шектер. Іске қосылғанда — саудаға дереу тоқтата тұру. Бұл қабат флэш-крахтардан, API қателерінен және дөрекі манипуляциялардан қорғайды. Ботты негізгі циклінде сыртқы тәуелділіксіз жүзеге асырылады.

2-қабат — Нақты уақытқа жақын (1–100 мс). Біріктірілген белгілер бойынша Isolation Forest. Level Shift және Volatility Shift детекторлары. Іске қосылғанда — сауда режимін ауыстыру, параметрлерді реттеу. Параллель ағында жұмыс істейді.

3-қабат — Фондық талдау (1–60 секунд). Көп биржалық деректер бойынша LOF. Ордер кітабы күйлері бойынша LSTM Автокодер. Маусымдық декомпозиция қалдықтарын талдау. Іске қосылғанда — ескертулер, стратегия параметрлерін реттеу.

4-қабат — Топтамалық талдау (сағат сайын/күн сайын). Wash trading анықтау үшін DBSCAN. Биржалар аралық корреляцияны бақылау үшін PCA. Модельдерді толық қайта оқыту. Шығыс — есептер, модель жаңартулары, алдыңғы қабаттар үшін шектерді қайта калибрлеу.

Әрбір қабат тәуелсіз жұмыс істейді. 3-қабат істен шықса — 1 және 2-қабаттар ботты қорғауды жалғастырады. Ақаутөзімділік пен сыпайы деградация (graceful degradation) кез келген сауда инфрақұрылымының міндетті қасиеттері болып табылады.

Практикалық ұсыныстар

Өндірістен алынған бірнеше сабақ.

Қарапайымнан баста. Z-Score + Level Shift + Volatility Shift бір күнде жүзеге асырылуы мүмкін. Бұл аномальды нарық жағдайларынан болатын шығын сценарийлерінің көпшілігін жабады. GPU кластері кейінірек келуі мүмкін.

Contamination параметрі — ең маңызды гиперпараметр. Isolation Forest-те ол аномалиялардың күтілетін үлесін анықтайды. Крипто нарықтары үшін жұп пен биржаға байланысты 0,01–0,05 қолданамыз. Тым төмен — нақты аномалияларды жіберіп аласыз. Тым жоғары — жалған позитивтер саудары сал ауыр етеді.

Тұрақты шектердің орнына бейімделгіш шектер. Крипто нарықтары стационарлы емес. Қаңтарда жұмыс істеген шек наурызда жалған позитивтер тудырады. Шектерді жаңарту үшін EWMA қолданыңыз немесе модельдерді жылжымалы терезеде мезгіл-мезгіл қайта оқытыңыз.

Барлық аномалияларды жазып отырыңыз. Автоматты түрде әрекет етпесеңіз де — белгіні контекстімен бірге сақтаңыз. Бір айдан кейін бақыланатын модельдерді оқыту және қандай аномалиялар шығынның алдында болғанын талдау үшін деректер жиынтығыңыз болады.

Нақты оқиғаларда тексеріңіз. Тарихи аномалиялар жинағын жасаңыз: 2021 жылғы мамырдағы флэш-крах, FTX ликвидация каскады, LUNA құлауы. Әрбір жаңа детекторды осы сценарийлер арқылы өткізіңіз. Ол белгілі оқиғаларды ұстамаса — ол пайдасыз.

Одан әрі не болады

Бақылауға тұрарлық үш бағыт.

Ордер кітаптары үшін Трансформерге негізделген модельдер. Соңғы зерттеулер Limit Order Book деректеріндегі Трансформер автокодер + OC-SVM спуфингті анықтау үшін барлық алдыңғы тәсілдерден едәуір асып түсетінін көрсетеді. Жоғары жиілікті EUR/USD деректеріндегі (315 миллион жазба) Staged Sliding Window Transformer дәлдігі 0,93, F1 0,91, AUC-ROC 0,95 жетті — бұл Random Forest, LSTM және CNN-нен едәуір жоғары.

Көп бастиекті назар аудару (multi-head attention) механизмі бар Трансформер архитектуралары жоғары жиілікті Limit Order Book деректеріндегі күрделі уақыттық үлгілерді анықтауда ерекше қабілетті екенін көрсетуде.

Синтетикалық аномалиялар жасау үшін GAN-дар. Негізгі қиындықтардың бірі — белгіленген деректердің жетіспеуі. GAN-дар бақыланатын модельдерді оқыту үшін шынайы манипуляция сценарийлерін жасай алады. 3 мс-тан аз кідіріспен және секундына 150 000 транзакция өткізу қабілетімен 94,7% дәлдікке жететін архитектуралар қазірдің өзінде бар.

Генеративті-жаттасқан желілер (GAN) шынайы синтетикалық аномалиялар жасау арқылы деректер жиынтығын толықтыру үшін қолданылуы мүмкін, бұл трейдингтегі белгі тапшылығының маңызды мәселесін шешеді.

Өзгеріс нүктесін анықтау (Change Point Detection, CPD). Тек шеткі мәндерді іздеудің орнына, CPD сигналдың статистикалық қасиеттері өзгерген нақты сәтті анықтауға назар аударады. Бұл market-making режимдері арасында ауысу үшін маңызды (мысалы, mean-reversion-нан trend-following-ке).

Change Point Detection уақыттық қатар деректеріндегі құрылымдық өзгерістерді анықтайды, әртүрлі нарық режимдерінің арасындағы шекараны бөлектейді.

Аномалиялар — қосымша функция емес. Бұл олар болмаса algo-трейдинг құмар ойынға айналатын негіз. Және оны қаншалықты ерте құрсаңыз, нарық сізге соғұрлым аз қымбат сабақ беруге мәжбүр болады.

Дереккөздер

1. Anomaly detection in cryptocurrency markets using Isolation Forest
2. LOF: Identifying local outliers in high dimensional space
3. Isolation Forest for Anomaly Detection (Sklearn Documentation)
4. PyOD: A Comprehensive Python Toolbox for Outlier Detection
5. Transformer-based models for Limit Order Book anomaly detection
6. Ethical Issues and Market Manipulation in Cryptocurrency

Дәйексөз

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/en/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Which anomaly detection methods actually work in crypto algo trading, how to build a cascading protection architecture, and why this is the foundation without which algo trading becomes gambling.}
}