Соода боттарын коргоо үчүн аномалияларды аныктоо: Z-Score-дон Трансформерге чейин

Крипто биржаларда соода ботун иштеткен ар ким бир сезимди билет: бот бир жума бою мыкты иштейт, андан кийин 30 секундда ошол жумалык пайданы толугу менен жок кылат. Бир биржадагы флэш-крах. Ордер китебиндеги жасалма дубал. Ликвидация каскады. Же биржа маалымат ордуна жөн эле "таштанды" кайтарды.

Бул кырдаалдардын баарынын бир жалпы жагы бар — алар аномалиялар. Эгер сиздин бот аларды тааныбаса, эрте же кеч ал алардын курмандыгына айланат.

Крипто-соодада эмне аномалия деп эсептелет

Аномалияларды издөөдөн мурун, эмнени издеп жатканыбызга макул болушубуз керек. Машина окутуу үч түрүн айырмалайт, жана үчөө тең крипто рыноктордо күн сайын кездешет.

Чекиттик аномалиялар — нормадан курч четтеген обочолонгон окуялар. Көлөмү орточодон 50 эсе жогору шам (candle). Binance-теги BTC/USDT спрединин 0,5%-ке секириши. Market-making боту үчүн мындай окуялардын ар бири потенциалдуу тузак: жасалма баада позицияга кирүү же бүт маржаны жеп коюучу сырганоону (slippage) көрүү.

Коллективдүү аномалиялар — өз алдынча алганда нормалдуу көрүнгөн, бирок жыйындысында көйгөйдү билдирген окуялар тизмеги. Классикалык мисал — спуфинг: бирөө бир нече мүнөттүн ичинде чоң лимиттик ордерлерди коюп, аларды жокко чыгарат. Ар бир жеке ордер кадимки, бирок ордер-транзакция катышы 100:1 болгон "кой-жокко чыгар-кой-жокко чыгар" үлгүсү — манипуляция, ал ордер китебинин тереңдигине ишенген бот жок өтүмдүүлүк менен соода кылат.

Контексттик аномалиялар — туура эмес контексттеги нормалдуу маани. Лондон сессиясына мүнөздүү биткоин соода көлөмү, бирок жекшемби күнү UTC боюнча түнкү саат 3те байкалат. Контекстти эске албасаң, мындай аномалиялар көрүнбөйт — жана дал ушулар негизги детекторлордон көбүнчө "качып кетет".

Соода маалыматтарындагы аномалиялардын үч негизги түрүнүн көрүнүшү: чекиттик секирүүлөр, коллективдүү үлгүлөр жана контексттик четтөөлөр.

Дуу менен аномалия: контекст маселеси

Аномалия — жөн эле "таң калыштуу маалымат" эмес. Бул маалымат алып жүргөн четтөө. Төмөнкүлөрдү айырмалоо маанилүү:

• Дуу: рыноктун нормалдуу режимине таандык кокустук термелүүлөр.
• Дрейф: рынок шарттарынын бара-бара өзгөрүшү (мисалы, төмөн-волатилдүү түндөн активдүү таңга өтүү).
• Аномалия: күтүлгөн үлгүнүн кокустан бузулушу.

Зыянсыз дуунун, туруктуу дрейфтин жана коркунучтуу аномалиялардын ортосундагы айырманы аныктоо — ар кандай детектор үчүн негизги милдет.

80% маселени чечкен жөнөкөй ыкмалар

Баарын нейрон тармактары менен чечүүнүн кереги жок. Көпчүлүк соода боттору үчүн үч негизги детектор жетиштүү.

Z-Score: тез экстремум чыпкасы

Z-Score учурдагы мааниси жылып жүрүүчү ортоочодон канча стандарттык четтөөгө четтегенин көрсөтөт. Микросекунддарда эсептелет, кайсы гана таймфреймде иштейт.

Аны үч милдетке колдонобуз: аномалдуу көлөмдү чыпкалоо (Z-Score > 3 — спреддерди кеңейтүү же баа коюуну (quoting) убактылуу токтотуу сигналы), спредди байкоо (bid-ask спрединин аномалдуу кеңейиши көбүнчө курч кыймылдардын алдында жүрөт), жана фьючерстердин фандинг ставкасы (экстремум маанилер ыктымал ликвидация каскады жөнүндө эскертет).

Z-Score чекиттин ортоочодон канча стандарттык четтөөдө турганын өлчөө аркылуу экстремум окуяларды аныктайт. Көпчүлүк соода системаларында ±3σ-дан ашкан маанилер четтен чыккан (outlier) деп эсептелет.

Маанилүү чектөө: крипто рыноктордо "калың куйруктуу" (fat-tailed) бөлүштүрүүлөр бар. Нормалдуу бөлүштүрүү боюнча миллион жылда бир жолу болушу тийиш окуя (6σ) криптодо ай сайын болот. Ошондуктан Z-Score — түпкүлүктүү өкүм эмес, аномалияны алдын ала чыпкалоочу орой чыпка.

Level Shift Detector: рынок режими өзгөргөндө

Биз эки удаалаш жылып жүрүүчү терезени алып, алардын ортоочолорун салыштырабыз. Айырма чектен ашса — деңгээл жылышы (level shift) болду дегенди билдирет. Market-making стратегиялары туруктуу рыногунда пайда табат, курч кыймылдарда чыгым көрөт. Көлөм жана волатилдүүлүк боюнча Level Shift Detector режим өзгөрүшү баада байкалганга чейин бир нече мүнөт мурун эскертет.

Муну бир нече метрикага бир учурда колдонобуз: орточо соода көлөмү, алгачкы 5 деңгээлдеги ордер китебинин тереңдиги, убакыт бирдигиндеги соода саны. Level Shift кеминде эки метрикада иштесе — бот коргонуу режимине өтөт.

Volatility Shift Detector: бороондун сезилиши

Окшош ыкма, бирок ортоочолордун ордуна стандарттык четтөөлөр салыштырылат. Волатилдүүлүктүн курч өсүшү — параметрлерди кайра карап чыгуу сигналы. Кызыктуу үлгү: аномалдуу төмөн волатилдүүлүк көбүнчө жарылуучу кыймылдын алдында жүрөт. Volatility Shift Detector эки учурду тең — кысылуу менен кеңейүүнү — кармайт.

Level Shift жана Volatility Shift детекторлору рыноктун жүрүм-турумундагы кокустан болуучу структуралык өзгөрүүлөрдү — "режим өзгөрүүлөрүн" — аныктоонун ачкычы болуп саналат, алар башка соода параметрлерин талап кылат.

HBOS: тез көп өлчөмдүү анализ

10+ индикаторду татаал ML-дин чыгымысыз бир учурда байкоо керек болгондо, HBOS (Histogram-Based Outlier Selection) эң жакшы тандоо болуп саналат. Ал белгилердин (feature) көз карандысыздыгын болжолдойт жана ар бири үчүн гистограмма түзөт. Аномалия упайы бардык гистограммалар боюнча тескери тыгыздыктардын көбөйтүндүсү болуп саналат.

HBOS LOF сыяктуу аралыкка негизделген ыкмалардан бир кыйла тезирээк, бул аны көп өлчөмдүү абал векторлорун жогорку жыштыкта чыпкалоо үчүн ылайыктуу кылат.

Машина окутуу: статистика жетишсиз болгондо

Негизги ыкмалар бир убакта бир индикатор менен иштейт. Бирок чыныгы аномалиялар көбүнчө индикаторлордун сейрек кездешкен айкалышы түрүндө көрүнөт: көлөм нормалдуу, спред нормалдуу, бирок көлөм + спред + баа өзгөрүү ылдамдыгы + ордер китебинин тең салмаксыздыгы биргеликте — аномалдуу. Дал ушул жерде ML керек болот.

Аномалияларды аныктоо ыкмаларынын түзүмдүк көрүнүшү: классикалык көзөмөлсүз алгоритмдерден терең окутуу архитектураларына чейин.

Isolation Forest: өндүрүш үчүн эң жакшы тең салмак

Аномалияларды аныктоонун бардык ML ыкмаларынын ичинен Isolation Forest соода системаларына эң жакшы туура келет. Алгоритм белгилер мейкиндигин кокустан бөлүүчү чечим дарактарынын ансамблин түзөт. "Сейрек жана башкача" болгон аномалдуу чекиттер аз бөлүүдө эле обочолонот.

Эмне үчүн Isolation Forest? Ага белгиленген (labeled) маалыматтар керек эмес — крипто рыноктордо аномалияларды белгилөө иш жүзүндө мүмкүн эмес, анткени ар бир флэш-крах уникалдуу. Миллисекунддардагы тез чыгаруу (inference) реалдуу убакытка жакын колдонууну мүмкүн кылат. Жана өндүрүш үчүн маанилүүсү: болжолдорду SHAP маанилери аркылуу түшүндүрүүгө болот — сиз учурдун аномалдуу экенин гана эмес, эмне үчүн экенин да түшүнөсүз.

Биткоин маалыматтарында Isolation Forest 2021-жылы Tesla BTC төлөмдөрүнөн баш тарткандагыдай айкын аномалияларды гана эмес, ошондой эле назик аномалияларды да — баа кыймылы көлөм менен колдоого алынбаган, тышкы манипуляцияны билдирген мезгилдерди да аныктады. Спуфингди талдоодо SHAP негизги индикаторлор катары тең салмаксыз ордер китеп баа коюуларын жана аномалдуу жогорку жокко чыгаруу активдүүлүгүн көрсөтөт.

Isolation Forest алгоритми мейкиндикти кокустан бөлүү аркылуу иштейт: четтен чыккан (outlier) маанилер тыгыз кластерлердеги чекиттерге караганда бир кыйла аз бөлүүдө обочолонот.

LOF: көп биржалык мониторинг үчүн эң жакшы тандоо

Local Outlier Factor чекиттин аномалдуулугун анын жергиликтүү тыгыздыгын коңшуларынын тыгыздыгы менен салыштыруу аркылуу баалайт. Криптовалюта маалыматтарында LOF, Isolation Forest жана One-Class SVM-ди салыштырган изилдөө (Springer, 2024) LOF-ту эң натыйжалуу деп тапты — ал эң аз жалган позитивдер менен чыныгы аномалияларды тапты, биткоинде да, догкоинде да туруктуу натыйжа көрсөттү.

Эмне үчүн LOF көп биржалык инфраструктура үчүн маанилүү? Ар кандай биржалардын маалыматтарынын "тыгыздыгы" ар кандай — Binance секундасына миңдеген соода көрөт, ал эми ниша биржа ондогон соода гана көрөт. Z-Score сыяктуу глобалдык ыкмалар ниша биржаларда жалган позитивдерди жаратат же чоңдорунда аномалияларды өткөрүп жиберет. LOF жергиликтүү контекстке ыңгайлашат.

LOF чекиттин жергиликтүү тыгыздыгын анын коңшулары менен салыштырат. Бул глобалдык маалымат үлгүлөрүнө дал келсе да, "жергиликтүү" аномалдуу четтен чыккан маанилерди табууга мүмкүндүк берет.

Чектөө — чекиттердин санына карата квадраттык татаалдык. Тик деңгээлиндеги реалдуу убакыт маалыматтары үчүн өтө жай, бирок 100+ биржа боюнча мүнөттүк агрегаттар үчүн — идеалдуу.

Автокодерлер: ордер китебин терең талдоо

Автокодер — маалыматты кысчак көрүнүшкө кысуучу жана аны кайра түзүүчү нейрон тармагы. "Нормалдуу" маалыматтарда окутулганда, кайра түзүү катасынын жогору болушу аномалия жөнүндө сигнал берет.

Ордер китебин талдоо үчүн бул — эң күчтүү курал. 20 bid жана 20 ask деңгээли бар ордер китеби секундасына жүздөгөн жолу жаңыртылуучу 40 өлчөмдүү вектор болуп саналат. LSTM Автокодер жалгыз учурдагы абалды эмес, динамиканы да — ордер китеби акыркы N тик ичинде кантип өзгөргөнүн да эсепке алат. "LSTM Автокодер + One-Class SVM" гибриддик ыкмасы жоопкерчиликтерди бөлүштүрөт: нейрон тармагы белгилерди бөлүп алуу менен алектенет, ал эми классикалык ML чечим кабыл алуу менен алектенет. Негизги кемчилиги — эсептөө чыгымы: реалдуу убакыттагы чыгаруу (inference) GPU-ну талап кылат.

Автокодерлер нормалдуу маалыматтардын кысылган 'жашыруун' (latent) көрүнүшүн үйрөнөт. Аномалиялар так кайра түзүлбөйт, натыйжада аныктоо үчүн колдонулуучу ката упайы жогору болот.

Каскаддык архитектура: баарын бириктирүү

Эч бир жеке ыкма бардык маселени чечпейт. Тез ыкмалар татаал аномалияларды өткөрүп жиберет. Так ыкмалар реалдуу убакыт үчүн өтө жай. Чечим — ар бир кийинки катмар мурункусу өткөрүп жибергенди кармаган каскаддык архитектура.

Көп катмардуу аномалияларды аныктоо архитектурасы: миллисекунддук катуу чектерден фондук терең окутуу анализине чейин.

1-катмар — Тез жол (1 мс-дан аз). Көлөм, спред жана баа өзгөрүшү боюнча Z-Score. Туруктуулукту текшерүү. Катуу чектер. Иштеп кеткенде — соодага дароо токтотуу. Бул катмар флэш-крахтардан, API каталарынан жана орой манипуляциялардан коргойт. Боттун негизги циклинде тышкы көз карандылыксыз ишке ашырылат.

2-катмар — Реалдуу убакытка жакын (1–100 мс). Бириктирилген белгилер боюнча Isolation Forest. Level Shift жана Volatility Shift детекторлору. Иштеп кеткенде — соода режимин алмаштыруу, параметрлерди тууралоо. Параллель агымда иштейт.

3-катмар — Фондук анализ (1–60 секунд). Көп биржалык маалыматтар боюнча LOF. Ордер китеп абалдары боюнча LSTM Автокодер. Мезгилдик декомпозиция калдыктарын талдоо. Иштеп кеткенде — эскертүүлөр, стратегия параметрлерин тууралоо.

4-катмар — Топтомдук анализ (саат сайын/күн сайын). Wash trading аныктоо үчүн DBSCAN. Биржалар аралык корреляцияны байкоо үчүн PCA. Моделдерди толук кайра окутуу. Чыгыш — отчёттор, модель жаңыртуулары, мурунку катмарлар үчүн чектерди кайра калибрлөө.

Ар бир катмар көз карандысыз иштейт. 3-катмар иштен чыкса — 1 жана 2-катмарлар ботту коргоону улантат. Каталарга туруктуулук жана сылык деградация (graceful degradation) кайсы гана соода инфраструктурасынын милдеттүү касиеттери болуп саналат.

Практикалык сунуштар

Өндүрүштөн алынган бир нече сабак.

Жөнөкөйдөн башта. Z-Score + Level Shift + Volatility Shift бир күндө ишке ашырылышы мүмкүн. Бул аномалдуу рынок шарттарынан болгон чыгым сценарийлеринин көпчүлүгүн камтыйт. GPU кластери кийинчерээк келиши мүмкүн.

Contamination параметри — эң маанилүү гиперпараметр. Isolation Forest-те ал аномалиялардын күтүлгөн үлүшүн аныктайт. Крипто рыноктору үчүн жуп менен биржага жараша 0,01–0,05 колдонобуз. Өтө төмөн — чыныгы аномалияларды өткөрүп жибересиз. Өтө жогору — жалган позитивдер соодасын шал кылат.

Туруктуу чектердин ордуна ыңгайлашкан чектер. Крипто рыноктору стационардык эмес. Январда иштеген чек мартта жалган позитивдерди жаратат. Чектерди жаңыртуу үчүн EWMA колдонуңуз же моделдерди жылып жүрүүчү терезеде мезгил-мезгили менен кайра окутуңуз.

Бардык аномалияларды жазып туруңуз. Автоматтык түрдө жооп бербесеңиз да — белгини контексти менен сактаңыз. Бир айдан кийин көзөмөлдүү моделдерди окутуу жана кайсы аномалиялар чыгымдын алдында болгонун талдоо үчүн маалымат топтомуңуз болот.

Чыныгы окуяларда текшериңиз. Тарыхый аномалиялар жыйнагын түзүңүз: 2021-жылдын майындагы флэш-крах, FTX ликвидация каскады, LUNA кулашы. Ар бир жаңы детекторду ушул сценарийлер аркылуу өткөрүңүз. Ал белгилүү окуяларды кармабаса — ал пайдасыз.

Андан ары эмне болот

Байкоого татыктуу үч багыт.

Ордер китептери үчүн Трансформерге негизделген моделдер. Акыркы изилдөөлөр Limit Order Book маалыматтарындагы Трансформер автокодер + OC-SVM спуфингди аныктоо үчүн бардык мурунку ыкмалардан бир кыйла ашып түшөрүн көрсөтөт. Жогорку жыштыктагы EUR/USD маалыматтарында (315 миллион жазуу) Staged Sliding Window Transformer тактыгы 0,93, F1 0,91, AUC-ROC 0,95 жетти — бул Random Forest, LSTM жана CNN-ден бир кыйла жогору.

Көп башчыл көңүл буруу (multi-head attention) механизми бар Трансформер архитектуралары жогорку жыштыктагы Limit Order Book маалыматтарындагы татаал убакыттык үлгүлөрдү аныктоодо өзгөчө жөндөмдүү экенин көрсөтүүдө.

Синтетикалык аномалияларды түзүү үчүн GAN-дар. Негизги кыйынчылыктардын бири — белгиленген маалыматтардын жетишсиздиги. GAN-дар көзөмөлдүү моделдерди окутуу үчүн чыныгыдай манипуляция сценарийлерин түзө алат. 3 мс-дан аз кечигүү жана секундасына 150 000 транзакция өткөрүү жөндөмдүүлүгү менен 94,7% тактыкка жетүүчү архитектуралар азырынча эле бар.

Генеративдик-атаандаш тармактар (GAN) чыныгыдай синтетикалык аномалияларды түзүү аркылуу маалымат топтомун толуктоо үчүн колдонулушу мүмкүн, бул соодадагы белги тартыштыгынын маанилүү маселесин чечет.

Өзгөрүү чекитин аныктоо (Change Point Detection, CPD). Жөн эле четтен чыккан маанилерди издөөнүн ордуна, CPD сигналдын статистикалык касиеттери өзгөргөн так учурду аныктоого көңүл бурат. Бул market-making режимдеринин ортосунда алмашуу үчүн маанилүү (мисалы, mean-reversion-дон trend-following-ге).

Change Point Detection убакыттык катар маалыматтарындагы структуралык өзгөрүүлөрдү аныктайт, ар кандай рынок режимдеринин ортосундагы чекараны бөлүп көрсөтөт.

Аномалиялар — кошумча функция эмес. Бул алар болбосо algo-соода оюнга айланган негиз. Жана аны канчалык эрте курсаңыз, рынок сизге ошончолук аз кымбат сабак берүүгө туура келет.

Булактар

1. Anomaly detection in cryptocurrency markets using Isolation Forest
2. LOF: Identifying local outliers in high dimensional space
3. Isolation Forest for Anomaly Detection (Sklearn Documentation)
4. PyOD: A Comprehensive Python Toolbox for Outlier Detection
5. Transformer-based models for Limit Order Book anomaly detection
6. Ethical Issues and Market Manipulation in Cryptocurrency

Дайексөз

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/en/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Which anomaly detection methods actually work in crypto algo trading, how to build a cascading protection architecture, and why this is the foundation without which algo trading becomes gambling.}
}