Savdo botlarini himoya qilish uchun anomaliyalarni aniqlash: Z-Score'dan Transformer'gacha

Kripto birjalarda savdo botini ishga tushirgan har bir kishi bu tuyg'uni biladi: bot bir hafta davomida mukammal ishlaydi, keyin 30 soniyada o'sha haftalik foydani butunlay yo'q qiladi. Bir birjadagi flesh-krax. Order kitobidagi soxta devor. Likvidatsiya kaskadi. Yoki birja ma'lumot o'rniga shunchaki "chiqindi" qaytardi.

Bu vaziyatlarning barchasida bitta umumiy narsa bor — ular anomaliyalar. Va agar sizning botingiz ularni tanimasa, ertami-kechmi u ularning qurboniga aylanadi.

Kripto-treydingda nima anomaliya hisoblanadi

Anomaliyalarni izlashdan oldin, nimani qidirayotganimiz haqida kelishib olishimiz kerak. Mashinali o'qitish uchta turni ajratadi va uchalasi ham kripto bozorlarida har kuni uchraydi.

Nuqta anomaliyalari — normadan keskin chetlanadigan yakka hodisalar. Hajmi o'rtachadan 50 marta yuqori bo'lgan sham (candle). Binance'dagi BTC/USDT spredining 0,5%'gacha sakrashi. Market-making boti uchun bunday har bir hodisa potentsial tuzoq: soxta narxda pozitsiyaga kirish yoki butun marjani yeb qo'yadigan sirg'anish (slippage)ni boshdan kechirish.

Kollektiv anomaliyalar — alohida olganda normal ko'rinadigan, lekin yig'indisida muammoni bildiradigan hodisalar zanjiri. Klassik misol — spoofing: kimdir bir necha daqiqa davomida katta limit orderlar qo'yadi va ularni bekor qiladi. Har bir alohida order oddiy, lekin order-tranzaksiya nisbati 100:1 bo'lgan "qo'y-bekor qil-qo'y-bekor qil" naqshi — bu manipulyatsiya, va order kitobining chuqurligiga ishonadigan bot mavjud bo'lmagan likvidlik ustida savdo qiladi.

Kontekstual anomaliyalar — noto'g'ri kontekstdagi normal qiymat. London sessiyasiga xos bitkoin savdo hajmi, lekin yakshanba kuni UTC bo'yicha tungi soat 3'da kuzatiladi. Kontekstni hisobga olmasdan, bunday anomaliyalar ko'rinmaydi — va aynan ular asosiy detektorlardan eng ko'p "qochib ketadi".

Savdo ma'lumotlaridagi anomaliyalarning uchta asosiy turining vizualizatsiyasi: nuqta sakrashlari, kollektiv naqshlar va kontekstual chetlanishlar.

Shovqin va anomaliya: kontekst muammosi

Anomaliya — shunchaki "g'alati ma'lumot" emas. Bu ma'lumot tashiydigan chetlanish. Quyidagilarni farqlash muhim:

• Shovqin: bozorning normal rejimiga tegishli tasodifiy tebranishlar.
• Drift: bozor sharoitlarining asta-sekin o'zgarishi (masalan, past-volatillik tunidan faol tongga o'tish).
• Anomaliya: kutilgan naqshning to'satdan buzilishi.

Zararsiz shovqin, barqaror drift va xavfli anomaliyalar orasidagi farqni aniqlash har qanday detektor uchun asosiy vazifadir.

80% muammoni hal qiladigan oddiy usullar

Hammasini neyron tarmoqlari bilan hal qilish shart emas. Ko'pchilik savdo botlari uchun uchta asosiy detektor yetarli.

Z-Score: tezkor ekstremum filtri

Z-Score joriy qiymatning siljiydigan o'rtachadan qancha standart chetlanishga chetlanganini ko'rsatadi. Mikrosoniyalarda hisoblanadi, har qanday taymfreymda ishlaydi.

Biz uni uchta vazifa uchun ishlatamiz: anomal hajmni filtrlash (Z-Score > 3 — spredlarni kengaytirish yoki narx belgilashni (quoting) to'xtatib turish signali), spredni kuzatish (bid-ask spredining anomal kengayishi ko'pincha keskin harakatlardan oldin yuz beradi), va fyucherslarning funding stavkasi (ekstremum qiymatlar ehtimoliy likvidatsiya kaskadi haqida ogohlantiradi).

Z-Score nuqtaning o'rtachadan qancha standart chetlanishda turganini o'lchash orqali ekstremum hodisalarni aniqlaydi. Ko'pchilik savdo tizimlarida ±3σ'dan oshadigan qiymatlar chetga chiqqan (outlier) deb hisoblanadi.

Muhim cheklov: kripto bozorlarda "qalin dumli" (fat-tailed) taqsimotlar mavjud. Normal taqsimot bo'yicha million yilda bir marta bo'lishi kerak bo'lgan hodisa (6σ) kriptoda har oy sodir bo'ladi. Shuning uchun Z-Score — yakuniy hukm emas, anomaliyani oldindan filtrlaydigan qo'pol filtrdir.

Level Shift Detector: bozor rejimi o'zgarganda

Biz ketma-ket ikkita siljiydigan oynani olib, ularning o'rtachalarini solishtiramiz. Farq chegaradan oshsa — daraja siljishi (level shift) yuz berdi degani. Market-making strategiyalari barqaror bozorda foyda oladi va keskin harakatlarda zarar ko'radi. Hajm va volatillik bo'yicha Level Shift Detector rejim o'zgarishi narxda ko'rinishidan bir necha daqiqa oldin ogohlantiradi.

Buni bir nechta metrikaga bir vaqtda qo'llaymiz: o'rtacha savdo hajmi, dastlabki 5 darajadagi order kitobi chuqurligi, vaqt birligidagi savdolar soni. Agar Level Shift kamida ikkita metrikada ishga tushsa — bot himoya rejimiga o'tadi.

Volatility Shift Detector: bo'ronni his qilish

O'xshash yondashuv, lekin o'rtachalar o'rniga standart chetlanishlar solishtiriladi. Volatillikning keskin o'sishi — parametrlarni qayta ko'rib chiqish signali. Qiziqarli naqsh: anomal past volatillik ko'pincha portlovchi harakatdan oldin yuz beradi. Volatility Shift Detector ikkala holatni ham — siqilish va kengayishni — ushlaydi.

Level Shift va Volatility Shift detektorlari bozor xatti-harakatidagi to'satdan yuz beradigan tuzilmaviy o'zgarishlarni — "rejim o'zgarishlarini" — aniqlashning kaliti hisoblanadi, bular boshqa savdo parametrlarini talab qiladi.

HBOS: tezkor ko'p o'lchovli tahlil

10+ ko'rsatkichni murakkab ML xarajatisiz bir vaqtda kuzatish kerak bo'lganda, HBOS (Histogram-Based Outlier Selection) eng yaxshi tanlovdir. U xususiyatlarning (feature) mustaqilligini taxmin qiladi va har biri uchun gistogramma quradi. Anomaliya bahosi barcha gistogrammalar bo'yicha teskari zichliklarning ko'paytmasidir.

HBOS LOF kabi masofaga asoslangan usullardan sezilarli darajada tezroq, bu uni ko'p o'lchovli holat vektorlarini yuqori chastotali filtrlash uchun mos qiladi.

Mashinali o'qitish: statistika yetarli bo'lmaganda

Asosiy usullar bir vaqtning o'zida bitta ko'rsatkich bilan ishlaydi. Lekin haqiqiy anomaliyalar ko'pincha ko'rsatkichlarning noodatiy kombinatsiyasi sifatida namoyon bo'ladi: hajm normal, spred normal, lekin hajm + spred + narx o'zgarish tezligi + order kitobi muvozanatsizligi birgalikda — anomaldir. Aynan shu yerda ML kerak bo'ladi.

Anomaliyalarni aniqlash usullarining tuzilgan manzarasi: klassik nazoratsiz algoritmlardan chuqur o'qitish arxitekturalarigacha.

Isolation Forest: ishlab chiqarish uchun eng yaxshi muvozanat

Anomaliyalarni aniqlashning barcha ML usullari orasida Isolation Forest savdo tizimlariga eng mos keladi. Algoritm xususiyatlar makonini tasodifiy bo'ladigan qaror daraxtlari ansamblini quradi. "Kamdan-kam va boshqacha" bo'lgan anomal nuqtalar kamroq bo'linishda ajratiladi.

Nima uchun Isolation Forest? U belgilangan (labeled) ma'lumotlarni talab qilmaydi — kripto bozorlarida anomaliyalarni belgilash amalda imkonsiz, chunki har bir flesh-krax noyob. Millisoniyalardagi tezkor xulosa chiqarish (inference) real vaqtga yaqin foydalanishni imkoniyatli qiladi. Va ishlab chiqarish uchun muhimi: bashoratlarni SHAP qiymatlari orqali tushuntirish mumkin — siz nafaqat lahzaning anomal ekanini bilasiz, balki nima uchun ekanini ham tushunasiz.

Bitkoin ma'lumotlarida Isolation Forest nafaqat 2021-yilda Tesla BTC to'lovlarini rad etganda yuz bergan volatillik sakrashi kabi aniq anomaliyalarni, balki nozik anomaliyalarni ham — narx harakatlari hajm bilan qo'llab-quvvatlanmagan, tashqi manipulyatsiyani ko'rsatuvchi davrlarni ham aniqladi. Spoofingni tahlil qilganda SHAP asosiy ko'rsatkichlar sifatida muvozanatsiz order kitobi narx belgilashlarini va anomal yuqori bekor qilish faolligini ko'rsatadi.

Isolation Forest algoritmi makonni tasodifiy bo'lish orqali ishlaydi: chetga chiqqanlar (outlier) zich klasterlardagi nuqtalarga qaraganda ancha kamroq bo'linishda ajratiladi.

LOF: ko'p birjali monitoring uchun eng yaxshi tanlov

Local Outlier Factor nuqtaning anomalligini uning mahalliy zichligini qo'shnilarining zichligi bilan solishtirish orqali baholaydi. Kriptovalyuta ma'lumotlarida LOF, Isolation Forest va One-Class SVM'ni solishtirgan tadqiqot (Springer, 2024) LOF'ni eng samarali deb topdi — u eng kam yolg'on ijobiy natijalar bilan haqiqiy anomaliyalarni topdi, bitkoinda ham, dogekoinda ham barqaror natija ko'rsatdi.

Nima uchun LOF ko'p birjali infratuzilma uchun muhim? Turli birjalarning ma'lumotlari turlicha "zichlikka" ega — Binance soniyasiga minglab savdolarni ko'radi, nisha birja esa o'nlab savdoni ko'radi. Z-Score kabi global usullar nisha birjalarda yolg'on ijobiy natijalar beradi yoki kattalarida anomaliyalarni o'tkazib yuboradi. LOF mahalliy kontekstga moslashadi.

LOF nuqtaning mahalliy zichligini uning qo'shnilari bilan solishtiradi. Bu global ma'lumot naqshlariga mos kelsa ham, "mahalliy" anomal chetga chiqqanlarni topishga imkon beradi.

Cheklov — nuqtalar soniga nisbatan kvadratik murakkablik. Tik darajasidagi real vaqt ma'lumotlari uchun juda sekin, lekin 100+ birja bo'yicha daqiqalik agregatlar uchun — ideal.

Avtokoderlar: order kitobini chuqur tahlil qilish

Avtokoder — ma'lumotlarni ixcham ko'rinishga siqadigan va uni qayta tiklaydigan neyron tarmoq. "Normal" ma'lumotlarda o'qitilganda, qayta tiklash xatosining yuqori bo'lishi anomaliya haqida signal beradi.

Order kitobini tahlil qilish uchun bu — eng kuchli vosita. 20 ta bid va 20 ta ask darajasiga ega order kitobi soniyasiga yuzlab marta yangilanadigan 40 o'lchovli vektordir. LSTM Avtokoder faqat joriy holatni emas, balki dinamikani ham — order kitobi so'nggi N tik davomida qanday o'zgarganini ham hisobga oladi. "LSTM Avtokoder + One-Class SVM" gibrid yondashuvi javobgarliklarni ajratadi: neyron tarmoq xususiyatlarni ajratib olish bilan shug'ullanadi, klassik ML esa qaror qabul qilish bilan shug'ullanadi. Asosiy kamchilik — hisoblash xarajati: real vaqtdagi xulosa chiqarish (inference) GPU'ni talab qiladi.

Avtokoderlar normal ma'lumotlarning siqilgan 'yashirin' (latent) ko'rinishini o'rganadi. Anomaliyalar aniq qayta tiklanmaydi, natijada aniqlash uchun ishlatiladigan xato bahosi yuqori bo'ladi.

Kaskadli arxitektura: hammasini birlashtirish

Hech bir yakka usul barcha muammolarni hal qilmaydi. Tezkor usullar murakkab anomaliyalarni o'tkazib yuboradi. Aniq usullar real vaqt uchun juda sekin. Yechim — har bir keyingi qatlam avvalgisi o'tkazib yuborganini ushlaydigan kaskadli arxitekturadir.

Ko'p qatlamli anomaliyalarni aniqlash arxitekturasi: millisoniyalik qattiq chegaralardan fondagi chuqur o'qitish tahliligacha.

1-qatlam — Tezkor yo'l (1 ms'dan kam). Hajm, spred va narx o'zgarishi bo'yicha Z-Score. Barqarorlikni tekshirish. Qattiq chegaralar. Ishga tushganda — savdoni darhol to'xtatib turish. Bu qatlam flesh-kraxlardan, API xatolaridan va qo'pol manipulyatsiyalardan himoya qiladi. Botning asosiy siklida tashqi bog'liqliksiz amalga oshiriladi.

2-qatlam — Real vaqtga yaqin (1–100 ms). Birlashtirilgan xususiyatlar bo'yicha Isolation Forest. Level Shift va Volatility Shift detektorlari. Ishga tushganda — savdo rejimini almashtirish, parametrlarni sozlash. Parallel oqimda ishlaydi.

3-qatlam — Fon tahlili (1–60 soniya). Ko'p birjali ma'lumotlar bo'yicha LOF. Order kitobi holatlari bo'yicha LSTM Avtokoder. Mavsumiy dekompozitsiya qoldiqlarini tahlil qilish. Ishga tushganda — ogohlantirishlar, strategiya parametrlarini sozlash.

4-qatlam — Partiyali tahlil (soatlik/kunlik). Wash trading'ni aniqlash uchun DBSCAN. Birjalararo korrelyatsiyani kuzatish uchun PCA. Modellarni to'liq qayta o'qitish. Chiqish — hisobotlar, model yangilanishlari, oldingi qatlamlar uchun chegaralarni qayta kalibrlash.

Har bir qatlam mustaqil ishlaydi. Agar 3-qatlam ishdan chiqsa — 1 va 2-qatlamlar botni himoya qilishni davom ettiradi. Xatolarga chidamlilik va nazokatli degradatsiya (graceful degradation) har qanday savdo infratuzilmasining majburiy xususiyatlaridir.

Amaliy tavsiyalar

Ishlab chiqarishdan olingan bir necha saboq.

Oddiydan boshlang. Z-Score + Level Shift + Volatility Shift bir kunda amalga oshirilishi mumkin. Bu anomal bozor sharoitlaridan kelib chiqadigan zarar stsenariylarining ko'pchiligini qamrab oladi. GPU klasteri keyinroq kelishi mumkin.

Contamination parametri — eng muhim giperparametr. Isolation Forest'da u anomaliyalarning kutilgan ulushini belgilaydi. Kripto bozorlari uchun juftlik va birjaga qarab 0,01–0,05 ishlatamiz. Juda past — haqiqiy anomaliyalarni o'tkazib yuborasiz. Juda yuqori — yolg'on ijobiy natijalar savdoni falaj qiladi.

Doimiy chegaralar o'rniga moslashuvchan chegaralar. Kripto bozorlari statsionar emas. Yanvarda ishlagan chegara martda yolg'on ijobiy natijalar hosil qiladi. Chegaralarni yangilash uchun EWMA'dan foydalaning yoki modellarni siljiydigan oynada davriy ravishda qayta o'qiting.

Barcha anomaliyalarni qayd qiling. Avtomatik ravishda javob bermasangiz ham — belgini kontekst bilan saqlang. Bir oydan keyin nazorat qilinadigan modellarni o'qitish va qaysi anomaliyalar zarardan oldin yuz berganini tahlil qilish uchun ma'lumotlar to'plamingiz bo'ladi.

Haqiqiy hodisalarda sinab ko'ring. Tarixiy anomaliyalar to'plamini tuzing: 2021-yil may oyidagi flesh-krax, FTX likvidatsiya kaskadi, LUNA qulashi. Har bir yangi detektorni shu stsenariylar orqali o'tkazing. Agar u ma'lum hodisalarni ushlamasa — u foydasiz.

Keyinchalik nima bo'ladi

Kuzatishga arziydigan uchta yo'nalish.

Order kitoblari uchun Transformer'ga asoslangan modellar. So'nggi tadqiqotlar Limit Order Book ma'lumotlaridagi Transformer avtokoder + OC-SVM spoofingni aniqlash uchun barcha oldingi yondashuvlardan sezilarli darajada ustun ekanini ko'rsatadi. Yuqori chastotali EUR/USD ma'lumotlarida (315 million yozuv) Staged Sliding Window Transformer aniqligi 0,93, F1 0,91, AUC-ROC 0,95'ga yetdi — bu Random Forest, LSTM va CNN'dan sezilarli darajada yaxshiroq.

Ko'p boshli e'tibor (multi-head attention) mexanizmiga ega Transformer arxitekturalari yuqori chastotali Limit Order Book ma'lumotlaridagi murakkab vaqtinchalik naqshlarni aniqlashda ayniqsa qobiliyatli ekanini ko'rsatmoqda.

Sintetik anomaliyalar yaratish uchun GAN'lar. Asosiy qiyinchiliklardan biri — belgilangan ma'lumotlarning yetishmasligi. GAN'lar nazorat qilinadigan modellarni o'qitish uchun haqiqiyga o'xshash manipulyatsiya stsenariylarini yaratishi mumkin. 3 ms'dan kam kechikish va soniyasiga 150 000 tranzaksiya o'tkazish qobiliyati bilan 94,7% aniqlikka erishadigan arxitekturalar allaqachon mavjud.

Generativ-raqib tarmoqlar (GAN) haqiqiyga o'xshash sintetik anomaliyalar yaratish orqali ma'lumotlar to'plamini kengaytirish uchun ishlatilishi mumkin, bu treydingdagi belgi tanqisligi muammosini hal qiladi.

O'zgarish nuqtasini aniqlash (Change Point Detection, CPD). Shunchaki chetga chiqqanlarni izlash o'rniga, CPD signalning statistik xususiyatlari o'zgargan aniq lahzani aniqlashga e'tibor qaratadi. Bu market-making rejimlari orasida almashish uchun muhim (masalan, mean-reversion'dan trend-following'ga).

Change Point Detection vaqt qatori ma'lumotlaridagi tuzilmaviy o'zgarishlarni aniqlaydi, turli bozor rejimlari orasidagi chegarani ajratib ko'rsatadi.

Anomaliyalar — ixtiyoriy funksiya emas. Bu asos bo'lmasa algo-treyding qimor o'yiniga aylanadi. Va uni qanchalik erta qursangiz, bozor sizga shunchalik kam qimmat saboq berishga majbur bo'ladi.

Manbalar

1. Anomaly detection in cryptocurrency markets using Isolation Forest
2. LOF: Identifying local outliers in high dimensional space
3. Isolation Forest for Anomaly Detection (Sklearn Documentation)
4. PyOD: A Comprehensive Python Toolbox for Outlier Detection
5. Transformer-based models for Limit Order Book anomaly detection
6. Ethical Issues and Market Manipulation in Cryptocurrency

Iqtibos

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/en/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Which anomaly detection methods actually work in crypto algo trading, how to build a cascading protection architecture, and why this is the foundation without which algo trading becomes gambling.}
}