Pengesanan Anomali untuk Perlindungan Bot Dagangan: Dari Z-Score ke Transformer

Sesiapa yang pernah menjalankan bot dagangan di bursa kripto tahu perasaan ini: bot berjalan dengan sempurna selama seminggu, kemudian menghapuskan keuntungan seminggu dalam masa 30 saat. Flash crash di satu bursa. Tembok palsu dalam buku pesanan. Lata likuidasi. Atau bursa hanya mengembalikan data yang rosak.

Semua situasi ini mempunyai satu persamaan — ia adalah anomali. Dan jika bot anda tidak dapat mengenalinya, lambat laun ia akan menjadi mangsa mereka.

Apa yang Dikira sebagai Anomali dalam Dagangan Kripto

Sebelum mengejar anomali, kita perlu bersetuju tentang apa yang kita cari. Pembelajaran mesin membezakan tiga jenis, dan ketiga-tiga berlaku di pasaran kripto setiap hari.

Anomali titik — peristiwa terpencil yang menyimpang tajam dari norma. Lilin dengan isipadu 50 kali di atas purata. Spread BTC/USDT di Binance melonjak kepada 0.5%. Bagi bot pembuat pasaran, setiap peristiwa seperti itu adalah perangkap yang berpotensi: memasuki kedudukan pada harga palsu atau mengalami slippage yang memakan keseluruhan margin.

Anomali kolektif — satu siri peristiwa yang kelihatan normal secara individu tetapi menandakan masalah secara agregat. Contoh klasik ialah spoofing: seseorang menempatkan dan membatalkan pesanan had besar selama beberapa minit. Setiap pesanan individu adalah biasa, tetapi corak "letak-batal-letak-batal" dengan nisbah pesanan-ke-dagangan 100:1 adalah manipulasi — dan bot yang bergantung pada kedalaman buku pesanan akan berdagang pada kecairan yang tidak wujud.

Anomali kontekstual — nilai normal dalam konteks yang salah. Isipadu dagangan Bitcoin yang biasa untuk sesi London, tetapi diperhatikan pada pukul 3 pagi UTC pada hari Ahad. Tanpa mempertimbangkan konteks, anomali sedemikian tidak kelihatan — dan inilah yang paling kerap terlepas dari pengesan asas.

Visualisasi tiga jenis utama anomali dalam data dagangan: lonjakan titik, corak kolektif, dan penyelewengan kontekstual.

Hingar vs. Anomali: Masalah Konteks

Anomali bukan sekadar "data pelik." Ia adalah penyelewengan yang membawa maklumat. Adalah penting untuk membezakan:

• Hingar: Turun naik rawak yang merupakan sebahagian daripada rejim pasaran biasa.
• Hanyutan: Peralihan beransur dalam keadaan pasaran (cth, peralihan dari malam bervolum rendah ke pagi yang aktif).
• Anomali: Pelanggaran mendadak terhadap corak yang dijangkakan.

Menentukan perbezaan antara hingar yang tidak berbahaya, hanyutan berterusan, dan anomali berbahaya adalah cabaran utama bagi mana-mana pengesan.

Kaedah Mudah yang Menyelesaikan 80% Masalah

Tidak semua perkara perlu diselesaikan dengan rangkaian neural. Tiga pengesan asas sudah mencukupi untuk kebanyakan bot dagangan.

Z-Score: Penapis Ekstrem Pantas

Z-Score menunjukkan berapa banyak sisihan piawai nilai semasa menyimpang dari min bergulir. Dikira dalam mikrosaat, berfungsi pada mana-mana tempoh masa.

Kami menggunakannya untuk tiga tugas: penapisan isipadu tidak normal (Z-Score > 3 — isyarat untuk melebarkan spread atau menjeda sebutan harga), pemantauan spread (pelebaran bid-ask tidak normal sering mendahului pergerakan tajam), dan kadar pembiayaan niaga hadapan (nilai ekstrem memberi amaran tentang lata likuidasi yang mungkin berlaku).

Z-Score mengenal pasti peristiwa ekstrem dengan mengukur berapa banyak sisihan piawai sesuatu titik dari min. Nilai melebihi ±3σ dianggap sebagai titik terpencil dalam kebanyakan sistem dagangan.

Batasan penting: pasaran kripto mempunyai taburan berekor lemak. Peristiwa yang menurut taburan normal sepatutnya berlaku sekali dalam sejuta tahun (6σ) berlaku setiap bulan dalam kripto. Oleh itu Z-Score adalah penapis anomali kasar, bukan keputusan muktamad.

Pengesan Peralihan Tahap: Apabila Pasaran Menukar Rejim

Kami mengambil dua tetingkap bergulir berturutan dan membandingkan purata mereka. Jika perbezaan melebihi ambang batas — peralihan tahap telah berlaku. Strategi pembuat pasaran memperoleh keuntungan dalam pasaran stabil dan kerugian semasa pergerakan tajam. Pengesan Peralihan Tahap pada isipadu dan volatiliti memberi amaran tentang perubahan rejim beberapa minit sebelum ia menjadi jelas dalam harga.

Kami menggunakannya pada beberapa metrik secara serentak: saiz dagangan purata, kedalaman buku pesanan pada 5 tahap pertama, bilangan dagangan setiap unit masa. Jika Peralihan Tahap dicetuskan pada sekurang-kurangnya dua metrik — bot beralih ke mod defensif.

Pengesan Peralihan Volatiliti: Merasai Ribut

Pendekatan yang serupa, tetapi sisihan piawai dibandingkan dan bukannya purata. Kenaikan mendadak dalam volatiliti adalah isyarat untuk mempertimbangkan semula parameter. Corak yang menarik: volatiliti yang rendah secara tidak normal sering mendahului pergerakan letupan. Pengesan Peralihan Volatiliti menangkap kedua-dua kes — mampatan dan pengembangan.

Pengesan Peralihan Tahap dan Peralihan Volatiliti adalah kunci untuk mengenal pasti 'Perubahan Rejim' — peralihan struktur mendadak dalam tingkah laku pasaran yang memerlukan parameter dagangan yang berbeza.

HBOS: Analisis Multidimensi Pantas

Apabila anda perlu memantau 10+ penunjuk secara serentak tanpa kos ML kompleks, HBOS (Histogram-Based Outlier Selection) adalah pilihan terbaik. Ia mengandaikan kebebasan ciri dan membina histogram untuk setiap satu. Skor anomali adalah hasil darab ketumpatan songsang merentas semua histogram.

HBOS jauh lebih pantas berbanding kaedah berasaskan jarak seperti LOF, menjadikannya sesuai untuk penapisan frekuensi tinggi vektor keadaan multidimensi.

Pembelajaran Mesin: Apabila Statistik Tidak Mencukupi

Kaedah asas berfungsi dengan satu penunjuk pada satu masa. Tetapi anomali sebenar sering nyata sebagai gabungan penunjuk yang tidak biasa: isipadu normal, spread normal, tetapi isipadu + spread + kadar perubahan harga + ketidakseimbangan buku pesanan bersama-sama — adalah anomali. Di sinilah ML diperlukan.

Landskap berstruktur kaedah pengesanan anomali: dari algoritma tanpa penyeliaan klasik hingga seni bina pembelajaran mendalam.

Isolation Forest: Keseimbangan Terbaik untuk Pengeluaran

Daripada semua kaedah pengesanan anomali ML, Isolation Forest paling sesuai dengan sistem dagangan. Algoritma ini membina ensemble pokok keputusan yang mempartisi ruang ciri secara rawak. Titik anomali, yang "jarang dan berbeza," dipencilkan dalam bilangan pemisahan yang lebih sedikit.

Mengapa Isolation Forest? Ia tidak memerlukan data berlabel — melabel anomali di pasaran kripto hampir mustahil kerana setiap flash crash adalah unik. Inferens pantas dalam milisaat membolehkan penggunaan hampir masa nyata. Dan kritikal untuk pengeluaran: ramalan boleh dijelaskan melalui nilai SHAP — anda bukan sahaja tahu bahawa satu saat adalah anomali, anda memahami mengapa.

Pada data Bitcoin, Isolation Forest mengesan bukan sahaja anomali yang jelas seperti lonjakan volatiliti apabila Tesla menolak pembayaran BTC pada 2021, tetapi juga yang halus — tempoh apabila pergerakan harga tidak disokong oleh isipadu, menunjukkan manipulasi luaran. Apabila menganalisis spoofing, SHAP menunjukkan bahawa penunjuk utama adalah sebutan buku pesanan yang tidak seimbang dan aktiviti pembatalan yang tidak normal tinggi.

Algoritma Isolation Forest berfungsi dengan mempartisi ruang secara rawak: titik terpencil dipencilkan dalam bilangan pemisahan yang jauh lebih sedikit berbanding titik dalam kelompok padat.

LOF: Pilihan Terbaik untuk Pemantauan Pelbagai Bursa

Local Outlier Factor menilai keanomalian titik dengan membandingkan ketumpatan tempatannya dengan ketumpatan jirannya. Satu kajian (Springer, 2024) yang membandingkan LOF, Isolation Forest, dan One-Class SVM pada data mata wang kripto mendapati LOF paling berkesan — ia menemui anomali sebenar dengan positif palsu yang paling sedikit, berprestasi stabil pada Bitcoin dan Dogecoin.

Mengapa LOF penting untuk infrastruktur pelbagai bursa? Data dari bursa yang berbeza mempunyai "ketumpatan" yang berbeza — Binance melihat ribuan dagangan sesaat, bursa khusus melihat berpuluh-puluh. Kaedah global seperti Z-Score akan menghasilkan positif palsu pada bursa khusus atau terlepas anomali pada bursa besar. LOF menyesuaikan diri dengan konteks tempatan.

LOF membandingkan ketumpatan tempatan titik dengan jirannya. Ini membolehkannya menemui titik terpencil yang 'secara tempatan' anomali walaupun ia konsisten dengan corak data global.

Batasannya ialah kerumitan kuadratik berkenaan dengan bilangan titik. Untuk data masa nyata peringkat tik terlalu perlahan, tetapi untuk agregat minit merentas 100+ bursa — ideal.

Autoenkoder: Analisis Buku Pesanan Mendalam

Autoenkoder adalah rangkaian neural yang memampatkan data ke dalam perwakilan padat dan merekonstruksinya. Dilatih pada data "normal," ralat rekonstruksi tinggi kemudian menandakan anomali.

Untuk analisis buku pesanan ini adalah alat yang paling berkuasa. Buku pesanan dengan 20 tahap bid dan 20 tahap ask adalah vektor 40 dimensi yang dikemas kini ratusan kali sesaat. LSTM Autoencoder mempertimbangkan bukan sahaja keadaan semasa tetapi dinamik — bagaimana buku pesanan berubah dalam N tik terakhir. Pendekatan hibrid "LSTM Autoencoder + One-Class SVM" memisahkan kebimbangan: rangkaian neural menangani pengekstrakan ciri, ML klasik menangani pembuatan keputusan. Kelemahan utama ialah kos pengiraan: inferens masa nyata memerlukan GPU.

Autoenkoder mempelajari perwakilan 'laten' termampat data normal. Anomali gagal direkonstruksi dengan tepat, menghasilkan skor ralat tinggi yang digunakan untuk pengesanan.

Seni Bina Berlapis: Menyatukan Semuanya

Tiada satu kaedah sahaja menyelesaikan semua masalah. Kaedah pantas terlepas anomali kompleks. Kaedah tepat terlalu perlahan untuk masa nyata. Penyelesaiannya adalah seni bina berlapis di mana setiap lapisan berikutnya menangkap apa yang terlepas dari lapisan sebelumnya.

Seni bina pengesanan anomali berbilang lapisan: dari had keras milisaat hingga analisis pembelajaran mendalam latar belakang.

Lapisan 1 — Laluan Pantas (di bawah 1 ms). Z-Score pada isipadu, spread, dan perubahan harga. Pemeriksaan kegigihan. Had keras. Apabila dicetuskan — jeda dagangan segera. Lapisan ini melindungi daripada flash crash, ralat API, dan manipulasi kasar. Dilaksanakan dalam gelung utama bot tanpa kebergantungan luaran.

Lapisan 2 — Hampir Masa Nyata (1–100 ms). Isolation Forest pada ciri gabungan. Pengesan Peralihan Tahap dan Peralihan Volatiliti. Apabila dicetuskan — penukaran mod dagangan, pelarasan parameter. Berjalan dalam utas selari.

Lapisan 3 — Analisis Latar Belakang (1–60 saat). LOF pada data pelbagai bursa. LSTM Autoencoder pada keadaan buku pesanan. Analisis baki penguraian bermusim. Apabila dicetuskan — amaran, pelarasan parameter strategi.

Lapisan 4 — Analisis Kelompok (setiap jam/harian). DBSCAN untuk pengesanan dagangan cuci. PCA untuk pemantauan korelasi merentas bursa. Latihan semula model penuh. Output — laporan, kemas kini model, penentukuran semula ambang batas untuk lapisan sebelumnya.

Setiap lapisan beroperasi secara bebas. Jika lapisan 3 turun — lapisan 1 dan 2 terus melindungi bot. Toleransi kesalahan dan degradasi anggun adalah sifat wajib bagi mana-mana infrastruktur dagangan.

Cadangan Praktikal

Beberapa pelajaran dari pengeluaran.

Mulakan dengan mudah. Z-Score + Peralihan Tahap + Peralihan Volatiliti boleh dilaksanakan dalam sehari. Ini merangkumi majoriti senario kerugian akibat keadaan pasaran yang tidak normal. Kluster GPU boleh datang kemudian.

Parameter kontaminasi adalah hiperparameter terpenting. Dalam Isolation Forest ia mentakrifkan perkadaran anomali yang dijangkakan. Untuk pasaran kripto kami menggunakan 0.01–0.05 bergantung pada pasangan dan bursa. Terlalu rendah — anda terlepas anomali sebenar. Terlalu tinggi — positif palsu melumpuhkan dagangan.

Ambang batas adaptif berbanding ambang batas tetap. Pasaran kripto adalah tidak pegun. Ambang batas yang berfungsi pada bulan Januari akan menghasilkan positif palsu pada bulan Mac. Gunakan EWMA untuk mengemas kini ambang batas, atau latih semula model secara berkala pada tetingkap bergulir.

Log semua anomali. Walaupun anda tidak bertindak balas secara automatik — simpan label dengan konteks. Dalam sebulan anda akan mempunyai set data untuk melatih model terkawal dan menganalisis anomali mana yang mendahului kerugian.

Uji pada insiden sebenar. Bina koleksi anomali sejarah: flash crash Mei 2021, lata likuidasi FTX, keruntuhan LUNA. Jalankan setiap pengesan baru melalui senario ini. Jika ia tidak menangkap insiden yang diketahui — ia tidak berguna.

Apa Seterusnya

Tiga arah yang patut diperhatikan.

Model berasaskan Transformer untuk buku pesanan. Penyelidikan terkini menunjukkan bahawa autoencoder Transformer + OC-SVM pada data Buku Pesanan Had mengatasi semua pendekatan sebelumnya secara signifikan untuk pengesanan spoofing. Transformer Tetingkap Gelongsor Berperingkat pada data EUR/USD frekuensi tinggi (315 juta rekod) mencapai ketepatan 0.93, F1 0.91, AUC-ROC 0.95 — jauh lebih baik daripada Random Forest, LSTM, dan CNN.

Seni bina Transformer dengan perhatian berbilang kepala terbukti sangat berkemampuan dalam mengenal pasti corak temporal kompleks dalam data Buku Pesanan Had frekuensi tinggi.

GAN untuk penjanaan anomali sintetik. Salah satu cabaran utama ialah kekurangan data berlabel. GAN boleh menjana senario manipulasi yang realistik untuk melatih model terkawal. Seni bina sudah wujud yang mencapai ketepatan 94.7% dengan kependaman di bawah 3 ms dan daya pemprosesan 150,000 transaksi sesaat.

Generative Adversarial Networks (GAN) boleh digunakan untuk menambah set data dengan mencipta anomali sintetik yang realistik, menyelesaikan masalah kelangkaan label kritikal dalam dagangan.

Pengesanan Titik Perubahan (CPD). Berbanding sekadar mencari titik terpencil, CPD memberi tumpuan kepada mengenal pasti saat tepat apabila sifat statistik isyarat berubah. Ini kritikal untuk penukaran antara rejim pembuat pasaran (cth, dari mean-reversion ke trend-following).

Pengesanan Titik Perubahan mengenal pasti peralihan struktur dalam data siri masa, menonjolkan sempadan antara rejim pasaran yang berbeza.

Anomali bukan ciri pilihan. Ia adalah asas yang tanpanya dagangan algo menjadi perjudian. Dan lebih awal anda membinanya, lebih sedikit pelajaran mahal yang pasaran perlu ajar kepada anda.

Rujukan

1. Anomaly detection in cryptocurrency markets using Isolation Forest
2. LOF: Identifying local outliers in high dimensional space
3. Isolation Forest for Anomaly Detection (Sklearn Documentation)
4. PyOD: A Comprehensive Python Toolbox for Outlier Detection
5. Transformer-based models for Limit Order Book anomaly detection
6. Ethical Issues and Market Manipulation in Cryptocurrency

Petikan

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/ms/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Kaedah pengesanan anomali yang benar-benar berkesan dalam dagangan algo kripto, cara membina seni bina perlindungan berlapis, dan mengapa ini adalah asas yang tanpanya dagangan algo menjadi perjudian.}
}