ट्रेडिंग बॉट सुरक्षा के लिए एनोमली डिटेक्शन: Z-Score से Transformer तक

जिसने भी कभी क्रिप्टो एक्सचेंजों पर ट्रेडिंग बॉट चलाया है, वह इस अनुभूति को जानता है: बॉट एक सप्ताह तक बिल्कुल सही चलता है, फिर 30 सेकंड में एक सप्ताह की पूरी कमाई मिटा देता है। किसी एक एक्सचेंज पर एक फ्लैश क्रैश। ऑर्डर बुक में एक नकली दीवार। एक लिक्विडेशन कैस्केड। या एक्सचेंज ने डेटा के बजाय बस कचरा लौटा दिया।

इन सभी स्थितियों में एक बात समान है — ये सब एनोमलीज़ (विसंगतियाँ) हैं। और अगर आपका बॉट इन्हें पहचान नहीं सकता, तो देर-सवेर वह इनका शिकार बन जाएगा।

क्रिप्टो ट्रेडिंग में एनोमली किसे माना जाता है

एनोमलीज़ का पीछा करने से पहले, हमें इस बात पर सहमत होना होगा कि हम क्या खोज रहे हैं। मशीन लर्निंग तीन प्रकारों में अंतर करती है, और तीनों ही क्रिप्टो बाजारों में रोज़ाना होते हैं।

पॉइंट एनोमलीज़ — अलग-थलग घटनाएँ जो सामान्य से तीव्रता से विचलित होती हैं। औसत से 50 गुना अधिक वॉल्यूम वाली एक कैंडल। Binance पर BTC/USDT स्प्रेड का 0.5% तक उछल जाना। एक मार्केट-मेकिंग बॉट के लिए, ऐसी हर घटना एक संभावित जाल है: नकली कीमत पर पोजीशन में प्रवेश करना या ऐसा स्लिपेज झेलना जो पूरा मार्जिन खा जाए।

कलेक्टिव एनोमलीज़ — घटनाओं की एक श्रृंखला जो अलग-अलग देखने पर सामान्य लगती है, पर समग्र रूप में किसी समस्या का संकेत देती है। इसका क्लासिक उदाहरण है स्पूफिंग: कोई कई मिनटों तक बड़े लिमिट ऑर्डर लगाता और रद्द करता रहता है। हर एक ऑर्डर सामान्य है, पर 100:1 के ऑर्डर-टू-ट्रेड अनुपात के साथ "लगाओ-रद्द करो-लगाओ-रद्द करो" का पैटर्न हेरफेर है — और जो बॉट ऑर्डर बुक की गहराई पर निर्भर करता है, वह न मौजूद लिक्विडिटी पर ट्रेड कर रहा होगा।

कॉन्टेक्स्चुअल एनोमलीज़ — गलत संदर्भ में एक सामान्य मान। बिटकॉइन का ट्रेडिंग वॉल्यूम जो लंदन सत्र के लिए सामान्य है, पर रविवार को UTC सुबह 3 बजे देखा गया। संदर्भ को ध्यान में रखे बिना ऐसी एनोमलीज़ अदृश्य रहती हैं — और यही वे हैं जो बुनियादी डिटेक्टरों से सबसे अधिक बार बच निकलती हैं।

ट्रेडिंग डेटा में एनोमलीज़ के तीन मुख्य प्रकारों का विज़ुअलाइज़ेशन: पॉइंट स्पाइक्स, कलेक्टिव पैटर्न, और कॉन्टेक्स्चुअल विचलन।

शोर बनाम एनोमली: संदर्भ की समस्या

एनोमली केवल "अजीब डेटा" नहीं है। यह एक विचलन है जो जानकारी वहन करता है। इनमें अंतर करना बेहद जरूरी है:

• शोर (Noise): यादृच्छिक उतार-चढ़ाव जो सामान्य बाजार व्यवस्था का हिस्सा हैं।
• ड्रिफ्ट (Drift): बाजार की स्थितियों में क्रमिक बदलाव (जैसे, कम-अस्थिरता वाली रात से सक्रिय सुबह की ओर संक्रमण)।
• एनोमली (Anomaly): अपेक्षित पैटर्न का अचानक उल्लंघन।

हानिरहित शोर, स्थायी ड्रिफ्ट, और खतरनाक एनोमलीज़ के बीच अंतर निर्धारित करना किसी भी डिटेक्टर के लिए एक मुख्य चुनौती है।

सरल तरीके जो 80% समस्याओं को हल कर देते हैं

हर चीज़ को न्यूरल नेटवर्क से हल करने की जरूरत नहीं है। अधिकांश ट्रेडिंग बॉट्स के लिए तीन बुनियादी डिटेक्टर पर्याप्त हैं।

Z-Score: तेज़ एक्सट्रीम फ़िल्टर

Z-Score दिखाता है कि वर्तमान मान रोलिंग औसत से कितने मानक विचलन (standard deviations) दूर है। यह माइक्रोसेकंड में गणना होता है और किसी भी टाइमफ्रेम पर काम करता है।

हम इसे तीन कार्यों के लिए उपयोग करते हैं: असामान्य वॉल्यूम फ़िल्टरिंग (Z-Score > 3 — स्प्रेड चौड़ा करने या कोटिंग रोकने का संकेत), स्प्रेड मॉनिटरिंग (असामान्य बिड-आस्क चौड़ाई अक्सर तीव्र गतिविधियों से पहले होती है), और फ्यूचर्स फंडिंग रेट (चरम मान संभावित लिक्विडेशन कैस्केड की चेतावनी देते हैं)।

Z-Score यह मापकर चरम घटनाओं की पहचान करता है कि कोई बिंदु औसत से कितने मानक विचलन दूर है। अधिकांश ट्रेडिंग सिस्टम में ±3σ से अधिक मानों को आउटलायर माना जाता है।

महत्वपूर्ण सीमा: क्रिप्टो बाजारों में फैट-टेल्ड (मोटी पूँछ वाले) वितरण होते हैं। सामान्य वितरण के अनुसार जो घटना दस लाख वर्षों में एक बार (6σ) होनी चाहिए, वह क्रिप्टो में हर महीने होती है। इसलिए Z-Score एक मोटा एनोमली फ़िल्टर है, अंतिम निर्णय नहीं।

Level Shift Detector: जब बाजार व्यवस्था बदलता है

हम दो लगातार रोलिंग विंडो लेते हैं और उनके औसतों की तुलना करते हैं। अगर अंतर एक थ्रेशोल्ड से अधिक हो जाए — तो एक लेवल शिफ्ट हो चुका है। मार्केट-मेकिंग रणनीतियाँ स्थिर बाजार में लाभ कमाती हैं और तीव्र गतिविधियों के दौरान घाटा उठाती हैं। वॉल्यूम और अस्थिरता पर एक Level Shift Detector कीमत में स्पष्ट होने से कई मिनट पहले व्यवस्था बदलाव की चेतावनी दे देता है।

हम इसे एक साथ कई मेट्रिक्स पर लागू करते हैं: औसत ट्रेड आकार, पहले 5 स्तरों पर ऑर्डर बुक गहराई, प्रति इकाई समय ट्रेडों की संख्या। अगर Level Shift कम से कम दो मेट्रिक्स पर सक्रिय होता है — तो बॉट रक्षात्मक मोड में चला जाता है।

Volatility Shift Detector: तूफान को भाँपना

एक समान दृष्टिकोण, पर औसतों के बजाय मानक विचलनों की तुलना की जाती है। अस्थिरता में तीव्र वृद्धि मापदंडों पर पुनर्विचार का संकेत है। एक दिलचस्प पैटर्न: असामान्य रूप से कम अस्थिरता अक्सर किसी विस्फोटक गतिविधि से पहले होती है। Volatility Shift Detector दोनों मामलों को पकड़ता है — संकुचन और विस्तार।

Level Shift और Volatility Shift डिटेक्टर 'व्यवस्था बदलावों' की पहचान के लिए महत्वपूर्ण हैं — बाजार व्यवहार में अचानक होने वाले संरचनात्मक बदलाव जिनके लिए अलग ट्रेडिंग मापदंडों की आवश्यकता होती है।

HBOS: तेज़ बहुआयामी विश्लेषण

जब आपको जटिल ML की लागत के बिना एक साथ 10+ संकेतकों की निगरानी करनी हो, तो HBOS (Histogram-Based Outlier Selection) सबसे अच्छा विकल्प है। यह फ़ीचर स्वतंत्रता मानता है और हर एक के लिए एक हिस्टोग्राम बनाता है। एनोमली स्कोर सभी हिस्टोग्रामों में व्युत्क्रम घनत्वों (inverse densities) का गुणनफल होता है।

HBOS, LOF जैसी दूरी-आधारित विधियों की तुलना में काफ़ी तेज़ है, जो इसे बहुआयामी स्टेट वेक्टरों की उच्च-आवृत्ति फ़िल्टरिंग के लिए उपयुक्त बनाता है।

मशीन लर्निंग: जब सांख्यिकी पर्याप्त न हो

बुनियादी तरीके एक बार में एक संकेतक के साथ काम करते हैं। पर वास्तविक एनोमलीज़ अक्सर संकेतकों के असामान्य संयोजन के रूप में प्रकट होती हैं: वॉल्यूम सामान्य है, स्प्रेड सामान्य है, पर वॉल्यूम + स्प्रेड + कीमत परिवर्तन की दर + ऑर्डर बुक असंतुलन एक साथ — असामान्य हैं। यहीं ML की जरूरत पड़ती है।

एनोमली डिटेक्शन विधियों का एक संरचित परिदृश्य: क्लासिक अनसुपरवाइज़्ड एल्गोरिदम से लेकर डीप लर्निंग आर्किटेक्चर तक।

Isolation Forest: प्रोडक्शन के लिए सबसे अच्छा संतुलन

सभी ML एनोमली डिटेक्शन विधियों में, Isolation Forest ट्रेडिंग सिस्टम के लिए सबसे उपयुक्त है। यह एल्गोरिथ्म निर्णय वृक्षों (decision trees) का एक समूह बनाता है जो फ़ीचर स्पेस को यादृच्छिक रूप से विभाजित करते हैं। असामान्य बिंदु, "दुर्लभ और भिन्न" होने के कारण, कम विभाजनों में अलग हो जाते हैं।

Isolation Forest क्यों? इसे लेबल किए गए डेटा की जरूरत नहीं — क्रिप्टो बाजारों में एनोमलीज़ को लेबल करना व्यावहारिक रूप से असंभव है क्योंकि हर फ्लैश क्रैश अनोखा होता है। मिलीसेकंड में तेज़ इनफेरेंस लगभग रियल-टाइम उपयोग को संभव बनाता है। और प्रोडक्शन के लिए महत्वपूर्ण बात: भविष्यवाणियों को SHAP मानों के माध्यम से समझाया जा सकता है — आप केवल यह नहीं जानते कि कोई क्षण असामान्य है, बल्कि आप समझते हैं कि क्यों।

बिटकॉइन डेटा पर, Isolation Forest ने न केवल स्पष्ट एनोमलीज़ का पता लगाया जैसे 2021 में Tesla द्वारा BTC भुगतान अस्वीकार करने पर हुआ अस्थिरता उछाल, बल्कि सूक्ष्म एनोमलीज़ भी — ऐसे दौर जब कीमत की गतिविधियाँ वॉल्यूम से समर्थित नहीं थीं, जो बाहरी हेरफेर का संकेत देती हैं। स्पूफिंग का विश्लेषण करते समय, SHAP दिखाता है कि प्रमुख संकेतक असंतुलित ऑर्डर बुक कोट्स और असामान्य रूप से उच्च रद्दीकरण गतिविधि हैं।

Isolation Forest एल्गोरिथ्म स्पेस को यादृच्छिक रूप से विभाजित करके काम करता है: आउटलायर, घने क्लस्टरों के बिंदुओं की तुलना में काफ़ी कम विभाजनों में अलग हो जाते हैं।

LOF: मल्टी-एक्सचेंज मॉनिटरिंग के लिए सबसे अच्छा विकल्प

Local Outlier Factor किसी बिंदु के स्थानीय घनत्व की तुलना उसके पड़ोसियों से करके उसकी असामान्यता का आकलन करता है। एक अध्ययन (Springer, 2024) जिसने क्रिप्टोकरेंसी डेटा पर LOF, Isolation Forest, और One-Class SVM की तुलना की, ने पाया कि LOF सबसे प्रभावी है — इसने सबसे कम फॉल्स पॉज़िटिव के साथ वास्तविक एनोमलीज़ ढूँढीं, और बिटकॉइन तथा Dogecoin दोनों पर स्थिर रूप से प्रदर्शन किया।

मल्टी-एक्सचेंज इंफ्रास्ट्रक्चर के लिए LOF क्यों मायने रखता है? विभिन्न एक्सचेंजों के डेटा का "घनत्व" अलग होता है — Binance प्रति सेकंड हजारों ट्रेड देखता है, एक निशे एक्सचेंज दर्जनों। Z-Score जैसी वैश्विक विधियाँ निशे एक्सचेंजों पर फॉल्स पॉज़िटिव पैदा करेंगी या बड़े एक्सचेंजों पर एनोमलीज़ चूक जाएँगी। LOF स्थानीय संदर्भ के अनुसार ढल जाता है।

LOF किसी बिंदु के स्थानीय घनत्व की तुलना उसके पड़ोसियों से करता है। इससे यह ऐसे आउटलायर ढूँढ सकता है जो 'स्थानीय रूप से' असामान्य हैं, भले ही वे वैश्विक डेटा पैटर्न के अनुरूप हों।

इसकी सीमा बिंदुओं की संख्या के संबंध में वर्गीय (quadratic) जटिलता है। टिक-स्तर के रियल-टाइम डेटा के लिए यह बहुत धीमा है, पर 100+ एक्सचेंजों में मिनट एग्रीगेट्स के लिए — आदर्श है।

Autoencoders: गहन ऑर्डर बुक विश्लेषण

एक ऑटोएनकोडर एक न्यूरल नेटवर्क है जो डेटा को एक संक्षिप्त प्रतिनिधित्व में संपीड़ित करता है और उसे पुनर्निर्मित करता है। "सामान्य" डेटा पर प्रशिक्षित होने पर, उच्च पुनर्निर्माण त्रुटि तब एक एनोमली का संकेत देती है।

ऑर्डर बुक विश्लेषण के लिए यह सबसे शक्तिशाली उपकरण है। 20 बिड और 20 आस्क स्तरों वाली एक ऑर्डर बुक एक 40-आयामी वेक्टर है जो प्रति सेकंड सैकड़ों बार अपडेट होता है। एक LSTM Autoencoder न केवल वर्तमान स्थिति बल्कि गतिशीलता पर भी विचार करता है — कि पिछले N टिक्स में ऑर्डर बुक कैसे बदली। हाइब्रिड "LSTM Autoencoder + One-Class SVM" दृष्टिकोण जिम्मेदारियों को अलग करता है: न्यूरल नेटवर्क फ़ीचर एक्सट्रैक्शन संभालता है, क्लासिक ML निर्णय-निर्माण। मुख्य कमी गणना लागत है: रियल-टाइम इनफेरेंस के लिए एक GPU चाहिए।

ऑटोएनकोडर सामान्य डेटा का एक संपीड़ित 'लेटेंट' प्रतिनिधित्व सीखते हैं। एनोमलीज़ सटीक रूप से पुनर्निर्मित नहीं हो पातीं, जिससे एक उच्च त्रुटि स्कोर बनता है जिसका उपयोग डिटेक्शन के लिए किया जाता है।

कैस्केडिंग आर्किटेक्चर: सब कुछ एक साथ जोड़ना

कोई एक विधि सभी समस्याओं को हल नहीं करती। तेज़ विधियाँ जटिल एनोमलीज़ चूक जाती हैं। सटीक विधियाँ रियल-टाइम के लिए बहुत धीमी होती हैं। इसका समाधान एक कैस्केडिंग आर्किटेक्चर है जहाँ हर अगली परत वह पकड़ती है जो पिछली परत चूक गई।

बहुस्तरीय एनोमली डिटेक्शन आर्किटेक्चर: मिलीसेकंड हार्ड लिमिट्स से लेकर बैकग्राउंड डीप लर्निंग विश्लेषण तक।

परत 1 — Fast Path (1 ms से कम). वॉल्यूम, स्प्रेड और कीमत परिवर्तन पर Z-Score। परसिस्टेंस जाँच। हार्ड लिमिट्स। सक्रिय होने पर — तुरंत ट्रेडिंग रोक। यह परत फ्लैश क्रैश, API त्रुटियों, और मोटे हेरफेर से बचाती है। बॉट के मुख्य लूप में बिना बाहरी निर्भरता के लागू।

परत 2 — Near Real-Time (1–100 ms). संयुक्त फ़ीचर्स पर Isolation Forest। Level Shift और Volatility Shift डिटेक्टर। सक्रिय होने पर — ट्रेडिंग मोड बदलाव, मापदंड समायोजन। एक समानांतर थ्रेड में चलता है।

परत 3 — बैकग्राउंड विश्लेषण (1–60 सेकंड). मल्टी-एक्सचेंज डेटा पर LOF। ऑर्डर बुक स्थितियों पर LSTM Autoencoder। सीज़नल डिकम्पोज़िशन रेसिड्यूअल विश्लेषण। सक्रिय होने पर — अलर्ट, रणनीति मापदंड समायोजन।

परत 4 — बैच विश्लेषण (प्रति घंटा/दैनिक). वॉश ट्रेडिंग डिटेक्शन के लिए DBSCAN। क्रॉस-एक्सचेंज सहसंबंध निगरानी के लिए PCA। पूर्ण मॉडल रीट्रेनिंग। आउटपुट — रिपोर्ट, मॉडल अपडेट, पिछली परतों के लिए थ्रेशोल्ड पुनः-अंशांकन।

हर परत स्वतंत्र रूप से काम करती है। अगर परत 3 बंद हो जाए — तो परतें 1 और 2 बॉट की सुरक्षा करती रहती हैं। फ़ॉल्ट टॉलरेंस और ग्रेसफुल डिग्रेडेशन किसी भी ट्रेडिंग इंफ्रास्ट्रक्चर के अनिवार्य गुण हैं।

व्यावहारिक सिफारिशें

प्रोडक्शन से कुछ सबक।

सरल से शुरू करें। Z-Score + Level Shift + Volatility Shift एक दिन में लागू किए जा सकते हैं। यह असामान्य बाजार स्थितियों के कारण होने वाले अधिकांश घाटे के परिदृश्यों को कवर कर लेता है। GPU क्लस्टर बाद में आ सकता है।

contamination मापदंड सबसे महत्वपूर्ण हाइपरपैरामीटर है। Isolation Forest में यह एनोमलीज़ के अपेक्षित अनुपात को परिभाषित करता है। क्रिप्टो बाजारों के लिए हम जोड़ी और एक्सचेंज के अनुसार 0.01–0.05 का उपयोग करते हैं। बहुत कम — तो आप वास्तविक एनोमलीज़ चूक जाते हैं। बहुत अधिक — तो फॉल्स पॉज़िटिव ट्रेडिंग को पंगु बना देते हैं।

स्थिर के बजाय अनुकूली थ्रेशोल्ड। क्रिप्टो बाजार अस्थिर (non-stationary) हैं। जनवरी में जो थ्रेशोल्ड काम करता था, वह मार्च में फॉल्स पॉज़िटिव पैदा करेगा। थ्रेशोल्ड अपडेट करने के लिए EWMA का उपयोग करें, या समय-समय पर रोलिंग विंडो पर मॉडलों को पुनः प्रशिक्षित करें।

सभी एनोमलीज़ को लॉग करें। भले ही आप स्वचालित रूप से प्रतिक्रिया न दें — लेबल को उसके संदर्भ के साथ सहेजें। एक महीने में आपके पास सुपरवाइज़्ड मॉडलों को प्रशिक्षित करने और यह विश्लेषण करने के लिए एक डेटासेट होगा कि कौन-सी एनोमलीज़ घाटे से पहले आईं।

वास्तविक घटनाओं पर परीक्षण करें। ऐतिहासिक एनोमलीज़ का एक संग्रह बनाएँ: मई 2021 का फ्लैश क्रैश, FTX लिक्विडेशन कैस्केड, LUNA का पतन। हर नए डिटेक्टर को इन परिदृश्यों से गुजारें। अगर यह ज्ञात घटनाओं को नहीं पकड़ता — तो यह बेकार है।

आगे क्या

तीन दिशाएँ जिन पर नज़र रखनी चाहिए।

ऑर्डर बुक के लिए Transformer-आधारित मॉडल। हालिया शोध दिखाते हैं कि Limit Order Book डेटा पर Transformer autoencoder + OC-SVM स्पूफिंग डिटेक्शन के लिए सभी पिछले दृष्टिकोणों से काफ़ी बेहतर प्रदर्शन करता है। उच्च-आवृत्ति EUR/USD डेटा (315 मिलियन रिकॉर्ड) पर एक Staged Sliding Window Transformer ने सटीकता 0.93, F1 0.91, AUC-ROC 0.95 हासिल की — Random Forest, LSTM, और CNN से काफ़ी बेहतर।

मल्टी-हेड अटेंशन वाली Transformer आर्किटेक्चर उच्च-आवृत्ति Limit Order Book डेटा में जटिल कालिक पैटर्न पहचानने में असाधारण रूप से सक्षम साबित हो रही हैं।

सिंथेटिक एनोमली जनरेशन के लिए GANs। मुख्य चुनौतियों में से एक लेबल किए गए डेटा की कमी है। GANs सुपरवाइज़्ड मॉडलों को प्रशिक्षित करने के लिए यथार्थवादी हेरफेर परिदृश्य उत्पन्न कर सकते हैं। ऐसी आर्किटेक्चर पहले से मौजूद हैं जो 3 ms से कम विलंबता और प्रति सेकंड 150,000 लेनदेन की थ्रूपुट के साथ 94.7% सटीकता प्राप्त करती हैं।

जेनरेटिव एडवर्सेरियल नेटवर्क (GANs) का उपयोग यथार्थवादी सिंथेटिक एनोमलीज़ बनाकर डेटासेट को समृद्ध करने के लिए किया जा सकता है, जो ट्रेडिंग में लेबल की कमी की गंभीर समस्या को हल करता है।

Change Point Detection (CPD)। केवल आउटलायर खोजने के बजाय, CPD उस सटीक क्षण की पहचान पर केंद्रित होता है जब सिग्नल के सांख्यिकीय गुण बदले। यह मार्केट-मेकिंग व्यवस्थाओं के बीच स्विच करने के लिए महत्वपूर्ण है (जैसे, मीन-रिवर्ज़न से ट्रेंड-फॉलोइंग की ओर)।

Change Point Detection समय-श्रृंखला डेटा में संरचनात्मक बदलावों की पहचान करता है, विभिन्न बाजार व्यवस्थाओं के बीच की सीमा को उजागर करते हुए।

एनोमलीज़ कोई वैकल्पिक फ़ीचर नहीं हैं। यह वह नींव है जिसके बिना एल्गो ट्रेडिंग जुआ बन जाती है। और जितनी जल्दी आप इसे बनाएँगे, बाजार को आपको उतने ही कम महँगे सबक सिखाने पड़ेंगे।

संदर्भ

1. Anomaly detection in cryptocurrency markets using Isolation Forest
2. LOF: Identifying local outliers in high dimensional space
3. Isolation Forest for Anomaly Detection (Sklearn Documentation)
4. PyOD: A Comprehensive Python Toolbox for Outlier Detection
5. Transformer-based models for Limit Order Book anomaly detection
6. Ethical Issues and Market Manipulation in Cryptocurrency

उद्धरण

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/en/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Which anomaly detection methods actually work in crypto algo trading, how to build a cascading protection architecture, and why this is the foundation without which algo trading becomes gambling.}
}