트레이딩 봇 보호를 위한 이상 탐지: Z-Score에서 Transformer까지

암호화폐 거래소에서 트레이딩 봇을 운영해 본 사람이라면 누구나 이 느낌을 안다: 봇이 일주일간 완벽하게 작동하다가 30초 만에 일주일치 수익을 날려버린다. 한 거래소에서의 플래시 크래시. 호가창의 가짜 벽. 청산 캐스케이드. 혹은 거래소가 단순히 쓰레기 데이터를 반환한 것이다.

이 모든 상황에는 공통점이 있다 — 이상(anomaly)이라는 것이다. 그리고 봇이 이를 인식하지 못하면, 조만간 그 희생양이 된다.

암호화폐 트레이딩에서 이상이란 무엇인가

이상을 쫓기 전에, 무엇을 찾고 있는지 합의해야 한다. 머신러닝에서는 세 가지 유형을 구분하며, 세 가지 모두 암호화폐 시장에서 매일 발생한다.

점 이상(Point anomalies) — 정상에서 급격하게 벗어나는 고립된 이벤트. 평균의 50배에 달하는 거래량을 가진 캔들. Binance의 BTC/USDT 스프레드가 0.5%까지 급등. 마켓메이킹 봇에게 이러한 이벤트 각각은 잠재적 함정이다: 가짜 가격에 포지션을 잡거나 마진 전체를 잠식하는 슬리피지를 겪게 된다.

집합 이상(Collective anomalies) — 개별적으로는 정상으로 보이지만 종합하면 문제를 나타내는 일련의 이벤트. 전형적인 예는 스푸핑이다: 누군가 수분에 걸쳐 큰 지정가 주문을 넣었다가 취소한다. 개별 주문은 평범하지만, 주문 대 거래 비율이 100:1인 "주문-취소-주문-취소" 패턴은 시세 조종이며, 호가창 깊이에 의존하는 봇은 존재하지 않는 유동성으로 거래하게 된다.

맥락 이상(Contextual anomalies) — 잘못된 맥락에서의 정상 값. 런던 세션에 전형적인 Bitcoin 거래량이 일요일 UTC 오전 3시에 관찰된 경우. 맥락을 고려하지 않으면 이러한 이상은 보이지 않으며, 기본 탐지기를 가장 자주 빠져나가는 것이 바로 이들이다.

트레이딩에서의 이상 유형 트레이딩 데이터의 세 가지 주요 이상 유형 시각화: 점적 스파이크, 집합적 패턴, 맥락적 편차.

노이즈 vs 이상: 맥락 문제

이상은 단순히 "이상한 데이터"가 아니다. 정보를 담고 있는 편차이다. 다음을 구분하는 것이 중요하다:

노이즈: 정상적인 시장 레짐의 일부인 무작위 변동.
드리프트: 시장 상태의 점진적 변화 (예: 저변동성 야간에서 활발한 아침으로의 전환).
이상: 예상 패턴의 갑작스러운 위반.

데이터 변동 유형 무해한 노이즈, 지속적인 드리프트, 위험한 이상 간의 차이를 판별하는 것은 모든 탐지기의 핵심 과제이다.

문제의 80%를 해결하는 간단한 방법들

모든 것을 신경망으로 해결할 필요는 없다. 대부분의 트레이딩 봇에는 세 가지 기본 탐지기면 충분하다.

Z-Score: 빠른 극값 필터

Z-Score는 현재 값이 이동 평균에서 몇 표준편차만큼 벗어났는지를 보여준다. 마이크로초 단위로 계산되며, 모든 타임프레임에서 작동한다.

세 가지 작업에 사용한다: 비정상 거래량 필터링 (Z-Score > 3 — 스프레드 확대 또는 호가 일시 중지 신호), 스프레드 모니터링 (비정상적인 bid-ask 확대는 종종 급격한 움직임에 선행), 선물 펀딩 레이트 (극단값은 청산 캐스케이드 가능성을 경고).

Z-Score 통계 방법 Z-Score는 한 점이 평균에서 몇 표준편차 떨어져 있는지를 측정하여 극단적 이벤트를 식별한다. 대부분의 트레이딩 시스템에서 ±3σ를 초과하는 값은 이상치로 처리된다.

중요한 한계: 암호화폐 시장은 팻테일 분포를 가진다. 정규분포에서 100만 년에 한 번 일어나야 할 이벤트(6σ)가 암호화폐에서는 매달 일어난다. 따라서 Z-Score는 거친 이상 필터이지, 최종 판단이 아니다.

레벨 시프트 탐지기: 시장이 레짐을 바꿀 때

연속된 두 개의 롤링 윈도우를 취하고 평균을 비교한다. 차이가 임계값을 초과하면 레벨 시프트가 발생한 것이다. 마켓메이킹 전략은 안정적인 시장에서 수익을 내고 급격한 움직임 시 손실을 낸다. 거래량과 변동성에 대한 레벨 시프트 탐지기는 가격에서 명확해지기 몇 분 전에 레짐 전환을 경고한다.

여러 지표에 동시에 적용한다: 평균 거래 크기, 상위 5단계의 호가창 깊이, 단위 시간당 거래 수. 레벨 시프트가 최소 두 개의 지표에서 트리거되면 봇은 방어 모드로 전환한다.

변동성 시프트 탐지기: 폭풍을 감지하다

유사한 접근법이지만, 평균 대신 표준편차를 비교한다. 변동성의 급격한 상승은 파라미터를 재검토하라는 신호이다. 흥미로운 패턴: 비정상적으로 낮은 변동성은 종종 폭발적 움직임에 선행한다. 변동성 시프트 탐지기는 압축과 확장 두 경우 모두를 포착한다.

레짐 시프트 탐지 레벨 시프트와 변동성 시프트 탐지기는 '레짐 전환' — 다른 트레이딩 파라미터를 필요로 하는 시장 행동의 갑작스러운 구조적 변화 — 을 식별하는 핵심이다.

HBOS: 빠른 다차원 분석

복잡한 ML 비용 없이 10개 이상의 지표를 동시에 모니터링해야 할 때, HBOS(Histogram-Based Outlier Selection) 가 최선의 선택이다. 특성 독립을 가정하고 각각에 대해 히스토그램을 구축한다. 이상 점수는 모든 히스토그램의 역밀도의 곱이다.

HBOS 알고리즘 원리 HBOS는 LOF 같은 거리 기반 방법보다 훨씬 빠르며, 다차원 상태 벡터의 고빈도 필터링에 적합하다.

머신러닝: 통계로 충분하지 않을 때

기본 방법은 한 번에 하나의 지표를 다룬다. 하지만 실제 이상은 지표의 비정상적인 조합으로 나타나는 경우가 많다: 거래량은 정상, 스프레드도 정상, 하지만 거래량 + 스프레드 + 가격 변화율 + 호가창 불균형이 함께 보면 이상이다. 여기서 ML이 필요하다.

ML 이상 탐지 계층 이상 탐지 방법의 체계적 전경: 고전적 비지도 알고리즘에서 딥러닝 아키텍처까지.

Isolation Forest: 프로덕션 최적의 균형

모든 ML 이상 탐지 방법 중에서 Isolation Forest가 트레이딩 시스템에 가장 적합하다. 이 알고리즘은 특성 공간을 무작위로 분할하는 결정 트리 앙상블을 구축한다. 이상 포인트는 "희귀하고 다르기" 때문에 더 적은 분할로 격리된다.

왜 Isolation Forest인가? 레이블된 데이터가 필요 없다 — 암호화폐 시장에서 이상 레이블링은 사실상 불가능한데, 각 플래시 크래시가 고유하기 때문이다. 밀리초 단위의 빠른 추론으로 거의 실시간 사용이 가능하다. 그리고 프로덕션에 결정적으로 중요한 것: SHAP 값으로 예측을 설명할 수 있다 — 특정 순간이 이상이라는 것을 아는 것뿐만 아니라, 왜 이상인지 이해할 수 있다.

Bitcoin 데이터에서 Isolation Forest는 2021년 Tesla의 BTC 결제 거부 시 변동성 스파이크 같은 명백한 이상뿐만 아니라, 미묘한 것들 — 가격 움직임이 거래량의 뒷받침을 받지 못하는 기간, 즉 외부 조작을 나타내는 것 — 도 탐지했다. 스푸핑 분석에서 SHAP는 불균형한 호가와 비정상적으로 높은 취소 활동이 핵심 지표임을 보여준다.

Isolation Forest 개념 Isolation Forest 알고리즘은 공간을 무작위로 분할하여 작동한다: 이상치는 밀집 클러스터의 포인트보다 훨씬 적은 분할로 격리된다.

LOF: 다중 거래소 모니터링을 위한 최적의 선택

Local Outlier Factor는 한 포인트의 국소 밀도를 이웃의 밀도와 비교하여 이상 정도를 평가한다. 암호화폐 데이터에서 LOF, Isolation Forest, One-Class SVM을 비교한 연구(Springer, 2024)에서 LOF가 가장 효과적이었다 — 가장 적은 오탐으로 실제 이상을 발견했으며, Bitcoin과 Dogecoin 모두에서 안정적인 성능을 보였다.

다중 거래소 인프라에서 LOF가 중요한 이유는? 서로 다른 거래소의 데이터는 다른 "밀도"를 가진다 — Binance는 초당 수천 건의 거래가 있고, 니치 거래소는 수십 건이다. Z-Score 같은 글로벌 방법은 니치 거래소에서 오탐을 발생시키거나 대형 거래소에서 이상을 놓친다. LOF는 국소 맥락에 적응한다.

LOF 알고리즘 시각화 LOF는 한 포인트의 국소 밀도를 이웃과 비교한다. 이를 통해 글로벌 데이터 패턴과 일치하더라도 '국소적으로' 이상인 이상치를 찾을 수 있다.

한계는 포인트 수에 대한 이차 복잡도이다. 틱 수준의 실시간 데이터에는 너무 느리지만, 100개 이상 거래소의 분봉 집계에는 이상적이다.

오토인코더: 호가창 심층 분석

오토인코더는 데이터를 압축된 표현으로 압축하고 재구성하는 신경망이다. "정상" 데이터로 훈련되며, 높은 재구성 오차가 이상을 나타낸다.

호가창 분석에는 이것이 가장 강력한 도구이다. 20개의 bid 레벨과 20개의 ask 레벨을 가진 호가창은 초당 수백 번 업데이트되는 40차원 벡터이다. LSTM 오토인코더는 현재 상태뿐만 아니라 역학 — 지난 N틱 동안 호가창이 어떻게 변했는지 — 도 고려한다. "LSTM 오토인코더 + One-Class SVM" 하이브리드 접근법은 관심사를 분리한다: 신경망은 특성 추출을, 고전적 ML은 의사결정을 담당한다. 주요 단점은 계산 비용: 실시간 추론에는 GPU가 필요하다.

오토인코더 보틀넥 아키텍처 오토인코더는 정상 데이터의 압축된 '잠재' 표현을 학습한다. 이상은 정확하게 재구성되지 못하여, 탐지에 사용되는 높은 오차 점수를 산출한다.

캐스케이드 아키텍처: 모든 것을 통합하다

단일 방법으로 모든 문제를 해결할 수 없다. 빠른 방법은 복잡한 이상을 놓친다. 정확한 방법은 실시간에 너무 느리다. 해결책은 각 후속 레이어가 이전 레이어가 놓친 것을 잡는 캐스케이드 아키텍처이다.

캐스케이드 보호 아키텍처 다층 이상 탐지 아키텍처: 밀리초 하드 리미트에서 백그라운드 딥러닝 분석까지.

레이어 1 — 패스트 패스 (1ms 미만). 거래량, 스프레드, 가격 변화에 대한 Z-Score. 지속성 체크. 하드 리미트. 트리거 시 — 즉시 거래 중지. 이 레이어는 플래시 크래시, API 오류, 거친 조작으로부터 보호한다. 외부 의존성 없이 봇의 메인 루프에 구현된다.

레이어 2 — 준실시간 (1~100ms). 결합 특성에 대한 Isolation Forest. 레벨 시프트 및 변동성 시프트 탐지기. 트리거 시 — 거래 모드 전환, 파라미터 조정. 병렬 스레드에서 실행.

레이어 3 — 백그라운드 분석 (1~60초). 다중 거래소 데이터에 대한 LOF. 호가창 상태에 대한 LSTM 오토인코더. 계절 분해 잔차 분석. 트리거 시 — 알림, 전략 파라미터 조정.

레이어 4 — 배치 분석 (시간별/일별). 워시 트레이딩 탐지를 위한 DBSCAN. 교차 거래소 상관관계 모니터링을 위한 PCA. 전체 모델 재훈련. 출력 — 보고서, 모델 업데이트, 이전 레이어의 임계값 재보정.

각 레이어는 독립적으로 작동한다. 레이어 3이 다운되어도 레이어 1과 2가 봇을 계속 보호한다. 내결함성과 그레이스풀 디그레이데이션은 모든 트레이딩 인프라의 필수 속성이다.

실용적 권장사항

프로덕션에서 얻은 몇 가지 교훈.

간단하게 시작하라. Z-Score + 레벨 시프트 + 변동성 시프트는 하루 만에 구현할 수 있다. 이것으로 비정상적 시장 상황으로 인한 손실 시나리오의 대부분을 커버한다. GPU 클러스터는 나중에 해도 된다.

Contamination 파라미터가 가장 중요한 하이퍼파라미터이다. Isolation Forest에서 예상되는 이상 비율을 정의한다. 암호화폐 시장에서는 페어와 거래소에 따라 0.01~0.05를 사용한다. 너무 낮으면 실제 이상을 놓친다. 너무 높으면 오탐이 거래를 마비시킨다.

고정 임계값 대신 적응형 임계값을. 암호화폐 시장은 비정상적이다. 1월에 작동한 임계값이 3월에는 오탐을 생성한다. EWMA를 사용하여 임계값을 업데이트하거나 롤링 윈도우로 모델을 주기적으로 재훈련하라.

모든 이상을 로깅하라. 자동으로 대응하지 않더라도 — 맥락과 함께 레이블을 저장하라. 한 달 후에는 지도 학습 모델 훈련과 어떤 이상이 손실에 선행했는지 분석하기 위한 데이터셋을 갖게 된다.

실제 인시던트로 테스트하라. 역사적 이상 컬렉션을 구축하라: 2021년 5월 플래시 크래시, FTX 청산 캐스케이드, LUNA 붕괴. 모든 새로운 탐지기를 이 시나리오들에서 실행하라. 알려진 인시던트를 잡지 못하면 — 쓸모없다.

앞으로의 전망

주목할 세 가지 방향.

호가창 데이터를 위한 Transformer 기반 모델. 최근 연구에 따르면 Limit Order Book 데이터에서 Transformer 오토인코더 + OC-SVM이 스푸핑 탐지에서 이전의 모든 접근법을 크게 능가한다. 고빈도 EUR/USD 데이터(3억 1,500만 레코드)에서 Staged Sliding Window Transformer는 정확도 0.93, F1 0.91, AUC-ROC 0.95를 달성 — Random Forest, LSTM, CNN을 크게 상회했다.

Transformer for LOB 멀티헤드 어텐션을 갖춘 Transformer 아키텍처는 고빈도 Limit Order Book 데이터에서 복잡한 시계열 패턴을 식별하는 데 탁월한 능력을 보이고 있다.

합성 이상 생성을 위한 GAN. 주요 과제 중 하나는 레이블된 데이터의 부족이다. GAN은 지도 학습 모델 훈련을 위한 현실적인 조작 시나리오를 생성할 수 있다. 지연 3ms 미만, 처리량 초당 15만 트랜잭션으로 94.7% 정확도를 달성하는 아키텍처가 이미 존재한다.

트레이딩 이상을 위한 GAN 적대적 생성 신경망(GAN)은 현실적인 합성 이상을 생성하여 데이터셋을 보강함으로써 트레이딩에서의 핵심적인 레이블 부족 문제를 해결할 수 있다.

변화점 탐지(CPD). 단순히 이상치를 찾는 대신, CPD는 신호의 통계적 특성이 변화한 정확한 순간을 식별하는 데 초점을 맞춘다. 이는 마켓메이킹 레짐 전환(예: 평균 회귀에서 추세 추종으로의 전환)에 매우 중요하다.

변화점 탐지는 시계열 데이터의 구조적 변화를 식별하여 서로 다른 시장 레짐 간의 경계를 강조한다.

이상 탐지는 선택 기능이 아니다. 알고트레이딩을 도박으로 만들지 않는 기반이다. 그리고 더 빨리 구축할수록 시장이 당신에게 가르쳐야 할 값비싼 교훈은 줄어든다.

참고문헌

인용

@software{soloviov2026anomalydetectionalgotrading,
  author = {Soloviov, Eugen},
  title = {Anomaly Detection for Trading Bot Protection: From Z-Score to Transformer},
  year = {2026},
  url = {https://marketmaker.cc/ko/blog/post/anomaly-detection-algotrading},
  version = {0.1.0},
  description = {Which anomaly detection methods actually work in crypto algo trading, how to build a cascading protection architecture, and why this is the foundation without which algo trading becomes gambling.}
}

트레이딩 봇 보호를 위한 이상 탐지: Z-Score에서 Transformer까지