Algo Treyding Tizimlarida Ma'lumotlar Aloqasi: Texnologik Sharh

Algoritmik savdoda foyda va zarar orasidagi farqni mikrosekundlarda o'lchash mumkin. Ma'lumotlarni uzatish arxitekturasi savdo tizimining samaradorligini belgilaydigan asosiy omillardan biridir. Ushbu maqolada biz barcha darajalardagi aloqa texnologiyalarini ko'rib chiqamiz: birja bilan o'zaro aloqadan tortib xizmatlar o'rtasidagi ichki aloqaga, ma'lumotlarni saqlash va tarqatishgacha.

Maqola darajalar bo'yicha tashkil etilgan — "tashqi"dan (birja protokollari) "ichki"gacha (IPC, xabar brokerlari, saqlash) — bu algoritmik savdo platformasining haqiqiy arxitekturasini aks ettiradi.

1. Birja bilan O'zaro Aloqa: REST, WebSocket, FIX

1.1 REST API

REST — birja API'si bilan o'zaro aloqa qilishning eng oddiy va keng tarqalgan usuli. Har bir so'rov alohida HTTP ulanishidir: TCP handshake → TLS handshake → so'rov yuborish → javob olish → ulanishni yopish.

Savdo uchun REST Muammolari:

Har bir so'rov ulanishni o'rnatish xarajatini o'z ichiga oladi. HTTP keep-alive bo'lsa ham, "so'rov-javob" modeli siz so'rovlarni yuborganingizdan tezroq ma'lumot ololmasligingizni anglatadi. Bu polling'ga olib keladi — birja serverlaridagi yukning 80%-igacha yaratadigan "yangi ma'lumot bormi?" degan savollarning cheksiz sikli (kripto birja ishlab chiquvchilarining ma'lumotlariga ko'ra). Birjalar tezlik cheklovlarini joriy qiladi (odatda daqiqasiga 10–1200 so'rov), bu REST'ni yuqori chastotali strategiyalar uchun yaroqsiz qiladi.

REST qachon mos keladi: tarixiy ma'lumotlarni olish (sham grafiklari, OHLCV), hisob boshqaruvi (balans, pozitsiyalar), real vaqtda bo'lmagan operatsiyalar (DCA botlar, soatlik qayta muvozanatlash).

1.2 WebSocket

WebSocket ma'lumotlar ikki tomonlama oqadigan bitta doimiy TCP ulanishini o'rnatadi. U Upgrade sarlavhasi bilan oddiy HTTP so'rovi sifatida boshlanadi, keyin ikki tomonlama freymlash protokoliga o'tadi (foydali yuk matn JSON yoki ikkilik bo'lishi mumkin).

Savdo uchun Afzalliklari:

Asosiy afzallik — har bir so'rov uchun xarajatning yo'qligi. Ulanish o'rnatilgandan so'ng, ma'lumotlar server tomonidan darhol yuboriladi. WebSocket orqali bozor ma'lumotlarini yetkazib berish kechikishi odatda birja shlyuzidan mijozgacha 50 ms dan kam bo'ladi. Siz bitta ulanish orqali bir vaqtning o'zida 50+ belgiga obuna bo'lishingiz mumkin.

Muhim jihat: WebSocket orqali buyurtmalar. Ko'p treyderlar ba'zi birjalar (Binance, HitBTC, Deribit, Bybit va boshqalar) faqat ma'lumot qabul qilishga emas, balki WebSocket orqali buyurtmalar yuborishga ham ruxsat berishini bilishmaydi. Bu REST'ga qaraganda tubdan tezroq, chunki:

• Har bir buyurtma uchun TCP/TLS handshake kerak emas (ulanish allaqachon "issiq")
• HTTP xarajati yo'q (sarlavhalar, cookie'lar va h.k.)
• Bu asinxron model: siz buyurtma yuborasiz va oqimni bloklamasdan xuddi shu WebSocket orqali tasdiqni olasiz.

Deribit ma'lumotlariga ko'ra, WebSocket va FIX ko'pincha bir xil bajarilish tezligiga ega. REST ulanish darajasidagi oldindan qayta ishlash tufayli biroz sekinroq. WebSocket buyurtmalari xuddi FIX buyurtmalari kabi matching engine navbatiga tushadi.

Kontekstlarni Aralashtirish Muammosi. Agar siz buyurtmalarni REST orqali yuborsangiz, lekin bajarilish haqidagi bildirishnomalarni WebSocket orqali qabul qilsangiz, race condition yuzaga keladi: WebSocket bildirishnomasi REST so'rovi tugashidan oldin kelishi mumkin. Bu holat nomuvofiqligiga olib keladi. Yechim — buyurtmalarni xuddi shu WebSocket orqali yuborib, to'liq asinxron modelga o'tish.

1.3 FIX Protokoli (Financial Information eXchange)

FIX — 1992-yildan beri mavjud bo'lgan elektron savdoning sanoat standarti (Fidelity Investments va Salomon Brothers tomonidan yaratilgan). Bu maxsus savdo uchun ishlab chiqilgan TCP ustidagi ikkilik protokol.

FIX Arxitekturasi:

• Sessiya qatlami — ulanishni, heartbeat'larni, ketma-ket raqamlashni, bo'shliqlarni tiklashni boshqaradi. Xabarlarning yetkazilishi va tartibini kafolatlaydi.
• Ilova qatlami — biznes-mantiq: buyurtma turlari, bajarilish hisobotlari, bozor ma'lumotlariga so'rovlar.

FIX xabarlari SOH belgisi bilan ajratilgan "teg=qiymat" juftliklaridan iborat. Masalan, AAPL aksiyalarining 100 donasini $150 ga sotib olish buyurtmasi shunday ko'rinadi:

8=FIX.4.2|35=D|49=BUYER|56=SELLER|11=ORD1001|38=100|40=2|54=1|55=AAPL|44=150.00

FIX nima uchun WebSocket'dan tezroq: FIX — HTTP qatlamlarisiz o'ziga xos TCP protokoli. AWS o'zining kripto birjalar uchun tick-to-trade optimallashtirish qo'llanmasida protokol tufayli yuzaga keladigan kechikishni minimallashtirish uchun REST va WebSocket o'rniga FIX'ni aniq tavsiya qiladi. FIX mikrosekund darajasida ishlaydi, WebSocket esa odatda millisekundlarda.

FIX qayerda ustunlik qiladi: birjaning matching engine'iga DMA (Direct Market Access), institutsional muhitda algoritmik va HFT savdo, likvidlikni birlashtirish (prime broker'lar FIX orqali o'nlab banklarga ulanadi).

FIX Cheklovlari: integratsiyaning murakkabligi, eskirgan xabar formati (matnli teg-qiymatlar ikkilik formatlardan kam samarali), yuqori kirish to'sig'i. Kripto sohasida FIX cheklangan sondagi birjalar tomonidan qo'llab-quvvatlanadi.

1.4 SBE (Simple Binary Encoding) — Evolyutsion FIX

SBE — FIX Trading Community tarkibidagi High Performance Working Group tomonidan yaratilgan ikkilik seriyalash formati. Uning vazifasi — matnli FIX formatini ultra-past kechikishli savdo uchun ixcham ikkilik ko'rinish bilan almashtirish.

SBE-ning Asosiy Tamoyillari:

• Zero-copy flyweight naqshi — koderlar va dekoderlar bufer ustida "shablon" sifatida ishlaydi. Qiymatlar oraliq nusxalarsiz to'g'ridan-to'g'ri yoziladi (bir nechtasini talab qiladigan Protobuf'dan farqli o'laroq).
• Wire formati = xotira formati — tarmoqdagi ma'lumotlar xotiradagidek ko'rinadi, bu transformatsiya xarajatini minimallashtiradi.
• Avval doimiy maydonlar, oxirida o'zgaruvchan maydonlar — Protocol Buffers bilan solishtirganda bir tartib kattaroq unumdorlikni beruvchi dizayn cheklovi.

SBE + Aeron — yuqori unumdor savdo tizimlari uchun standart kombinatsiya. Aeron — Real Logic kompaniyasining ochiq manbali xabar almashish tizimi (Martin Thompson, LMAX Exchangening sobiq CTO'si, va Todd Montgomery, 29West/Ultra Messaging'ning sobiq CTO'si tomonidan yaratilgan). Bu aslida UDP va umumiy xotira orqali bir xonali mikrosekund kechikishlari bilan ishlaydigan moliyaviy tizimlar uchun ixtisoslashgan transport qatlami. SBE seriyalashni bajaradi, Aeron esa yetkazib berishni mikrosekund kechikishlar bilan boshqaradi. Aeron haqida batafsil 3.1-bo'limda.

1.5 Birja Protokollarining Taqqoslash Jadvali

2. Mikroservislar O'rtasidagi Ichki Aloqa

Ma'lumotlar birjadan tizimga kirgach, ichki qayta ishlash boshlanadi: tahlil qilish → strategiya → qaror → buyurtma yuborish. Har bir bosqichda xizmatlar o'rtasida aloqa mavjud.

2.1 gRPC Ikki Tomonlama Oqim (TCP)

gRPC — seriyalash uchun Protocol Buffers dan foydalanadigan HTTP/2 asosidagi Google freymvorki. Algoritmik savdo uchun ikki tomonlama oqim ayniqsa muhim — mijoz va server bitta ulanish orqali bir vaqtning o'zida xabarlar oqimini yuborganda.

gRPC nima uchun savdo tizimlariga mos keladi:

• Protobuf ixcham (JSON'dan 3–10 marta kichik)
• HTTP/2 multipleksatsiyasi — bitta TCP ulanishi orqali bir nechta oqim
• .proto sxemalari orqali qat'iy tiplash xatolarni kompilyatsiya vaqtida ushlaydi
• Python, Rust, Go, C++, Java va boshqalar uchun kod generatsiyasi
• Ikki tomonlama oqim bitta kanal orqali "bozor ma'lumotlari pastga, buyurtmalar tepaga" naqshini imkonli qiladi.

SmartDev ma'lumotlariga ko'ra, sun'iy intellektga asoslangan HFT'ni joriy etayotgan moliyaviy institutlarning 70%-i mikrosekund javob vaqti uchun gRPC yoki toza TCP'dan foydalanadi.

Arxitektura misoli: Market Data Collector (Rust) → gRPC oqimi → Strategy Engine (Python/Rust) → gRPC chaqiruvi → Order Router (Rust) → WebSocket/FIX → Birja.

2.2 Unix Domain Socket (UDS) orqali gRPC

Agar xizmatlar bir xil mashinada ishlasa (co-location uchun odatiy holat), TCP keraksiz xarajat bo'lib qoladi. Unix Domain Socket (UDS) butun tarmoq stekini chetlab o'tadi: TCP handshake yo'q, marshrutlash yo'q, checksum hisoblash yo'q.

Benchmarklar sezilarli farqni ko'rsatadi:

• UDS orqali gRPC: ~102 mkc/so'rov (100 ming so'rov)
• TCP orqali gRPC: ~127 mkc/so'rov (100 ming so'rov)
• UDS foydasi: kichik xabarlarda ~20%, kattalarida (100KB+) 50%-gacha.

F. Werner (MPI Heidelberg) ma'lumotlariga ko'ra, gRPC UDS'ni UDS orqali toza bloklovchi I/O bilan solishtirganda, gRPC taxminan 10 baravar xarajat qo'shadi — toza UDS uchun ~13 mkc bilan solishtirganda mediana ~130 mkc. Bu abstraktsiyaning narxi (HTTP/2 freymlash, protobuf seriyalash).

gRPC+UDS qachon ishlatiladi: Bitta serverda jarayonlar o'rtasidagi aloqa, dasturchi qulayligi (sxema, kodgenerasiya) mutlaq minimal kechikishdan yuqori baholanganda. UDS shuningdek Unix fayl ruxsatlari orqali xavfsizlik afzalliklarini beradi.

Qachon ISHLATILMASLIGI kerak: Agar sizga <10 mkc kechikish kerak bo'lsa, umumiy xotira yoki gRPC'siz toza UDS yaxshiroq. Ma'lumot uchun: toza UDS medianasi ~13 mkc, gRPC UDS medianasi ~130 mkc. Umumiy xotira (Aeron IPC) 1 mkc dan past, LMAX Disruptor uzuk buferi taxminan 50–100 ns. Shunday qilib gRPC+UDS toza UDS'dan ~10 marta, umumiy xotiradan 100–1000 marta sekinroq. Lekin kechikishdagi har bir past qadam kod murakkabligida yuqori qadamdir.

O'zingiz takrorlang: Ushbu bo'limdagi barcha IPC kechikish raqamlari ochiq manbali hamroh benchmark bilan takrorlanadi — suenot/trading-ipc-bench — TCP, UDS, ZeroMQ IPC/TCP, WebSocket, Redis Pub/Sub, Umumiy Xotira va Named Pipe round-trip'larining Python amalga oshirishlarini o'z ichiga oladi, p50/p95/p99/p99.9 kechikish va o'tkazuvchanlikni o'z uskunangizda o'lchaydi.

gRPC'siz toza UDS — agar gRPC xarajati haddan tashqari bo'lsa, uni olib tashlab, faqat soketni qoldiring. Unumdorlik kamayish tartibida variantlar:

• AF_UNIX soketlari + maxsus seriyalash (SBE, FlatBuffers, MessagePack) — ~13 mkc mediana, maksimal nazorat, maksimal murakkablik
• ZeroMQ IPC (ipc://) — ~50–100 mkc, boilerplate'siz tayyor naqshlar (PUB/SUB, REQ/REP), qopqoq ostida UDS'dan foydalanadi
• nanomsg/NNG IPC — ZeroMQ'ga o'xshash, kichik xabarlarda (<64 KB) biroz yaxshiroq kechikish
• Cap'n Proto RPC UDS ustida — zero-copy seriyalash + RPC abstraktsiyasi, gRPC'dan tezroq, sxemasi bor

2.3 Umumiy Xotira IPC

Bir xil xostda ultra-past kechikish uchun umumiy xotiradan foydalaning. Ikki jarayon bir xil RAM segmentini xaritalaydi va ma'lumotlar syscall'larsiz o'tadi (dastlabki sozlashdan tashqari).

LMAX Disruptor naqshi (umumiy xotiradagi uzuk bufer) bitta oqimda soniyasiga ~6 million hodisani qayta ishlaydi. Bu yondashuv LMAX Exchange va ko'plab HFT tizimlarining yuragidir.

Amalga oshirishlar: Aeron IPC (Java/C++), Chronicle Queue (Java), mmap asosidagi maxsus yechimlar (Rust/C++). IronSBE (Rust'dagi SBE amalga oshirilishi) SPSC kanal darajasida ~20 ns kechikish bilan umumiy xotira IPC'ni qo'llab-quvvatlaydi.

3. Transport Tizimlari: Xabar Brokerlari va Kutubxonalar

3.1 Aeron — Oltin Standart

Aeron — Real Logic tomonidan ishlab chiqilgan ochiq manbali yuqori unumdor xabar transport tizimi. Uning yaratuvchilari — Martin Thompson (sobiq LMAX CTO'si) va Todd Montgomery (sobiq 29West CTO'si). U 2014-yilda katta AQSh birjasi uchun boshlangan va hozirda 70+ hissa qo'shuvchi va 5000+ GitHub obunachisiga ega.

Amaliyotda: Aeron na broker (Kafka kabi), na soket kutubxonasi (ZeroMQ kabi). Bu bashorat qilinadigan past kechikish uchun mo'ljallangan transport qatlamidir. U UDP (tarmoq) va umumiy xotira (IPC) orqali ishlaydi, ishonchli yetkazib berish, tartiblash va oqim nazoratini ta'minlaydi — toza UDP'da yo'q narsalar. Aeron'ni "UDP kechikishi bilan TCP" deb tasavvur qiling.

Aeron Xususiyatlari:

• Kechikish: bulutda <100 mkc, yalang'och metallda <18 mkc.
• O'tkazuvchanlik: mikrosekund kechikishda >1M xabar/s.
• 20M+ xabar/s cho'qqisi.
• Brokersiz — yagona muvaffaqiyatsizlik nuqtasi yo'q.
• Unicast, multicast va IPC'ni qo'llab-quvvatlaydi.
• O'rnatilgan oqim nazorati va yo'qotishni aniqlash.

Aeron Cluster — minimal qo'shimcha kechikish bilan izchil savdo mantig'i uchun xatolarga chidamli holat mashinasi replikatsiyasi (Raft konsensusi).

Aeron Archive — qayta ijro qilish imkoniyati bilan to'liq oqim tezligida xabarlarni saqlash.

Aeron Sequencer — ekotizimning eng yangi komponenti, katta tashkilotlarda bir nechta loyihani muvofiqlashtirish uchun mo'ljallangan. Aeron Transport va Aeron Cluster ustiga qurilgan. Asosiy xususiyatlari:

• Taqsimlangan jurnal — xatolarga chidamlilik uchun bir nechta mashinaga replikatsiya qilingan xabarlarning uzun ketma-ketligi
• Bir nechta o'quvchilar — bir nechta ilovalar turli maqsadlar uchun bir xil jurnaldan bir vaqtning o'zida o'qiydi
• Ajratilgan jamoalar — jamoalar yagona muvofiqlashtirilgan tizim ichida ishlashda ham mustaqil bo'lib qoladi
• Maqsadli foydalanish holatlari: bozor ma'lumotlarini qayta ishlash, broker platformalari, birja dvigatellari

Kafka bilan Taqqoslash: Ikkalasi ham taqsimlangan jurnaldan foydalanadi, lekin Aeron mikrosekund kechikish uchun, Kafka esa millisekund chidamlilik va o'tkazuvchanlik uchun. Aeron real vaqt mantig'i uchun mavjud; Kafka ma'lumotlar quvurlari va tahlil uchun.

3.2 Apache Kafka

Apache Kafka — miqyosda hodisa oqimini uzatishning haqiqiy standarti. U savdoning hot path'i uchun emas (millisekund kechikishlari), lekin quyidagilar uchun zarur:

• Bozor ma'lumotlarini jamlash: 100+ birjadan oqimlarni bitta quvurga yig'ish.
• Hodisalar manbai (event sourcing): tizimning har bir harakatini hodisa mavzusi sifatida qayd etish.
• CDC (Change Data Capture): savdo ma'lumotlar bazasidagi o'zgarishlarni tahlilga oqim orqali uzatish.
• QuestDB integratsiyasi: real vaqtdagi tik tahlili uchun Kafka → QuestDB.

Kechikish uchdan-uchgacha 2–15 ms. HFT uchun qabul qilinishi mumkin emas, lekin >1s gorizontli strategiyalar uchun yaxshi.

3.3 Redis Pub/Sub va Streams

Redis — yengil broker sifatida ham ishlaydigan xotiradagi ombor.

Redis Pub/Sub — yuborib-unutish (fire-and-forget); millisekunddan past kechikish. Real vaqtdagi bildirishnomalar uchun ideal: narx yangilanishlari, strategiya signallari, ogohlantirishlar.

Redis Streams — chidamlilik va iste'molchi guruhlarini qo'shadi (mini-Kafka). Tarixni o'qish va ACK'larni qo'llab-quvvatlaydi.

Redis kichik xabarlarda Kafka'dan tezroq (ms'dan past), lekin Kafka'ning og'ir replikatsiyasi va chidamliligiga ega emas.

3.4 NATS

NATS — Go tilidagi ultra-yengil tizim. Ms'dan past kechikish, o'rnatilgan pub/sub, request/reply. NATS JetStream chidamlilik va exactly-once yetkazib berishni qo'shadi.

3.5 ZeroMQ va nanomsg

Peer-to-peer aloqa uchun soket abstraktsiyalarini ta'minlovchi brokersiz kutubxonalar. ZeroMQ soniyasiga 5M+ xabarni qayta ishlaydi va 2007-yildan beri amalda sinovdan o'tgan. nanomsg (va NNG) uning kichik xabarlarda (<64KB) yaxshiroq kechikishga ega "vorisi"dir.

4. Mijozlar uchun Real Vaqtdagi PUB/SUB: Centrifugo

Centrifugo — WebSocket, SSE yoki gRPC orqali minglab/millionlab mijozlarga uzatish uchun optimallashtirilgan, Go tilidagi o'z-serverida joylashtiriladigan PUB/SUB serveri.

Centrifugo nima uchun Algo Trading uchun mos:

• Bitta serverda 1M WebSocket ulanishini va daqiqasiga 30M xabarni qayta ishlaydi.
• 60Gts oqimni qo'llab-quvvatlaydi.
• Trafikni minimallashtirish uchun delta siqish (Fossil algoritmi).
• Veb-boshqaruv panellari yoki mobil ilovalarga "oxirgi milya" uchun mukammal.

5. Real Vaqtda Kirish Ma'lumotlar Omborlari

5.1 QuestDB — Savdo uchun Vaqt Qatorlari

QuestDB — Java (zero-GC), C++ va Rust tillarida yozilgan ochiq manbali vaqt qatorlari ma'lumotlar bazasi.

• So'rovlar: SIMD orqali millisekunddan past vektorlashtirilgan bajarish.
• SAMPLE BY/ASOF JOIN: o'ziga xos treyderga qulay SQL kengaytmalari.
• WAL: ultra-past kechikishli qo'shish.
• B3 (Braziliya fond birjasi) tomonidan qo'llaniladi.

5.2 Ma'lumotlar Qatlami sifatida Redis

Odatda oraliq qatlam:

• O(1) narx kirishi uchun issiq keshi.
• Buyurtma kitoblari uchun saralangan to'plamlar.
• Atomik operatsiyalar uchun Lua skriptlari.

5.3 Ixtisoslashgan Yechimlar: RayforceDB, AXL DB

Bog'liqliklarsiz va SIMD tezlashtirish bilan C tilidagi minimalistik vektor ma'lumotlar bazalari (ikkilik fayl <1MB). HFT uchun determinist kechikishga e'tibor qaratilgan.

6. Seriyalash: Protobuf vs SBE vs JSON

7. Ma'lumotnoma Arxitekturalar

7.1 Kripto Arbitraj (O'rtacha Chastota)

Birjalar → Collector (Rust) → Redis (Hot) → Strategy (Python) → gRPC → Router (Rust) → Birja.

7.2 HFT Market Making (Co-location)

Exchange Feed → Kernel Bypass NIC → Aeron IPC → Strategy (C++) → SBE → Aeron → Birja.

8. Amaliy Maslahatlar

• <10 mkc (HFT): FPGA, umumiy xotira, SBE, Aeron IPC.
• 10–100 mkc: Aeron (UDP), gRPC+UDS, ZeroMQ.
• 100 mkc – 1 ms: gRPC (TCP), WebSocket, Protobuf.
• 1–10 ms (O'rtacha Chastota): WebSocket, Kafka, Redis.
• >10 ms (Past Chastota / Sving): REST API yetarli. DCA, qayta muvozanatlash, portfel boshqaruvi.

Bo'g'in bo'lmagan narsani optimallashtirmang. Agar strategiyangiz qaror qabul qilish uchun 50 ms sarflasa, Aeron'ning 100 mkc tejamkorligi ahamiyatga ega bo'lmaydi. Gibrid arxitekturalar odatiy hol: sozlash uchun REST, yurak uchun gRPC va yetkazib berish uchun WS'dan foydalaning.

Benchmark Repozitoriyasi

Ushbu maqolada keltirilgan kechikish raqamlarini suenot/trading-ipc-bench — bu yerda muhokama qilingan barcha asosiy IPC transportlarini qamrab olgan ochiq manbali Python benchmark to'plami — bilan takrorlash mumkin: TCP, UDS, Named Pipe, ZeroMQ IPC/TCP, WebSocket, Redis Pub/Sub va Umumiy Xotira.

git clone https://github.com/suenot/trading-ipc-bench
cd trading-ipc-bench
pip install -r requirements.txt
python run_all.py   # runs all 8 transports, saves results to results/
python report.py    # prints a summary table + ASCII latency chart

Uni o'z uskunangizda ishga tushiring — natijalar sizning protsessoringiz, operatsion tizimingiz, yadro versiyasi va sozlashga qarab ushbu maqoladagi raqamlardan farq qiladi. Maqsad ham shu.

Xulosa

"Mukammal" aloqa texnologiyasi mavjud emas. Har bir darajaning o'ziga xos talablari bor: tashqi (moslik), ichki (kechikish), quvur (ishonchlilik) va mijoz (moslashuvchanlik). Arxitektura — muayyan vazifa uchun to'g'ri vositani tanlash haqidadir.