Hamiltonian Neural Networks: Does a Financial System Conserve Anything?

Hamilton neyron tarmoqlari haqida berish mumkin bo'lgan ikkita savol bor va ulardan faqat bittasi qiziq.

Zerikarli savol: "HNNlar barqarormi?" Javob ha, bu tajriba emas, teorema. Hamilton tenglamalarini arxitekturaga kodlang, simplektik sxema bilan integrallang — backward error analysis eksponensial uzun ufqlarda chegaralangan energiya xatosini beradi. Bunda moliyaga oid hech narsa yo'q. Bunga ishonish uchun backtest kerak emas.

Qiziq savol barqarorlik natijasi jimgina nazarda tutadigan savoldir: moliyaviy holat vektori umuman saqlanadigan kattalikka egami? HNN $H$ mavjudligini aniqlamaydi. U $H$ mavjud deb faraz qiladi va shu faraz ostidagi eng yaxshisini topadi. Agar tanlangan koordinatalaringizda bozorlar saqlanadigan $H$ ga ega bo'lmasa, tarmoq baribir yaqinlashadi, silliq skalyar hosil qiladi, portlamasdan integrallanadi — va butun narsa hech narsaning juda barqaror modeliga aylanadi.

Bu maqola avval machinery'ni quradi, keyin uning ikkinchi yarmida uni buzishga urinadi. Tekshirilayotgan da'vo tor va inkor qilinishi mumkin: tanlangan $(q, p)$ juftlik — masalan, log-price va returnlar EMA'si — kanonik qo'shma, ya'ni biror $H$ uchun $dq/dt = \partial H/\partial p$ haqiqatan ham bajariladi. Bu empirik da'vo, draftning nazariya bo'limi esa bunga ishonish uchun hech qanday sabab bermaydi.

Hamilton mexanikasi: bu yerda aslida nima yangi?

Faza fazosi, dinamik tizimlar, trayektoriyalar va orbitlar bu blogda allaqachon tanish tushunchalar — ta'riflar uchun algotrading'dagi attractorlar, Takens embedding orqali faza fazosini tiklash uchun complex manifolds maqolasiga qarang. Quyidagi bayon shu bilimlarni nazarda tutadi.

Yangi qism — simplektik tuzilma. Klassik mexanikaning ikkita ekvivalent formulasi bor. Nyuton $F = ma$ ni beradi. Hamilton esa barcha dinamika kelib chiqadigan $H(q, p)$ skalyar funksiyasini beradi:

$\frac{dq}{dt} = \frac{\partial H}{\partial p}, \qquad \frac{dp}{dt} = -\frac{\partial H}{\partial q}$

Uchta oqibat muhim va ularning hech biri umumiy dinamik modelda mavjud emas:

1. $H$ trayektoriyalar bo'ylab saqlanadi. Tizim doimiy energiya sirtiga — faza fazosi ichidagi quyi o'lchamli manifoldga — qamaladi. Bu holat qayerga borishi mumkinligiga qat'iy cheklov, moyillik emas.
2. $\omega = dq \wedge dp$ simplektik 2-formasi saqlanadi. Faza fazosi hajmi aniq saqlanadi (Liouville teoremasi). Trayektoriyalar attractorga yaqinlasha olmaydi; oqim siqilmaydi.
3. Dinamika vaqt bo'yicha qaytariluvchan. Oqimni orqaga yuritib, boshlang'ich holatni aynan tiklaysiz.

2-bandga alohida to'xtalish kerak, chunki u blogdagi boshqa barcha narsalar bilan eng keskin ziddiyatda. Liouville teoremasiga ko'ra Hamilton tizimida attractorlar yo'q. Hajmni saqlovchi oqim hech narsaga qisqara olmaydi. Agar bozorlar attractor tuzilmasiga ega deb hisoblasangiz — attractorlar haqidagi maqola ham shuni ta'kidlaydi — demak, bozorlar qat'iy ma'noda Hamilton tizimi emasligini allaqachon tan olgansiz. Bu texnik mayda gap emas, haqiqiy ziddiyat; quyidagi dissipativ kengaytmalar shunchaki qo'shimcha emasligining sababi ham shu.

Integrator nega muhim?

Hamilton tizimini sodda integrator (Euler, RK4) bilan simulyatsiya qilsangiz, hisoblangan trayektoriya doimiy energiya sirtidan sekin chiqib ketadi. Lokal truncation xatosi kichik, ammo geometrik xato sistematik. Uzoq ufqlarda simulyatsiya sifat jihatidan noto'g'ri bo'ladi: yopilishi kerak bo'lgan orbitlar spiral bo'la boshlaydi.

Standart neyron tarmoqlarda bundan ham chuqurroq sababga ko'ra xuddi shu nuqson bor. Holatni hosilalarga map qiluvchi MLP biror narsani saqlash mexanizmiga ega emas. U lokal dinamikani yetarlicha o'rganadi, ammo yig'ilib boradigan xatolarni to'playdi.

Saqlanish da'vosi: qisqacha

Bu blog allaqachon bozorlar saqlanishga o'xshash prinsiplarga bo'ysunishini ta'kidlagan — algotrading uchun Navier-Stokes, 2-qism buni liquidity-as-mass'dan gidrodinamik risk management'gacha batafsil asoslaydi va econophysics yondashuvini to'g'ri manbalar bilan beradi. Mean-variance optimization ham bu blogda allaqachon Lagrangian tizim sifatida ko'rilgan: cheklangan kvadratik forma uchun Markowitz portfolio theory, risk-budget/$\lambda$ identifikatsiyasi uchun Almgren-Chriss optimal execution maqolalariga qarang; bu yerda $\lambda$ qo'shma momentum rolini aynan bajaradi.

Bu yerda bularning hech biri qayta hosil qilinmaydi, chunki qiziq harakat boshqacha. O'sha maqolalar saqlanishni modelga motivatsiya beruvchi metafora sifatida ishlatadi. HNN esa saqlanishni data talab qilsa ham model buzolmaydigan arxitektura chekloviga aylantiradi. Bu farq — yumshoq o'xshatish va qat'iy tuzilma o'rtasidagi farq — quyidagi bayonning mazmunidir va ikki tomonga ham ishlaydi: data qanoatlantirmaydigan cheklov prior emas, bug'dir.

HNN arxitekturasi: strukturaviy va penaltilangan saqlanish

Umumiy physics-informed mexanizm — tarmoq chiqishining inputlarga nisbatan autograd hosilalarini olish, physics residual hosil qilish va uni minimallashtirish — Navier-Stokes PINN maqolasida ko'rsatilgan; uning physics_loss funksiyasi autograd.grad orqali u_t, u_x, u_xx ni quradi va residualni kvadratlaydi. HNN shu mexanizmdan bitta o'zgarish bilan foydalanadi va butun mazmun ham shu o'zgarishdir.

PINN fizik qonun buzilishini penalti qiladi. Residual og'irlikka ega loss term; optimizer uni data fit bilan muvozanatlashtiradi. Og'irlikni kamaytiring yoki unga zid data bering — tarmoq qonunni mamnuniyat bilan buzadi. Saqlanish bu preference.

HNN saqlanishni strukturaviy qiladi. U hech narsani saqlamaydigan va cheklanmagan $(\dot{q}, \dot{p}) = f_\theta(q, p)$ vector field'ni o'rganmaydi. U skalyar $H_\theta(q, p)$ ni o'rganadi va vector field'ning ikkala komponentini bitta gradientdan hosil qiladi:

$\dot{q} = \frac{\partial H_\theta}{\partial p}, \qquad \dot{p} = -\frac{\partial H_\theta}{\partial q}$

Ikkala hosila bitta skalyar potensialdan kelgani uchun hosil bo'lgan field qurilishning o'zidan symplectic-gradient bo'ladi. $dH_\theta/dt = \partial_q H \cdot \dot{q} + \partial_p H \cdot \dot{p} = \partial_q H \cdot \partial_p H - \partial_p H \cdot \partial_q H = 0$ identik ravishda har bir $\theta$ parametr sozlamasida, hatto tasodifiy boshlang'ichli va umuman o'qitilmagan tarmoqda ham bajariladi. Kamaytirish uchun weight yo'q. Saqlanish objective term emas, parameterization'ning algebraik ayniyatidir.

Bu PINN taklif qiladigan kafolatdan ancha kuchli, ammo ancha keskin failure mode bilan keladi. Loss hosil qilingan derivative'larni kuzatilgan data bilan taqqoslaydi:

$\mathcal{L} = \left\| \frac{\partial H_\theta}{\partial p} - \dot{q}_{\text{data}} \right\|^2 + \left\| \frac{\partial H_\theta}{\partial q} + \dot{p}_{\text{data}} \right\|^2$

Agar kuzatilgan $(\dot{q}, \dot{p})$ field hech narsaning symplectic gradient'i bo'lmasa — agar unda parameterization ifodalay olmaydigan curl bo'lsa — loss nolga erisha olmaydi. Residual floor optimization failure emas. U data Hamiltonian'ni qabul qilishdan qanchalik uzoqligini o'lchaydi. Bu son butun arxitekturaning eng foydali chiqishi va maqolaning qolgan qismi shu son atrofida qurilgan.

Tarmoqning o'zi oddiy: $(q, p) \in \mathbb{R}^{2n}$ dan width 200 bo'lgan ikkita tanh layer orqali skalyar output beruvchi MLP.

Koordinatalar

Moliyaviy ilovalarda $q$ umumlashtirilgan position (log-price'lar, portfolio weight'lari, factor exposure'lar), $p$ esa umumlashtirilgan momentum (o'zgarish rates, momentum indicator'lari, flow variable'lari). $H_\theta(q, p)$ tarmoq topa oladigan invariant bo'ladi — ehtimol umumiy market capitalization, ehtimol risk measure, ehtimol iqtisodiy talqini bo'lmagan abstrakt kattalik, ehtimol hech narsa.

Juftlik tanlovi befarq emas va standart taqdimotdagi bo'shliq ham shu. "$q$ = log-price, $p$ = returnlar EMA'si" degan narsa ularning conjugate ekanini isbotlamaydi. Conjugacy muayyan strukturaviy munosabat: $p$ $q$ bilan kanonik juftlangan momentum bo'lishi, biror $H$ uchun $dq/dt = \partial H/\partial p$ bajarilishi kerak. Uni da'vo qilish va tekshirish boshqa-boshqa ishlar, moliyaga HNN moslashtirgan adabiyot esa asosan birinchisini qiladi.

Simplektik integratorlar

$H_\theta$ ni o'rganish muammoning yarmi. Trayektoriyalarni hosil qilish Hamilton tenglamalarini integrallashni talab qiladi va integrator arxitektura kafolatini buzishi mumkin.

Simplektik integratorlar $\omega = dq \wedge dp$ ni aniq saqlaydi. Faza fazosi hajmi saqlanadi, $H$ secular drift o'rniga chegaralangan xato bilan haqiqiy qiymati atrofida oscillation qiladi va orbitlar sifat jihatidan to'g'ri qoladi. RK4 har qadamda kichikroq xato beradi, ammo bu xususiyatlarning hech birini bermaydi.

Eng sodda simplektik sxema — Stormer-Verlet (leapfrog):

$p_{n+1/2} = p_n - \frac{\Delta t}{2} \frac{\partial H}{\partial q}(q_n, p_{n+1/2})$ $q_{n+1} = q_n + \Delta t \frac{\partial H}{\partial p}(q_{n+1}, p_{n+1/2})$ $p_{n+1} = p_{n+1/2} - \frac{\Delta t}{2} \frac{\partial H}{\partial q}(q_{n+1}, p_{n+1/2})$

$H(q, p) = T(p) + V(q)$ separable bo'lsa, bular explicit update'lardir. Moliyaviy Hamiltonian'lar odatda non-separable — momentum dynamics price'ga va aksincha bog'liq — shuning uchun umumiy holatga implicit step'lar, yuqori tartibli method'lar (Yoshida, Forest-Ruth) yoki quyidagi SympNets yo'li kerak.

Tong et al. (2020) leapfrog qadamlarini network layer'lari sifatida compose qilish arxitektura qurilishning o'zidan simplektik bo'lishini ko'rsatdi: har bir layer integration step, depth step count'ga teng va o'rganilgan map $(q_n, p_n) \mapsto (q_{n+1}, p_{n+1})$ simplektik tuzilmani aniq saqlaydi.

Barqarorlik kafolatlari: haqiqiy, ammo asosiy masala emas

Barqarorlik xususiyatlari teoremalardan kelib chiqadi; aynan shuning uchun ular bozorlar haqida hech narsani isbotlamaydi.

Backward error analysis. $H$ ga qo'llangan simplektik integrator yaqin Hamiltonian $\tilde{H} = H + O(\Delta t^k)$ ni aniq yechadi. Hisoblangan trayektoriya biroz o'zgartirilgan tizimning exact trayektoriyasi bo'ladi va KAM nazariyasi eksponensial uzun vaqtlar davomida energiya xatosini chegaralaydi.

Lyapunov stability. Agar $H_\theta$ equilibrium'da minimumga ega bo'lsa, $H_\theta$ o'zi shu equilibrium barqarorligini isbotlovchi Lyapunov function bo'ladi. Alohida analysis kerak emas.

Ikkala natija ham $H_\theta$ to'g'ri obyekt bo'lishiga shartli. Ular o'rganilgan tizim simulyatsiyasi faithful ekanini bildiradi, o'rganilgan tizim bozor ekanini emas. Residual floor 0.9 ga fit qilingan mukammal saqlanadigan $H_\theta$ — artifact'ning barqaror simulyatsiyasi.

Implementatsiya

Asosiy HNN moduli

import torch
import torch.nn as nn

class HamiltonianNN(nn.Module):
    """Learns a scalar H(q, p); derives dynamics via Hamilton's equations."""
    def __init__(self, input_dim: int, hidden_dim: int = 200):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, hidden_dim), nn.Tanh(),
            nn.Linear(hidden_dim, hidden_dim), nn.Tanh(),
            nn.Linear(hidden_dim, 1),
        )

    def hamiltonian(self, q: torch.Tensor, p: torch.Tensor) -> torch.Tensor:
        return self.net(torch.cat([q, p], dim=-1))

    def time_derivative(self, q: torch.Tensor, p: torch.Tensor):
        q = q.requires_grad_(True)
        p = p.requires_grad_(True)
        H = self.hamiltonian(q, p)
        dH_dq, dH_dp = torch.autograd.grad(H.sum(), [q, p], create_graph=True)
        return dH_dp, -dH_dq          # dq/dt, dp/dt

Simplektik Leapfrog integratori

class LeapfrogIntegrator:
    """Stormer-Verlet integrator. Preserves the symplectic structure."""
    def __init__(self, hnn: HamiltonianNN, dt: float = 0.01):
        self.hnn, self.dt = hnn, dt

    def step(self, q: torch.Tensor, p: torch.Tensor):
        _, dp_dt = self.hnn.time_derivative(q, p)
        p_half = p + 0.5 * self.dt * dp_dt

        dq_dt, _ = self.hnn.time_derivative(q, p_half)
        q_new = q + self.dt * dq_dt

        _, dp_dt = self.hnn.time_derivative(q_new, p_half)
        return q_new, p_half + 0.5 * self.dt * dp_dt

    def integrate(self, q0, p0, n_steps: int):
        traj_q, traj_p, q, p = [q0], [p0], q0, p0
        for _ in range(n_steps):
            q, p = self.step(q, p)
            traj_q.append(q); traj_p.append(p)
        return torch.stack(traj_q), torch.stack(traj_p)

Faza-fazosi koordinatalari

Log-price'lar, diff qilingan return'lar, EMA momentum va rolling volatility bu blogda standart construction — diffusion-model pipeline va complex manifolds buni beradi. Bu yerda muhim bo'lgan yagona ikki satr conjugate juftlikni belgilaydi:

q = np.log(prices)[w:-1]                          # generalised position
p = ewma(np.diff(np.log(prices), axis=0), w)[w-1:-1]   # generalised momentum

Qolgan hamma narsa — finite-difference $\dot{q}$, $\dot{p}$, length alignment, hosil qilingan derivative'larni kuzatilganlari bilan Adam yordamida moslashtiruvchi training loop — mexanik.

Saqlanishni tekshirish

def measure_conservation(hnn, integrator, q0, p0, n_steps=1000):
    """Energy drift along an integrated trajectory."""
    with torch.no_grad():
        traj_q, traj_p = integrator.integrate(q0, p0, n_steps)
        energies = torch.stack([
            hnn.hamiltonian(traj_q[i], traj_p[i]) for i in range(n_steps + 1)
        ]).squeeze().numpy()

    return {
        "H_initial": energies[0],
        "H_final": energies[-1],
        "drift": energies[-1] - energies[0],
        "oscillation": energies.std(),
        "relative_error": abs(energies[-1] - energies[0]) / abs(energies[0]),
    }

Bu function nimani tekshirmasligiga e'tibor bering. U integrator $H_\theta$ ni saqlaydimi, shuni o'lchaydi — teoremaga ko'ra $H_\theta$ biror ma'noga ega bo'ladimi-yo'qmi, baribir shunday qiladi. O'rganilgan Hamiltonian'ning in-sample saqlanishi evidence emas. Muhim test boshqacha.

Falsifikatsiya testi

Halol experiment uch qismdan iborat va salbiy natija uyat emas, informativ bo'lishi uchun tuzilgan.

1. Residual floor. $H_\theta$ ni real data'ga fit qiling va saqlanishni emas, converged loss'ni report qiling. Symplectic-gradient parameterization curl'ga ega vector field'ni ifodalay olmaydi; floor kuzatilgan dynamics'ning non-Hamiltonian komponentini o'lchaydi. Aynan shu data'da unconstrained MLP'ni reference sifatida fit qiling — unda strukturaviy cheklov yo'q, shuning uchun ikki floor orasidagi farq Hamiltonian farazining narxi bo'lib, muammo loss birliklarida ifodalanadi.

2. Out-of-sample saqlanish. Bir window'da fit qiling, keyin $H_\theta$ ni kuzatilgan out-of-sample trayektoriya bo'ylab — integrallangan emas, real price path bo'ylab — baholang. Agar $(q, p)$ haqiqatan canonical bo'lsa, $H_\theta$ ilgari ko'rmagan data bo'ylab taxminan doimiy qoladi. Agar $H_\theta$ out-of-sample sayr qilsa, saqlanadigan kattalik in-sample artifact bo'lgan va arxitektura kafolati hech qanday ish qilmayapti.

3. Coordinate ablation. Bu nazariya bo'limi talab qiladigan, ammo moliyaviy HNN taqdimotlarida deyarli bajarilmaydigan qism. Hech narsa log-price va returnlar EMA'si conjugate ekanini isbotlamaydi; bu faqat da'vo. Shuning uchun juftliklarni o'zaro test qiling — (log-price, EMA returns), (log-price, raw returns), (portfolio weights, weight change rates) — va ularni out-of-sample $H$ stability bo'yicha ranglang. Control sifatida shuffled-returns surrogate'iga qarshi: temporal structure'ni yo'q qiling, marginal distribution'ni saqlang va qayta fit qiling. Agar surrogate o'xshash $H$ stability bersa, "saqlanadigan kattalik" bozor emas, parameterization xususiyatidir.

Natijadan oldin bayon qilinadigan priorim, keyin tekshirish mumkin: bu ishlamaydi. Sabab yuqoridagi primerda bor — Liouville teoremasi attractor'larni taqiqlaydi, bozorlar esa attractor tuzilmasiga ega ko'rinadi va quyidagi ikkita escape hatch qat'iy Hamiltonian farazi bajarilmasligini tan olishdir. Agar residual floor yuqori bo'lsa va out-of-sample $H$ har bir juftlikda beqaror bo'lsa, bu physics-informed prior bo'yicha aniq o'lchangan salbiy natija bo'ladi; bu blog bunday natijalarni avval ham publish qilgan (halol salbiy natija, deflated Sharpe). Nafis nazariya bo'yicha o'lchangan salbiy natija tekshirilmagan tutorial'dan qimmatroq.

Saqlanish ishlamasa: dissipativ kengaytmalar

Haqiqiy bozorlar energiya yo'qotadi. Transaction costs, slippage va information decay tizimdan energiyani olib tashlaydi, qat'iy saqlanadigan $H$ esa buni ifodalay olmaydi. Ikki prinsipial yumshatish mavjud va ikkalasi ham refinement emas, faraz haddan tashqari kuchli bo'lganini tan olish sifatida o'qilishi kerak:

1. Conformal Hamiltonian: o'rganilgan dissipation rate $\gamma$ bilan $\dot{H} = -\gamma H$ ni model qiling. Fit qilingan $\gamma$ magnitudasi o'zi o'lchovdir — tizim konservativlikdan qanchalik uzoqda.
2. Port-Hamiltonian: $\dot{x} = (J - R)\nabla H + Bu$, bu yerda $J$ simplektik matrix, $R \succeq 0$ dissipation matrix va $Bu$ tashqi forcing (news, flows). Bu yerda $\|R\|$ ning $\|J\|$ ga nisbati og'ishni bevosita miqdorlaydi.

Ikkalasi ham attractor'larni ifodalash imkonini qaytaradi, ammo arxitekturaga motivatsiya bergan bounded-error kafolati evaziga. Trade-off oddiy: Liouville yoki dissipation'dan birini tanlaysiz, bozorlar esa ikkinchisini xohlayotganga o'xshaydi.

Bog'liq ochiq muammolar: moliyaviy Hamiltonian'lar non-separable (implicit yoki yuqori tartibli simplektik qadamlarni, yoxud simplektik map'larni bevosita o'rganuvchi SympNets ni talab qiladi), bozorlar esa bitta $H$ qamrab olishi qiyin bo'lgan ko'p vaqt masshtablarida ishlaydi — tez va sekin dynamics uchun hierarchical Hamiltonian'lar yoki sekin o'zgaruvchilarni fast-scale $H$ parametrlari sifatida adiabatic treatment qilish.

Xulosa

Machinery ishlaydi. Skalyar $H_\theta$ ni o'rganing, vector field'ni uning gradientidan hosil qiling, simplektik integrallang — saqlanish algebraik ayniyat, minglab qadamlar davomida bounded error, aniq time-reversibility va bepul Lyapunov function'ga ega bo'lasiz. Bu da'volarning har biri teorema va hech biri validation talab qilmaydi.

Validation talab qiladigan narsa — premise. HNN'lar saqlanadigan kattalik mavjudligini test qilmaydi — uni faraz qiladi va shu faraz ostida optimizatsiya qiladi, har qanday holatda silliq, barqaror, yaxshi ishlaydigan modelga yaqinlashadi. Residual floor va out-of-sample $H$ stability — "bozor biror narsani saqlaydi"ni "parameterization doim biror narsa hosil qiladi"dan ajratuvchi yagona ikki sondir.

Shuning uchun maqola tugaydigan savol HNN'lar barqarormi degani emas. Savol — bu nafislik BTCUSDT bilan to'qnashganda saqlanib qoladimi — va shu raqamlar sahifada paydo bo'lmaguncha moliyaviy machine learning'dagi har qanday saqlanish da'vosiga, jumladan bunga ham, to'g'ri munosabat u hali test qilinmagan deb hisoblashdir.

Manbalar

1. Greydanus, S., Dzamba, M., & Sprague, J. (2019). Hamiltonian Neural Networks. NeurIPS 2019.
2. Tong, Y., Xiong, S., He, X., Pan, G., & Zhu, B. (2020). Deep Hamiltonian Networks Based on Symplectic Integrators. arXiv preprint.
3. Baaquie, B. E. (2000). Hamiltonian in Financial Markets. arXiv preprint.
4. Cotler, J. & Rezchikov, S. (2023). Efficient Hamiltonian Simulation for Solving Option Price Dynamics. Physical Review Research.
5. Gonon, P. & Ortega, J.-P. (2009). Stock Markets and Quantum Dynamics. arXiv preprint.
6. Greydanus, S. (2019). Hamiltonian Neural Networks — Blog Post.
7. Santos, C. et al. (2022). Symplectic Momentum Neural Networks. PMLR.