Hamiltonian Neural Networks: Does a Financial System Conserve Anything?

Terdapat dua soalan yang anda boleh tanya tentang Rangkaian Neural Hamiltonian, dan hanya satu daripadanya yang menarik.

Soalan yang membosankan ialah "adakah HNN stabil?" Jawapannya adalah ya, dan ia adalah teorem, bukan percubaan. Kodkan persamaan Hamilton ke dalam seni bina, sepadukan dengan skema simplectic, dan analisis ralat ke belakang memberi anda ralat tenaga yang terhad pada ufuk panjang yang eksponen. Tiada apa-apa tentang kewangan yang terlibat. Anda tidak memerlukan ujian belakang untuk mempercayainya.

Soalan yang menarik ialah soalan yang diandaikan secara senyap-senyap oleh hasil kestabilan: adakah vektor keadaan kewangan mengakui kuantiti terpelihara sama sekali? HNN tidak mengetahui sama ada $H$ wujud. Ia menganggap $H$ wujud dan mencari yang terbaik di bawah andaian itu. Jika pasaran tidak mempunyai pemuliharaan $H$ untuk koordinat pilihan anda, rangkaian masih akan menumpu, masih menghasilkan skalar yang licin, masih berintegrasi tanpa meletup — dan semuanya akan menjadi model yang sangat stabil tanpa apa-apa.

Jawatan ini membina jentera, kemudian menghabiskan bahagian belakang cuba memecahkannya. Tuntutan di bawah ujian adalah sempit dan boleh dipalsukan: yang dipilih $(q, p)$ pasangan — katakan harga log dan EMA pulangan — ialah konjugasi secara kanonik, bermakna $dq/dt = \partial H/\partial p$ sebenarnya berlaku untuk sesetengah orang $H$. Itu adalah tuntutan empirikal, dan bahagian teori draf itu sendiri tidak memberikan alasan untuk mempercayainya.

Hamiltonian Mechanics: Apa Yang Baru Di Sini

Ruang fasa, sistem dinamik, trajektori dan orbit sudah pun menjadi perbendaharaan kata di blog ini — lihat penarik dalam algotrading untuk definisi dan manifold kompleks untuk pembinaan semula fasa-ruang melalui pembenaman Takens. Apa yang berikut menganggap mereka.

Bahagian yang baru ialah struktur simplectic. Mekanik klasik mempunyai dua rumusan yang setara. Newton memberi $F = ma$. Hamilton memberikan fungsi skalar $H(q, p)$ dari mana semua dinamik mengikuti:

$\frac{dq}{dt} = \frac{\partial H}{\partial p}, \qquad \frac{dp}{dt} = -\frac{\partial H}{\partial q}$

Tiga akibat penting, dan tiada satu pun daripadanya tersedia untuk model dinamik generik:

1. $H$ dipelihara di sepanjang trajektori. Sistem ini terhad kepada permukaan tenaga malar — manifold berdimensi lebih rendah di dalam ruang fasa. Ini adalah kekangan yang sukar di mana negeri boleh pergi, bukan kecenderungan.
2. Bentuk 2 simplectic $\omega = dq \wedge dp$ dipelihara. Isipadu fasa-ruang betul-betul dipelihara (teorem Liouville). Trajektori tidak boleh menumpu pada penarik; aliran tidak boleh mampat.
3. Dinamik boleh diterbalikkan masa. Jalankan aliran ke belakang dan anda memulihkan keadaan awal dengan tepat.

Titik 2 patut dihentikan sebentar, kerana ia adalah ketegangan paling tajam dengan segala-galanya di blog ini. Teorem Liouville mengatakan sistem Hamiltonian tidak mempunyai penarik. Aliran yang mengekalkan volum tidak boleh mengecut pada apa-apa. Jika anda percaya pasaran mempunyai struktur yang menarik — dan artikel penarik berhujah bahawa mereka melakukannya — maka anda sudah komited untuk pasaran bukan Hamiltonian dalam erti kata yang ketat. Itu adalah konflik sebenar, bukan teknikal, dan ini adalah sebab sambungan dissipative di bawah bukan difikirkan semula.

Mengapa Penyepadu Penting

Simulasikan sistem Hamiltonian dengan penyepadu naif (Euler, RK4) dan trajektori yang dikira perlahan-lahan hanyut dari permukaan tenaga malar. Ralat pemangkasan tempatan adalah kecil; ralat geometrik adalah sistematik. Dalam jangka panjang, simulasi menjadi salah secara kualitatif: orbit yang sepatutnya ditutup mula berpusing.

Rangkaian neural standard mempunyai kecacatan yang sama untuk sebab yang lebih mendalam. Keadaan pemetaan MLP kepada derivatif tidak mempunyai mekanisme untuk mengekalkan apa-apa. Ia mempelajari dinamik tempatan dengan secukupnya dan mengumpul ralat yang mengkompaun.

Tuntutan Pemuliharaan, Secara ringkas

Blog ini telah pun berhujah bahawa pasaran mematuhi prinsip seperti pemuliharaan — Navier-Stokes untuk algotrading, bahagian 2 membuat kes dengan panjang lebar, daripada kecairan-sebagai-jisim hingga kepada pengurusan risiko hidrodinamik, dan sumber pembingkaian ekonofizik dengan betul. Pengoptimuman min-varians begitu juga sudah menjadi sistem Lagrangian di blog ini: lihat teori portfolio Markowitz untuk bentuk kuadratik terkekang dan pelaksanaan optimum Almgren-Chriss untuk belanjawan risiko/$\lambda$ pengenalan, di mana $\lambda$ memainkan betul-betul peranan momentum konjugat.

Tiada satu pun daripada itu diterbitkan semula di sini, kerana langkah yang menarik adalah berbeza. Artikel tersebut menggunakan pemuliharaan sebagai metafora yang memotivasikan model. HNN menukar pemuliharaan kepada kekangan seni bina yang model tidak boleh dilanggar walaupun data memintanya. Perbezaan itu — analogi lembut berbanding struktur keras — ialah keseluruhan kandungan perkara berikut, dan ia memotong kedua-dua cara: kekangan yang tidak dipenuhi oleh data bukanlah sebelumnya, ia adalah pepijat.

Seni Bina HNN: Pemuliharaan Struktur lwn. Dihukum

Mekanisme bermaklumat fizik am — mengambil derivatif autograd keluaran rangkaian berkenaan dengan inputnya, membentuk baki fizik, meminimumkannya — telah ditunjukkan dalam PINN Navier-Stokes, yang physics_loss membina u_t, u_x, u_xx melalui autograd.grad dan kuasa dua baki. HNN menggunakan mekanisme yang sama dengan satu perubahan, dan perubahan itu adalah titik keseluruhan.

PINN menghukum pelanggaran undang-undang fizikal. Baki ialah istilah kerugian dengan berat; pengoptimum menukarnya dengan kesesuaian data. Kurangkan berat, atau serahkan data yang bercanggah, dan rangkaian akan dengan senang hati melanggar undang-undang. Pemuliharaan adalah keutamaan.

HNN membuat pemuliharaan struktur. Ia tidak mempelajari medan vektor $(\dot{q}, \dot{p}) = f_\theta(q, p)$, yang tidak dikekang dan tidak memulihara apa-apa. Ia mempelajari skalar $H_\theta(q, p)$ dan memperoleh kedua-dua komponen medan vektor daripada kecerunan tunggal:

$\dot{q} = \frac{\partial H_\theta}{\partial p}, \qquad \dot{p} = -\frac{\partial H_\theta}{\partial q}$

Oleh kerana kedua-dua derivatif berasal daripada satu potensi skalar, medan yang terhasil adalah kecerunan-simplectic oleh pembinaan. $dH_\theta/dt = \partial_q H \cdot \dot{q} + \partial_p H \cdot \dot{p} = \partial_q H \cdot \partial_p H - \partial_p H \cdot \partial_q H = 0$, sama, untuk setiap tetapan parameter $\theta$ — termasuk rangkaian yang dimulakan secara rawak, tidak terlatih sepenuhnya. Tiada beban yang perlu dikurangkan. Pemuliharaan ialah identiti algebra bagi parameterisasi, bukan istilah dalam objektif.

Ini adalah jaminan yang lebih kuat daripada tawaran PINN, dan ia disertakan dengan mod kegagalan yang lebih tajam. Kerugian membandingkan derivatif terdapat terhadap data yang diperhatikan:

$\mathcal{L} = \left\| \frac{\partial H_\theta}{\partial p} - \dot{q}_{\text{data}} \right\|^2 + \left\| \frac{\partial H_\theta}{\partial q} + \dot{p}_{\text{data}} \right\|^2$

Jika diperhatikan $(\dot{q}, \dot{p})$ medan bukan kecerunan simpleksik apa-apa - jika ia mempunyai keriting parameterisasi tidak boleh mewakili - kerugian tidak boleh mencapai sifar. Lantai baki bukan kegagalan pengoptimuman. Ia adalah ukuran sejauh mana data daripada menerima seorang Hamiltonian. Nombor itu ialah keluaran paling berguna bagi keseluruhan seni bina ini, dan ini adalah nombor yang lain dalam siaran ini disusun.

Rangkaian itu sendiri tidak biasa: MLP dari $(q, p) \in \mathbb{R}^{2n}$ melalui dua lapisan tanh dengan lebar 200 hingga keluaran skalar.

Koordinat

Untuk permohonan kewangan, $q$ ialah kedudukan umum (harga log, wajaran portfolio, pendedahan faktor) dan $p$ momentum umum (kadar perubahan, penunjuk momentum, pembolehubah aliran). $H_\theta(q, p)$ maka adalah apa sahaja invarian yang boleh didapati oleh rangkaian — mungkin jumlah permodalan pasaran, mungkin ukuran risiko, mungkin kuantiti abstrak tanpa bacaan ekonomi, mungkin tiada apa-apa.

Pilihan pasangan tidak bersalah, dan ini adalah jurang dalam persembahan standard. Tiada apa-apa tentang"$q$ = harga log, $p$ = EMA pulangan" menetapkan bahawa ini adalah konjugasi. Konjugasi ialah hubungan struktur khusus — $p$ mestilah momentum berganding secara kanonik $q$, seperti itu $dq/dt = \partial H/\partial p$ berlaku untuk sesetengah orang $H$. Menegaskannya dan mengujinya adalah aktiviti yang berbeza, dan literatur yang menyesuaikan HNN untuk membiayai kebanyakannya melakukan yang pertama.

Penyepadu Symplectic

Pembelajaran $H_\theta$ adalah separuh daripada masalah. Menjana trajektori memerlukan penyepaduan persamaan Hamilton, dan penyepadu boleh memusnahkan apa yang dijamin oleh seni bina.

Pengintegrasi simplectic memelihara $\omega = dq \wedge dp$ betul-betul. Isipadu ruang fasa dipelihara, $H$ berayun di sekeliling nilai sebenar dengan ralat terhad dan bukannya hanyut secara sekular, dan orbit kekal betul secara kualitatif. RK4 memberi anda ralat setiap langkah yang lebih kecil dan tiada sifat ini.

Skim simplectic yang paling mudah ialah Stormer-Verlet (leapfrog):

$p_{n+1/2} = p_n - \frac{\Delta t}{2} \frac{\partial H}{\partial q}(q_n, p_{n+1/2})$ $q_{n+1} = q_n + \Delta t \frac{\partial H}{\partial p}(q_{n+1}, p_{n+1/2})$ $p_{n+1} = p_{n+1/2} - \frac{\Delta t}{2} \frac{\partial H}{\partial q}(q_{n+1}, p_{n+1/2})$

Untuk boleh dipisahkan $H(q, p) = T(p) + V(q)$ ini adalah kemas kini yang jelas. Hamiltonian Kewangan secara amnya tidak boleh dipisahkan — dinamik momentum bergantung pada harga dan sebaliknya — jadi kes umum memerlukan langkah tersirat, kaedah tertib lebih tinggi (Yoshida, Forest-Ruth) atau laluan SympNets di bawah.

Tong et al. (2020) menunjukkan bahawa mengarang langkah lompat sebagai lapisan rangkaian menghasilkan seni bina yang simplectic melalui pembinaan: setiap lapisan ialah langkah penyepaduan, kedalaman sama dengan kiraan langkah, dan peta yang dipelajari $(q_n, p_n) \mapsto (q_{n+1}, p_{n+1})$ mengekalkan struktur symplectic dengan tepat.

Jaminan Kestabilan: Nyata, dan Beside the Point

Sifat kestabilan mengikut teorem, itulah sebabnya ia tidak membuktikan apa-apa tentang pasaran.

Analisis ralat ke belakang. Penyepadu simplectic digunakan untuk $H$ betul-betul menyelesaikan Hamiltonian berdekatan $\tilde{H} = H + O(\Delta t^k)$. Trajektori yang dikira ialah trajektori yang tepat bagi sistem yang sedikit terganggu, dan teori KAM membatasi ralat tenaga pada masa yang lama secara eksponen.

Kestabilan Lyapunov. Jika $H_\theta$ mempunyai minimum pada keseimbangan, $H_\theta$ itu sendiri adalah fungsi Lyapunov yang membuktikan bahawa keseimbangan stabil. Tiada analisis berasingan diperlukan.

Kedua-dua keputusan adalah bersyarat $H_\theta$ menjadi objek yang betul. Mereka memberitahu anda bahawa simulasi sistem yang dipelajari adalah setia; mereka tidak mengatakan apa-apa tentang sama ada sistem yang dipelajari adalah pasaran. A terpelihara dengan sempurna $H_\theta$ dipasang pada baki lantai 0.9 adalah simulasi yang stabil bagi artifak.

Pelaksanaan

Modul HNN Teras

import torch
import torch.nn as nn

class HamiltonianNN(nn.Module):
    """Learns a scalar H(q, p); derives dynamics via Hamilton's equations."""
    def __init__(self, input_dim: int, hidden_dim: int = 200):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, hidden_dim), nn.Tanh(),
            nn.Linear(hidden_dim, hidden_dim), nn.Tanh(),
            nn.Linear(hidden_dim, 1),
        )

    def hamiltonian(self, q: torch.Tensor, p: torch.Tensor) -> torch.Tensor:
        return self.net(torch.cat([q, p], dim=-1))

    def time_derivative(self, q: torch.Tensor, p: torch.Tensor):
        q = q.requires_grad_(True)
        p = p.requires_grad_(True)
        H = self.hamiltonian(q, p)
        dH_dq, dH_dp = torch.autograd.grad(H.sum(), [q, p], create_graph=True)
        return dH_dp, -dH_dq          # dq/dt, dp/dt

Penyepadu Leapfrog Symplectic

class LeapfrogIntegrator:
    """Stormer-Verlet integrator. Preserves the symplectic structure."""
    def __init__(self, hnn: HamiltonianNN, dt: float = 0.01):
        self.hnn, self.dt = hnn, dt

    def step(self, q: torch.Tensor, p: torch.Tensor):
        _, dp_dt = self.hnn.time_derivative(q, p)
        p_half = p + 0.5 * self.dt * dp_dt

        dq_dt, _ = self.hnn.time_derivative(q, p_half)
        q_new = q + self.dt * dq_dt

        _, dp_dt = self.hnn.time_derivative(q_new, p_half)
        return q_new, p_half + 0.5 * self.dt * dp_dt

    def integrate(self, q0, p0, n_steps: int):
        traj_q, traj_p, q, p = [q0], [p0], q0, p0
        for _ in range(n_steps):
            q, p = self.step(q, p)
            traj_q.append(q); traj_p.append(p)
        return torch.stack(traj_q), torch.stack(traj_p)

Koordinat Ruang Fasa

Harga log, pulangan berbeza, momentum EMA dan turun naik bergolek adalah pembinaan standard di blog ini — saluran paip model penyebaran dan manifold kompleks kedua-duanya menghantarnya. Hanya dua baris yang penting di sini ialah yang mentakrifkan pasangan konjugat:

q = np.log(prices)[w:-1]                          # generalised position
p = ewma(np.diff(np.log(prices), axis=0), w)[w-1:-1]   # generalised momentum

Segala-galanya di hilir — perbezaan terhingga $\dot{q}$, $\dot{p}$, penjajaran panjang, gelung latihan memadankan terbitan terbitan terhadap yang diperhatikan dengan Adam — adalah mekanikal.

Semakan Pemuliharaan

def measure_conservation(hnn, integrator, q0, p0, n_steps=1000):
    """Energy drift along an integrated trajectory."""
    with torch.no_grad():
        traj_q, traj_p = integrator.integrate(q0, p0, n_steps)
        energies = torch.stack([
            hnn.hamiltonian(traj_q[i], traj_p[i]) for i in range(n_steps + 1)
        ]).squeeze().numpy()

    return {
        "H_initial": energies[0],
        "H_final": energies[-1],
        "drift": energies[-1] - energies[0],
        "oscillation": energies.std(),
        "relative_error": abs(energies[-1] - energies[0]) / abs(energies[0]),
    }

Perhatikan apa yang fungsi ini tidak uji. Ia mengukur sama ada penyepadu mengekalkan $H_\theta$ — yang mana ia akan, mengikut teorem, sama ada atau tidak $H_\theta$ bermakna apa sahaja. Pemuliharaan dalam sampel Hamiltonian yang terpelajar bukanlah bukti. Ujian yang penting adalah berbeza.

Ujian Pemalsuan

Percubaan jujur mempunyai tiga bahagian, dan ia direka bentuk supaya keputusan negatif adalah bermaklumat dan bukannya memalukan.

1. Lantai sisa. Fit $H_\theta$ pada data sebenar dan laporkan kerugian tertumpu, bukan pemuliharaan. Parameterisasi kecerunan simplectic tidak boleh mewakili medan vektor dengan curl; lantai mengukur komponen bukan Hamiltonian daripada dinamik yang diperhatikan. Pasangkan MLP tanpa kekangan pada data yang sama sebagai rujukan — ia tidak mempunyai sekatan struktur, jadi jurang antara dua tingkat adalah kos andaian Hamiltonian, yang dinyatakan dalam unit kehilangan masalah.

2. Pemuliharaan di luar sampel. Muatkan pada satu tetingkap, kemudian nilai $H_\theta$ sepanjang trajektori luar sampel yang dicerap — laluan harga sebenar, bukan laluan bersepadu. Jika $(q, p)$ adalah benar-benar kanonik, $H_\theta$ kekal kira-kira malar sepanjang data yang tidak pernah dilihatnya. Jika $H_\theta$ mengembara keluar daripada sampel, kuantiti yang dipelihara adalah artifak dalam sampel dan jaminan seni bina tidak berfungsi.

3. Selaraskan ablasi. Ini adalah bahagian yang dikehendaki oleh bahagian teori dan tiada pembentangan HNN kewangan nampaknya dijalankan. Tiada apa-apa yang menetapkan bahawa harga log dan EMA-pemulangan adalah konjugat; ia ditegaskan. Jadi uji gandingan antara satu sama lain — (harga log, pulangan EMA), (harga log, pulangan mentah), (berat portfolio, kadar perubahan berat) — dan letakkan mereka mengikut sampel luar $H$ kestabilan. Terhadap pengganti pengembalian yang dikocok sebagai kawalan: musnahkan struktur temporal, kekalkan taburan marginal, pasang semula. Jika hasil pengganti setanding $H$ kestabilan, "kuantiti terpelihara" adalah sifat parameterisasi dan bukannya pasaran.

Sebelum saya, dinyatakan sebelum fakta supaya ia boleh disemak terhadap keputusan: ini gagal. Alasannya adalah dalam buku asas di atas — teorem Liouville melarang penarik, pasaran kelihatan mempunyai struktur penarik, dan kedua-dua penetasan melarikan diri di bawah adalah pengakuan yang tidak dipegang oleh andaian Hamiltonian yang ketat. Jika lantai baki adalah tinggi dan keluar daripada sampel $H$ tidak stabil pada setiap gandingan, iaitu negatif diukur bersih pada sebelumnya yang dimaklumkan fizik, dan blog ini telah menerbitkannya sebelum ini (negatif jujur, kempis Sharpe). Negatif yang diukur pada teori elegan lebih bernilai daripada tutorial yang belum diuji.

Jika Pemuliharaan Gagal: Sambungan Lesap

Pasaran sebenar bocor. Kos transaksi, kegelinciran dan pereputan maklumat mengeluarkan tenaga daripada sistem, dan dipelihara dengan ketat $H$ tidak boleh mewakili itu. Dua kelonggaran berprinsip wujud, dan kedua-duanya harus dibaca sebagai konsesi bahawa andaian itu terlalu kuat, bukan sebagai penghalusan:

1. Conformal Hamiltonian: model $\dot{H} = -\gamma H$ dengan kadar pelesapan yang dipelajari $\gamma$. Magnitud yang dipasang $\gamma$ itu sendiri adalah ukuran — sejauh mana sistem berada dari konservatif.
2. Port-Hamiltonian: $\dot{x} = (J - R)\nabla H + Bu$, dengan $J$ matriks simplectic, $R \succeq 0$ matriks pelesapan, dan $Bu$ paksaan luaran (berita, aliran). Di sini $\|R\|$ relatif kepada $\|J\|$ mengukur pemergian secara langsung.

Kedua-duanya memulihkan keupayaan untuk mewakili penarik, dengan kos jaminan ralat terhad yang memotivasikan seni bina. Itulah perdagangan, dinyatakan dengan jelas: anda boleh mempunyai Liouville atau anda boleh mempunyai pelesapan, dan pasaran kelihatan mahu yang kedua.

Masalah terbuka yang berkaitan: Hamiltonian kewangan tidak boleh dipisahkan (memerlukan langkah simplectic yang tersirat atau lebih tinggi, atau SympNets mempelajari peta simplectic secara langsung), dan pasaran beroperasi pada berbilang skala masa yang satu $H$ tidak mungkin menangkap — Hamiltonian hierarki untuk dinamik pantas dan perlahan, atau rawatan adiabatik bagi pembolehubah perlahan sebagai parameter skala cepat $H$.

Kesimpulan

Jentera berfungsi. Belajar skalar $H_\theta$, terbitkan medan vektor daripada kecerunannya, sepadukan secara mudah, dan anda mendapat pemuliharaan sebagai identiti algebra, ralat terhad sepanjang beribu-ribu langkah, kebolehbalikan masa yang tepat dan fungsi Lyapunov secara percuma. Setiap satu daripada tuntutan tersebut adalah teorem dan tiada satu pun daripada mereka memerlukan pengesahan.

Apa yang memerlukan pengesahan adalah premis. HNN tidak menguji sama ada kuantiti terpelihara wujud — mereka menganggapnya dan mengoptimumkan mengikut andaian, menumpu kepada model yang licin, stabil dan berkelakuan baik tanpa mengira. Lantai baki dan sampel luar $H$ kestabilan adalah satu-satunya dua nombor yang membezakan "pasaran memelihara sesuatu" daripada "parameterisasi sentiasa menghasilkan sesuatu."

Jadi persoalan yang diakhiri oleh siaran ini bukanlah sama ada HNN adalah stabil. Ia adalah sama ada keanggunan itu bertahan daripada hubungan dengan BTCUSDT — dan sehingga nombor tersebut berada di halaman, postur yang betul terhadap setiap tuntutan pemuliharaan dalam pembelajaran mesin kewangan, termasuk yang ini, adalah bahawa ia belum diuji.

Rujukan

1. Greydanus, S., Dzamba, M., & Sprague, J. (2019). Rangkaian Neural Hamiltonian. NeuroIPS 2019.
2. Tong, Y., Xiong, S., He, X., Pan, G., & Zhu, B. (2020). Rangkaian Hamiltonian Dalam Berdasarkan Penyepadu Symplectic. pracetak arXiv.
3. Baaquie, B. E. (2000). Hamiltonian dalam Pasaran Kewangan. pracetak arXiv.
4. Cotler, J. & Rezchikov, S. (2023). Simulasi Hamiltonian yang Cekap untuk Menyelesaikan Dinamik Harga Pilihan. Kajian Kajian Fizikal.
5. Gonon, P. & Ortega, J.-P. (2009). Pasaran Saham dan Dinamik Kuantum. pracetak arXiv.
6. Greydanus, S. (2019). Rangkaian Neural Hamiltonian — Catatan Blog.
7. Santos, C. et al. (2022). Rangkaian Neural Momentum Simplectic. PMLR.