Hamiltonian Neural Networks: Does a Financial System Conserve Anything?

Er zijn twee vragen die je kunt stellen over Hamiltoniaanse neurale netwerken, en slechts één daarvan is interessant.

De saaie vraag is: "Zijn HNN's stabiel?" Het antwoord is ja, en het is een stelling, geen experiment. Codeer Hamilton's vergelijkingen in de architectuur, integreer ze met een symplectisch schema, en achterwaartse foutanalyse zorgt ervoor dat je energiefouten over exponentieel lange horizonten beperkt. Er is niets over financiën aan de orde. Je hebt geen backtest nodig om het te geloven.

De interessante vraag is de vraag die het stabiliteitsresultaat stilletjes vooronderstelt: laat een financiële toestandsvector überhaupt een behouden hoeveelheid toe? Een HNN ontdekt niet of $H$ bestaat. Het veronderstelt $H$ bestaat en vindt onder die veronderstelling de beste. Als de markten niet zijn geconserveerd $H$ voor de door jou gekozen coördinaten zal het netwerk nog steeds convergeren, nog steeds een vloeiende scalair produceren, nog steeds integreren zonder op te blazen – en het geheel zal een zeer stabiel model van niets zijn.

Deze post bouwt de machinerie en besteedt vervolgens de achterste helft aan pogingen om deze te breken. De bewering die wordt getest is bekrompen en falsifieerbaar: dat is een uitverkorene $(q, p)$ paar – zeg log-prijs en EMA van rendement – ​​is canoniek geconjugeerd, wat betekent $dq/dt = \partial H/\partial p$ geldt eigenlijk voor sommigen $H$. Dat is een empirische bewering, en het theoriegedeelte van het ontwerp zelf geeft geen reden om dit te geloven.

Hamiltoniaanse mechanica: wat hier eigenlijk nieuw is

Faseruimte, dynamische systemen, trajecten en banen zijn al woordenschat op deze blog — zie attractors in algotrading voor de definities en complexe variëteiten voor faseruimte-reconstructie via Takens-inbedding. Wat volgt gaat ervan uit.

Het nieuwe deel is de symplectische structuur. Klassieke mechanica heeft twee gelijkwaardige formuleringen. Newton geeft $F = ma$. Hamilton geeft een scalaire functie $H(q, p)$ waaruit alle dynamiek volgt:

$\frac{dq}{dt} = \frac{\partial H}{\partial p}, \qquad \frac{dp}{dt} = -\frac{\partial H}{\partial q}$

Drie gevolgen zijn van belang, en geen daarvan is beschikbaar voor een generiek dynamisch model:

1. $H$ wordt langs trajecten behouden. Het systeem is beperkt tot een oppervlak met constante energie – een lager-dimensionaal verdeelstuk binnen de faseruimte. Dit is een harde beperking van waar de staat naartoe kan gaan, en niet een tendens.
2. De symplectische 2-vorm $\omega = dq \wedge dp$ blijft behouden. Het faseruimtevolume blijft exact behouden (de stelling van Liouville). Trajecten kunnen niet convergeren naar een aantrekker; de stroming is onsamendrukbaar.
3. De dynamiek is omkeerbaar in de tijd. Voer de stroom achteruit en u herstelt exact de oorspronkelijke toestand.

Punt 2 is de moeite waard om even bij stil te staan, omdat dit de scherpste spanning vormt met al het andere op deze blog. De stelling van Liouville zegt dat een Hamiltoniaans systeem geen aantrekkers heeft. Volumebehoudende stromen kunnen nergens op samentrekken. Als u gelooft dat markten een aantrekkende structuur hebben – en het artikel over aantrekkende factoren beweert dat dit het geval is – dan bent u er al van overtuigd dat markten niet Hamiltoniaans zijn in de strikte zin van het woord. Dat is een echt conflict, geen technisch detail, en het is de reden dat de onderstaande dissipatieve uitbreidingen geen bijzaak zijn.

Waarom de integrator ertoe doet

Simuleer een Hamiltoniaans systeem met een naïeve integrator (Euler, RK4) en het berekende traject drijft langzaam af van het oppervlak met constante energie. De lokale afkappingsfout is klein; de geometrische fout is systematisch. Over een lange horizon wordt de simulatie kwalitatief verkeerd: banen die zouden moeten sluiten, beginnen spiraalvormig te worden.

Standaard neurale netwerken hebben om een ​​diepere reden hetzelfde defect. Een MLP-toewijzingsstatus aan derivaten heeft geen mechanisme om iets te behouden. Het leert de lokale dynamiek adequaat kennen en accumuleert fouten die zich verergeren.

De instandhoudingsclaim, in het kort

Deze blog heeft al betoogd dat markten zich houden aan principes die op natuurbehoud lijken. Navier-Stokes for algotrading, deel 2 bepleit dit uitvoerig, van liquiditeit-als-massa tot hydrodynamisch risicobeheer, en baseert zich op de juiste wijze op de econofysica. Optimalisatie van de gemiddelde variantie is eveneens al een Lagrangiaans systeem op deze blog: zie Markowitz portfolio theorie voor de beperkte kwadratische vorm en Almgren-Chriss optimale uitvoering voor het risicobudget/$\lambda$ identificatie, waar $\lambda$ speelt precies de rol van een geconjugeerd momentum.

Niets daarvan wordt hier opnieuw afgeleid, omdat de interessante zet anders is. In deze artikelen wordt natuurbehoud gebruikt als een metafoor die een model motiveert. Een HNN maakt van natuurbehoud een architectonische beperking die het model niet kan schenden, zelfs als de gegevens erom vragen. Dat verschil – zachte analogie versus harde structuur – is de volledige inhoud van wat volgt, en het snijdt aan twee kanten: een beperking waaraan de gegevens niet voldoen is geen prior, het is een bug.

HNN-architectuur: structureel versus bestraft behoud

Het algemene op natuurkunde gebaseerde mechanisme – neem autograd-afgeleiden van de netwerkuitvoer met betrekking tot de invoer ervan, vorm een natuurkundig residu en minimaliseer dit – is al gedemonstreerd in de Navier-Stokes PINN, waarvan physics_loss bouwt u_t, u_x, u_xx via autograd.grad en kwadrateert het residu. Het HNN gebruikt datzelfde mechanisme met één verandering, en die verandering is het hele punt.

Een PINN straft schendingen van een natuurwet. Het residu is een verliesterm met een gewicht; de optimalisatie ruilt dit in tegen data-fit. Zet het gewicht lager of geef tegenstrijdige gegevens door, en het netwerk zal met plezier de wet overtreden. Behoud heeft de voorkeur.

Een HNN maakt natuurbehoud structureel. Het leert het vectorveld niet $(\dot{q}, \dot{p}) = f_\theta(q, p)$, die onbeperkt is en niets bespaart. Het leert een scalair $H_\theta(q, p)$ en leidt beide componenten van het vectorveld af van een enkele gradiënt:

$\dot{q} = \frac{\partial H_\theta}{\partial p}, \qquad \dot{p} = -\frac{\partial H_\theta}{\partial q}$

Omdat beide afgeleiden afkomstig zijn van één scalair potentieel, heeft het resulterende veld een symplectische gradiënt door constructie. $dH_\theta/dt = \partial_q H \cdot \dot{q} + \partial_p H \cdot \dot{p} = \partial_q H \cdot \partial_p H - \partial_p H \cdot \partial_q H = 0$, identiek, voor elke parameterinstelling $\theta$ – inclusief een willekeurig geïnitialiseerd, volledig ongetraind netwerk. Er is geen gewicht om af te stemmen. Het behoud is een algebraïsche identiteit van de parametrisering, en geen term in de doelstelling.

Dit is een veel sterkere garantie dan een PINN biedt, en wordt geleverd met een veel scherpere faalmodus. Het verlies vergelijkt de afgeleide derivaten met waargenomen gegevens:

$\mathcal{L} = \left\| \frac{\partial H_\theta}{\partial p} - \dot{q}_{\text{data}} \right\|^2 + \left\| \frac{\partial H_\theta}{\partial q} + \dot{p}_{\text{data}} \right\|^2$

Als het waargenomen $(\dot{q}, \dot{p})$ veld is van niets een symplectische gradiënt – als het gekruld is, kan de parametrisering dit niet vertegenwoordigen – kan het verlies eenvoudigweg niet nul bereiken. De restvloer is geen optimalisatiefout. Het is een meting van hoe ver de gegevens verwijderd zijn van het toelaten van een Hamiltoniaan. Dat getal is de meest bruikbare uitkomst van deze hele architectuur, en het is het getal waar de rest van dit bericht omheen is georganiseerd.

Het netwerk zelf is onopvallend: een MLP van $(q, p) \in \mathbb{R}^{2n}$ via twee tanh-lagen met een breedte van 200 naar een scalaire uitvoer.

Coördinaten

Voor financiële toepassingen, $q$ is een gegeneraliseerde positie (log-prijzen, portefeuillegewichten, factorblootstellingen) en $p$ een gegeneraliseerd momentum (veranderingspercentages, momentumindicatoren, stroomvariabelen). $H_\theta(q, p)$ is dan de invariant die het netwerk kan vinden – mogelijk totale marktkapitalisatie, mogelijk een risicomaatstaf, mogelijk een abstracte grootheid zonder economische interpretatie, mogelijk niets.

De keuze voor een koppeling is niet onschuldig, en dit is het gat in de standaardpresentatie. Niets over "$q$ = log-prijs, $p$ = EMA of return" stelt vast dat deze conjugaat zijn. Conjugatie is een specifieke structurele relatie - $p$ moet het momentum zijn waaraan canoniek gekoppeld is $q$, zodanig dat $dq/dt = \partial H/\partial p$ geldt voor sommigen $H$. Het bevestigen en testen ervan zijn verschillende activiteiten, en de literatuur over het aanpassen van HNN's aan financiering doet meestal het eerste.

Symplectische integratoren

Leren $H_\theta$ is de helft van het probleem. Het genereren van trajecten vereist het integreren van de vergelijkingen van Hamilton, en de integrator kan vernietigen wat de architectuur garandeert.

Symplectische integratoren beschermen $\omega = dq \wedge dp$ precies. Het faseruimtevolume blijft behouden, $H$ oscilleert rond zijn werkelijke waarde met een begrensde fout in plaats van seculier af te drijven, en banen blijven kwalitatief correct. RK4 geeft u een kleinere fout per stap en geen van deze eigenschappen.

Het eenvoudigste symplectische schema is Stormer-Verlet (haasje-over):

$p_{n+1/2} = p_n - \frac{\Delta t}{2} \frac{\partial H}{\partial q}(q_n, p_{n+1/2})$ $q_{n+1} = q_n + \Delta t \frac{\partial H}{\partial p}(q_{n+1}, p_{n+1/2})$ $p_{n+1} = p_{n+1/2} - \frac{\Delta t}{2} \frac{\partial H}{\partial q}(q_{n+1}, p_{n+1/2})$

Voor scheidbaar $H(q, p) = T(p) + V(q)$ dit zijn expliciete updates. Financiële Hamiltonianen zijn over het algemeen niet van elkaar te scheiden – de momentumdynamiek is afhankelijk van prijzen en vice versa – dus het algemene geval heeft impliciete stappen nodig, methoden van hogere orde (Yoshida, Forest-Ruth) of de onderstaande SympNets-route.

Tong et al. (2020) toonde aan dat het samenstellen van haasje-overstappen als netwerklagen architecturen oplevert die symplectisch zijn qua constructie: elke laag is een integratiestap, diepte is gelijk aan het aantal stappen, en de geleerde kaart $(q_n, p_n) \mapsto (q_{n+1}, p_{n+1})$ behoudt de symplectische structuur precies.

Stabiliteitsgaranties: reëel en naast de kwestie

De stabiliteitseigenschappen vloeien voort uit stellingen, en dat is precies de reden waarom ze niets bewijzen over markten.

Achterwaartse foutanalyse. Een symplectische integrator toegepast $H$ lost precies een * dichtbij * Hamiltoniaan op $\tilde{H} = H + O(\Delta t^k)$. Het berekende traject is het exacte traject van een enigszins verstoord systeem, en de KAM-theorie beperkt de energiefout over exponentieel lange tijden.

Lyapunov-stabiliteit. Als $H_\theta$ heeft een minimum bij evenwicht, $H_\theta$ is zelf een Lyapunov-functie die bewijst dat het evenwicht stabiel is. Geen aparte analyse vereist.

Beide resultaten zijn voorwaardelijk $H_\theta$ het juiste object zijn. Ze vertellen je dat de simulatie van het geleerde systeem getrouw is; ze zeggen niets over de vraag of het geleerde systeem de markt is. Een perfect bewaard gebleven $H_\theta$ gemonteerd op een restvloer van 0,9 is een stabiele simulatie van een artefact.

Implementatie

Kern HNN-module

import torch
import torch.nn as nn

class HamiltonianNN(nn.Module):
    """Learns a scalar H(q, p); derives dynamics via Hamilton's equations."""
    def __init__(self, input_dim: int, hidden_dim: int = 200):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(input_dim, hidden_dim), nn.Tanh(),
            nn.Linear(hidden_dim, hidden_dim), nn.Tanh(),
            nn.Linear(hidden_dim, 1),
        )

    def hamiltonian(self, q: torch.Tensor, p: torch.Tensor) -> torch.Tensor:
        return self.net(torch.cat([q, p], dim=-1))

    def time_derivative(self, q: torch.Tensor, p: torch.Tensor):
        q = q.requires_grad_(True)
        p = p.requires_grad_(True)
        H = self.hamiltonian(q, p)
        dH_dq, dH_dp = torch.autograd.grad(H.sum(), [q, p], create_graph=True)
        return dH_dp, -dH_dq          # dq/dt, dp/dt

Symplectische Leapfrog-integrator

class LeapfrogIntegrator:
    """Stormer-Verlet integrator. Preserves the symplectic structure."""
    def __init__(self, hnn: HamiltonianNN, dt: float = 0.01):
        self.hnn, self.dt = hnn, dt

    def step(self, q: torch.Tensor, p: torch.Tensor):
        _, dp_dt = self.hnn.time_derivative(q, p)
        p_half = p + 0.5 * self.dt * dp_dt

        dq_dt, _ = self.hnn.time_derivative(q, p_half)
        q_new = q + self.dt * dq_dt

        _, dp_dt = self.hnn.time_derivative(q_new, p_half)
        return q_new, p_half + 0.5 * self.dt * dp_dt

    def integrate(self, q0, p0, n_steps: int):
        traj_q, traj_p, q, p = [q0], [p0], q0, p0
        for _ in range(n_steps):
            q, p = self.step(q, p)
            traj_q.append(q); traj_p.append(p)
        return torch.stack(traj_q), torch.stack(traj_p)

Fase-ruimtecoördinaten

Log-prijzen, uiteenlopende rendementen, EMA-momentum en voortschrijdende volatiliteit zijn standaardconstructies op deze blog – de diffusion-model pipeline en complexe spruitstukken verzenden het beide. De enige twee regels die er hier toe doen, zijn de regels die het geconjugeerde paar definiëren:

q = np.log(prices)[w:-1]                          # generalised position
p = ewma(np.diff(np.log(prices), axis=0), w)[w-1:-1]   # generalised momentum

Alles stroomafwaarts – eindige verschillen $\dot{q}$, $\dot{p}$, lengte-uitlijning, de trainingslus die afgeleide afgeleiden vergelijkt met waargenomen afgeleiden met Adam - is mechanisch.

Instandhoudingscontrole

def measure_conservation(hnn, integrator, q0, p0, n_steps=1000):
    """Energy drift along an integrated trajectory."""
    with torch.no_grad():
        traj_q, traj_p = integrator.integrate(q0, p0, n_steps)
        energies = torch.stack([
            hnn.hamiltonian(traj_q[i], traj_p[i]) for i in range(n_steps + 1)
        ]).squeeze().numpy()

    return {
        "H_initial": energies[0],
        "H_final": energies[-1],
        "drift": energies[-1] - energies[0],
        "oscillation": energies.std(),
        "relative_error": abs(energies[-1] - energies[0]) / abs(energies[0]),
    }

Merk op wat deze functie niet test. Het meet of de integrator behoudt $H_\theta$ – wat het, volgens de stelling, al dan niet zal doen $H_\theta$ betekent alles. Conservering in de steekproef van een geleerde Hamiltoniaan is geen bewijs. De test die ertoe doet, is anders.

De vervalsingstest

Het eerlijke experiment bestaat uit drie delen en is zo ontworpen dat een negatief resultaat eerder informatief dan gênant is.

1. Restvloer. Pasvorm $H_\theta$ op echte gegevens en rapporteer het geconvergeerde verlies, niet het behoud. Een symplectische gradiëntparametrisering kan geen vectorveld met krul vertegenwoordigen; de vloer meet de niet-Hamiltoniaanse component van de waargenomen dynamiek. Pas een onbeperkte MLP toe op dezelfde gegevens als de referentie - er is geen structurele beperking, dus de opening tussen de twee verdiepingen is de kosten van de Hamiltoniaanse aanname, uitgedrukt in de verlieseenheden van het probleem.

2. Conservering buiten het monster. Pas op één venster en evalueer vervolgens $H_\theta$ langs het waargenomen traject buiten de steekproef – het echte prijspad, niet een geïntegreerd pad. Als $(q, p)$ is echt canoniek, $H_\theta$ blijft ongeveer constant langs gegevens die het nooit heeft gezien. Als $H_\theta$ dwaalt buiten het monster, de geconserveerde hoeveelheid was een artefact in het monster en de garantie van de architectuur doet geen werk.

3. Coördineer ablatie. Dit is het deel dat in het theoriegedeelte wordt geëist en er lijkt geen sprake te zijn van een presentatie van financiële HNN's. Niets bewijst dat de logprijs en de EMA-van-opbrengsten samenvallen; het wordt beweerd. Test de combinaties dus met elkaar – (logprijs, EMA-rendementen), (logprijs, ruwe rendementen), (portfoliogewichten, gewichtsveranderingspercentages) – en rangschik ze op basis van out-of-sample $H$ stabiliteit. Tegen een surrogaat met geschudde rendementen als controle: vernietig de temporele structuur, behoud de marginale verdeling, refit. Als het surrogaat vergelijkbare opbrengsten oplevert $H$ stabiliteit, de "geconserveerde hoeveelheid" is eerder een eigenschap van de parametrisering dan van de markt.

Mijn prior, vóór het feit vermeld, zodat het kan worden getoetst aan de uitkomst: dit mislukt. De redenering staat in de inleiding hierboven: de stelling van Liouville verbiedt 'aantrekkers', markten lijken een aantrekkende structuur te hebben, en beide ontsnappingsluiken hieronder zijn bekentenissen dat de strikte Hamiltoniaanse aanname niet opgaat. Als de restvloer hoog is en buiten het monster valt $H$ is onstabiel bij elke koppeling, dat wil zeggen een schoon gemeten negatief op een op natuurkunde geïnformeerde prior, en deze blog heeft die eerder gepubliceerd (het eerlijke negatieve, leeggelopen Sharpe). Een gemeten negatief oordeel over een elegante theorie is meer waard dan een ongeteste tutorial.

Als behoud mislukt: dissipatieve uitbreidingen

Echte markten lekken. Transactiekosten, slippen en informatieverval onttrekken energie aan het systeem en worden strikt geconserveerd $H$ kan dat niet vertegenwoordigen. Er bestaan twee principiële versoepelingen, en beide moeten worden gelezen als concessies dat de veronderstelling te sterk was, en niet als verfijningen:

1. Conformele Hamiltoniaan: model $\dot{H} = -\gamma H$ met een aangeleerde dissipatiesnelheid $\gamma$. De omvang van de gemonteerde $\gamma$ is zelf een maatstaf – hoe ver het systeem verwijderd is van conservatief.
2. Port-Hamiltonian: $\dot{x} = (J - R)\nabla H + Bu$, met $J$ de symplectische matrix, $R \succeq 0$ de dissipatiematrix, en $Bu$ externe forcering (nieuws, stromen). Hier $\|R\|$ ten opzichte van $\|J\|$ kwantificeert het vertrek direct.

Beiden herstellen het vermogen om aantrekkers te vertegenwoordigen, ten koste van de garantie voor beperkte fouten die de architectuur motiveerde. Dat is de handel, duidelijk verwoord: je kunt Liouville hebben of je kunt dissipatie hebben, en de markten lijken het tweede te willen.

Gerelateerde open problemen: financiële Hamiltonianen zijn niet-scheidbaar (vereisen impliciete of symplectische stappen van hogere orde, of SympNets symplectische kaarten direct leren), en markten opereren op meerdere tijdschalen dan één $H$ Het is onwaarschijnlijk dat we hiërarchische Hamiltonianen voor snelle en langzame dynamiek zullen vastleggen, of een adiabatische behandeling van langzame variabelen als parameters van een snelle schaal $H$.

Conclusie

De machine werkt. Leer een scalair $H_\theta$Leid het vectorveld af uit zijn gradiënt, integreer symplectisch, en je krijgt behoud als een algebraïsche identiteit, een begrensde fout over duizenden stappen, exacte tijdomkeerbaarheid en gratis een Lyapunov-functie. Elk van deze beweringen is een stelling en geen ervan vereist validatie.

Wat validatie vereist, is het uitgangspunt. HNN's testen niet of er een geconserveerde hoeveelheid bestaat; ze gaan ervan uit en optimaliseren onder de veronderstelling, en convergeren hoe dan ook naar een soepel, stabiel en braaf model. De resterende vloer en out-of-sample $H$ stabiliteit zijn de enige twee getallen die onderscheid maken tussen ‘de markt bewaart iets’ en ‘de parametrisering produceert altijd iets’.

De vraag waar dit bericht mee eindigt is dus niet of HNN’s stabiel zijn. Het gaat erom of de elegantie het contact met BTCUSDT overleeft – en totdat die cijfers op de pagina verschijnen, is de juiste houding ten opzichte van elke natuurbeschermingsclaim op het gebied van financieel machinaal leren, inclusief deze, dat deze niet is getest.

Referenties

1. Greydanus, S., Dzamba, M., & Sprague, J. (2019). Hamiltoniaanse neurale netwerken. NeurIPS 2019.
2. Tong, Y., Xiong, S., He, X., Pan, G., en Zhu, B. (2020). Diepe Hamiltoniaanse netwerken gebaseerd op symplectische integrators. arXiv voordruk.
3. Baaquie, BE (2000). Hamiltoniaans in financiële markten. arXiv voordruk.
4. Cotler, J. & Rezchikov, S. (2023). Efficiënte Hamiltoniaanse simulatie voor het oplossen van de dynamiek van optieprijzen. Fysiek beoordelingsonderzoek.
5. Gonon, P. & Ortega, J.-P. (2009). Aandelenmarkten en kwantumdynamiek. arXiv voordruk.
6. Greydanus, S. (2019). Hamiltoniaanse neurale netwerken – blogpost.
7. Santos, C. et al. (2022). Symplectische impuls-neurale netwerken. PMLR.