The Other Way a Regression Lies: Endogeneity, 2SLS, and the Gamma Calibration Problem

Hay dos formas estructuralmente diferentes en las que una regresión puede mentirle, y hasta ahora este blog sólo ha atacado una de ellas.

El primero es el sesgo de selección en la búsqueda: ejecutaste diez mil pruebas retrospectivas, conservaste lo mejor y el número que estás viendo es el máximo de una distribución de ruido en lugar de un efecto. Ese es el tema de la proporción de Sharpe desinflada y su piedra angular negativo honesto. La solución es fijar el precio de la búsqueda.

El segundo es el sesgo en el coeficiente en sí, en una regresión única que nunca buscó en absoluto. Si el regresor está correlacionado con el término de error, MCO es sesgado e inconsistente y, a diferencia del ruido de muestreo, este no se reduce con el tamaño de la muestra. Más datos hacen que el número equivocado sea más ajustado. Ninguna cantidad de bootstrapping, walk-forward o deflación lo toca, porque ninguno de esos métodos cuestiona la identificación, sólo la selección.

Este artículo trata sobre el segundo fracaso y no es una preocupación abstracta aquí. El artículo sobre calibración de Almgren-Chriss se ajusta al impacto permanente $\gamma$ al hacer una regresión de los cambios de precio medio de 5 minutos en el flujo neto de compradores, obtiene una $R^2$ de un pequeño porcentaje y un coeficiente que se mueve entre 2 y 5 veces entre días, y menciona la endogeneidad como la primera razón estructural: "El flujo responde al precio tanto como el precio responde al flujo. Los traders de impulso compran porque el precio subió; un MCO ingenuo de rendimientos sobre el flujo recoge su reacción y la atribuye al impacto". También nombra la solución limpia: sus propios rellenos, exógenos por construcción.

Se trata de un problema de variables instrumentales con un instrumento con nombre y datos ya internos. A continuación se muestra el estimador, el diagnóstico y el experimento.

Endogeneidad en un párrafo

MCO estima la causa $\beta_1$ en $Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$ solo bajo $\mathbb{E}[\varepsilon_i \mid X_i] = 0$. Tres cosas lo rompen. Sesgo de variable omitida: si $W$ conduce ambos $X$ y $Y$ y es inadvertida, vive en el error, $\varepsilon_i = \gamma W_i + u_i$, y $\text{Cov}(X_i, W_i) \neq 0$ efectivo $\text{Cov}(X_i, \varepsilon_i) \neq 0$ — en la microestructura, la llegada de información no observada impulsa el volumen y la volatilidad al mismo tiempo. Error de medición: con un proxy ruidoso $X_i = X_i^* + \nu_i$, $\text{plim } \hat{\beta}_1^{\text{OLS}} = \beta_1 \cdot \sigma_{X^*}^2 / (\sigma_{X^*}^2 + \sigma_\nu^2)$, siempre atenuado hacia cero: el flujo de aggTrades neto es un indicador del verdadero flujo de órdenes firmadas en un mercado fragmentado, y la parte que nunca ve es el error de medición. Simultaneidad: ya indicado de forma más nítida y concreta en la calibración de impacto de Almgren-Chriss, que es el problema que motiva todo lo que sigue a continuación.

La solución intravenosa

un instrumento $Z$ debe cumplir dos condiciones:

1. Relevancia: $\text{Cov}(Z_i, X_i) \neq 0$. Comprobable y debes probarlo.
2. Exclusión: $\text{Cov}(Z_i, \varepsilon_i) = 0$ — $Z$ afecta $Y$ sólo a través de $X$. No comprobable. Alguna vez. Es un argumento económico, no una estadística.

Para un instrumento y un regresor endógeno, el estimador es una relación de dos efectos de forma reducida (el estimador de Wald):

Con controles y múltiples instrumentos usas 2SLS. Etapa 1: regresión de la variable endógena en instrumentos y controles, $X_i = \pi_0 + \boldsymbol{\pi}_Z' \mathbf{Z}_i + \boldsymbol{\pi}_C' \mathbf{C}_i + v_i$y mantener los valores ajustados $\hat{X}_i$ — por construcción contienen sólo variación exógena impulsada por instrumentos. Etapa 2: correr $Y_i = \beta_0 + \beta_1 \hat{X}_i + \boldsymbol{\beta}_C' \mathbf{C}_i + \varepsilon_i$. En forma matricial, con $\mathbf{P}_Z = \mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$:

La trampa que atrapa a todos los que hacen esto manualmente: si literalmente ejecutas dos lstsq llamadas, sus errores estándar de etapa 2 son incorrectos. $\hat{X}_i$ es un regresor generado, y la varianza residual debe calcularse a partir del original $X$, no el ajustado. Los errores estándar ingenuos de dos pasos son demasiado pequeños, por lo que su $t$-Las estadísticas son demasiado grandes y las rechazarás en exceso. Utilice una implementación IV real:

from linearmodels.iv import IV2SLS
import pandas as pd

def iv_regression(df, dep_var, endog_var, instruments, controls=None):
    """2SLS with correct generated-regressor standard errors."""
    y = df[dep_var]
    endog = df[[endog_var]]
    instr = df[instruments]

    const = pd.Series(1, index=df.index, name="const")
    exog = pd.concat([const, df[controls]], axis=1) if controls else const

    res = IV2SLS(dependent=y, exog=exog, endog=endog,
                 instruments=instr).fit(cov_type="robust")
    print(res.summary)
    return res

El experimento: gamma OLS versus gamma 2SLS

La regresión bajo prueba es el ajuste de impacto permanente del artículo de Almgren-Chriss:

$Q_{\text{net}}$ es endógeno por el argumento de simultaneidad anterior. El instrumento son sus propios rellenos en la ventana: los rellenos de su creador son activados por su propio cronograma de cotizaciones y política de inventario, no por la trayectoria de precios del mercado, por lo que son una fuente de variación del flujo de órdenes que plausiblemente no está correlacionada con el componente de impulso-reacción del error. La restricción de exclusión (que sus rellenos mueven el medio sólo a través de su contribución al flujo neto) es la suposición sobre la cual hay que discutir, y es más débil exactamente cuando su cotización se basa en señales. Si sus cotizaciones se basan en la predicción de precios a corto plazo, el instrumento está contaminado y este diseño falla. Los reabastecimientos a partir de una política pura de gestión de inventarios o de captura de diferenciales son el caso claro.

Los datos de llenado provienen del registro TCA descrito en déficit de implementación y TCA de bricolaje, el mismo registro que proporciona la muestra de ajuste para curvas de deslizamiento de sus propios rellenos. Controles: retrasados $\Delta S$ y volatilidad observada en la ventana.

ols  = IV2SLS(dependent=df.dS, exog=df[["const", "dS_lag", "rv"]],
              endog=None, instruments=None).fit(cov_type="robust")
tsls = iv_regression(df, "dS", "q_net", ["q_own"], ["dS_lag", "rv"])

Cuatro números deciden si valió la pena hacerlo: el OLS $\gamma$, el 2SLS $\gamma$, la primera etapa $F$y la brecha entre los dos coeficientes, que es la proporción de la estimación de MCO que fue una reacción de impulso en lugar de un impacto.

Si la primera etapa $F$ vuelve por debajo de 10, ese es el resultado: los llenados propios son una fracción demasiado pequeña del flujo neto con una resolución de 5 minutos para identificar $\gamma$, y el artículo honesto es negativo al estilo de el negativo honesto. Un resultado negativo de instrumento débil es un hallazgo real: le indica que la endogeneidad en el ajuste gamma no se puede corregir en este tamaño de muestra y horizonte, y que las estimaciones de costos previas a la negociación se basan en el MCO. $\gamma$ llevan un sesgo ascendente inamovible.

Diagnóstico

Primera etapa F (instrumentos débiles). Regla general de Staiger-Stock: $F > 10$. Los valores críticos de Stock-Yogo para un regresor endógeno son más estrictos: para un tamaño máximo de IV del 10%, $F > 16.38$ con un instrumento, 19,93 con dos, 22,30 con tres; para un 15% de talla, 8,96/11,59/12,83; para el 20%, 6,66/8,75/9,54.

Durbin-Wu-Hausman (incluso se necesita vía intravenosa). Si OLS es consistente, también es más eficiente, así que pruebe antes de cambiar. La forma de aumento residual es la práctica: ejecute la etapa 1, mantenga $\hat{v}_i = X_i - \hat{X}_i$, luego ejecute la regresión estructural MCO con $\hat{v}_i$ añadido como regresor. Un coeficiente significativo en $\hat{v}_i$ es evidencia de endogeneidad.

def durbin_wu_hausman(df, dep, endog, instruments, controls):
    """Augmented-regression form of the DWH endogeneity test."""
    import statsmodels.api as sm
    X1 = sm.add_constant(df[instruments + controls])
    v_hat = df[endog] - sm.OLS(df[endog], X1).fit().fittedvalues
    X2 = sm.add_constant(df[[endog] + controls].assign(v_hat=v_hat))
    res = sm.OLS(df[dep], X2).fit(cov_type="HC1")
    return res.tvalues["v_hat"], res.pvalues["v_hat"]

Sargan-Hansen (sobreidentificación). Con $q > p$ Instrumentos con los que puedes probar la validez conjunta: $J = n \cdot R^2_{\hat{\varepsilon} \sim \mathbf{Z}} \sim \chi^2(q - p)$, donde el $R^2$ proviene de hacer una regresión de los residuos 2SLS en todos los instrumentos y controles exógenos. La advertencia importa más que la estadística: Sargan sólo detecta instrumentos que no son válidos de diferentes maneras. Si todos los instrumentos se correlacionan con la misma variable omitida, la prueba pasa limpiamente y no dice nada.

Instrumentos que existen en la microestructura criptográfica

Encontrar un instrumento válido es toda la dificultad, y los recursos de capital, finanzas corporativas (cobertura de analistas, escudos fiscales, flujo de caja extraordinario) son inertes aquí. En realidad se aplican dos clases:

trampas

Los instrumentos débiles no fallan ruidosamente. Con una primera etapa débil, 2SLS está sesgado hacia OLS en muestras finitas, aproximadamente

En $F = 5$ retiene el 25% del sesgo de MCO mientras informa una estimación "causal". Las soluciones son LIML, que tiene mejor comportamiento con muestras finitas, o la prueba de Anderson-Rubin, que es válida independientemente de la potencia del instrumento.

Sesgo de muchos instrumentos. $\text{Bias}_{2\text{SLS}} \approx (q/n) \cdot \text{Bias}_{\text{OLS}}$. Lanzar retrasos de todo en $\mathbf{Z}$ para impulsar la primera etapa $F$ lleva la estimación directamente a MCO. Si $q/n$ no es despreciable, utilice LIML, jackknife IV (JIVE) o una primera etapa regularizada.

La restricción de exclusión no se puede probar. Ni Sargan ni nada. Se defiende con razonamiento de dominio, y la forma honesta de esa defensa es un análisis de sensibilidad: ¿qué magnitud de violación sería necesaria para revocar la conclusión?

Comidas para llevar

• La deflación corrige el sesgo de la búsqueda. No elimina el sesgo en el coeficiente. Son fracasos diferentes y necesitan herramientas diferentes.
• El sesgo de endogeneidad no desaparece con el tamaño de la muestra. Un coeficiente ajustado, bien impulsado y validado en el futuro aún puede ser sistemáticamente erróneo.
• La regresión gamma en la calibración de Almgren-Chriss es una instancia interna en vivo, con un instrumento con nombre (rellenos propios) y los datos ya registrados por el proceso TCA.
• Informar la primera etapa. $F$ antes del coeficiente 2SLS. Por debajo de 10, el coeficiente no es evidencia y decirlo es el resultado publicable.