The Other Way a Regression Lies: Endogeneity, 2SLS, and the Gamma Calibration Problem

Есть два структурно разных способа, которыми регрессия может вас обмануть, и до сих пор этот блог атаковал только один из них.

Первый — смещение отбора в поиске: вы провели десять тысяч бэктестов, оставили лучший, а рассматриваемое число оказалось максимумом распределения шума, а не эффектом. Этому посвящены дефлированный коэффициент Sharpe и его итоговый материал честный отрицательный результат. Исправление — учесть стоимость поиска.

Второй — смещение самого коэффициента в одной-единственной регрессии, которую вы вообще не перебирали в поиске. Если регрессор коррелирует с членом ошибки, OLS смещен и несостоятелен — и, в отличие от ошибки выборки, это не уменьшается с ростом объема данных. Дополнительные данные делают неправильное число лишь точнее. Никакие бутстрэп, скользящая проверка по времени или дефляция этого не исправят, потому что ни один из этих методов не ставит под вопрос идентификацию, а проверяет только отбор.

Эта статья посвящена второй ошибке, и здесь это не абстрактная проблема. В статье о калибровке Almgren-Chriss постоянное воздействие $\gamma$ оценивается регрессией пятиминутных изменений средней цены на чистый поток тейкеров; получается $R^2$ в несколько процентов и коэффициент, меняющийся между днями в 2–5 раз. Эндогенность названа первой структурной причиной: "Поток реагирует на цену так же, как цена реагирует на поток. Трейдеры импульса покупают потому, что цена выросла; наивная OLS-регрессия доходностей на поток подхватывает их реакцию и приписывает ее воздействию." Там же назван чистый способ исправления — ваши собственные исполнения, экзогенные по построению.

Это задача инструментальных переменных с конкретным инструментом и данными, которые уже есть внутри системы. Ниже приведены оцениватель, диагностика и эксперимент.

Эндогенность в одном абзаце

OLS оценивает причинный $\beta_1$ в $Y_i = \beta_0 + \beta_1 X_i + \varepsilon_i$ только при условии $\mathbb{E}[\varepsilon_i \mid X_i] = 0$. Это нарушают три явления. Смещение из-за пропущенной переменной: если $W$ влияет и на $X$, и на $Y$, но не наблюдается, она попадает в ошибку, $\varepsilon_i = \gamma W_i + u_i$, а $\text{Cov}(X_i, W_i) \neq 0$ заставляет $\text{Cov}(X_i, \varepsilon_i) \neq 0$ — в микроструктуре ненаблюдаемое поступление информации одновременно двигает объем и волатильность. Ошибка измерения: при шумном приближении $X_i = X_i^* + \nu_i$ значение $\text{plim } \hat{\beta}_1^{\text{OLS}} = \beta_1 \cdot \sigma_{X^*}^2 / (\sigma_{X^*}^2 + \sigma_\nu^2)$ всегда затухает к нулю — агрегированный поток aggTrades является приближением к истинному знаковому потоку ордеров на фрагментированном рынке, а невидимая часть — это ошибка измерения. Одновременность: уже сформулирована точнее и конкретнее в калибровке воздействия Almgren-Chriss, которая и является мотивирующей задачей для всего дальнейшего.

Решение с инструментальными переменными

Инструмент $Z$ должен удовлетворять двум условиям:

1. Релевантность: $\text{Cov}(Z_i, X_i) \neq 0$. Это проверяемо, и вы обязаны это проверить.
2. Ограничение исключения: $\text{Cov}(Z_i, \varepsilon_i) = 0$ — $Z$ влияет на $Y$ только через $X$. Непроверяемо. Никогда. Это экономический аргумент, а не статистика.

Для одного инструмента и одного эндогенного регрессора оцениватель представляет собой отношение двух эффектов приведенной формы (оцениватель Вальда):

При наличии контролей и нескольких инструментов используется 2SLS. Первый этап: регрессируйте эндогенную переменную на инструменты и контролирующие переменные, $X_i = \pi_0 + \boldsymbol{\pi}_Z' \mathbf{Z}_i + \boldsymbol{\pi}_C' \mathbf{C}_i + v_i$, и сохраните подогнанные значения $\hat{X}_i$ — по построению они содержат только экзогенную вариацию, вызванную инструментами. Второй этап: выполните регрессию $Y_i = \beta_0 + \beta_1 \hat{X}_i + \boldsymbol{\beta}_C' \mathbf{C}_i + \varepsilon_i$. В матричной форме, при $\mathbf{P}_Z = \mathbf{Z}(\mathbf{Z}'\mathbf{Z})^{-1}\mathbf{Z}'$:

Ловушка, в которую попадают все, кто реализует это вручную: если буквально выполнить два вызова lstsq, стандартные ошибки второго этапа будут неверными. $\hat{X}_i$ — сгенерированный регрессор, а дисперсию остатков нужно считать по исходному $X$, а не по подогнанному. Наивные стандартные ошибки двухэтапной процедуры слишком малы, поэтому ваши $t$-статистики слишком велики и вы будете слишком часто отвергать нулевую гипотезу. Используйте настоящую реализацию IV:

from linearmodels.iv import IV2SLS
import pandas as pd

def iv_regression(df, dep_var, endog_var, instruments, controls=None):
    """2SLS with correct generated-regressor standard errors."""
    y = df[dep_var]
    endog = df[[endog_var]]
    instr = df[instruments]

    const = pd.Series(1, index=df.index, name="const")
    exog = pd.concat([const, df[controls]], axis=1) if controls else const

    res = IV2SLS(dependent=y, exog=exog, endog=endog,
                 instruments=instr).fit(cov_type="robust")
    print(res.summary)
    return res

Эксперимент: gamma OLS против gamma 2SLS

Проверяемая регрессия — оценка постоянного воздействия из статьи Almgren-Chriss:

$Q_{\text{net}}$ эндогенен по приведенному выше аргументу об одновременности. Инструмент — ваши собственные исполнения в окне: ваши мейкерские исполнения запускаются вашим расписанием котирования и политикой управления запасом, а не ценовой траекторией рынка, поэтому они являются источником вариации потока ордеров, который, вероятно, не коррелирует с компонентом ошибки, связанным с реакцией на импульс. Ограничение исключения — что ваши исполнения двигают среднюю цену только через свой вклад в чистый поток — является допущением, которое нужно обсуждать, и оно слабее всего именно тогда, когда ваши котировки сами зависят от сигнала. Если котировки используют прогноз цены на коротком горизонте, инструмент загрязнен и эта схема не работает. Исполнения от чистой политики управления запасом или захвата спрэда — чистый случай.

Данные об исполнениях берутся из записи TCA, описанной в статье о проскальзывании и самостоятельном TCA — из того же журнала, который поставляет выборку для кривых проскальзывания по собственным исполнениям. Контроли: лагированное $\Delta S$ и реализованная волатильность в окне.

ols  = IV2SLS(dependent=df.dS, exog=df[["const", "dS_lag", "rv"]],
              endog=None, instruments=None).fit(cov_type="robust")
tsls = iv_regression(df, "dS", "q_net", ["q_own"], ["dS_lag", "rv"])

Четыре числа решают, стоило ли это делать: OLS $\gamma$, 2SLS $\gamma$, $F$ первого этапа и разница между двумя коэффициентами — доля оценки OLS, которая была реакцией на импульс, а не воздействием.

Если $F$ первого этапа окажется меньше 10, это и есть результат: собственные исполнения составляют слишком малую долю чистого потока на пятиминутном горизонте, чтобы идентифицировать $\gamma$, а честное изложение — отрицательный результат в стиле честного отрицательного результата. Отрицательный результат со слабым инструментом — настоящее открытие: он показывает, что эндогенность в оценке gamma нельзя исправить при таком размере выборки и горизонте, а оценки издержек до сделки, построенные на OLS $\gamma$, несут неустранимое восходящее смещение.

Диагностика

F первого этапа (слабые инструменты). Эвристика Staiger-Stock: $F > 10$. Критические значения Stock-Yogo для одного эндогенного регрессора строже: при максимальном размере IV 10% — $F > 16.38$ с одним инструментом, 19.93 с двумя, 22.30 с тремя; при размере 15% — 8.96 / 11.59 / 12.83; при 20% — 6.66 / 8.75 / 9.54.

Durbin-Wu-Hausman (нужен ли вообще IV). Если OLS состоятелен, он также эффективнее, поэтому проверьте это до перехода. Практическая форма — с добавлением остатков: выполните первый этап, сохраните $\hat{v}_i = X_i - \hat{X}_i$, затем выполните структурную OLS-регрессию, добавив $\hat{v}_i$ как регрессор. Значимый коэффициент при $\hat{v}_i$ свидетельствует об эндогенности.

def durbin_wu_hausman(df, dep, endog, instruments, controls):
    """Augmented-regression form of the DWH endogeneity test."""
    import statsmodels.api as sm
    X1 = sm.add_constant(df[instruments + controls])
    v_hat = df[endog] - sm.OLS(df[endog], X1).fit().fittedvalues
    X2 = sm.add_constant(df[[endog] + controls].assign(v_hat=v_hat))
    res = sm.OLS(df[dep], X2).fit(cov_type="HC1")
    return res.tvalues["v_hat"], res.pvalues["v_hat"]

Sargan-Hansen (переидентификация). При $q > p$ инструментах можно проверить совместную валидность: $J = n \cdot R^2_{\hat{\varepsilon} \sim \mathbf{Z}} \sim \chi^2(q - p)$, где $R^2$ получается из регрессии остатков 2SLS на все инструменты и экзогенные контролирующие переменные. Оговорка важнее статистики: Sargan обнаруживает только инструменты, недействительные разными способами. Если каждый инструмент коррелирует с одной и той же пропущенной переменной, тест проходит чисто и ничего вам не сообщает.

Инструменты, существующие в криптомикроструктуре

Найти валидный инструмент — главная трудность, а стандартные инструменты фондовых рынков и корпоративных финансов (аналитическое покрытие, налоговые щиты, непредвиденный денежный поток) здесь не работают. На практике применимы два класса:

Подводные камни

Слабые инструменты не проваливаются явно. При слабом первом этапе 2SLS в конечной выборке смещен в сторону OLS, примерно

При $F = 5$ вы сохраняете 25% смещения OLS, одновременно сообщая "причинную" оценку. Средства исправления — LIML, который лучше ведет себя на конечных выборках, или тест Anderson-Rubin, валидный независимо от силы инструмента.

Смещение из-за множества инструментов. $\text{Bias}_{2\text{SLS}} \approx (q/n) \cdot \text{Bias}_{\text{OLS}}$. Добавление лагов всего подряд в $\mathbf{Z}$ ради повышения $F$ первого этапа возвращает оценку прямо к OLS. Если $q/n$ не пренебрежимо мало, используйте LIML, jackknife IV (JIVE) или регуляризованный первый этап.

Ограничение исключения нельзя проверить. Ни через Sargan, ни вообще никак. Его защищают рассуждениями о предметной области, а честная форма такой защиты — анализ чувствительности: насколько большим должно быть нарушение, чтобы опровергнуть вывод?

Выводы

• Дефляция исправляет смещение от поиска. Она ничего не делает со смещением коэффициента. Это разные ошибки, требующие разных инструментов.
• Смещение из-за эндогенности не исчезает с ростом выборки. Даже точный, хорошо проверенный бутстрэпом и скользящей проверкой по времени коэффициент может систематически быть неверным.
• Регрессия gamma в калибровке Almgren-Chriss — реальный внутренний пример с названным инструментом (собственные исполнения) и данными, уже записанными конвейером TCA.
• Сообщайте $F$ первого этапа до коэффициента 2SLS. Если он меньше 10, коэффициент не является доказательством, и именно это следует честно опубликовать.