Qué es el sesgo de data snooping y por qué importa el número de parámetros
El sesgo de data snooping —también llamado sesgo de minería de datos— es el riesgo de que el aparente éxito histórico de una estrategia sea un artefacto del proceso de búsqueda y no evidencia de una ventaja repetible. El mecanismo es sencillo. Cada parámetro añadido a un modelo otorga al optimizador otro grado de libertad con el que ajustar el pasado. Con suficiente libertad, un investigador suele encontrar un conjunto de reglas que convierte una serie de rendimientos mediocre o incluso aleatoria en una curva de capital suave y atractiva. El backtest parece excelente, pero el rendimiento futuro en vivo puede ser completamente distinto. Cuantos más parámetros contiene una estrategia, más fácilmente captura eventos históricos accidentales —decisiones políticas puntuales, shocks de liquidez, flujos de rebalanceo de índices o simple ruido— que no volverán a repetirse de la misma forma. Esto no requiere deshonestidad ni descuido. Es una propiedad matemática de la búsqueda. Si un investigador prueba diez mil variaciones de un cruce de medias móviles, la mejor parecerá impresionante aunque ninguna tenga una ventaja genuina. Dado que la selección misma utiliza los datos históricos, las estadísticas reportadas están sesgadas al alza. La implicación práctica es que las estrategias simples tienden a sobrevivir mejor al tiempo que las complejas. Las reglas con muchos parámetros y condiciones tienen más formas de estar equivocadas cuando cambia el entorno de mercado. Un modelo que depende de quince umbrales calibrados no es necesariamente más preciso; puede simplemente haber memorizado el pasado. El antídoto no es evitar la investigación, sino tratar cada optimización como una hipótesis que debe probarse con datos que el optimizador nunca vio.
Por qué los datos financieros son una base débil para el ajuste de patrones
Los mercados financieros suelen describirse como ricos en datos, pero desde una perspectiva estadística son inusualmente pobres en datos. El número de observaciones estadísticamente independientes disponibles para probar una estrategia es mucho menor de lo que sugiere el número bruto de precios o barras. Los datos financieros intradía parecen enormes: las barras de un minuto, los datos tick y las actualizaciones del libro de órdenes se acumulan rápidamente. Sin embargo, esas observaciones están serialmente correlacionadas. Un rendimiento de un minuto está estrechamente relacionado con el siguiente, y el mismo estado subyacente del mercado puede persistir durante horas o días. No son muestras independientes. Cuando los puntos de datos están correlacionados, el tamaño de muestra efectivo es mucho menor que el recuento nominal. Añadir más datos del mismo tipo no aporta mucha información independiente. El resultado es que a un modelo con muchos parámetros se le pide estimar muchas incógnitas a partir de una cantidad limitada de evidencia genuinamente nueva. El sobreajuste se vuelve entonces severo. El modelo puede ajustar el ruido de la trayectoria histórica, pero tiene poca base para generalizar. Las series temporales financieras son además una única trayectoria realizada de un proceso no estacionario. La estructura del mercado cambia: las regulaciones se modifican, la composición de los participantes cambia y los regímenes de liquidez van y vienen. Un patrón que existió en un período puede estar ausente en el siguiente. Esto contrasta con campos donde se dispone de grandes muestras independientes. La consecuencia práctica es que la complejidad en finanzas conlleva una penalización mayor que en muchos otros dominios de aprendizaje automático. Un número elevado de parámetros no es señal de sofisticación; es una advertencia de que el modelo puede estar describiendo el pasado en lugar del futuro.
