O Que É Viés de Data Snooping e Por Que a Contagem de Parâmetros Importa
O viés de data snooping — também chamado de viés de mineração de dados — é o risco de que o aparente sucesso histórico de uma estratégia seja um artefato do processo de busca, e não evidência de uma vantagem repetível. O mecanismo é direto. Cada parâmetro adicionado a um modelo dá ao otimizador outro grau de liberdade para ajustar o passado. Dada liberdade suficiente, um pesquisador geralmente consegue encontrar um conjunto de regras que transforma um fluxo de retornos medíocre ou até aleatório em uma curva de capital suave e atraente. O backtest parece excelente, mas o desempenho futuro ao vivo pode ser completamente diferente. Quanto mais parâmetros uma estratégia contém, mais facilmente ela captura eventos históricos acidentais — decisões políticas pontuais, choques de liquidez, fluxos de rebalanceamento de índices ou simples ruído — que não se repetirão na mesma forma. Isso não exige desonestidade ou descuido. É uma propriedade matemática da busca. Se um pesquisador testa dez mil variações de um cruzamento de médias móveis, a melhor parecerá impressionante mesmo que nenhuma delas tenha uma vantagem genuína. Como a própria seleção usa os dados históricos, as estatísticas reportadas são enviesadas para cima. A implicação prática é que estratégias simples tendem a sobreviver melhor ao tempo do que as complexas. Regras com muitos parâmetros e condições têm mais maneiras de estar erradas quando o ambiente de mercado muda. Um modelo que depende de quinze limiares calibrados não é necessariamente mais preciso; ele pode simplesmente ter memorizado o passado. O antídoto não é evitar a pesquisa, mas tratar toda otimização como uma hipótese que deve ser testada em dados que o otimizador nunca viu.
Por Que os Dados Financeiros São uma Base Fraca para o Ajuste de Padrões
Os mercados financeiros são frequentemente descritos como ricos em dados, mas de uma perspectiva estatística eles são incomumente pobres em dados. O número de observações estatisticamente independentes disponíveis para testar uma estratégia é muito menor do que o número bruto de preços ou barras sugere. Os dados financeiros intradiários parecem enormes: barras de minuto, dados de tick e atualizações do livro de ofertas se acumulam rapidamente. No entanto, essas observações são serialmente correlacionadas. Um retorno de um minuto está intimamente relacionado ao próximo, e o mesmo estado subjacente de mercado pode persistir por horas ou dias. Eles não são amostras independentes. Quando os pontos de dados são correlacionados, o tamanho efetivo da amostra é muito menor que a contagem nominal. Adicionar mais do mesmo tipo de dado não acrescenta muita informação independente. O resultado é que um modelo com muitos parâmetros é solicitado a estimar muitas incógnitas a partir de uma quantidade limitada de evidência genuinamente nova. O overfitting então se torna severo. O modelo pode ajustar o ruído no caminho histórico, mas tem pouca base para generalização. As séries temporais financeiras também são um único caminho realizado de um processo não estacionário. A estrutura do mercado muda: regulamentações mudam, a composição dos participantes muda e os regimes de liquidez vão e vêm. Um padrão que existia em um período pode estar ausente no próximo. Isso contrasta com áreas onde grandes amostras independentes estão disponíveis. A consequência prática é que a complexidade em finanças carrega uma penalidade maior do que em muitos outros domínios de aprendizado de máquina. Uma grande contagem de parâmetros não é um sinal de sofisticação; é um aviso de que o modelo pode estar descrevendo o passado em vez do futuro.
