Escolhendo uma Fonte de Dados: Opções Gratuitas, de Baixo Custo e Pagas
O primeiro passo na construção de qualquer estudo histórico é encontrar dados, e os mecanismos de busca geralmente são o ponto de partida. Bancos de dados gratuitos ou de baixo custo são abundantes online. Eles diferem no que cobrem: alguns oferecem dados diários de ações, outros dados diários de futuros, dados diários de forex ou dados intradiários para ações e futuros. Eles também diferem em três dimensões menos óbvias, mas mais importantes: se os desdobramentos e dividendos são ajustados, se os dados sofrem de viés de sobrevivência e até onde o histórico se estende. Bancos de dados pagos geralmente oferecem ajuste de desdobramentos e dividendos mais completo, suportam downloads em massa de muitos símbolos de uma vez e incluem dados fundamentalistas. Alguns provedores também oferecem conjuntos de dados livres de viés de sobrevivência. O trade-off é o custo, que pode ser substancial. Fontes gratuitas ou baratas frequentemente carregam viés de sobrevivência, geralmente exigem o download de um símbolo por vez e variam na consistência com que seus ajustes de preços foram aplicados. Devido a essas diferenças, a escolha da fonte não é uma decisão neutra. Dois conjuntos de dados cobrindo o mesmo mercado e o mesmo período podem produzir resultados de backtest diferentes para o mesmo conjunto de regras. Um conjunto de dados que ajusta corretamente para ações corporativas e retém símbolos deslistados se comportará de maneira muito diferente de um que não faz nenhum dos dois. Por essa razão, a abordagem prática é identificar o que uma fonte realmente contém antes de usá-la, em vez de assumir que qualquer arquivo rotulado com um ticker e uma data é equivalente a qualquer outro. Cobertura, política de ajuste, comprimento do histórico e tratamento de viés são as propriedades que determinam se um estudo é significativo ou enganoso.
Ajuste de Desdobramentos e Dividendos: A Primeira Pergunta a Fazer
Se os preços históricos foram ajustados para desdobramentos e dividendos é a questão central a ser resolvida antes de usar qualquer banco de dados. A mecânica é direta uma vez que a lógica está clara. Quando uma empresa desdobra suas ações na data ex, cada ação se torna várias novas ações. Todo preço histórico antes da data ex deve ser multiplicado pelo inverso da proporção de desdobramento, o que significa dividir pelo múltiplo do desdobramento. Um desdobramento de dois para um, por exemplo, exige que todos os preços anteriores sejam divididos pela metade para que a série de preços permaneça contínua ao longo do evento. Os dividendos funcionam através de um fator diferente. Quando uma empresa paga um dividendo em dinheiro na data ex, todos os preços históricos antes dessa data são multiplicados pelo fator: fechamento do dia anterior menos o dividendo por ação, dividido pelo fechamento do dia anterior. Isso preserva o retorno diário da ação através da fronteira ex-dividendo. Observe que o método padrão ajusta os preços multiplicativamente em vez de simplesmente subtrair o valor do dividendo, porque a multiplicação mantém os retornos contínuos e comparáveis ao longo do tempo. A subtração criaria distorções nos retornos percentuais. As consequências de pular esses ajustes são sérias. Em uma data ex-dividendo, o preço de abertura é naturalmente menor que o fechamento anterior em aproximadamente o valor do dividendo, além de qualquer movimento normal do mercado que ocorra. Essa lacuna artificial pode acionar sinais de negociação falsos. Um sistema que busca rompimentos de baixa, por exemplo, poderia interpretar a queda mecânica como um rompimento genuíno e emitir uma instrução de venda a descoberto onde não existe fraqueza real de preço. A solução mais limpa é usar um banco de dados que já aplicou ajustes de desdobramentos e dividendos. Onde o ajuste deve ser feito manualmente, é necessária uma fonte independente de informações de desdobramentos e dividendos para que os fatores possam ser calculados, o que é tedioso e propenso a erros.
Ajuste Manual: Fatores, Multiplicação e Risco de Erro
Se um conjunto de dados chega não ajustado e não pode ser substituído, o trabalho de ajuste recai sobre o usuário, e vale a pena entender precisamente o que isso envolve. O processo requer um registro separado e confiável de cada desdobramento e cada dividendo para cada símbolo. A partir desse registro, um fator de ajuste é calculado para cada ação corporativa: o inverso da proporção de desdobramento para desdobramentos, e o fechamento menos dividendo dividido pelo fechamento para dividendos. Cada fator é então aplicado a todo preço histórico que ocorre antes da data ex correspondente. Quando uma ação tem tanto múltiplos desdobramentos quanto múltiplos pagamentos de dividendos em seu histórico, o fator de ajuste total para qualquer preço histórico dado é o produto de todos os fatores individuais de desdobramento e dividendos que se aplicam ao intervalo de tempo desse preço. Essa estrutura multiplicativa é o que mantém a série internamente consistente: cada evento se acumula sobre os anteriores. Duas dificuldades práticas surgem. Primeiro, a coleta de dados em si é trabalhosa. Desdobramentos e dividendos devem ser reunidos de uma fonte independente do arquivo de preços, e qualquer evento ausente deixa uma descontinuidade permanente na série que pode ser confundida com um movimento real de preço. Segundo, erros aritméticos se propagam. Um único fator errado corrompe todo preço antes dessa data, e a distorção resultante pode parecer plausível o suficiente para passar despercebida. Há também uma questão de verificação. Diferentes fornecedores podem lidar com ajustes de maneiras ligeiramente diferentes, então uma série ajustada manualmente e uma série ajustada pelo fornecedor podem não coincidir exatamente mesmo quando ambas são internamente consistentes. Quando os resultados dependem de níveis de preço precisos, vale a pena confirmar como uma fonte define seu ajuste antes de combiná-la com dados de outro lugar. Na maioria dos casos, o esforço do ajuste manual só se justifica quando não existe uma fonte pré-ajustada adequada.
Viés de Sobrevivência: A Distorção Oculta
O viés de sobrevivência é uma das armadilhas mais comuns ao usar bancos de dados históricos gratuitos ou de baixo custo, e já foi discutido no material de triagem de estratégias. O termo descreve um conjunto de dados que contém apenas instrumentos que ainda existem hoje. Empresas que foram deslistadas, faliram ou foram adquiridas foram removidas, então o histórico reflete apenas os vencedores. Para um trader iniciante, bancos de dados livres de viés de sobrevivência geralmente são caros demais. Essa lacuna de custo é precisamente por que a armadilha é tão generalizada: a opção acessível é a enviesada, e o viés é invisível a menos que você o procure. A distorção pode ser extrema. A mesma estratégia executada em um banco de dados enviesado e um não enviesado pode produzir conclusões completamente opostas. Um conjunto de regras que na verdade perde dinheiro na realidade pode parecer fortemente lucrativo em um backtest, porque o banco de dados removeu silenciosamente os instrumentos que falharam ao longo do caminho. O desempenho relatado pode oscilar de um valor negativo de dezenas de pontos percentuais para um valor positivo de várias centenas por cento puramente por causa de quais símbolos foram retidos. O mecanismo é simples de enunciar. Um backtest assume que poderia ter negociado o universo conforme registrado. Se esse universo foi montado olhando para trás e mantendo apenas os sobreviventes, o teste está efetivamente selecionando ações com o benefício da visão retrospectiva. Não é um teste de uma regra de decisão de forma alguma; é um teste da regra aplicada a um grupo já conhecido por ter tido sucesso. Remover essa visão retrospectiva requer dados que incluam os instrumentos que desapareceram, que é exatamente o que os conjuntos de dados mais baratos não têm.
Maneiras Práticas de Reduzir o Viés de Sobrevivência
Como um banco de dados livre de viés de sobrevivência geralmente está fora de alcance no início, duas soluções práticas valem a pena conhecer. A primeira é construir seu próprio banco de dados futuro. Se você salvar os preços de todos os instrumentos que acompanha todos os dias, com um carimbo de data e hora anexado, você acumula um conjunto de dados que não pode sofrer viés de sobrevivência, porque nada é removido após o fato. Qualquer coisa que seja deslistada ou desapareça permanece em seus registros exatamente como aconteceu. Essa abordagem tem limites óbvios: leva tempo para se tornar útil, e cobre apenas os instrumentos que você escolheu acompanhar. Mas é genuinamente livre de viés para o período que cobre, e não custa nada além da rotina de salvar os arquivos. A segunda abordagem é restringir os backtests a dados recentes. Ao testar em uma janela mais curta e recente, a estratégia é avaliada em um período no qual relativamente poucos dos instrumentos incluídos tiveram tempo de serem deslistados e desaparecerem do banco de dados. O conjunto de empresas desaparecidas é menor, então sua ausência distorce os resultados com menos severidade. Ambos os métodos trocam um problema por outro. Construir seu próprio banco de dados troca tempo por qualidade de dados. Usar apenas dados recentes troca comprimento de histórico por viés reduzido, o que também significa que menos regimes de mercado são amostrados, então o teste cobre uma gama mais estreita de condições. Nenhuma das abordagens é perfeita, e nenhuma substitui um conjunto de dados não enviesado quando um se torna disponível. O ponto importante é a conscientização. Se você sabe que um banco de dados contém apenas instrumentos sobreviventes, pode interpretar seus resultados com a devida cautela em vez de aceitá-los pelo valor de face. Viés que é reconhecido pode ser raciocinado; viés que não é reconhecido simplesmente infla a confiança em uma estratégia que pode nunca ter funcionado.
Por Que Preços de Máxima e Mínima São Menos Confiáveis
Em dados diários para quase todas as ações, a máxima e a mínima registradas carregam muito mais ruído do que a abertura e o fechamento. Isso não é uma tecnicalidade menor; tem consequências diretas para como os resultados de backtest devem ser lidos. Considere uma ordem de compra limitada colocada a um preço abaixo da máxima registrada para o dia. Mesmo que o preço tenha sido negociado nesse nível ou abaixo dele de acordo com o banco de dados, a ordem pode não ter sido executada em negociação ao vivo. O mesmo se aplica a ordens de venda limitadas. Há várias razões. A negociação no preço extremo pode ter envolvido um número muito pequeno de ações, muito menos do que a ordem exigia. Pode ter ocorrido em um mercado onde sua ordem não poderia ter sido roteada. Ou a máxima e a mínima registradas podem simplesmente estar incorretas e nunca foram filtradas do arquivo. Por causa disso, o backtest com máximas e mínimas é menos confiável do que usar aberturas e fechamentos. Isso não significa que aberturas e fechamentos sejam impecáveis. Mesmo ordens a mercado na abertura ou no fechamento podem não ser executadas exatamente na abertura ou fechamento históricos registrados em um banco de dados, já que um preço histórico pode vir de uma cotação consolidada de uma única grande bolsa ou de um composto que inclui bolsas regionais. Dependendo de onde uma ordem é roteada, o preço de execução pode diferir do valor registrado. Ainda assim, o impacto das discrepâncias de abertura e fechamento no desempenho do backtest é geralmente muito menor do que o impacto das discrepâncias de máxima e mínima. A razão é direcional: testes que assumem execução em máximas e mínimas inflam sistematicamente os retornos, porque a estratégia sempre vende pelo melhor preço do dia e compra pelo pior. Esse padrão é quase impossível de alcançar consistentemente em negociação ao vivo.
Verificação de Erros: Retornos Diários como Diagnóstico
Uma vez que os dados foram recuperados de um banco de dados, eles devem ser verificados em busca de erros antes de serem usados. O diagnóstico mais simples é calcular os retornos diários. Se o arquivo contém máxima, mínima, abertura e fechamento, os retornos diários podem ser calculados a partir de várias combinações desses preços. O próximo passo é sinalizar valores de retorno extremos; por exemplo, qualquer observação que se desvie da média por mais de alguns desvios padrão merece inspeção. Esse limiar não é uma regra da natureza, mas um filtro que concentra a atenção no pequeno número de observações mais provavelmente erradas. Quando um retorno extremo é encontrado, a questão é se ele é real ou artificial. Grandes movimentos frequentemente coincidem com divulgações de notícias significativas ou oscilações incomuns no índice de mercado mais amplo. Se um outlier se alinha com tal evento, é plausivelmente genuíno. Se não, é mais provavelmente um erro de entrada de dados ou um ajuste defeituoso que deve ser corrigido ou removido. Verificar retornos em vez de preços brutos é útil porque normaliza entre instrumentos e tempo. Um retorno suspeito aparece como um outlier independentemente do nível de preço nominal, enquanto preços brutos parecem normais isoladamente. Comparar retornos calculados a partir de diferentes combinações de preços também ajuda a isolar o problema: se o retorno de abertura para fechamento parece normal, mas o retorno de máxima para mínima é extremo, o problema pode estar na máxima ou na mínima, em vez de na série inteira. Esse tipo de verificação é pouco glamouroso, mas decisivo. Algumas observações corrompidas, especialmente em torno de ações corporativas, podem produzir os falsos rompimentos e sinais espúrios descritos anteriormente. Detectá-los e corrigi-los custa muito menos do que construir uma estratégia sobre dados que nunca foram inspecionados. A palavra final: Com base em notas de estudo, apenas para fins educacionais e não é aconselhamento de investimento.
Reunindo as Verificações: Uma Rotina de Revisão de Dados
Os problemas individuais abordados até agora se combinam em uma rotina prática de revisão que pode ser aplicada a qualquer novo conjunto de dados antes que ele alimente um backtest. Comece pela procedência. Estabeleça o que a fonte cobre, até onde seu histórico vai, se inclui preços ajustados e se retém instrumentos deslistados. Essas quatro propriedades determinam o teto do que qualquer teste usando os dados pode mostrar. Em seguida, confirme especificamente a política de ajuste. Se desdobramentos e dividendos são ajustados, pergunte como. Se não são, decida se uma fonte independente de ações corporativas está disponível e se o esforço do ajuste manual é realista. Pular esta etapa deixa lacunas mecânicas de preço no lugar que podem ser confundidas com sinais de mercado. Depois, avalie o viés. Se o conjunto de dados contém apenas instrumentos sobreviventes, planeje em torno disso: ou construa um banco de dados coletado prospectivamente ao longo do tempo ou limite os testes a períodos recentes, e interprete os resultados com a distorção em mente. Após isso, decida quais preços o teste usará. Aberturas e fechamentos são a base mais segura. Testes que assumem execução na máxima ou mínima registrada embutem uma vantagem que a negociação ao vivo raramente proporciona, o que favorece os resultados sem qualquer mudança na regra subjacente. Finalmente, execute a verificação de erros nos retornos. Calcule retornos diários a partir de múltiplas combinações de preços e inspecione outliers em relação a notícias e movimento do índice. Corrija ou remova observações que não podem ser explicadas. Nenhum desses passos diz se uma estratégia é boa. Eles apenas determinam se os números que um teste produz significam algo. Essa distinção é o ponto central: um backtest é uma inferência a partir de dados, e uma inferência é tão sólida quanto os dados em que se baseia.
