Choisir une source de données : options gratuites, à faible coût et payantes
La première étape dans la construction de toute étude historique est de trouver des données, et les moteurs de recherche sont généralement le point de départ. Les bases de données gratuites ou à faible coût sont abondantes en ligne. Elles diffèrent par ce qu'elles couvrent : certaines offrent des données quotidiennes sur les actions, d'autres des données quotidiennes sur les contrats à terme, des données quotidiennes sur le forex, ou des données intrajournalières pour les actions et les contrats à terme. Elles diffèrent également sur trois dimensions moins évidentes mais plus importantes : si les divisions et les dividendes sont ajustés, si les données souffrent d'un biais de survivance, et jusqu'où remonte l'historique. Les bases de données payantes offrent généralement un ajustement plus complet des divisions et des dividendes, prennent en charge les téléchargements en masse de nombreux symboles à la fois, et incluent des données fondamentales. Certains fournisseurs proposent également des ensembles de données exempts de biais de survivance. Le compromis est le coût, qui peut être substantiel. Les sources gratuites ou peu coûteuses présentent souvent un biais de survivance, nécessitent généralement de télécharger un symbole à la fois, et varient dans la cohérence avec laquelle leurs ajustements de prix ont été appliqués. En raison de ces différences, le choix de la source n'est pas une décision neutre. Deux ensembles de données couvrant le même marché et la même période peuvent produire des résultats de backtest différents pour le même ensemble de règles. Un ensemble de données qui ajuste correctement les opérations sur titres et conserve les symboles radiés se comportera très différemment d'un autre qui ne fait ni l'un ni l'autre. Pour cette raison, l'approche pratique consiste à identifier ce qu'une source contient réellement avant de l'utiliser, plutôt que de supposer que tout fichier étiqueté avec un ticker et une date est équivalent à un autre. La couverture, la politique d'ajustement, la longueur de l'historique et la gestion des biais sont les propriétés qui déterminent si une étude est pertinente ou trompeuse.
Ajustement des divisions et des dividendes : la première question à poser
La question de savoir si les prix historiques ont été ajustés pour les divisions et les dividendes est la question centrale à régler avant d'utiliser toute base de données. La mécanique est simple une fois la logique comprise. Lorsqu'une entreprise divise son action à la date ex, chaque action devient plusieurs nouvelles actions. Chaque prix historique antérieur à la date ex doit être multiplié par l'inverse du ratio de division, ce qui signifie diviser par le multiple de division. Une division deux pour un, par exemple, nécessite que tous les prix antérieurs soient divisés par deux afin que la série de prix reste continue à travers l'événement. Les dividendes fonctionnent par un facteur différent. Lorsqu'une entreprise verse un dividende en espèces à la date ex, tous les prix historiques antérieurs à cette date sont multipliés par le facteur : clôture de la veille moins le dividende par action, divisé par la clôture de la veille. Cela préserve le rendement quotidien de l'action à travers la frontière ex-dividende. Notez que la méthode standard ajuste les prix de manière multiplicative plutôt que de simplement soustraire le montant du dividende, car la multiplication maintient les rendements continus et comparables dans le temps. La soustraction créerait des distorsions dans les rendements en pourcentage. Les conséquences de l'omission de ces ajustements sont graves. À une date ex-dividende, le prix d'ouverture est naturellement inférieur à la clôture précédente d'environ le montant du dividende, en plus de tout mouvement normal du marché. Cet écart artificiel peut déclencher de faux signaux de trading. Un système recherchant des cassures à la baisse, par exemple, pourrait interpréter la baisse mécanique comme une véritable rupture et émettre une instruction de vente à découvert alors qu'il n'existe aucune faiblesse réelle des prix. La solution la plus propre consiste à utiliser une base de données qui a déjà appliqué les ajustements de division et de dividende. Lorsque l'ajustement doit être effectué manuellement, une source indépendante d'informations sur les divisions et les dividendes est nécessaire pour calculer les facteurs, ce qui est fastidieux et sujet aux erreurs.
Ajustement manuel : facteurs, multiplication et risque d'erreur
Si un ensemble de données arrive non ajusté et ne peut pas être remplacé, le travail d'ajustement incombe à l'utilisateur, et il vaut la peine de comprendre précisément ce que cela implique. Le processus nécessite un enregistrement séparé et fiable de chaque division et de chaque dividende pour chaque symbole. À partir de cet enregistrement, un facteur d'ajustement est calculé pour chaque opération sur titres : l'inverse du ratio de division pour les divisions, et la clôture moins le dividende divisé par la clôture pour les dividendes. Chaque facteur est ensuite appliqué à chaque prix historique antérieur à la date ex correspondante. Lorsqu'une action a à la fois plusieurs divisions et plusieurs versements de dividendes dans son historique, le facteur d'ajustement total pour un prix historique donné est le produit de tous les facteurs de division et de dividende individuels qui s'appliquent à l'intervalle de temps de ce prix. Cette structure multiplicative est ce qui maintient la série cohérente en interne : chaque événement se compose avec les précédents. Deux difficultés pratiques surgissent. Premièrement, la collecte des données elle-même est laborieuse. Les divisions et les dividendes doivent être recueillis auprès d'une source indépendante du fichier de prix, et tout événement manquant laisse une discontinuité permanente dans la série qui peut être confondue avec un mouvement de prix réel. Deuxièmement, les erreurs arithmétiques se propagent. Un seul facteur erroné corrompt chaque prix antérieur à cette date, et la distorsion résultante peut sembler suffisamment plausible pour passer inaperçue. Il y a aussi un problème de vérification. Différents fournisseurs peuvent gérer les ajustements de manière légèrement différente, de sorte qu'une série ajustée manuellement et une série ajustée par un fournisseur peuvent ne pas correspondre exactement même si les deux sont cohérentes en interne. Lorsque les résultats dépendent de niveaux de prix précis, il vaut la peine de confirmer comment une source définit son ajustement avant de la combiner avec des données d'ailleurs. Dans la plupart des cas, l'effort d'ajustement manuel n'est justifié que lorsqu'aucune source pré-ajustée adéquate n'existe.
Biais de survivance : la distorsion cachée
Le biais de survivance est l'un des pièges les plus courants lors de l'utilisation de bases de données historiques gratuites ou à faible coût, et il a déjà été abordé dans le matériel de sélection de stratégies. Le terme décrit un ensemble de données qui ne contient que des instruments qui existent encore aujourd'hui. Les entreprises qui ont été radiées, ont fait faillite ou ont été acquises ont été supprimées, de sorte que l'historique ne reflète que les gagnants. Pour un trader débutant, les bases de données exemptes de biais de survivance sont généralement trop chères. Cet écart de coût est précisément pourquoi le piège est si répandu : l'option abordable est celle qui est biaisée, et le biais est invisible à moins de le chercher. La distorsion peut être extrême. La même stratégie exécutée sur une base de données biaisée et une base de données non biaisée peut produire des conclusions complètement opposées. Un ensemble de règles qui perd réellement de l'argent dans la réalité peut sembler fortement rentable dans un backtest, parce que la base de données a discrètement supprimé les instruments qui ont échoué en cours de route. La performance rapportée peut passer d'un chiffre négatif de dizaines de points de pourcentage à un chiffre positif de plusieurs centaines de pour cent uniquement en raison des symboles conservés. Le mécanisme est simple à énoncer. Un backtest suppose qu'il aurait pu négocier l'univers tel qu'enregistré. Si cet univers a été assemblé en regardant en arrière et en ne conservant que les survivants, le test sélectionne effectivement des actions avec le bénéfice du recul. Ce n'est pas du tout un test d'une règle de décision ; c'est un test de la règle appliquée à un groupe déjà connu pour avoir réussi. Supprimer ce recul nécessite des données qui incluent les instruments qui ont disparu, ce qui est exactement ce qui manque aux ensembles de données les moins chers.
Moyens pratiques de réduire le biais de survivance
Comme une base de données exempte de biais de survivance est souvent hors de portée au début, deux solutions pratiques méritent d'être connues. La première consiste à construire votre propre base de données future. Si vous enregistrez les prix de tous les instruments que vous suivez chaque jour, avec un horodatage attaché, vous accumulez un ensemble de données qui ne peut pas souffrir de biais de survivance, car rien n'est supprimé après coup. Tout ce qui est radié ou disparaît reste dans vos enregistrements exactement comme cela s'est produit. Cette approche a des limites évidentes : il faut du temps pour devenir utile, et elle ne couvre que les instruments que vous avez choisi de suivre. Mais elle est véritablement exempte de biais pour la période qu'elle couvre, et elle ne coûte rien au-delà de la routine de sauvegarde des fichiers. La deuxième approche consiste à restreindre les backtests aux données récentes. En testant sur une fenêtre plus courte et plus récente, la stratégie est évaluée sur une période où relativement peu des instruments inclus ont eu le temps d'être radiés et de disparaître de la base de données. Le pool d'entreprises disparues est plus petit, donc leur absence fausse les résultats moins sévèrement. Les deux méthodes échangent un problème contre un autre. Construire votre propre base de données échange du temps contre la qualité des données. Utiliser uniquement des données récentes échange la longueur de l'historique contre un biais réduit, ce qui signifie également que moins de régimes de marché sont échantillonnés, de sorte que le test couvre une gamme plus étroite de conditions. Aucune approche n'est parfaite, et aucune ne remplace un ensemble de données non biaisé lorsqu'il devient disponible. Le point important est la prise de conscience. Si vous savez qu'une base de données ne contient que des instruments survivants, vous pouvez interpréter ses résultats avec la prudence appropriée au lieu de les prendre au pied de la lettre. Un biais reconnu peut être raisonné ; un biais non reconnu gonfle simplement la confiance dans une stratégie qui n'a peut-être jamais fonctionné.
Pourquoi les prix hauts et bas sont moins fiables
Dans les données quotidiennes de presque toutes les actions, le plus haut et le plus bas enregistrés portent beaucoup plus de bruit que l'ouverture et la clôture. Ce n'est pas un détail technique mineur ; cela a des conséquences directes sur la façon dont les résultats de backtest doivent être lus. Considérez un ordre d'achat à cours limité placé à un prix inférieur au plus haut enregistré de la journée. Même si le prix a été négocié à ce niveau ou en dessous selon la base de données, l'ordre peut ne pas avoir été exécuté en trading réel. Il en va de même pour les ordres de vente à cours limité. Il y a plusieurs raisons. La transaction au prix extrême peut avoir impliqué un très petit nombre d'actions, bien moins que ce que l'ordre nécessitait. Elle peut s'être produite sur un marché où votre ordre n'aurait pas pu être acheminé. Ou le plus haut et le plus bas enregistrés peuvent simplement être incorrects et n'ont jamais été filtrés du fichier. Pour cette raison, le backtesting avec les plus hauts et les plus bas est moins fiable que l'utilisation des ouvertures et des clôtures. Cela ne signifie pas que les ouvertures et les clôtures sont sans défaut. Même les ordres au marché à l'ouverture ou à la clôture peuvent ne pas s'exécuter exactement à l'ouverture ou à la clôture historique enregistrée dans une base de données, car un prix historique peut provenir d'une cotation consolidée d'une seule grande bourse ou d'un composite qui inclut des bourses régionales. Selon l'endroit où un ordre est acheminé, le prix d'exécution peut différer du chiffre enregistré. Néanmoins, l'impact des écarts d'ouverture et de clôture sur la performance du backtest est généralement bien moindre que l'impact des écarts de plus haut et de plus bas. La raison est directionnelle : les tests qui supposent une exécution aux plus hauts et aux plus bas gonflent systématiquement les rendements, car la stratégie vend toujours au meilleur prix de la journée et achète au pire. Ce schéma est presque impossible à réaliser de manière cohérente en trading réel.
Vérification des erreurs : les rendements quotidiens comme diagnostic
Une fois les données récupérées d'une base de données, elles doivent être vérifiées pour détecter les erreurs avant d'être utilisées. Le diagnostic le plus simple consiste à calculer les rendements quotidiens. Si le fichier contient le plus haut, le plus bas, l'ouverture et la clôture, les rendements quotidiens peuvent être calculés à partir de plusieurs combinaisons de ces prix. L'étape suivante consiste à signaler les valeurs de rendement extrêmes ; par exemple, toute observation qui s'écarte de la moyenne de plus de quelques écarts-types mérite inspection. Ce seuil n'est pas une règle de la nature, mais un filtre qui concentre l'attention sur le petit nombre d'observations les plus susceptibles d'être erronées. Lorsqu'un rendement extrême est trouvé, la question est de savoir s'il est réel ou artificiel. Les mouvements importants coïncident souvent avec des communiqués de presse significatifs ou des fluctuations inhabituelles de l'indice de marché global. Si une valeur aberrante correspond à un tel événement, elle est plausiblement authentique. Si ce n'est pas le cas, il s'agit plus probablement d'une erreur de saisie de données ou d'un ajustement défectueux qui devrait être corrigé ou supprimé. Vérifier les rendements plutôt que les prix bruts est utile car cela normalise entre les instruments et le temps. Un rendement suspect apparaît comme une valeur aberrante quel que soit le niveau de prix nominal, alors que les prix bruts semblent anodins isolément. Comparer les rendements calculés à partir de différentes combinaisons de prix aide également à isoler le problème : si le rendement de l'ouverture à la clôture semble normal mais que le rendement du plus haut au plus bas est extrême, le problème peut résider dans le plus haut ou le plus bas plutôt que dans toute la série. Ce type de vérification est peu glamour mais décisif. Une poignée d'observations corrompues, en particulier autour des opérations sur titres, peut produire les fausses cassures et les signaux parasites décrits précédemment. Les détecter et les corriger coûte bien moins que de construire une stratégie sur des données qui n'ont jamais été inspectées. Le mot final : Basé sur des notes d'étude, à des fins éducatives uniquement et non un conseil en investissement.
Rassembler les vérifications : une routine de révision des données
Les problèmes individuels couverts jusqu'ici se combinent en une routine de révision pratique qui peut être appliquée à tout nouvel ensemble de données avant qu'il n'alimente un backtest. Commencez par la provenance. Établissez ce que la source couvre, jusqu'où remonte son historique, si elle inclut des prix ajustés, et si elle conserve les instruments radiés. Ces quatre propriétés déterminent le plafond de ce que tout test utilisant les données peut montrer. Ensuite, confirmez spécifiquement la politique d'ajustement. Si les divisions et les dividendes sont ajustés, demandez comment. S'ils ne le sont pas, décidez si une source indépendante d'opérations sur titres est disponible et si l'effort d'ajustement manuel est réaliste. Sauter cette étape laisse en place des écarts de prix mécaniques qui peuvent être confondus avec des signaux de marché. Ensuite, évaluez le biais. Si l'ensemble de données ne contient que des instruments survivants, planifiez en conséquence : soit construisez une base de données collectée en avant dans le temps, soit limitez les tests aux périodes récentes, et interprétez les résultats en gardant la distorsion à l'esprit. Après cela, décidez quels prix le test utilisera. Les ouvertures et les clôtures sont la base la plus sûre. Les tests qui supposent une exécution au plus haut ou au plus bas enregistré intègrent un avantage que le trading réel fournit rarement, ce qui flatte les résultats sans aucun changement de la règle sous-jacente. Enfin, exécutez la vérification des erreurs sur les rendements. Calculez les rendements quotidiens à partir de plusieurs combinaisons de prix et inspectez les valeurs aberrantes par rapport aux nouvelles et aux mouvements de l'indice. Corrigez ou supprimez les observations qui ne peuvent pas être expliquées. Aucune de ces étapes ne vous dit si une stratégie est bonne. Elles déterminent seulement si les chiffres qu'un test produit signifient quelque chose. Cette distinction est tout l'intérêt : un backtest est une inférence à partir de données, et une inférence n'est aussi solide que les données sur lesquelles elle repose.
