Qu'est-ce que le biais de data snooping et pourquoi le nombre de paramètres compte
Le biais de data snooping — aussi appelé biais de data mining — est le risque que le succès historique apparent d'une stratégie soit un artefact du processus de recherche plutôt qu'une preuve d'un avantage reproductible. Le mécanisme est simple. Chaque paramètre ajouté à un modèle donne à l'optimiseur un degré de liberté supplémentaire pour ajuster le passé. Avec suffisamment de liberté, un chercheur peut généralement trouver un ensemble de règles qui transforme un flux de rendement médiocre ou même aléatoire en une courbe de capital lisse et attrayante. Le backtest semble excellent, mais la performance future en direct peut être totalement différente. Plus une stratégie contient de paramètres, plus elle capture facilement des événements historiques accidentels — décisions politiques ponctuelles, chocs de liquidité, flux de rééquilibrage d'indices ou simple bruit — qui ne se reproduiront pas sous la même forme. Cela ne nécessite ni malhonnêteté ni négligence. C'est une propriété mathématique de la recherche. Si un chercheur teste dix mille variantes d'un croisement de moyennes mobiles, la meilleure semblera impressionnante même si aucune n'a d'avantage réel. Comme la sélection elle-même utilise les données historiques, les statistiques rapportées sont biaisées à la hausse. L'implication pratique est que les stratégies simples tendent à mieux résister au temps que les complexes. Les règles avec de nombreux paramètres et conditions ont plus de façons d'être fausses lorsque l'environnement de marché change. Un modèle qui dépend de quinze seuils calibrés n'est pas nécessairement plus précis ; il a peut-être simplement mémorisé le passé. L'antidote n'est pas d'éviter la recherche, mais de traiter chaque optimisation comme une hypothèse qui doit être testée sur des données que l'optimiseur n'a jamais vues.
Pourquoi les données financières sont une base faible pour l'ajustement de motifs
Les marchés financiers sont souvent décrits comme riches en données, mais d'un point de vue statistique, ils sont exceptionnellement pauvres en données. Le nombre d'observations statistiquement indépendantes disponibles pour tester une stratégie est bien plus petit que ne le suggère le nombre brut de prix ou de barres. Les données financières intrajournalières semblent énormes : barres à la minute, données tick et mises à jour du carnet d'ordres s'accumulent rapidement. Pourtant, ces observations sont corrélées en série. Un rendement d'une minute est étroitement lié au suivant, et le même état de marché sous-jacent peut persister pendant des heures ou des jours. Ce ne sont pas des échantillons indépendants. Lorsque les points de données sont corrélés, la taille effective de l'échantillon est bien plus petite que le nombre nominal. Ajouter davantage du même type de données n'ajoute pas beaucoup d'informations indépendantes. Il en résulte qu'un modèle avec de nombreux paramètres doit estimer de nombreuses inconnues à partir d'une quantité limitée de preuves réellement nouvelles. Le surajustement devient alors sévère. Le modèle peut ajuster le bruit dans le chemin historique, mais il a peu de base pour généraliser. Les séries temporelles financières sont aussi un chemin unique réalisé à partir d'un processus non stationnaire. La structure du marché change : les réglementations évoluent, la composition des participants change, et les régimes de liquidité vont et viennent. Un motif qui existait dans une période peut être absent dans la suivante. Cela contraste avec des domaines où de grands échantillons indépendants sont disponibles. La conséquence pratique est que la complexité en finance porte une pénalité plus élevée que dans de nombreux autres domaines d'apprentissage automatique. Un grand nombre de paramètres n'est pas un signe de sophistication ; c'est un avertissement que le modèle décrit peut-être le passé plutôt que l'avenir.
