La plupart des traders ne se rendent pas compte de ce qu'ils font. Ils exécutent quelques backtests, modifient certains paramètres et, soudain, leur stratégie semble irréprochable.
C'est de l'espionnage de données.
Et cela peut détruire votre avantage avant même que vous ne soyez en ligne.
Voici comment élaborer une stratégie sans tomber dans le piège, et pourquoi cela est plus important que ne le pensent la plupart des traders.
L'espionnage des données (également appelé biais d'anticipation ou surajustement) se produit lorsque vous optimisez excessivement votre stratégie en utilisant le même ensemble de données trop souvent. Chaque fois que vous modifiez et testez les mêmes données, vous apprenez des schémas qui pourraient ne pas exister dans les conditions futures du marché.
C'est comme si vous mémorisiez un test d'entraînement encore et encore au lieu de comprendre le sujet. Vous réussissez le test, mais vous échouez dans la vie réelle.
Ce problème apparaît souvent lorsque :
À première vue, la stratégie semble brillante. Mais sous la pression des marchés ? Elle s'effondre.
Parce qu'elle crée une fausse confiance. Si votre système ne fonctionne que sur les données passées sur lesquelles vous l'avez entraîné, il ne s'agit pas d'une stratégie robuste, mais d'une illusion statistique.
Voici ce qui se passe :
Sans le savoir, de nombreux traders passent des mois (ou des années) à perfectionner des stratégies qui n'étaient pas viables au départ.
C'est votre première ligne de défense.
Répartissez vos données historiques en trois ensembles clés :
Si une stratégie est performante dans les trois domaines sans être optimisée pour les deux derniers, elle a plus de chances de survivre dans le monde réel.
Important : Une fois que vous avez examiné l'ensemble de tests, il est contaminé. Si vous modifiez votre stratégie sur la base de ces résultats, vous avez besoin d'un nouvel ensemble de tests.
L'un des moyens les plus simples d'éviter l'espionnage des données ? Rédigez d'abord vos règles.
En d'autres termes :
Ce n'est qu'après avoir rédigé ces règles que vous devriez commencer à effectuer des tests rétrospectifs. Si vous ajustez les règles après avoir vu les résultats, vous avez déjà introduit un biais.
Pour ce faire, documentez vos hypothèses :
Cela donne à votre stratégie un avantage fondé sur la logique, et pas seulement sur les résultats chanceux des backtests.
Il est tentant de tirer chaque once de performance d'un système en ajustant sans cesse les entrées. Mais il y a un moment où l'amélioration des performances n'est plus que du bruit.
Au lieu de cela :
Une stratégie qui ne fonctionne qu'avec des combinaisons de paramètres exactes est fragile. Si les performances chutent de façon spectaculaire lorsqu'une seule entrée est modifiée, elle n'est pas fiable.
Conseil : Testez votre stratégie en l'appliquant à différents régimes de marché (par exemple, en cas de tendance, d'agitation, de volatilité). Si elle s'effondre en dehors d'un seul environnement, c'est qu'elle est suradaptée.
Le test Walk-forward simule la façon dont vous négociez en temps réel, tout en utilisant des données historiques.
Voici comment cela fonctionne :
Cela vous oblige à développer et à valider votre stratégie sur un horizon temporel glissant - plus proche de la réalité du marché.
Avantages :
L'analyse Walk-forward est particulièrement utile pour les stratégies basées sur des indicateurs, une logique algorithmique ou des ensembles de règles fixes.
La plupart des traders ne documentent pas leur backtesting. C'est une erreur.
Votre journal est votre garde-fou. Il permet de suivre :
En tenant un journal de vos tests, vous vous apercevrez que vous testez trop souvent les mêmes données ou que vos ajustements sont motivés par les résultats plutôt que par la logique.
Il vous oblige également à ralentir. Le backtesting n'est pas seulement une question de résultats, il s'agit aussi d'apprendre du processus.
Une fois que votre stratégie a passé avec succès les backtests et les contrôles hors échantillon, il est temps de la soumettre à une simulation en conditions réelles.
C'est là qu'interviennent des outils comme FX Replay.
Les tests prospectifs consistent à exécuter votre stratégie en temps réel ou dans des conditions de marché simulées, sans le bénéfice du recul.
Vous observez les bougies imprimées. Vous réagissez à l'évolution des cours. Vous testez votre exécution, vos émotions et votre prise de décision.
Ce que révèlent les tests en amont :
Cette étape permet souvent de découvrir des lacunes en matière de logique, de clarté des règles ou de psychologie personnelle, qui n'apparaissent pas dans une feuille de calcul.
Conseil : Enregistrez chaque transaction pendant les tests à terme. Traitez-les comme des transactions en direct. Les habitudes que vous prenez ici se transposent directement dans la réalité.
Les meilleurs systèmes sont basés sur le comportement reproductible du marché. Pas seulement sur des modèles de données.
Posez-vous la question :
Par exemple :
Savoir pourquoi votre stratégie fonctionne vous aide :
Si vous apportez des modifications sur la base des résultats de tests prospectifs ou réels, considérez-les comme une nouvelle version de la stratégie.
Ne mélangez pas les nouvelles règles avec les anciens résultats. Ne pas faire la moyenne des performances sur plusieurs itérations.
Chaque fois que vous ajustez le système, redémarrez le cycle de test :
Ainsi, votre processus reste propre. Et vos résultats sont plus significatifs.
Les traders expérimentés peuvent utiliser des simulations de Monte Carlo, le bootstrapping ou des intervalles de confiance pour évaluer la robustesse.
Ces outils sont utiles. Mais ils ne doivent pas remplacer la logique.
Réponse à l'aide statistique :
N'oubliez pas : Aucune statistique ne peut corriger une stratégie dont la logique est faible ou qui n'a pas d'avantage.
L'espionnage des données est l'un des tueurs silencieux des performances commerciales.
Il vous donne l'impression d'être confiant. Elle vous donne une fausse précision. Et il vous expose à l'échec.
Mais il est possible de l'éviter.
Construisez votre système avec une structure. Testez-le comme un scientifique. Respectez les données.
Lorsque l'on élabore une stratégie avec discipline - et pas seulement avec optimisme - on obtient quelque chose de rare :
Un système de négociation auquel vous pouvez réellement faire confiance.
Principaux enseignements :
Évitez le piège. Faites le travail.
C'est ainsi que les vrais traders élaborent de vraies stratégies.
Vous n'avez pas trouvé votre question ici ? Consultez notre centre d'aide ci-dessous !
Centre d'aideDans les deux cas, il s'agit d'une optimisation excessive d'une stratégie par rapport à des données antérieures, mais l'espionnage des données se produit lorsque vous effectuez des tests et des ajustements répétés en utilisant le même ensemble de données, tandis que l'ajustement des courbes fait généralement référence à des ajustements de paramètres trop précis qui modélisent du bruit au lieu d'un signal.
Visez au moins 3 à 5 ans de données de qualité. Utilisez 60 à 70 % de ces données pour élaborer votre stratégie et réservez le reste à la validation et aux tests. Plus le délai est long, plus vos informations seront solides.
Seulement si vous êtes strict sur la séparation des ensembles de formation, de validation et de test. Une fois qu'un ensemble de données a été utilisé pour guider le développement d'une stratégie, il n'est plus impartial à des fins de validation.
Elle est particulièrement utile pour les systèmes mécaniques fondés sur des règles, qui permettent d'évaluer la capacité d'adaptation d'une stratégie à l'évolution des conditions du marché. Pour les systèmes discrétionnaires, la simulation à terme est souvent plus utile.
Les signes avant-coureurs sont les suivants : d'excellents résultats en backtest mais de piètres performances en direct, une sensibilité extrême à de petites modifications de paramètres et des échecs lors de l'application à de nouveaux instruments ou à de nouvelles conditions de marché.