چرا بک‌تست‌ها دروغ می‌گویند

کارمزد صفر

بک‌تستی که کارمزد را صفر بگیرد، سود ناخالص را گزارش می‌کند نه سود خالص. در یک سامانه‌ی جفت‌ارز، کارمزد ۴۶٪ سود ناخالص را مصرف می‌کرد؛ رتبه‌بندی بر اساس Profit Factor عملاً کور بود و به «پیپ خالص» منتقل شد.

پر شدن خوش‌بینانه‌ی حد ضرر

شبیه‌سازی تیک معمولاً فرض می‌کند حد ضرر دقیقاً روی سطح پر می‌شود. در واقعیت لغزش رخ می‌دهد و اندازه‌گیری با تیک‌های واقعی نشان داد این خوش‌بینی در خروج با حد ضرر و حد ضرر متحرک هزینه دارد. تفاوت کوچک است، اما در چند صد خروج با حد ضرر نزدیک به نیمی از نتیجه‌ی اندازه‌گیری‌شده‌ی یک قاعده را حذف کرد.

اعتبارسنجی روی همان داده‌ی بهینه‌سازی

پارامتری که روی کل بازه بهینه شده است، تنها گذشته را توضیح می‌دهد. حداقل کار، تقسیم دوره به دو نیمه و رد کردن هر چیزی است که تنها در یک نیمه جواب می‌دهد. سنجش در برابر خط پایه‌ی تصادفیِ کالیبره‌شده الزامی است؛ بسیاری از «سیگنال‌ها» از سکه انداختن بهتر نیستند.