۱. مشخصات پژوهش را ثابت کنید
پیش از مطالعهٔ نتایج، ابزار، محل معامله، بازهٔ زمانی، محدودهٔ تاریخ، سرمایهٔ مجازی اولیه و تنظیمات استراتژی را ثبت کنید. قواعد ورود و خروج را طوری بیان کنید که شخص دیگری بتواند آن‌ها را بازتولید کند. تغییر آستانه یا فرض اندازهٔ موقعیت، پژوهش متفاوتی می‌سازد؛ حتی اگر نام استراتژی همان بماند.
فرضیه‌ای ساده نگه دارید؛ مثلاً مقایسهٔ یک قاعدهٔ پژوهشی مشخص EMA/RSI با معیار پایه روی همان دادهٔ واجد شرایط. این مثالِ طراحی پژوهش است، نه توصیهٔ استفاده از این اندیکاتورها. نسخه‌های ناموفق را هم ثبت کنید؛ نگه‌داشتن فقط زیباترین نتیجه، تعداد انتخاب‌های امتحان‌شده را پنهان می‌کند.
۲. بررسی کنید در هر تصمیم چه چیزی معلوم بود
شبیه‌سازی علّی فقط مشاهده‌هایی را به کار می‌برد که در زمان تصمیم تاریخی در دسترس بوده‌اند. در روش AIONEX، سیگنال کندل قبلی و اجرای شبیه‌سازی‌شده در بازشدن کندل بعدی مانع استفاده از اطلاعات بعدیِ کندل برای تصمیم قبلی می‌شود. سابقهٔ آغاز محاسبهٔ اندیکاتور و نحوهٔ برخورد با کندل مفقود باید روشن باشد.
سوگیری نگاه به آینده یعنی اطلاعات آینده به گذشته نشت کرده است. مستندات استراتژی TradingView این مسئله را در شبیه‌سازی تاریخی توضیح می‌دهد. بپرسید مقدارهای بازهٔ بالاتر نهایی بوده‌اند یا نه و آیا شبیه‌ساز مسیری داخل کندل را فرض کرده که داده نمی‌تواند اثبات کند. منحنی سرمایهٔ هموار پاسخ این پرسش‌ها نیست.
۳. هزینه و اجرا را قابل بررسی کنید
کارمزد، لغزش قیمت، فرض فاصلهٔ خرید و فروش و اندازهٔ موقعیت را با واحد درست ثبت کنید. اگر ابزار مدل‌شده هزینه یا محدودیت دیگری لازم دارد، مشخص کنید پژوهش واقعاً آن را پوشش می‌دهد یا نه. پژوهش بازار نقدی جای پژوهش آتی اهرمی با مارجین، تأمین مالی و رفتار لیکوییدشدن متفاوت را نمی‌گیرد.
در یک مثال فرضی و عمداً ساده، تنها هزینه‌های مدل‌شده را کارمزد ۰٫۱۰٪ و لغزش ۰٫۰۵٪ در هر طرف در نظر بگیرید. هزینهٔ مجموع ورود و خروج، پیش از ترکیب بازده و هزینه‌های دیگر، حدود ۰٫۳۰٪ است. این ورودی‌های ساختگی قیمت فعلی هیچ محل معامله‌ای نیستند. مزیت ناخالص کوچک ممکن است در سناریوی هزینهٔ دیگر از بین برود.
AIONEX بین ارائه‌شدن فرض هزینه و اثبات انطباق آن با اجرای واقعی تفاوت می‌گذارد. هنگام مقایسهٔ گزارش‌ها این تفاوت را حفظ کنید.
۴. تنظیم پارامتر را از ارزیابی جدا کنید
مشاهده‌ها را به ترتیب زمانی قرار دهید. از پنجرهٔ قدیمی‌تر برای مقایسهٔ محدود پارامترها و از پنجرهٔ بعدیِ دست‌نخورده برای ارزیابی استفاده کنید. Holdout داده‌ای است که از تصمیم تنظیم کنار گذاشته شده است. اگر آن را ببینید و دوباره تنظیم کنید، برای آن تصمیم دیگر آزمون دست‌نخورده نیست.
Auto-Tuner مستندشدهٔ AIONEX یک شبکهٔ محدود و قطعی را مقایسه می‌کند و نتیجهٔ پنجرهٔ آزمون را جدا گزارش می‌دهد. هر دو پنجره و تعداد معاملاتشان را بخوانید. برندهٔ انتخابی ممکن است تصادف تاریخی باشد؛ تنظیم یا نتیجهٔ آزمون، احتمال کالیبره‌شدهٔ زمان اجرا را اثبات نمی‌کند و همهٔ خروجی‌های عملیاتی را معتبر نمی‌سازد.
۵. فراتر از بازدهٔ کل را بخوانید
در کنار بازده، افت سرمایه، تعداد معاملات، گردش معاملات و توزیع سود و زیان را بررسی کنید. افت سرمایه کاهش نسبت به اوج قبلی سرمایه را توصیف می‌کند؛ نرخ برد سهم معاملات سودده را. نرخ برد بالا می‌تواند همراه با چند زیان بزرگ باشد. با سابقهٔ کوتاه یا مشاهده‌های کم، نسبت‌ها می‌توانند ناپایدار باشند.
فقط گزارش‌هایی با واحد، تاریخ، حسابداری و فرض هزینهٔ سازگار را مقایسه کنید. معیار پژوهشی مستقل AIONEX بازپخش معادل محیط عملیاتی نیست. خروجی معیار تاریخی نباید دقت تأییدشدهٔ سیگنال فعلی معرفی شود.
چک‌لیست بررسی بک‌تست
گزارش زمانی مفیدتر است که بتوان توضیح داد بین اجراها چه چیزی عوض شده است. مشخصات و فیلدهای در دسترس نبود‌ه را همراه نتیجه نگه دارید.
- داده: منبع، ابزار، تاریخ‌ها، بازهٔ زمانی، شکاف‌ها و سابقهٔ آغاز محاسبه.
- قواعد: تنظیمات دقیق، اندازهٔ موقعیت و زمان تصمیم تاریخی.
- اجرا: قرارداد قیمت شبیه‌سازی‌شده، کارمزد، لغزش و هزینه‌های لحاظ‌نشده.
- ارزیابی: تقسیم زمانی، نسخه‌های تنظیم‌شده و آزمون دست‌نخورده.
- خروجی: بازده، افت سرمایه، تعداد معاملات و محدودیت هر دو پنجره.
با نتیجهٔ ناقص چه کنیم؟
اگر دادهٔ لازم یا فرض اجرا مفقود است، گزارش را در دسترس نبود‌ه یا پژوهشی محدود بدانید؛ آن را با پیش‌فرض خوش‌بینانه ترمیم نکنید. محیط AIONEX برای پژوهش‌های واجد شرایط از سرمایهٔ مجازی استفاده می‌کند و سفارش اجرا نمی‌کند. رابط فعلاً انگلیسی است و محدودیت طرح و داده اعمال می‌شود. پژوهش را با عدم قطعیتش نگه دارید.