Pengujian Backtesting dan Forward: Pentingnya Korelasi

Pedagang yang ingin mencoba ide perdagangan di pasar langsung sering membuat kesalahan dengan mengandalkan sepenuhnya pada hasil pengujian ulang untuk menentukan apakah sistem akan menguntungkan. Meskipun pengujian ulang dapat memberikan informasi berharga kepada pedagang, sering kali hal itu menyesatkan, dan ini hanya salah satu bagian dari proses evaluasi.

Pengujian di luar sampel dan pengujian performa ke depan memberikan konfirmasi lebih lanjut mengenai keefektifan sistem dan dapat menunjukkan warna asli sistem sebelum uang nyata dipertaruhkan. Korelasi yang baik antara hasil pengujian backtesting, out-of-sample dan forward performance sangat penting untuk menentukan kelangsungan sistem perdagangan.

Apa ?

Backtesting mengacu pada penerapan sistem perdagangan ke data historis untuk memverifikasi bagaimana sistem akan dilakukan selama periode waktu yang ditentukan. Banyak platform perdagangan saat ini mendukung pengujian ulang. Pedagang dapat menguji ide dengan beberapa penekanan tombol dan mendapatkan wawasan tentang keefektifan ide tanpa mempertaruhkan dana di akun perdagangan. Pengujian ulang dapat mengevaluasi ide-ide sederhana, seperti bagaimana persilangan rata-rata bergerak akan bekerja pada data historis, atau sistem yang lebih kompleks dengan berbagai masukan dan pemicu.

Selama sebuah ide bisa diukur, itu bisa diuji kembali. Beberapa pedagang dan investor mungkin mencari keahlian programmer yang memenuhi syarat untuk mengembangkan ide menjadi bentuk yang dapat diuji. Biasanya, ini melibatkan programmer yang mengkodekan ide ke dalam bahasa kepemilikan yang dihosting oleh platform perdagangan. Programmer dapat menggabungkan variabel input yang ditentukan pengguna yang memungkinkan pedagang untuk “mengubah” sistem.

Contohnya adalah dalam sistem persilangan rata-rata bergerak sederhana yang disebutkan di atas: Pedagang akan dapat memasukkan (atau mengubah) panjang dari dua rata-rata bergerak yang digunakan dalam sistem. Pedagang dapat menguji ulang untuk menentukan panjang rata-rata bergerak mana yang akan berkinerja terbaik pada data historis.

Studi Optimasi

Banyak platform perdagangan juga memungkinkan studi pengoptimalan. Ini memerlukan memasukkan rentang untuk input yang ditentukan dan membiarkan komputer “melakukan matematika” untuk mencari tahu input apa yang akan berkinerja terbaik. Pengoptimalan multi-variabel dapat menghitung dua variabel atau lebih untuk menentukan kombinasi apa yang akan mencapai hasil terbaik.

Misalnya, pedagang dapat memberi tahu program masukan mana yang ingin mereka tambahkan ke dalam strategi mereka; ini kemudian akan dioptimalkan ke bobot ideal mereka mengingat data historis yang diuji.

Backtesting bisa mengasyikkan karena sistem yang tidak menguntungkan sering kali secara ajaib diubah menjadi mesin penghasil uang dengan beberapa pengoptimalan. Sayangnya, mengutak-atik sistem untuk mencapai tingkat keuntungan terbesar di masa lalu sering kali mengarah ke sistem yang akan berkinerja buruk dalam perdagangan nyata. Pengoptimalan yang berlebihan ini menciptakan sistem yang hanya terlihat bagus di atas kertas.

Penyesuaian kurva adalah penggunaan analitik pengoptimalan untuk menciptakan jumlah kemenangan perdagangan tertinggi dengan keuntungan terbesar pada data historis yang digunakan dalam periode pengujian. Meskipun terlihat mengesankan dalam hasil pengujian ulang, penyesuaian kurva mengarah ke sistem yang tidak dapat diandalkan karena hasil pada dasarnya dirancang khusus untuk data dan periode waktu tertentu.

Pengujian ulang dan pengoptimalan memberikan banyak manfaat bagi seorang pedagang, tetapi ini hanya sebagian dari proses ketika mengevaluasi sistem perdagangan potensial. Langkah trader selanjutnya adalah menerapkan sistem ke data historis yang belum digunakan dalam fase pengujian awal.

Data In-Sample versus Out-of-Sample

Saat menguji ide pada data historis, ada baiknya untuk memesan periode waktu data historis untuk tujuan pengujian. Data historis awal tempat ide diuji dan dioptimalkan disebut sebagai data dalam sampel. Kumpulan data yang telah dipesan dikenal sebagai data di luar sampel. Penyiapan ini merupakan bagian penting dari proses evaluasi karena menyediakan cara untuk menguji gagasan pada data yang belum menjadi komponen dalam model pengoptimalan.

Akibatnya, gagasan tersebut tidak akan terpengaruh dengan cara apa pun oleh data di luar sampel, dan pedagang akan dapat menentukan seberapa baik kinerja sistem pada data baru, yaitu dalam perdagangan kehidupan nyata.

Sebelum memulai pengujian ulang atau pengoptimalan apa pun, pedagang dapat menyisihkan sebagian dari data historis untuk dicadangkan untuk pengujian di luar sampel. Salah satu metode adalah dengan membagi data historis menjadi tiga bagian dan memisahkan sepertiga untuk digunakan dalam pengujian di luar sampel. Hanya data dalam sampel yang harus digunakan untuk pengujian awal dan pengoptimalan apa pun.

Gambar di bawah ini menunjukkan garis waktu di mana sepertiga dari data historis dicadangkan untuk pengujian di luar sampel, dan dua pertiga digunakan untuk pengujian dalam sampel. Meskipun gambar di bawah ini menggambarkan data out-of-sample pada awal pengujian, prosedur tipikal akan memiliki bagian out-of-sample segera sebelum kinerja maju.

Korelasi mengacu pada kesamaan antara kinerja dan tren keseluruhan dari dua kumpulan data. Metrik korelasi dapat digunakan dalam mengevaluasi laporan kinerja strategi yang dibuat selama periode pengujian (fitur yang disediakan sebagian besar platform perdagangan). Semakin kuat korelasi antara keduanya, semakin baik kemungkinan bahwa sistem akan bekerja dengan baik dalam pengujian kinerja ke depan dan perdagangan langsung.

Gambar di bawah mengilustrasikan dua sistem berbeda yang diuji dan dioptimalkan pada data dalam sampel, kemudian diterapkan ke data di luar sampel. Bagan di sebelah kiri menunjukkan sistem yang jelas-jelas sesuai kurva untuk bekerja dengan baik pada data dalam sampel dan benar-benar gagal pada data di luar sampel. Bagan di sebelah kanan menunjukkan sistem yang berkinerja baik pada data sampel masuk dan keluar.

Setelah sistem perdagangan dikembangkan menggunakan data in-sample, itu siap untuk diterapkan ke data out-of-sample. Trader dapat mengevaluasi dan membandingkan hasil kinerja antara data in-sample dan out-of-sample.

Jika ada sedikit korelasi antara pengujian in-sample dan out-of-sample, seperti grafik kiri pada gambar di atas, kemungkinan sistem telah dioptimalkan secara berlebihan dan tidak akan bekerja dengan baik dalam perdagangan langsung. Jika ada korelasi yang kuat dalam kinerja, seperti yang terlihat pada bagan kanan, tahap evaluasi berikutnya melibatkan jenis pengujian tambahan di luar sampel yang dikenal sebagai pengujian kinerja maju.

Dasar-dasar Pengujian Kinerja Maju

Pengujian kinerja ke depan, juga dikenal sebagai perdagangan kertas, memberi pedagang satu set data di luar sampel lain untuk mengevaluasi sistem. Pengujian kinerja ke depan adalah simulasi perdagangan aktual dan melibatkan mengikuti logika sistem di pasar langsung. Ini juga disebut perdagangan kertas karena semua perdagangan dilakukan hanya di atas kertas; Artinya, masuk dan keluar perdagangan didokumentasikan bersama dengan untung atau rugi untuk sistem, tetapi tidak ada perdagangan nyata yang dieksekusi.

Aspek penting dari pengujian kinerja ke depan adalah mengikuti logika sistem dengan tepat; jika tidak, akan sulit, jika bukan tidak mungkin, untuk mengevaluasi secara akurat langkah proses ini. Pedagang harus jujur ​​tentang entri dan keluar perdagangan apa pun dan menghindari perilaku seperti perdagangan memetik ceri atau tidak termasuk perdagangan di atas kertas yang merasionalisasi bahwa “Saya tidak akan pernah melakukan perdagangan itu.” Jika perdagangan akan terjadi mengikuti logika sistem, itu harus didokumentasikan dan dievaluasi.

Banyak broker menawarkan akun perdagangan simulasi di mana perdagangan dapat ditempatkan dan untung dan rugi yang sesuai dihitung. Menggunakan akun perdagangan simulasi dapat menciptakan suasana semi-realistis untuk berlatih perdagangan dan menilai sistem lebih lanjut.

Gambar di atas juga menunjukkan hasil pengujian kinerja ke depan pada dua sistem. Sekali lagi, sistem yang direpresentasikan di bagan kiri gagal bekerja dengan baik di luar pengujian awal pada data dalam sampel. Namun, sistem yang ditampilkan di bagan kanan terus berkinerja baik melalui semua tahapan, termasuk pengujian kinerja ke depan. Sebuah sistem yang menunjukkan hasil positif dengan korelasi yang baik antara pengujian in-sample, out-of-sample dan forward performance siap untuk diimplementasikan di pasar live.

Garis bawah

Backtesting adalah alat berharga yang tersedia di sebagian besar platform perdagangan. Membagi data historis menjadi beberapa set untuk menyediakan pengujian in-sample dan out-of-sample dapat memberi pedagang cara yang praktis dan efisien untuk mengevaluasi ide dan sistem perdagangan. Karena sebagian besar pedagang menggunakan teknik pengoptimalan dalam pengujian ulang, penting untuk mengevaluasi sistem pada data yang bersih untuk menentukan kelangsungan hidupnya.

Melanjutkan pengujian di luar sampel dengan pengujian kinerja ke depan memberikan lapisan keamanan lain sebelum menempatkan sistem di pasar yang mempertaruhkan uang nyata. Hasil positif dan korelasi yang baik antara pengujian ulang dalam sampel dan di luar sampel serta pengujian kinerja maju meningkatkan kemungkinan bahwa sistem akan bekerja dengan baik dalam perdagangan aktual.