Regresi Bertahap

Apa Regresi Bertahap?

Regresi bertahap adalah konstruksi berulang langkah demi langkah dari model regresi yang melibatkan pemilihan variabel independen untuk digunakan dalam model akhir. Ini melibatkan penambahan atau penghapusan variabel penjelas potensial secara berurutan dan pengujian signifikansi statistik setelah setiap iterasi.

Ketersediaan paket perangkat lunak statistik memungkinkan regresi bertahap, bahkan dalam model dengan ratusan variabel.

Poin Penting

  • Regresi bertahap adalah metode yang secara iteratif menguji signifikansi statistik dari setiap variabel independen dalam model regresi linier.
  • Pendekatan pemilihan maju dimulai dengan tidak ada dan menambahkan setiap variabel baru secara bertahap, menguji signifikansi statistik.
  • Metode eliminasi mundur dimulai dengan model penuh yang dimuat dengan beberapa variabel dan kemudian menghapus satu variabel untuk menguji kepentingannya relatif terhadap hasil keseluruhan.
  • Regresi bertahap memiliki kelemahan, bagaimanapun, karena ini adalah pendekatan yang menyesuaikan data ke dalam model untuk mencapai hasil yang diinginkan.

Jenis Regresi Bertahap

Tujuan yang mendasari regresi bertahap adalah, melalui serangkaian pengujian (misalnya uji-F, uji-t ) untuk menemukan satu set variabel independen yang secara signifikan mempengaruhi variabel dependen. Ini dilakukan dengan komputer melalui iterasi, yang merupakan proses untuk sampai pada hasil atau keputusan dengan melalui putaran atau siklus analisis yang berulang. Melakukan pengujian secara otomatis dengan bantuan dari paket perangkat lunak statistik memiliki keuntungan dalam menghemat waktu dan membatasi kesalahan.

Regresi bertahap dapat dicapai baik dengan mencoba satu variabel independen pada satu waktu dan memasukkannya ke dalam model regresi jika signifikan secara statistik atau dengan memasukkan semua variabel independen potensial dalam model dan menghilangkan variabel yang tidak signifikan secara statistik. Beberapa menggunakan kombinasi kedua metode dan oleh karena itu ada tiga pendekatan untuk regresi bertahap:

  1. Pemilihan maju dimulai tanpa variabel dalam model, menguji setiap variabel saat ditambahkan ke model, kemudian mempertahankan variabel yang dianggap paling signifikan secara statistik — mengulangi proses hingga hasilnya optimal.
  2. Penghapusan mundur dimulai dengan satu set variabel independen, menghapus satu per satu, kemudian menguji untuk melihat apakah variabel yang dihapus signifikan secara statistik.
  3. Eliminasi dua arah adalah kombinasi dari dua metode pertama yang menguji variabel mana yang harus dimasukkan atau dikecualikan.

Contoh

Contoh regresi bertahap yang menggunakan metode eliminasi mundur adalah upaya untuk memahami penggunaan energi di pabrik dengan menggunakan variabel seperti waktu pengoperasian peralatan, usia peralatan, ukuran staf, suhu di luar, dan waktu dalam setahun. Model tersebut mencakup semua variabel — lalu masing-masing dihapus, satu per satu, untuk menentukan mana yang paling tidak signifikan secara statistik. Pada akhirnya, model tersebut mungkin menunjukkan bahwa waktu dalam satu tahun dan suhu paling signifikan, mungkin menunjukkan konsumsi energi puncak di pabrik adalah saat penggunaan AC berada pada puncaknya. 

Batasan Regresi Bertahap

Analisis regresi, baik harga-pendapatan dan pengembalian saham selama bertahun-tahun untuk menentukan apakah saham dengan rasio P / E rendah (variabel independen) menawarkan pengembalian yang lebih tinggi (variabel dependen). Masalah dengan pendekatan ini adalah bahwa kondisi pasar sering berubah dan hubungan yang telah terjalin di masa lalu tidak selalu berlaku di saat ini atau di masa mendatang.

Sementara itu, proses regresi bertahap mendapat banyak kritik dan bahkan ada seruan untuk berhenti menggunakan metode ini sama sekali. Ahli statistik mencatat beberapa kelemahan pendekatan, termasuk hasil yang salah, bias yang melekat dalam proses itu sendiri, dan kebutuhan daya komputasi yang signifikan untuk mengembangkan model regresi kompleks melalui iterasi.