Masalah Multikolinearitas dalam Regresi Berganda

Istilah Multikolinearitas pertama kali ditemukan oleh Ragnar Frisch yang berarti adanya hubungan liniear yang sempurna atau pasti diantara beberapa atau semua variabel bebas dari model regresi berganda.

Menurut Gujarati (1978) gejala Multikolinearitas ini dapat dideteksi dengan beberapa cara antara lain :

  1. Menghitung koefisien korelasi sederhana (simple correlation) antara sesama variabel bebas, jika terdapat koefisien korelasi sederhana yang mencapai atau melebihi 0.8 maka hal tersebut menunjukkan terjadinya masalah multikolinearitas dalam regresi.
  2. Menghitung nilai Toleransi atau VIF (Variance Inflation Factor), jika nilai Toleransi kurang dari 0.1 atau nilai VIF melebihi 10 maka hal tersebut menunjukkan bahwa multikolinearitas adalah masalah yang pasti terjadi antar variabel bebas.
  3. Lakukan regresi antar variabel bebas dan menghitung masing-masing R2 , kemudian melakukan uji – F dan bandingkan dengan Ftabel (a;k-2,n-k+1). Jika nilai Fhit melebihi nilai Ftabel berarti dapat dinyatakan bahwa Xi kolinier dengan X yang lain.

Akibat dari masalah Multikolinearitas

Montgomery dan Hines (1990) menjelaskan bahwa dampak multikolinearitas dapat mengakibatkan koefisien regresi yang dihasilkan oleh analisis regresi berganda menjadi sangat lemah atau tidak dapat memberikan hasil analisis yang mewakili sifat atau pengaruh dari variabel bebas yang bersangkutan. Dalam banyak hal masalah Multikolinearitas dapat menyebabkan uji T menjadi tidak signifikan padahal jika masing-masing variabel bebas diregresikan secara terpisah dengan variabel tak bebas (simple regression) uji T menunjukkan hasil yang signifikan. Hal tersebutlah yang sering kali membuat pusing para peneliti karena hasil analisis yang dilakukan pada regresi berganda dan regresi sederhana tidaklah sejalan atau bahkan sangat bertentangan.

Contoh Ilustratif :



X1 = KADAR GULA
X2 = KADAR MADU
X3 = KADAR SUSU
Y = RASA MINUMAN SEHAT


Pada ilustrasi di atas tampak bahwa antara gula (x1) dengan madu (x2) akan membawa dampak yang sama (atau saling berhubungan) terhadap rasa manis pada minuman, sehingga akan sangat sulit untuk mengukur pengaruh rasa manis gula dan pengaruh rasa manis madu secara terpisah terhadap rasa minuman karena pengaruh rasa manisnya gula telah tercampur dengan rasa manisnya madu.


Prosedur Penanggulangan Masalah Multikolinearitas
Ada beberapa prosedur yang dapat digunakan untuk mengatasi masalah multikolinearitas, seperti : penggunaan informasi apriori dari hubungan beberapa variabel yang berkolinear, menghubungkan data cross-sectional dan data time series, mengeluarkan suatu variabel atau beberapa variabel bebas yang terlibat hubungan kolinear, melakukan transformasi variabel dengan prosedur first difference dan penambahan data baru. Akan tetapi pada prakteknya prosedur penanggulangan yang telah disebutkan di atas sangat tergantung sekali pada kondisi penelitian, misalnya : prosedur penggunaan informasi apriori sangat tergantung dari ada atau tidaknya dasar teori (literatur) yang sangat kuat untuk mendukung hubungan matematis antara variabel bebas yang saling berkolinear, prosedur mengeluarkan variabel bebas yang berkolinear seringkali membuat banyak peneliti keberatan karena prosedur ini akan mengurangi obyek penelitian yang diangkat, sedangkan prosedur lainya seperti menghubungkan data cross sectional dan time series, prosedur first difference dan penambahan data baru seringkali hanya memberikan efek penanggulangan yang kecil pada masalah multikolinearitas.


Principal Component Analysis (PCA) Mengatasi Masalah Multikolinearitas
Prosedur PCA pada dasarnya adalah bertujuan untuk menyederhanakan variabel yang diamati dengan cara menyusutkan (mereduksi) dimensinya. Hal ini dilakukan dengan cara menghilangkan korelasi diantara variabel bebas melalui transformasi variabel bebas asal ke variabel baru yang tidak berkorelasi sama sekali atau yang biasa disebut dengan principal component.


KOMPONEN 1 = P1 . X1(KADAR GULA) + P2 . X2(KADAR MADU) + P3 . X3(KADAR SUSU)
KOMPONEN 2 = Q1 . X1(KADAR GULA) + Q2 . X2(KADAR MADU) + Q3 . X3(KADAR SUSU)


Setelah beberapa komponen hasil PCA yang bebas multikolinearitas diperoleh maka komponen-komponen tersebut diregresikan atau dianalisa pengaruhnya terhadap variabel tak bebas (Y) dengan menggunakan analisis regresi berganda. Analisis regresi akan menghasilkan model regresi sebagai berikut :



Y(RASA MINUMAN SEHAT) = B1 . KOMPONEN 1 + B2 . KOMPONEN 2



Dengan menggunakan prosedur subtitusi variabel dan perhitungan nilai standart error koefisien regresi, maka pengaruh x1, x2 dan x3 akan dapat dipelajari dan disimpulkan pengaruhnya terhadap rasa minuman.


Keuntungan penggunaan Principal Component Analysis (PCA) dibandingkan metode lain :
  1. Dapat menghilangkan korelasi secara bersih (korelasi = 0) sehingga masalah multikolinearitas dapat benar-benar teratasi secara bersih.
  2. Dapat digunakan untuk segala kondisi data / penelitian
  3. Dapat dipergunakan tanpa mengurangi jumlah variabel asal
  4. Walaupun metode Regresi dengan PCA ini memiliki tingkat kesulitan yang tinggi akan tetapi kesimpulan yang diberikan lebih akurat dibandingkan dengan pengunaan metode lain

19 komentar:

Cahyo said...

Mas saya ko g dong gimana cara menggabungkan 3 variabel tsb mnjd 2 variabel(komponen), kl boleh nanya gimana penjelasan lebih detilnya? Kalo bisa dengan studi kasus dengan angka2 yang kongkret, biar lebih dong he..he..
Oya kl boleh nanya teori PCA ini dicetuskan siapa?

Dicky Rahardi said...

mas cahyo, tentang PCA…
Anda baru bisa memahami PCA dengan baik jika Anda pernah mempelajari Statistika Multivariate khususnya Analisis Faktor
Anda harus mempelajari dulu tentang pengertian eigenvalue, faktor rotasi dan lain sebagainya
Sebagai salah satu referen, coba Anda download link :
http://csnet.otago.ac.nz/cosc453/student_tutorials/principal_components.pdf
http://www.cs.cmu.edu/~elaw/papers/pca.pdf

Kedua link diatas memberikan gambaran proses PCA dengan cukup jelas, tapi mungkin kesannya jadi terlalu Science banget
Yang saya tau buku berbahasa Indonesia yang bisa menggambarkan proses PCA ini sangatlah terbatas, coba Anda cari buku-buku karangan Vincent Gazpares (penulis buku dari Indonesia) tentang statistik multivariat.
Saya sudah menggunakan PCA ini sejak tahun 1999 untuk mengatasi berbagai masalah multikolinearitas, software yang saya gunakan adalah MINITAB
Anda juga bisa mempelajari PCA ini melalui “Help” yang terdapat di MINITAB
Sementara ini dulu yang bisa saya jawab, terima kasih

Anonymous said...

Saya lagi nulis ta ttg regresi komponen utama.saya butuh studi kasus dengan sedikitnya 9 variabel.bisa ga nolongin alx dsni saya kesulitan bgt nyari literatur.thanx b4
anak samarinda

punk_khan said...

sya lg bkn ta ttg latent root n principal component regression tp lg bngung cri data neh.sya pk 9 variabel, lo pk data bangkitan minitab lma bgt nyusun susunan datumnya biar tiap variabel berkorelasi.pny stok data buat bnt sya g?plizzzz....thanx b4

Anonymous said...

mas, ada ref. buku bahasa indonesia gak

Ade Gunawan said...

mas dicky, saya memakai 5 variabel independen tetapi terjadi masalah multikolinearitas yang sangat tinggi dari 4 variabel sementara 1 variabel bebas dari multikolinearitas dilihat dari nilai VIF dan Tolerance-nya sedangkan untuk collinearity diagnostic-nya tidak terjadi multikolineraitas yg serius.untuk uji asumsi klasik yg lain semuanya terbebas. mohon penjelasannya ya mas... kalo bisa saya mengharapkan penjelasan mas dicky ke email saya:ade_gunawan10@yahoo.com

Dicky Rahardi said...

# Ade Gunawan :

Tampaknya masalah multikolinearitas yang terjadi pada penelitian anda lumayan parah ya, 4 dari 5 variabel saling berkorelasi.

Tulisan saya ini masih dalam taraf konsep, walaupun saya sudah menggunakan PCA sejak lama tetapi saya belum sempat untuk menjelaskan teknik analisanya pada blog ini.

Menyimak masalah anda, pertama-tama saya sarankan dulu untuk menela'ah kembali 4 variabel yang anda gunakan. Pertanyaan pentingnya adalah : "Apakah ke-4 variabel tersebut sudah cukup bila hanya diwakili oleh 1 variabel saja...?"

Misalnya: saya punya 3 variabel bebas berupa,
V1=Usia
V2=Pengalaman Kerja
V3=Indeks prestasi sarjana

Kemudian Y=Kinerja
Pada tahap analisis saya mendapati V1 berkolinearitas dengan V2, sedangkan V3 tidak mengalami masalah tersebut.

Jika ditela'ah kembali, maka wajar saja jika V1 kolinearitas dengan V2; karena pada umumnya orang yang usianya lebih tua memiliki pengalaman kerja yang lebih banyak, demikian juga sebaliknya; sehingga saya mengambil keputusan untuk mereduksi dan mencukupkan V2 untuk mewakili V1 dalam penelitian ini.
Sehingga pengukuran Kinerja (Y) cukup dianalisa dengan V2 dan V3.
Jika V2 berpengaruh sangat signifikan terhadap Y, maka so pasti V1-pun akan memiliki pengaruh yang kuat thd Y.

Teknik reduksi variabel tersebut lebih mudah dibandingkan PCA.

Kedua, jika anda tetap ingin melibatkan keseluruhan variabel bebas pada penelitan anda (tanpa proses reduksi), maka teknik PCA atau Analisis Faktor bisa menjadi alternatif pilihan. Buku yang saya sarankan untuk dijadikan acuan adalah buku Econometrica, Damodar Gujarati. Sekali lagi saya sampaikan maaf karena membutuhkan waktu dan konsentrasi tertentu untuk menjelaskan step by stepnya melalui tulisan, apalagi menyangkut beberapa rumusan dan teori

Ade Gunawan said...

makasih ya mas dicky atas jawabannya, variabel yang saya teliti itu
Y=efisiensi operasional
X1=kredit
X2=simpanan
x3=biaya intermediasi
x4=kantor cabang
x5=spread

karena besarannya tidak sama dan terlalu besar maka berdasarkan reori alghifari saya me-log variabel X1,X2,X3,dan X5 tapi itu mas terjadi multikol yg sangat tinggi.saya ingin menanyakan apakah tanpa melihat multkikolinearitas, model regresi tetap bisa dilanjutkan.
atas perhatiannya saya ucapkan banyak terima kasih

Dicky Rahardi said...

# Ade Gunawan :

Sedikit menyambung penjelasan saya yung lalu dan menanggapi pertanyaan anda selanjutnya

Jika terjadi multikolinearitas yang cukup serius pada data kita maka akan menyebabkan :
[1] koefisien-koefisien regresi menjadi tidak dapat ditaksir dengan baik
[2] nilai standart error (se) dari tiap koefisien regresi menjedi tak terhingga yang menyebabkan nilai uji-t menjadi nol

KESIMPULAN : jika multikolinearitas tidak diindahkan, maka hasil analisis regresi anda akan menghasilkan kesimpulan yang keliru (bias)

rully said...

mas saya telah melakukan penelitian tetapi setelah saya uji asumsi klasik ternyata variabel X1 dan X2 terdapat multikolineritas kemudian pembimbing saya menyuruh menggunakan PCA. sekarang masalahnya saya tidak mengerti bagimana menggunakannya ke dalam regresi berganda dan bagaimana interpretasinya tolong beri saya penjelasannya ke acukcuk@gmail.com
saya mohon pertolongannya

retty said...

selamat siang Mas saat ini saya sedang mengerjakan TA yg berkaintan denga MSDM dan sedang meneliti motivasi apa ja yang bisa mempengaruhi para karyawan untuk bekerja.dan dalam penelitian ini saya menggunakan 20 variabel,untuk pengolahan tersebut skarang yang saya bingungkan adalah soal analisis diskriminan,bagaimana cara mengolahnya dan variabel ato data apa saja yg harus dimassukan?

retty said...

tolong jawabannya kirim ke email saya happy_retty@yahoo.co.id , trima kasih sebelum dan sesudahnya

Elfira Djunaidi said...

mas, saya punya 5 variabel independen..
Y=return saham
X1=arus kas operasi
X2=arus kas investasi
X3=arus kas pendanaan
X4=earning per share
X5=firm size
dari hasil olahan data saya melalui spss,arus kas operasi memiliki VIF yg cukup tinggi, yaitu sebesar 8,477..dari beberapa referensi yg saya baca, jika VIF > 5,maka terdapat multikolinearitas. ada juga referensi yg mengatakan jika VIF>10 maka terdapat multikolinearitas. saya jd bingung hrs memakai acuan yg mana. setelah saya baca di blog ini, mas mengatakan memakai PCA jika terjadi multikolinearitas. bagaimana caranya?terima kasih..

excellent88 said...

Pak, Sy mau bertanya... Skripsi sy tentang analisis regresi komponen utama,
misalnya pak sy mendapatkan komponen yang memenuhi kriteria:
P1= 0.56Z1-0.45Z2
P2=-0.34Z1+0.53Z2
Gmana caranya dalam minitab untuk menemukan koefisien/parameternya untuk membentuk analisis regresi komponen utama pak...??
Ket: sy pake' matriks correlation...
Mohon balasanyya ya pak, klo bisa kirim ke email sy
marymaniz@ymail.com
makasih Pak...

hervi said...

selamat siang mas, mau nanya analisis multivariate itu apa ya?pakah sama dengan multikor? saya mengalami masalah multikor pada 2 variabel dari 5 variabel yang saya teliti..apa yang harus dilakukan ya?
terima kasih

sugik said...

mas ada tutorial berbahasa indonesia mengenai PCA
buat bahan referensi thx
sugik firmansyah

fakihzuhdi said...

mas diki tau cara menghitung PCA manual ga?Thesis saya tentang itu..kalau tau tolong kiri, ke email saya ya.. fakihzuhdi@gmail.com

Anonymous said...

Mas boleh minta emailnya? Ada yg mau saya tanyakan lebih

Suhani Pratiwi said...

permisi saya mau bertanya apakah dalam PCA ada syarat-syarat atau asumsi yang harus dipenuhi sebelum diuji lebih lanjut seperti pembentukan faktor?
terima kasih

Post a Comment

Tanggapan, pesan atau pertanyaan hendaknya disertai dengan identitas (minimal mengisi NAMA dgn men-select bagian Comment as dengan "Name/URL"). Terima kasih

(c) DickyRahardi.Com™, 2006