Analisis Objek dan Assessor dari Data Ranking Tidak Lengkap Menggunakan DISTATIS Irlandia Ginanjar 1, 2, *, Bambang Widjanarko O

SEMINAR NASIONAL ALJABAR 2011 JURUSAN MATEMATIKA FMIPA UNPAD, Sumedang 30 April 2011

Analisis Objek dan Assessor dari Data Ranking Tidak Lengkap Menggunakan DISTATIS Irlandia Ginanjar1, 2,*, Bambang Widjanarko O.1 1

Jurusan Statistika ITS, Surabaya, 2Jurusan Statistika UNPAD, Bandung email : [email protected], 2 [email protected] Abstrak

Data ranking tidak lengkap karena, objek tidak lengkap atau data ranking berbentuk selang. Makalah ini bertujuan untuk memperkenalkan cara menganalisis objek dan assessor dari data ranking tidak lengkap dengan menggunakan alat yang disebut DISTATIS. DISTATIS adalah generalisasi Multidimensional Scaling (MDS) yang menggunakan Aljabar Linier untuk menganalisis beberapa matriks jarak dari objek dengan set yang sama. Matriks jarak untuk data ranking tidak lengkap didapatkan dengan langkah; (1) mentransformasi data ranking tidak lengkap ke data penyortiran menggunakan metoda K-mean Clustering, (2) mentransformasi data penyortiran ke matriks jarak. Keluaran dari DISTATIS adalah peta assessor berdasarkan penilaian keseluruhan objek dan peta yang menampilkan objek dan assessor untuk setiap objek dalam satu peta. Berdasarkan dua peta yang dihasilkan, maka dapat diidentifikasi informasi kesamaan antar objek, kesamaan assessor berdasarkan penilaian keseluruhan objek, dan kesamaan penilaian assessor untuk setiap objek. Aplikasi dalam makalah ini menggunakan data ranking dunia perguruan tinggi. Kata Kunci :

DISTATIS,

Multidimensional

Scaling,

Aljabar

Linier,

K-mean

Clustering, Pemetaan. 1

Pendahuluan Ranking adalah hubungan antara satu set objek yang berurutan, ranking

memungkinkan untuk mengevaluasi informasi yang kompleks sesuai dengan kriteria tertentu (Wikipedia, 2011). Tapi bagaimana jika peneliti harus menganalisis data ranking yang tidak lengkap. Data ranking tidak lengkap karena objek tidak lengkap, dengan kata lain peneliti harus meneliti sebayak n objek dari data ranking sebanyak N objek, dimana n lebih kecil dari N. Data ranking tidak lengkap juga karena data ranking berbentuk selang. Data ranking umumnya berupa variabel ganda (multivariat), dimana variabel kategori baris berupa objek dan variabel kategori kolom berupa assessor, dimana assessor adalah orang atau institusi yang meranking sifat-sifat objek. Analisis data


ranking multivariat umumnya menggunakan statistika non-parametrik, dimana salah satunya adalah melalui metoda pemetaan. Berbagai metoda statistika yang dapat digunakan untuk pemetaan adalah multidimensional scaling (MDS) (Kruskal, 1978) tapi kekurangannya adalah informasi tentang assessor hilang, karena data assessor dikumpulkan untuk mendapatkan matriks kesamaan, akibatnya informasi perbedaan antar assessor tersembunyi (Lawless, 1995). Dalam Multiple Correspondence Analysis (MCA) (Grenecre, 1984) data yang digunakan adalah data diskrit sehingga MCA tidak dapat digunakan untuk data penyortiran. Tiga metoda lainnya adalah individual difference scaling (INDSCAL) (Husson, 2006), Parallel factor analysis (PARAFAC) (Harshman, 1994) dan general procrustean analysis (GPA) (Gower, 2004), tetapi tiga metoda ini menggunakan metode iteratif hal itu mengakibatkan diperlukannya sejumlah besar iterasi. Pemetaan juga dapat menggunakan analisis Biplot (Gabriel, 1971), tapi kekurangan analisis Biplot tidak dapat diaplikasikan untuk data ranking. Metode yang disebut DISTATIS (Abdi, 2006) yang menggunakan Aljabar Linier untuk menghitung eigenvalues dan eigenvector, dapat memetakan objek dan assessor untuk setiap objek dengan menggunakan metoda non-iteratif dari matriks jarak antar objek untuk setiap assessor, dimana data ranking berupa variabel ganda dapat ditransformasi ke matriks jarak antar objek untuk setiap assessor. Berdasarkan hal sebelumnya maka makalah ini bertujuan untuk memperkenalkan cara menganalisis objek dan assessor dari data ranking tidak lengkap dengan menggunakan alat yang disebut DISTATIS. 2

Metode Berdasarkan tujuan makalah ini maka analisis data dilakukan mulai dari

transformasi data ranking tidak lengkap ke data penyortiran, transformasi data penyortiran ke matriks jarak antar objek untuk setiap assessor, mendapatkan peta persepsi, menghitung persentase keragaman yang diterangkan oleh peta dan mengidentifikasi informasi dari peta yang dihasilkan. Langkah-langkah penelitian yang dilakukan digambarkan dalam bentuk diagram alur analisis data yang disajikan di Gambar 1.


Data Transformasi data ranking tidak lengkap ke data penyortiran Membuat matriks indikator

a Menghitung vektor bobot optimal bagi assessor Menghitung matriks compromise

Transformasi ke matriks co-occurrence Transformasi ke matriks jarak Transformasi ke matriks cross-product

Menghitung matriks eigenvectors dan eigenvalues dari matriks compromise Menghitung skor faktor matriks compromise

Normalisasi matriks cross-product Menghitung skor faktor bagi assessor ke-t Menghitung matriks kesamaan antar assessor Menghitung eigenvectors dan eigenvalues dari matriks kesamaan antar assessor Menghitung skor faktor dari matriks kesamaan antar assessor Memetakan assessor berdasarkan penilaian keseluruhan objek Peta assessor berdasarkan penilaian keseluruhan objek

Memetakan objek dan assessor untuk setiap objek Peta objek dan assessor untuk setiap objek Mengidentifikasi persentase keragaman yang diterangkan oleh peta Mengidentifikasi informasi kesamaan assessor berdasarkan penilaian keseluruhan perguruan tinggi, kesamaan antar perguruan tinggi, dan kesamaan antar assessor untuk setiap perguruan tinggi

a Gambar 1 Diagram Alur Analisis Data. 3 3.1

Hasil dan Pembahasan Transformasi data ranking tidak lengkap ke data penyortiran Data ranking tidak lengkap karena objek tidak lengkap mempunyai sifat bahwa, jumlah

objek yang ada diantara objek ke i dengan ke i+1 berbeda dengan jumlah objek yang ada diantara data ke i+1 dengan ke i+2 untuk i = 1, 2, ..., n-2. Berdasarkan hal itu maka transformasi data ranking ke data penyortiran dapat menggunakan metoda K-mean Clustering dengan matriks jarak Euclidean (Johnson ,2007). Nomor cluster yang didapatkan ditransformasi berdasarkan urutan ranking, sehingga didapatkan data penyortiran yang merupakan kelompok objek yang berurut. Data ranking tidak lengkap karena data ranking berbentuk selang, dapat langsung ditransformasi ke data penyortiran.


3.2

Transformasi data penyortiran ke matriks jarak antar objek untuk setiap assessor. Matriks indikator dinotasikan dengan L[t] (t menyatakan assessor yang ke t), setiap

baris L[t] menyatakan objek dan setiap kolomnya menyatakan kelompok. Nilai 1 pada matriks indikator menyatakan bahwa objek yang direpresentasikan oleh baris dikelompokan dalam kelompok yang direpresentasikan oleh kolom, selain itu mempunyai nilai 0. L[t] ditransformasi ke matriks co-occurrence antar objek (dinotasikan dengan R[t]), dengan cara:

R [t ] = L [t ] L'[t ] .

(1)

R[t] ditransformasi ke matriks jarak (dinotasikan dengan D[t]), dengan cara:

D[t ] = 1 − R [ t ] ,

(2)

sehingga didapatkan D[t] yang merupakan set individu data jarak. 3.3

Pemetaan DISTATIS. Langkah pertama metoda DISTATIS adalah mentransformasi D[t] (persamaan (2))

~

ke matriks cross-product (dinotasikan dengan S[ t ] ). Transformasi dari (kuadrat) jarak ke cross-product, dihitung dengan cara:

~ S[ t ] = − 12 ΞD[ t ]Ξ' ; dimana Ξ = I − N ×N

N ×N

1 m' ; dimana mi =

N × 1×N

1 N

(3)

Normalisasi Matriks cross-product dilambangkan dengan S [t ] , didapatkan dengan cara:

~ ~ S [ t ] = λ1−1 × S[ t ] ; λ1 adalah eigenvalue pertama dari S[ t ] .

(4)

Koefisien RV antara dua individu S [t ] dan S [t *] (Assessor urutan ke t dan t*) dihitung dengan cara:

RV = [ct ,t* ] =

trace{S'[ t ] S [t *] }

{

trace{S'[ t ] S [ t ] }× trace S'[ t *] S [ t *]

}

.

(5)

Koefisien RV merupakan elemen matriks kesamaan antar assessor (dilambangkan dengan C). Eigendecomposition C menghasilkan corresponding eigenvectors dan eigenvalues ( λ ), diperoleh dengan cara:

C = P Θ P' . dengan P' P = I

(6)

dimana Θ adalah matriks diagonal yang merupakan eigenvalues dan P adalah matriks corresponding eigenvectors (eigenvectors yang dinormalisasi) (Johnson, 2007) dari matriks C, dihitung dengan cara:

pi = ei

e i ' e i ; e i adalah eigenvector yang ke i dari C.

(7)


Persentase keragaman (inertia) yang digunakan sebagai ukuran kualitas pemetaan dihitung dengan cara:

τ = (1' λ ) × λ , −1

(8)

Skor faktor dari C (dilambangkan dengan G), diperoleh dengan cara:

G = PΘ1 2 .

(9)

dimana Θ1 2 adalah matriks diagonal akar eigenvalues. Dua kolom pertama matriks skor faktor dari C (mempunyai persentase keragaman maksimal untuk pemetaan dua dimensi), menjadi titik koordinat untuk pemetaan assessor berdasarkan penilaian keseluruhan objek. Matriks compromise adalah rata-rata terbobot dari setiap individu matriks crossproduct ( S [t ] ) yang didapatkan dari persamaan (4). Bobot optimal diperoleh dengan membagi setiap elemen p1 (yang dihasilkan dari persamaan (6)) dengan jumlah elemen p1. Vektor yang mengandung bobot ini lambangkan dengan α dan dihitung dengan cara:

α = (1' p1 ) × p1 , −1

(10)

dengan αt yang menunjukkan bobot bagi assessor yang ke-t, maka matriks compromise (dilambangkan dengan S[+]), dihitung dengan cara: T

S [ + ] = ∑ α t S [t ] .

(11)

t

Eigendecomposition dari S[+] adalah:

S [ + ] = V Λ V' ,

(12)

dimana V adalah matriks corresponding eigenvectors (Persamaan (7)) dan Λ adalah matriks diagonal yang merupakan eigenvalues. Persentase keragaman dihitung dengan menggunakan persamaan (8). Skor faktor dari S[+] dihitung dengan cara:

F = V Λ1 2 ,

(13)

dimana Λ1 2 adalah matriks diagonal akar eigenvalues. Dua kolom pertama matriks skor faktor dari S[+] menjadi titik koordinat untuk pemetaan objek. Mekanisme proyeksi dapat disimpulkan dari persamaan (12) dan (13), dan dari V’V = I (karena kolom V dinormalisasi), didapatkan bahwa:

F = S [ + ] V Λ −1 2 = V Λ V' V Λ −1 2 = V Λ Λ −1 2 = V Λ 1 2 , maka, matriks

(V Λ ) −1 2

(14)

memproyeksikan matriks cross-product ke pemetaan

(

compromise (dengan kata lain, matriks V Λ −1 2

) adalah operator proyeksi). Selain itu


juga matriks ini dapat digunakan untuk memproyeksikan matriks cross-product assessor ke pemetaan. Secara khusus, skor faktor bagi assessor ke-t dihitung dengan cara:

(

)

F[ t ] = S [ t ] V Λ −1 2 .

(15)

Dua kolom pertama untuk setiap F[ t ] menjadi titik koordinat untuk pemetaan assessor untuk setiap objek 3.4

Aplikasi menggunakan data ranking dunia perguruan tinggi. Aplikasi makalah ini menggunakan data ranking tidak lengkap hasil perankingan tiga

assessor (Webometrics, 4ICU dan QS) terhadap delapan perguruan tinggi negeri di Indonesia (IPB, ITB, ITS, Unair, Undip, UGM, UI, dan Unpad), ditampilkan di Tabel 1 kolom ranking. Tabel 1

Data Ranking Dunia Delapan Perguruan Tinggi oleh Tiga Assessor

Perguruan tinggi (n)

Webo 1127 569 1348 1474 1517 611 789 1834

IPB ITB ITS Unair Undip UGM UI Unpad

Ranking 4ICU QS 2303 501-550 31 401-450 769 601+ 2337 451-500 2434 601+ 626 321 168 236 2324 601+

Assessor (t) Nomor cluster Urutan ranking Webo 4ICU Webo 4ICU 1 1 4 5 2 2 1 1 3 3 5 4 4 1 6 7 4 4 7 8 2 5 2 3 5 6 3 2 6 1 8 6

Penyortiran Webo 4ICU QS 3 5 5 1 1 3 4 4 6 5 5 4 5 6 6 1 3 2 2 2 1 6 5 6

Sumber: Webometrics, 4 International Colleges & Universities dan QS Quacquarelli Symonds Ltd, 2010 Berdasarkan Tabel 1, terlihat bahwa ranking dunia untuk QS berbentuk selang sehingga langsung didapatkan data penyortiran enam kelompok, namun untuk Webometrics dan 4ICU mempunyai data ranking yang lengkap sehingga ditransformasi ke data penyortiran enam kelompok menggunakan metoda K-mean Clustering dengan matriks jarak Euclidean. Tabel 1 juga memperlihatkan bahwa data ranking dunia perguruan tinggi banyak yang menempati urutan besar, hal itu mengakibatkan penggunaan median sebagai penduga nilai tengah akan lebih baik dari pada mean. sehingga jarak Euclidean, dihitung dengan cara:

d i ,c ( i ) =

∑ (x p

j =1

− Med ( x( lj ) ) ) , 2

ij

(16)

dimana Med ( x (lj ) ) adalah median dari variabel xj pada kelompok ke-l atau kelompok cl, dengan hasil pengelompokan disajikan pada Tabel 1 kolom nomor cluster. Nomor cluster ditransformasi berdasarkan urutan ranking (Tabel 1), sehingga didapatkan data penyortiran yang merupakan kelompok objek dengan tingkatan berurut. Hasil penyortiran untuk assessor Webomeric, 4ICU, dan QS, disajikan pada Tabel 1.


Data penyortiran assessor digunakan untuk pemetaan assessor berdasarkan penilaian keseluruhan perguruan tinggi yang selanjutnya ditranformasi ke matriks jarak, kemudian metoda DISTATIS digunakan untuk memetakan matriks jarak sehingga dihasilkan eigenvalue, eigenvector dan skor faktor dari matriks kesamaan antar assessor yang disajikan di Tabel 2. Skor faktor dari matriks kesamaan antar assessor menghasilkan peta dua dimensi yang disajikan di Gambar 2. Tabel 2 Sumbu 1 2 3

Eigenvalue, Persentase Keragaman, Corresponding Eigenvectors dan Skor faktor dari Matriks Kesamaan Antar Assessor λ 2,19 0,44 0,37

τ 0,73 0,15 0,12

Skor faktor assessor (t) Webo 4ICU QS 0,87 0,85 0,85 0,00 0,47 -0,47 0,49 -0,25 -0,25

Eigenvector 0,59 0,00 0,81

0,57 0,71 -0,42

0,57 -0,71 -0,42

Sumber: Hasil perhitungan berdasarkan Tabel 1 Eigenvalue, dan skor faktor dari matriks compromise yang dihasilkan disajikan di Tabel 3, dengan skor faktor assessor 4ICU untuk setiap objek disajikan di Tabel 4. Titik koordinat untuk memetakan objek diambil dari skor faktor matriks compromise (Tabel 3). Titik koordinat pemetaan assessor untuk setiap objek diambil dari skor faktor assessor untuk setiap objek (contoh skor faktor 4ICU untuk setiap objek ditampilkan di Tabel 4). Peta dua dimensi objek, dan assessor untuk setiap objek disajikan di Gambar 3. Tabel 3

Eigenvalue, Persentase Keragaman dan Eigenvector dari Matriks Compromise

Sumbu

λ

τ

1 2 3 4 5 6 7

0,72 0,55 0,50 0,41 0,29 0,26 0,21

0,25 0,19 0,17 0,14 0,10 0,09 0,07

IPB 0,15 0,45 -0,01 0,28 0,00 0,20 0,16

ITB -0,47 0,00 -0,19 -0,02 -0,38 -0,03 0,00

ITS 0,15 -0,45 -0,01 0,28 0,00 0,20 -0,16

Skor faktor objek (n) Unair Undip UGM 0,25 0,25 -0,47 0,26 -0,26 0,00 -0,09 -0,09 -0,19 -0,33 -0,33 -0,02 0,00 0,00 0,38 0,05 0,05 -0,03 -0,28 0,28 0,00

UI -0,16 0,00 0,64 -0,07 0,00 -0,05 0,00

Sumber: Hasil perhitungan berdasarkan data di Tabel 1 Tabel 4 Sumbu 1 2 3 4 5 6 7

Skor faktor Assessor 4ICU untuk setiap objek IPB 0,32 0,43 -0,12 0,12 0,00 -0,20 -0,19

ITB -0,39 -0,14 -0,13 -0,06 -0,58 0,02 0,06

ITS -0,02 -0,51 0,03 0,26 0,00 0,42 -0,28

Skor faktor objek (i) Unair Undip 0,32 0,05 0,43 -0,36 -0,12 -0,04 0,12 -0,39 0,00 0,00 -0,20 0,16 -0,19 0,66

UGM -0,39 -0,14 -0,13 -0,06 0,58 0,02 0,06

Sumber: Hasil perhitungan berdasarkan Tabel 1 dan Tabel 3

UI -0,21 -0,14 0,61 -0,11 0,00 -0,02 0,06

Unpad 0,32 0,43 -0,12 0,12 0,00 -0,20 -0,19

Unpad 0,29 0,00 -0,08 0,20 0,00 -0,41 0,00


Keterangan Label: a(b;c)d a: Judge=Assessor b: Kriteria Penilaian A: Menyertakan kriteria akademik N: Tidak menyertakan kriteria akademik c: Inisial Assessor W: Webometrics I : 4ICU Q: QS d: Nomor urut Assessor

Gambar 2 Peta Assessor Berdasarkan Penilaian Keseluruhan Objek.

Webometrics 4ICU QS

Gambar 3

Peta Objek dan Assessor untuk Setiap Objek.

Persentase keragaman (persen komulatif eigenvalue) pertama dan kedua dari matriks kesamaan antar assessor menjadi acuan kualitas peta assessor berdasarkan penilaian keseluruhan objek, berdasarkan Tabel 2 terlihat bahwa τ 1 = 73% dan τ 2 = 15% , maka

kualitas peta adalah sebesar 73% + 15% = 88%. Persentase keragaman pertama dan kedua dari matriks compromise menjadi acuan kualitas peta objek dan assessor untuk setiap objek,


berdasarkan Tabel 3 terlihat bahwa τ 1 = 25% dan τ 2 = 19% , maka kualitas peta sebesar 25% + 19% = 44%. Gambar 2 memberikan informasi bahwa, ketiga assessor memberikan penilaian yang berbeda terhadap delapan perguruan tinggi. dari sisi kriteria penilaian terlihat mempengaruhi penyortingan dimana Webometrics dengan QS yang menyertakan kriteria akademik berada dibawah sedangkan 4ICU yang tidak menyertakan kriteria akademik berada di atas. Gambar 3 memberikan informasi bahwa, ketiga assessor memiliki penilaian yang relatif sepakat untuk ITB dan UGM, enam perguruan tinggi lainnya mengindikasikan bahwa ketiga assessor memiliki penilaian yang relatif tidak sepakat. Perguruan tinggi dapat dikelompokan menjadi dua, dimana ITB, UGM dan UI adalah perguruan tinggi yang mempunyai penilaian baik, sedangkan lima perguruan tinggi lainnya mempunyai penilaian jelek. Webometrics menilai UGM dengan ITB adalah sama, Undip sama dengan Unair. 4ICU menilai UGM dengan ITB adalah sama, Unpad sama dengan Unair dan IPB. QS menilai UGM sama dengan ITB, ITS sama dengan Undip dan Unpad. 4 4.1

Kesimpulan dan Saran Kesimpulan

DISTATIS dapat digunakan jika data ranking tidak lengkap ditransformasi ke matriks jarak antar objek untuk setiap assessor. Peta assessor berdasarkan penilaian keseluruhan objek memberikan informasi bahwa, semakin dekat jarak antar titik maka assessor semakin sepakat dalam menilai objek, semakin jauh jarak antar titik maka assessor semakin tidak sepakat dalam menilai objek. Peta objek dan assessor untuk setiap objek memberikan informasi bahwa, semakin dekat jarak antar titik maka semakin mirip, semakin jauh jarak antar titik maka semakin beda, semakin dekat titik suatu assessor antar objek maka assessor menilai objek semakin mirip, semakin jauh titik suatu assessor antar objek maka assessor menilai objek semakin berbeda. Kualitas pemetaan assessor berdasarkan penilaian keseluruhan objek didapatkan berdasarkan persentase keragaman dari matriks kesamaan antar assessor. Kualitas pemetaan yang memuat objek, dan assessor untuk setiap objek didapatkan berdasarkan persentase keragaman dari matriks compromise. 4.2

Saran

1. Jika data berasal dari sampel dan hasil yang diinginkan dapat mempresentasikan populasi maka harus menggunakan teknik Probability sampling.

2. Mengembangkan Versi DISTATIS dari jenis data lainnya, karena selama data tersebut dapat ditransformasi ke matriks jarak maka DISTATIS dapat digunakan.


3. Matriks jarak Euclidean sangat sensitif bila ada outlier, maka diperlukan pengembangan versi robust dari DISTATIS dengan menggunakan algoritma robust eigendecomposition. 5

Persantunan

Terima kasih kami ucapkan untuk Dr. Sutikno, M.Si. dan Dr. Irhamah, M.Si. yang

telah memberikan pengarahan, koreksi dan solusi untuk kesempurnaan makalah ini. 6

Daftar Pustaka

Abdi, H., Valentin, D., Chollet, S., dan Chrea, C. (2006), “Analyzing Assessors and Products in Sorting Tasks: DISTATIS, Theory and Applications”, Food Quality and Preference, Vol. 18, hal. 627–640. Gabriel, K.R. (1971), “The biplot graphic display of matrices with application to principal component analysis”, Biometrika, Vol. 58, No. 3, hal. 453–467. Gower, J.C., dan Dijksterhuis, G.B. (2004), Procrustes problems, Oxford University Press, Inc., New York. Grenacre, M.J., (1984), Theory and Applications of Correspondence Analysis, Academic Press, Inc., London. Johnson, R.A. dan Wichern, D.W. (2007), Applied Multivariate Statistical Analysis, 6th edition, Pearson Education, Inc., New Jersey. Kruskal, J., dan Wish, M. (1978), Multidimensional Scaling, Sage University Papers Series. Quantitative Applications in the Social Sciences ; No. 07-011, Sage Publications, Inc., Iowa. Lawless, H.T., Sheng T., dan Knoops, S. (1995), “Multidimensional scaling of sorting data applied to cheese perception”, Food Quality and Preference, Vol. 6, hal. 91–98. Husson, F., & Pagès, J. (2006), “INDSCAL model: geometrical interpretation and methodology”, Computational Statistics and Data Analysis, Vol. 50, hal. 358–378. Harshman, R.A., dan Lundy, M.E., (1994), “PARAFAC: Parallel factor analysis”, Computational Statistics and Data Analysis, Vol. 18, hal. 39–72. QS

University Quacquarelli Symonds Ltd. (2010), http://www.topuniversities.com/university-rankings/asian-universityrankings/overall, diunduh pada tanggal 30 Desember 2010.

Rankings,

Webometrics. (2010), Ranking Web: Universities, http://www.webometrics.info/ rank_by_country.asp?country=id, diunduh pada tanggal 30 Desember 2010. Wikipedia. (2011), Ranking, http://en.wikipedia.org/wiki/Ranking, diunduh pada tanggal 14 Maret 2011. 4

International Colleges & Universities. (2010), University Web http://www.4icu.org/id/, diunduh pada tanggal 30 Desember 2010.

Rankings,

Analisis Objek dan Assessor dari Data Ranking Tidak Lengkap Menggunakan DISTATIS Irlandia Ginanjar 1, 2, *, Bambang Widjanarko O

Recommend Documents