Menentukan Prioritas Elemen Desain Dan Aplikasi Web Berdasarkan Standarisasi W3c Pada Taksonomi ELearning Assessment Questions And Tasks Menggunakan Ahp
Menentukan Prioritas Elemen Desain Dan Aplikasi Web Berdasarkan Standarisasi W3c Pada Taksonomi E-Learning Assessment Questions And Tasks Menggunakan Ahp Migunani Program Studi Sistem Informasi, STMIK ProVisi, Semarang Migunani email :
[email protected] Abstract ISO (International Organization for Standadization) sebagai organisasi international yang menetapkan standar untuk industri dan komersial menetapkan standar yang berlaku secara international. World Wide Web Consortium (W3C) adalah suatu konsorsium yang bekerja untuk mengembangkan standar-standar untuk WWW (World Wide Web). Standar W3C menetapkan spesifikasi teknologi-teknologi utama yang dipakai sebagai basis utama web, seperti URL (Uniform Resource Locator), HTTP (Hypertext Transfer Protocol), HTML (HyperText Markup Language) dan standar-standar lainya dikembangkan dan diatur oleh badan ini. Standar tersebut menjadi acuan bagi para pengembang dalam membangun web. Website sendiri memiliki berbagai karakteristik yang dapat dibedakan berdasarkan konteks dan kontennya. Pada web untuk kebutuhan assessment atau sering disebut dengan e-assessment dirancang untuk mengakomodasi fungsi-fungsi assessment menggunakan teknologi web. E-Assessment atau dikenal dengan istilah Computer Based Assessment merupakan sebuah metode dalam pengelolaan test dengan respon yang direkam secara elektronik. Melalui proses hirarki analitik (analytical hierarchy process) dapat di tentukan prioritas elemen desain dan aplikasi web menurut standarasi W3C pada taksonomy e-learning assessment Questions and Task. Keywords: E-assessment, Element Desain, Aplikasi Web, W3C, Analytical Hierarchy Process. 1. 1. Pendahuluan. Standarisasi merupakan konsensus masyarakat pengguna dibidang industri dan komersial yang telah memiliki organisasi baik ditingkat international maupun di setiap negara. ISO (International Organization for Standadization) sebagai organisasi international yang menetapkan standar untuk industri dan komersial telah menetapkan standar yang berlaku secara international. World Wide Web Consortium (W3C) adalah suatu konsorsium yang bekerja untuk mengembangkan standar-standar untuk WWW (World Wide Web). Standar W3C menetapkan spesifikasi teknologi-teknologi utama yang dipakai sebagai basis utama web, seperti URL (Uniform Resource Locator), HTTP (Hypertext Transfer Protocol), HTML (HyperText Markup Language) dan standar-standar lainya dikembangkan dan diatur oleh badan ini. Menurut W3C, terdapat 9 (sembilan standar untuk kajian mengenai web design and application. Standarisasi tersebut terdiri dari :
2.
3.
4.
5.
HTML dan CSS, merupakan teknologi dasar untuk membangun halaman web. Struktur halaman web menggunakan tag HTML dan XHTML, CSS digunakan untuk gaya dan layout termasuk webfont (bentuk huruf pada web). Scripting dan Ajax, sebagai standar API (application program interface) untuk pengembangan aplikasi web sisi klien termasuk geolocation. Sedangkan XMLHttp Request pada Ajax, dan widget mobile. Graphics, menetapkan standar grafik untuk web dengan format raster berekstensi PNG, sedangkan format vektor berekstensi SVG dan Canvas API. WebCGM merupakan format khusus untuk rekayasa otomotif dan aeronautika. Audio dan Video, merupakan format standar W3C yang memungkinkan authoring presentasi audio dan video termasuk didalamnya HTML, SVG, dan SMIL (untuk sinkroisasi). Accessbility, W3C Web Accessibility Initiative (WAI) telah menerbitkan pedoman aksesibilitas konten web (WCAG) untuk membantu penulis membuat konten yang dapat diakses oleh 23
Jurnal Teknologi Informasi dan Komunikasi Vol. 3 No.1 Maret 2012 penyandang cacat. WAI-ARIA memberikan kepada author berupa alat yang lebih untuk membuat Aplikasi Web diakses dengan menyediakan tambahan semantik tentang widget dan perilaku. 6. Internationalization, merupakan misi W3C untuk merancang teknologi yang dapat bekerja lintas budaya dan bahasa. 7. Mobile Web, merupakan standar Web yang tersedia untuk perangkat, konteks dan lokasi. 8. Privacy, pentingnya mempertimbangkan implikasi dan keamanan web sebagai bagian dari teknologi. 9. Math on the web, W3C MathML memungkinkan matematika dapat di layani, diterima, dan diproses di World Wide Web. Matematika dan formulanya dapat digunakan di Web untuk keperluan laporan bisnis, bahan pendidikan dan penelitian ilmiah. Standar tersebut menjadi acuan bagi para pengembang dalam membangun sebuah web. Website sendiri memiliki berbagai karakteristik yang dapat dibedakan berdasarkan konteks dan kontennya. Diantaranya dapat berupa web portal, web mail, web blog, web forum, web leaening, web commerce, web base testing (web base assessment) menunjukkan karakteristik yang berbeda satu sama lain. Pada web untuk assessment atau sering disebut dengan e-assessment dirancang untuk mengakomodasi fungsi-fungsi assessment menggunakan teknologi web. E-Assessment atau dikenal dengan istilah Computer Based Assessment, Computer Based Testing, atau Computerized Testing merupakan sebuah metode dalam pengelolaan test dengan respon yang direkam secara elektronik. Offline Assessment maupun Online Assesment masingmasing menggunakan bentuk atau format soal tertentu dalam penyajianya. 2. Pembahasan 2.1. Format Soal Assessment. Scalish and Giford (2006), menguraikan 28 macam format item soal yang dikategorikan kedalam suatu taksonomi (pengelompokan sesuatu berdasarkan hirarki tertentu) yang berbasis pada tingkat keterkaitan dalam format item soal tersebut yang dibedakan menjadi tiga kelompok soal. Kelompok yang pertama sepenuhnya menggunakan 24
format item soal berupa pilihan (multiple choice), kelompok kedua sepenuhnya menggunakan format item soal berupa presentasi (presentation), dan kelompok yang berada diantara format pilihan dan format peresentasi/portofolio. Kelompok format soal menurut garis vertikal memberikan gambaran tentang kompleksitas format item soal tersebut, semakin kebawah semakin kompleks atau rumit, sedangkan menurut garis horisontal menggambarkan batasan format item soal semakin ke kanan semakin tidak terbatas pada format tertentu. Taksonomi format soal dalam eAssessment dapat dilihat pada Gambar 1.
Gambar 1. Taxonomy for E-Learning Assessment Questions and Tasks (Scalish & Giford, 2006) Berdasarkan taksonomi format soal assessment dapat didiskripsikan sebagai berikut. A. Pilihan ganda (mulituple choice). Format soal dengan memilih jawaban yang benar dari satu set jawaban. Kategori ini dibedakan menjadi empat macam format yang berbeda. Itemitem jawaban akan diuji untuk menentukan jawaban yang benar dari satu set jawaban yang disediakan. Kategori pilihan ganda dibedakan menjadi empat macam format yaitu : 1) Benar/Salah (true/false). Format benar/salah memberikan alternatif pilihan yang sama untuk setiap soal berupa jawaban benar atau salah. Pertanyaan-pertanyaan yang disajikan berupa uraian yang mengandung suatu pernyataan yang benar atau pernyataan yang salah.
Menentukan Prioritas Elemen Desain Dan Aplikasi Web Berdasarkan Standarisasi W3c Pada Taksonomi ELearning Assessment Questions And Tasks Menggunakan Ahp
Gambar 2. Format Soal True/False 2) Pilihan alternatif (alternate choice). Berbeda dengan format benar/salah yang hanya memiliki sebuah peryataan, format pilihan alternatif memiliki dua pernyataan untuk dintanyakan kepada responden agar responden memilih jawaban yang lebih tepat.
Gambar 5. Format Soal multiple choice with new media distractor B. Seleksi / Identifikasi (selection/identification) Format ini menyediakan pilihan jawaban dengan pilihan ganda yang dapat diklasifikasikan sebagai pendekatan seleksi atau identifikasi dalam assessment. 1) Benar/salah ganda (multiple true/false) Format ini memiliki lebih dari satu set item jawaban benar atau salah yang digunakan untuk menjawab sebuah pertanyaan. Dengan memberikan jawaban benar dan jawaban salah pada item pilihan jawaban yang disajikan.
Gambar 3. Format Soal alternate choice 3) Konvensional atau standar pilihan ganda (convensional or standar multiple choice). Format pilihan ganda konvensional telah banyak digunakan dalam pelaksanaan assessment. Pada format ini soal memiliki empat/lima jawaban dengan satu jawaban benar dan responden memilih satu jawaban benar.
Gambar 6. Format Soal multiple choice with new media distractor 2) Benar/salah dengan penjelasan (true/false with explanation) Format ini memiliki lebih dari satu set item jawaban benar atau salah dengan menambahkan penjelasan pada setiap item jawaban. Responden memilih jawaban benar disertai alasan mengapa jawaban tersebut benar, atau responden memilih jawaban yang salah disertai alasan mengapa jawaban salah.
Gambar 4. Format Soal Standart multiplechoice 4) Pilihan ganda dengan media baru (multiple choice with new media distractor). Format pilihan ganda hasil inovasi dengan respon jawaban yang secara umum tidak menggunakan seting kertas dan pensil, namun pemilihan jawaban dilakukan dengan menekan tombol mouse pada area gambar grafis atau multimedia.
Gambar 7. Format Soal multiple choice with new media distractor
25
Jurnal Teknologi Informasi dan Komunikasi Vol. 3 No.1 Maret 2012 3) Banyak jawaban (multiple answer) Format ini memiliki satu set item jawaban yang tersedia, responden memilih lebih dari satu jawaban benar yang disediakan.
Gambar 9. Format Soal Mencocokkan
Gambar 7. Format Soal multiple answer 4) Pilihan ganda kompleks (complex multiple choice) Format ini memiliki satu set item jawaban yang tersedia, responden memilih satu jawaban benar yang bersifat komplek.
2) Mengkatagorikan (categorizing) Format soal yang menyediakan satu set jawaban, responden mengkatagorikan jawabanjawaban yang disediakan dengan jawaban yang telah disediakan pula.
Gambar 10. Format Soal Categorizing
Gambar 8. Format Soal complex multiple choice C. Mengurutkan ulang/menata ulang (reordering /rearrangement). Format soal yang menyediakan satu set itemitem jawaban, responden memilih jawaban dengan cara mengurutkan ulang atau dengan menata ulang jawaban sehingga diperoleh jawaban yang benar dan berurutan. 1) Mencocokkan (matching) Format soal yang memiliki satu set pasangan jawaban yang di letakkan bersebelahan yaitu kiri dan kanan. Responden memilih jawaban dengan mencocokkan jawaban yang berada pada lajur kiri dengan jawaban yang berada pada lajur kanan.
26
3) Merangking dan mengurutkan (ranking and sequencing) Format soal yang menyediakan satu set jawaban, responden merangking dan mengurutkan jawaban yang tersedia.
Gambar 11. Format Soal Rangking 4) Menyusun kebenaran (assembling proof) Format soal yang menyediakan satu set jawaban, responden memilih beberapa jawaban untuk disusun menjadi sebuah statemen atau kalimat yang benar.
Menentukan Prioritas Elemen Desain Dan Aplikasi Web Berdasarkan Standarisasi W3c Pada Taksonomi ELearning Assessment Questions And Tasks Menggunakan Ahp
3) Gambar figur terbatas (limited figural drawing) Format soal yang terbentuk dari sebuah gambar, responden melakukan penyesuaian atau mengoreksi gambar dengan mengatur sedemikian rupa agar jawaban sesuai dengan pertanyaan yang disediakan.
Gambar 12. Format Soal Assembling Proof D. Penggantian/mengoreksi (subtitution/correction) Format soal yang menyediakan pertanyaan dengan jawaban yang dapat diganti atau di koreksi sehingga pertanyaan dan jawaban membentuk sebuah pernyataan atau kalimat yang benar. 1) Interlinier Format soal yang terbentuk dari sebuah kalimat pertanyaan, responden memilih beberapa jawaban yang telah disediakan diantara kalimat pertanyaan tersebut untuk melengkapi sebuah kalimat pertanyaan sehingga menjadi sebuah kalimat yang benar.
Gambar 13. Format Soal Subtitution
Gambar 15. Format Soal Limited Figural Drawing 4) Mengoreksi kesalahan (bug/fault correction) Format soal yang terbentuk dari sebuah gambar, responden mengoreksi bagian dari gambar untuk memberikan jawaban yang benar.
2) Sore finger Format soal yang terbentuk dari beberapa kalimat, responden memilih jawaban yang telah disediakan diantara kalimat-kalimat soal dengan jawaban yang ditandai menggunakan garis bawah.
Gambar 16. Format Soal Fault Correction
Gambar 14. Format Soal Sore Finger
2.2. Analisis Menggunakan Analytical Hierarchy Process. Metode AHP memiliki tahapan-tahapan dalam analisis berbasiskan nilai angka antara 1 (satu) sampai angka 9 (sembilan) yang menunjukkan nilai bobot perbandingan berpasangan. Kriteriakriteria dalam penilaian dan alternatif-alternatif solusi yang dapat digunakan masing-masing 27
Jurnal Teknologi Informasi dan Komunikasi Vol. 3 No.1 Maret 2012 dibandingkan secara berpasangan. Tahapan analisis menggunakan metode AHP diawali dengan menetapkan tujuan yang hendak dicapai, menetapkan kriteria-kriteria dalam penilaian dan menetapkan alternatif-alternatif dalam penilaian peserta didik. Terdapat tiga prinsip dasar AHP menurut Saaty (1994), yaitu : 1. Dekomposisi (Decomposition) Setelah persoalan didefinisikan, maka perlu dilakukan decomposition, yaitu memecah persoalan yang utuh menjadi unsur-unsurnya. Jika ingin mendapatkan hasil yang akurat, maka pemecahan terhadap unsur-unsurnya dilakukan hingga tidak memungkinkan dilakukan pemecahan lebih lanjut. Pemecahan tersebut akan menghasilkan beberapa tingkatan dari suatu persoalan. Oleh karena itu, proses analisis ini dinamakan hierarki (hierachy). 2. Penentuan Komparasi (Comparative Judgment) Prinsip ini membuat penilaian tentang kepentingan relatif dua elemen pada suatu tingkat tertentu yang berkaitan dengan tingkat di atasnya. Penilaian ini merupakan inti dari AHP karena berpengaruh terhadap prioritas elemenelemen. Hasil penilaian ini tampak lebih baik bila disajikan dalam bentuk matriks perbandingan berpasangan (pairwise comparison). 3. Sintesis Prioritas (Synthesis of Priority) Dari setiap matriks pairwise comparison dapat ditentukan nilai eigenvector untuk mendapatkan prioritas daerah (local priority). Oleh karena matriks pairwise comparison terdapat pada setiap tingkat, maka global priority dapat diperoleh dengan melakukan sintesa di antara prioritas daerah. Prosedur melakukan sintesa berbeda menurut hierarki. Pengurutan elemen-elemen menurut kepentingan relatif melalui prosedur sintesa dinamakan priority setting. Tahapan-tahapan dalam AHP untuk memperoleh prioritas kriteria dan prioritas alternatif dan peringat alternatif adalah sebagai berikut : 1. Menentukan tujuan yang hendak dicapai yaitu Menentukan Prioritas Elemen Desain dan Aplikasi Web e-Assessment Berdasar Standar W3C.
28
2.
3.
4.
Menentukan kriteria yang akan digunakan untuk mencapai tujuan yang terdiri dari Multiple Choice, Selection (Identification), Reordering (Rearrange- ment), Subtitution (Correction). Menentukan alternatif yang akan dipilih berdasarkan kriteria diatas yang terdiri dari HTML/CSS, Scripting/Ajax, Graphic, Audio dan Video, Access bility, Internationalization, Mobile Web, Privacy, Math On The web. Membuat pohon hierarchy untuk berbagai kriteria dan alternatif keputusan yang ditentukan. Gambar pohon hirarki ditunjukkan pada gambar berikut :
Menentukan Prioritas Elemen Desain Dan Aplikasi Web Berdasarkan Standarisasi W3c Pada Taksonomi ELearning Assessment Questions And Tasks Menggunakan Ahp
Gambar 17. Pohon hirarki
5.
Membuat matrik perbandingan berpasangan (pairwise comparison) Membuat Matriks perbandingan berpasangan digunakan untuk memperoleh prioritas seluruh alternatif yang ada. Melalui metode AHP, prioritas dari sederetan kriteria atau alternatif ditentukan dengan membandingkan masing-masing kriteria yang diberi bobot dari skala terendah hingga tertinggi yaitu dari nilai 1 hingga nilai 9. Secara relatif persepsi bahwa perbandingan antara alternatif satu dengan lainnya, dipilih manakah yang paling penting dan berapakah bobot untuk tingkat kepentinganya? Sehingga akan diperoleh nilai pembobotan dari setiap kriteria. Nilai bobot perbandingan pada metode AHP digambarkan seperti pada tabel berikut : Bobot 1
Definisi Sama pentingnya
3
Sedikit penting
lebih
5
Lebih penting
Keterangan Dua aktivitas memberikan kontribusi yang sama kepada tujuan. Pengalaman dan selera sedikit menyebabkan yang satu sedikit lebih penting. Pengalaman dan selera sangat menyebabkan
penilaian yang satu Gambar 17. Pohon hirarki lebih penting dari pada yang lain. 7 Sangat lebih Aktivitas yang satu penting sangat disukai dibandingkan yang lain, dominasinya tampak dalam kenyataan. 9 Mutlak lebih Bukti bahwa antara penting yang satu lebih disukai dari yang lain menunjukkan kepastian tingkat tertinggi yang dapat dicapai. 2, 4, 6, Nilai antara Diperlukan 8 angka ganjil kesepakatan nilai di atas/dibawah (berdasarkan kompromi). Tabel 1. Nilai Bobot Pairwise Comparison Matrix 6. Menghitung peringkat alternatif dari matrik perbandingan berpasangan masing-masing alternatif dengan menentukan nilai eigenvector dari setiap alternatif dengan menyusun matriks perbandingan berpasangan setiap alternatif berdasarkan kriteria yang telah ditentukan yaitu mutiplechoice, selection, reordering, subtitution.
29
Jurnal Teknologi Informasi dan Komunikasi Vol. 3 No.1 Maret 2012 7. Menghitung peringkat alternatif ditentukan dengan mengalikan nilai eigenvector alternatif dengan nilai eigenvector kriteria. 8. Menentukan rasio konsistensi dengan menentukan terlebih dahulu nilai weighted sum vector (WSV) yang diperoleh dengan mengalikan nilai faktor evaluasi (eigenvector) dengan matriks perbandingan berpasangan awal kemudian dijumlahkan setiap barisnya. Selanjutnya untuk consistency vector (CV) diperoleh dengan membagi nilai weighted sum vector dengan nilai faktor evaluasi yang diperoleh sebelumnya. 9.
Menghitung nilai lambda (λ), consistency index (CI) dan consistency ratio (CR) dengan formula :
λ=
∑ CV ∑n
CI =
..................................................... (1)
λ −n n −1
.....................................................
(2)
CR =
CI ................................................... (3) RI
Dimana : λ = Nilai Rata-rata Consistency Vector CV = Consistency Vector n = Jumlah faktor yang sedang dibandingkan CI = Consistency Index RI = Random Index CR = Consistency Ratio Setiap keputusan selalu diharapkan keputusan yang konsisten. Meskipun demikian banyak kasus dimana kita tidak dapat mengambil keputusan yang perfectly consistent. Dalam penggunaan AHP, terdapat beberapa faktor yang dapat menyebabkan responden memberikan jawaban yang tidak konsisten, yang dapat disebabkan karena beberapa sebab, diantaranya : a) Keterbatasan informasi Apabila subjek yang melakukan perbandingan dalam AHP memiliki keterbatasan informasi mengenai faktor-faktor yang diperbandingkan, maka penilaian yang mereka berikan cenderung akan bersifat acak (random) sehingga memberikan rasio inkonsistensi yang tinggi. Oleh karena itu, pihak yang memberikan
30
penilaian perlu memiliki pengetahuan yang cukup terhadap topik yang dianalisis. b) Kurang konsentrasi Kurang konsentrasi pada saat memberikan penilaian atau tidak tertarik pada topik analisis juga dapat menyebabkan hasil penilaian yang tidak konsisten. c) Ketidak konsistenan dalam dunia nyata Dalam dunia nyata, banyak kasus yang menunjukkan adanya ketidakkonsistenan dalam kejadian-kejadian tertentu. d) Struktur model yang kurang memadai. Secara ideal, keputusan yang kompleks disusun secara hirarkis sehingga faktor yang diperbandingkan tersebut merupakan pilihan yang berada pada level yang sama atau memiliki elemen yang setara (comparable). Namun pada praktiknya seringkali membandingkan suatu faktor dengan faktor lain yang levelnya berbeda atau bukan merupakan pilihan yang comparable. Salah satu hal yang perlu dicatat menyangkut inkonsistensi adalah bahwa tujuan utama proses pengambilan keputusan bukanlah derajat inkonsistensi yang rendah. Inkonsistensi rasio yang rendah bersifat perlu (necessary) namun belum cukup (sufficient) untuk sebuah keputusan yang baik. Dibandingkan dengan konsistensi, lebih baik mengutamakan akurasi. AHP mentoleransi adanya inkonsistensi dengan menyediakan ukuran inkonsistensi penilaian. Ukuran ini merupakan salah satu elemen penting dalam proses penentuan prioritas berdasarkan pairwise comparison. Semakin besar rasio konsistensi, semakin tidak konsisten Rasio konsistensi yang acceptable adalah kurang dari atau sama dengan 10 persen, meskipun dalam kasus tertentu rasio konsistensi yang lebih besar dari 10 persen dapat dianggap acceptable (Forman dan Selly, 2001).
Menentukan Prioritas Elemen Desain Dan Aplikasi Web Berdasarkan Standarisasi W3c Pada Taksonomi ELearning Assessment Questions And Tasks Menggunakan Ahp
2.3. Proses Sintesa Menggunakan Expertchoice. a. Menetapkan tujuan sintesa, kriteria dan subkriteria dalam aplikasi.
e. Pembobotan pada subkriteria Selection.
Gambar 22. Matrik Perbandingan Kriteria Selection f. Pembobotan pada subkriteria Reordering.
Gambar 23. Matrik Perbandingan Kriteria Reordering g. Pembobotan pada subkriteria Subtitution. Gambar 18. Tujuan, Kriteria dan Subkriteria b. Pembobotan Alternatif.
Gambar 24. Matrik Perbandingan Kriteria Subtitution
Gambar 19. Tujuan, Kriteria dan Subkriteria c. Pembobotan pada setiap kriteria.
h. Hasil sintesa prioritas untuk setiap alternatif berdasarkan kriteria dan subkriteria. Tahapan akhir setelah tahapan pembobotan kriteria dan sub kriteria selanjutnya diperoleh hasil sintesa yang menghasilkan prioritas elemen desain dan aplikasi web menurut standarisasi W3C pada taksonomi e-learning assessment questions and tasks.
Gambar 20. Matrik Perbandingan Kriteria d. Pembobotan pada subkriteria Multiplechoice.
Gambar 21. Matrik Perbandingan Kriteria Multiplechoice
31
Jurnal Teknologi Informasi dan Komunikasi Vol. 3 No.1 Maret 2012 3. Kesimpulan Analytic Hierarchy Process pada akhirnya dapat membantu menentukan Prioritas Elemen Desain dan Aplikasi Web Menurut Standarisasi World Wide Web Consortium (W3C) pada e-Assessment berdasarkan taksonomi format soal. Dapat disimpulkan bahwa setelah melalui proses pembobotan setiap komponen-komponenya dengan nilai inconsistency secara keseluruhan (overall) sebesar 0,0685 (6,85%). Hasil analisis menunjukkan bahwa komponen scripting/ajax yang merupakan komponen utama math on the web dan graphic, masing-masing menjadi prioritas kedua dan ketiga dalam pengembangan assessment berbasis web. Komponen-komponen berikutnya secara berurutan yaitu html/CSS, internationalization, privacy, accessbility, mobile web dan audio dan video sebagai komponen-komponen lain yang dapat diimplementasikan.
Daftar Pustaka Forman, Ernest H. and Mary Ann Selly, 2001, Decision by Objectives, World Scientific Publishing Co. Pte. Ltd Gifford, Scalise, 2006. Computer Based Assessment In Learning : A Framework For Constructing “Intermediete Constraint” Question and Task For Technology Platform, The Journal Of Technology, Learning and Assessment, Vol. 4, No. 6. Saaty, T.L., 1994, Fundamentals of Decision Making and Priority Theory with the Analytic Hierarchy Process, RWS Publications, Pittsburgh ___________, Modul 6 : Proses Hirarki Analitik, http://www.scribd.com/doc/59849154/2908406Modul-6-Analytic-Hierarchy-Process, Diakses 12 April 2010 ____________, 2011,Web Design and Application Standard, http://www.w3.org/standards/webdesign, Diakses 12 April 2011
32
