BAB 4 PENGUJIAN DAN EVALUASI
4.1 Pengujian Pengujian tanda tangan dilakukan dengan cara meminta masing – masing user untuk melakukan 60 tanda tangan. Lalu kami akan menyeleksi tanda tangan mereka dengan menggunakan 15 tanda tangan yang berasal dari 1 user yang masing – masing tanda tangan tersebut terdiri dari 10 tanda tangan asli dan 5 tanda tangan palsu lalu kami akan mencoba membuat tiruan tanda tangan mereka sebanyak 5 tanda tangan, sehingga akan terdapat 10 tanda tangan asli, dan 10 tanda tangan palsu (Özgündüz, Emre et al, 2005). Input tanda tangan palsu yang kami gunakan merupakan input tanda tangan yang sulit dibedakan dengan tanda tangan asli jika menggunakan mata manusia, dikarenakan tanda tangan palsu yang kami gunakan memiliki tingkat kemiripan yang cukup tinggi. Pada bagian input data baru telah tercatat matriks ke 12 data asli dan palsu, yang masing – masing terdiri dari 6 tanda tangan asli dan 6 tanda tangan palsu. Matriks tanda tangan tersebut tersimpan dalam bentuk text file. Lalu kami menggunakan sisanya yaitu 4 tanda tangan asli dan 4 tanda tangan palsu yang berjumlah 8 tanda tangan sebagai data yang akan digunakan untuk diuji, apakah sistem kami berkerja sesuai dengan yang diinginkan. Setelah menggunakan proses learning yang terdapat pada Input Data Baru maka dimulai pengujian pada bagian pretesting. Pada bagian pretesting ini kami menggunakan cara pengklusteran FCM dengan memasukkan input tanda tangan baru
93
94 sebagai matriks baris ke – 13 dan mengujinya dengan ke – 12 matrix yang telah tersedia yang dapat dipanggil dari text file yang telah disimpan sebelumnya. Kami mencoba menguji tanda tangan dengan menggunakan fitur ekstrak yang berbeda untuk mengecek fitur ekstrak manakah yang terbaik untuk mengekstraksi tanda tangan. Fitur yang pertama menggunakan 26 fitur dengan 24 masking seluas 3 x 3 ditambah dengan width dan height dari tanda tangan, fitur yang kedua menggunakan 34 fitur yang menggunakan masking 24SE seluas 3 x 3 dan 8 arah pixel connection serta width dan height dari tanda tangan fitur, terakhir dengan menggunakan 20 fitur masking dengan 18SE seluas 5 x 5 dan width serta height dari tanda tangan. Hasil pengujian akan dihitung untuk mendapatkan nilai tingkat kesalahan atau error Rate dan nilai keberhasilan. Berikut rumus menghitung error Rate dan nilai keberhasilan:
Error Rate = (Jumlah tanda tangan yang diuji salah / Jumlah semua tanda tangan)*100%
Nilai Keakuratan = 100% - ((total error Rate data training + total error Rate data uji)/2)
Pengujian
ini
sendiri
menggunakan
spesifikasi
perangkat
keras
yang
menggunakan proses Intel Core Duo 2.2GHz, Memory DDR2 2GB, Hardisk 160 GB, Kartu Grafis GeForce 8600MGA 256Mb. Sedangkan spesifikasi perangkat lunak yang digunakan adalah Sistem Operasi Microsoft Windows Vista Home Premium dan MATLAB 7.1.0.264 (R14) Service Pack 3.
95
4.1.1 Prosedur Pengujian Prosedur pengujian yang dilakukan berguna untuk mengetahui bagaimana kinerja sistem yang sebenernya. Untuk memberikan contoh implementasi maka akan diberikan sample beberapa jenis tanda tangan. Langkah – langkah dalam melakukan prosedur pengujian adalah sebagai berikut : •
Pertama kali membuka program ini maka akan tampak menu intro. Hal yang perlu dilakukan adalah dengan mengklik tanda ENTER. Setelah mengklik tanda ENTER.
Gambar 4.1 Menu Intro
96 •
Setelah mengklik tanda ENTER maka kita akan masuk ke menu index. Di sini terdapat tiga pilihan tombol yaitu, pertama pretesting, tombol input data baru, dan terakhir tombol exit. Karena kita baru menjalan program ini untuk pertama kali, maka untuk memulai learning yang pertama adalah dengan memilih pilihan input data baru.
Gambar 4.2 Menu Index
•
Setelah kita masuk ke menu menambah daftar baru akan tampak menu inputan. Pertama – tama kita akan memasukan nama file untuk menyimpan input data yang akan didapat, misalnya nama file tersebut adalah ”input”. Setelah nama file kita masukkan, kita akan dapat memasukkan data tanda tangannya. Di sini kita diharuskan untuk memasukkan 6 ( enam ) tanda tangan asli dan 6 ( enam ) tanda tangan palsu. Yang totalnya 12 ( dua belas
97 ) tanda tangan. Dan menurut ketentuan kami, input pertama harus tanda tangan asli sedang sisanya dimasukkan secara acak. Cara memasukkan image tanda tangannya adalah dengan menekan tombol browse yang akan diterima adalah image tanda tangan yang berbentuk .BMP dan .GIF. Ketika kita telah memasukkan semua image tanda tangan tersebut, maka layar akan tampak seperti contoh.
Gambar 4.3 Menu Input Data Baru •
Setelah kita memasukkan data baru maka selanjutnya dapat menekan process image, setelah itu maka image tanda tangan tersebut akan dilakukan ekstraksi fitur, dimana fitur ekstraksi itu meliputi maksing dan height witdh ratio. Hasil fitur ekstraksi itu merupakan input data untuk fcm. Setelah di proses maka image tersebut akan terlihat seperti gambar.
98
Gambar 4.4 Setelah Pemoresesan Image
•
Setelah image di proses maka selanjutnya kita akan melakukan analis, dengan menekan tombol analyze. Dengan menekan tombol analyze maka kita akan menjalan kan FCM yang pertama. FCM ini berguna untuk validasi, apakah benar ada 6 ( enam ) asli dan 6 ( enam ) tanda tangan palsu.
•
Setelah di analyze dan gagal maka kita akan diharuskan untuk kembali mengulang memasukkan data, tetapi jika sukses maka langkah yang selanjutnya maka kita menekan tombol save. Ketika tombol save ditekan maka aplikasi ini akan men – save input data atau hasil ekstraksi fitur tiap image ke dalam file sesuai dengan nama yang kita tentukan diatas.
99
Gambar 4.5 Warning Message Apabila Input Salah
•
Sekarang saatnya kita mulai masuk ke bagian pretesting. Pada bagian pretesting ini, dari bagian input data baru setelah data di save, maka kita tekan tombol back to menu. Lalu baru masuk ke bagian pretesting. Bagian pretesting dapat dilihat seperti gambar berikut.
100
Gambar 4.6 Menu Pretesting •
Pada bagian pretesting ini, kita memasukkan input data yang telah di save, kemudian kita masukkan tanda tangan yang telah di save. Seperti image di bawah ini.
101
Gambar 4.7 Setelah Data Siap
•
Lalu tekan proses image. Setelah itu akan tampil image yang akan telah di preprocessing. Kemudian tekan tombol analyze.
102
Gambar 4.8 Hasil Proses Image Preprocessing •
Setelah tombol analyze ditekan maka aplikasi ini akan mengambil data yang tersimpan pada file. Kemudian data yang tersimpan itu akan dibentuk ke dalam matrix 12 x 26 ( 12 tanda tangan, 26 fitur ). Lalu data tanda tangan yang akan di tes itu akan dimasukkan ke dalam array ke 13. dan dilakukan FCM sekali lagi. Lalu akan terdeteksi apakah tanda tangan itu palsu ataukah asli ketika tanda tangan yang terdapat pada array ke 13 masuk ke bagian kluster yang asli atau palsu. Setelah di tekan analyze maka akan muncul warning dialog seperti pada gambar.
103
Gambar 4.9 Hasil Akhir Pretesting Setelah program tidak ingin digunakan lagi maka tinggal menekan kembali ke menu, lalu tekan tombol exit.
104 4.2 Evaluasi Evaluasi dilakukan dalam tiga tahapan, yaitu menggunakan tiga rangkain fitur yang berbeda yang dikluster menggunakan FCM dan akan dibandingkan hasilnya mana yang lebih akurat.
4.2.1 Evaluasi pada 20 Fitur Pada Autentikasi tanda tangan menggunakan 20 fitur kami menggunakan fitur masking 5 x 5 yang berjumlah 18 Structuring elemen, lalu kami juga mencatat fitur height dan witdh-nya. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C – Means. Kami menemukan error sebesar 56.25% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 71.875% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Tabel 4.1 Hasil Pengujian Data Training Pada 20 Fitur User NIM
0700713152
Status
20 fitur
Tanda Tangan Ke 1
Palsu
Palsu
2
Palsu
Palsu
3
Palsu
Palsu
4
Palsu
Palsu
5
Palsu
Palsu
6
Palsu
Palsu
8
Asli
Asli
9
Asli
Asli
105
0700713152
12
Asli
Asli
13
Asli
Asli
14
Asli
Asli
17
Asli
Asli 0 0%
Error Error Rate
User NIM .
Status
20 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
3
Asli
Asli
4
Asli
Asli
7
Asli
Asli
13
Asli
Asli
8
Palsu
Palsu
9
Palsu
Palsu
10
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
20
Palsu
Palsu
0800759450
Error Error Rate
0 0%
106 User NIM
Status
20 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
4
Asli
Asli
5
Asli
Asli
6
Asli
Asli
12
Asli
Asli
9
Palsu
Palsu
13
Palsu
Palsu
14
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
17
Palsu
Palsu
0800762514
0 0%
Error Error Rate
User NIM
0800764122
Status
20 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
3
Asli
Asli
4
Asli
Asli
107
0800764122
5
Asli
Asli
6
Asli
Asli
12
Palsu
Palsu
13
Palsu
Palsu
14
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
17
Palsu
Palsu
Error Rate
0 0%
Total Error
0
Total Error Rate
0%
Error
Tabel 4.2 Hasil Pengujian Data Uji Dengan 20 Fitur User NIM
Status
20 fitur
Tanda Tangan Ke 7
Palsu
Palsu
10
Palsu
Asli
11
Palsu
Asli
15
Asli
Asli
16
Palsu
Asli
18
Asli
Palsu
19
Asli
Palsu
0700713152
0700713152
108 20
Asli
Palsu 6 75%
Error Error Rate
User NIM
Status
20 fitur
Tanda Tangan Ke 5
Palsu
Asli
6
Asli
Palsu
11
Palsu
Asli
12
Palsu
Asli
14
Asli
Asli
17
Asli
Asli
18
Asli
Asli
19
Palsu
Asli
0800759450
5 62,5%
Error Error Rate
User NIM
0800762514
Status
20 fitur
Tanda Tangan Ke 3
Palsu
Asli
7
Asli
Palsu
8
Asli
Asli
10
Asli
Palsu
11
Palsu
Asli
109
0800762514
18
Palsu
Palsu
19
Palsu
Palsu
20
Asli
Palsu 5 62,5%
Error Error Rate
User NIM
Status
20 fitur
Tanda Tangan Ke 7
Palsu
Asli
8
Asli
Asli
9
Asli
Asli
10
Asli
Asli
11
Asli
Asli
18
Palsu
Palsu
19
Palsu
Palsu
20
Palsu
Asli
0800764122
Error Rate
2 25%
Total Error
18
Total Error Rate
56.25%
Nilai Keakuratan
71.875%
Error
110 4.2.2 Evaluasi pada 26 Fitur Pada Autentikasi tanda tangan menggunakan 26 fitur kami menggunakan fitur masking 3 x 3 yang berjumlah 24 Structuring element, lalu kami juga mencatat fitur height dan witdh-nya. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C – Means. Kami menemukan Error sebesar 28.125% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 85.9375% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Keakurasiannya cukup tinggi, dengan menggunakan 24 Structuring Element 3 x 3 dan fitur witdh dan height sehingga menghasilkan hasil yang cukup memuaskan tapi kurang dapat diterima karena belum terlalu aman. Tabel 4.3 Hasil Pengujian Data Training Pada 26 Fitur User NIM
Status
26 fitur
Tanda Tangan Ke 1
Palsu
Palsu
2
Palsu
Palsu
3
Palsu
Palsu
4
Palsu
Palsu
5
Palsu
Palsu
6
Palsu
Palsu
8
Asli
Asli
9
Asli
Asli
12
Asli
Asli
13
Asli
Asli
0700713152
111
0700713152
14
Asli
Asli
17
Asli
Asli 0 0%
Error Error Rate
User NIM .
Status
26 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
3
Asli
Asli
4
Asli
Asli
7
Asli
Asli
13
Asli
Asli
8
Palsu
Palsu
9
Palsu
Palsu
10
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
20
Palsu
Palsu
0800759450
Error Error Rate
0 0%
112 User NIM
Status
26 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
4
Asli
Asli
5
Asli
Asli
6
Asli
Asli
12
Asli
Asli
9
Palsu
Palsu
13
Palsu
Palsu
14
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
17
Palsu
Palsu
0800762514
0 0%
Error Error Rate
User NIM
Status
26 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
3
Asli
Asli
4
Asli
Asli
0800764122
113 5
Asli
Asli
6
Asli
Asli
12
Palsu
Palsu
13
Palsu
Palsu
14
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
17
Palsu
Palsu
0800764122
Error Rate
0 0%
Total Error
0
Total Error Rate
0%
Error
Tabel 4.4 Hasil Pengujian Data Uji Dengan 26 Fitur User NIM
Status
26 fitur
Tanda Tangan Ke 7
Palsu
Palsu
10
Palsu
Asli
11
Palsu
Asli
15
Asli
Asli
16
Palsu
Asli
18
Asli
Asli
19
Asli
Palsu
0700713152
114 0700713152
20
Asli
Asli 4 50%
Error Error Rate
User NIM
Status
26 fitur
Tanda Tangan Ke 5
Palsu
Palsu
6
Asli
Asli
11
Palsu
Asli
12
Palsu
Palsu
14
Asli
Asli
17
Asli
Asli
18
Asli
Asli
19
Palsu
Asli
0800759450
2 25%
Error Error Rate
User NIM
0800762514
Status
26 fitur
Tanda Tangan Ke 3
Palsu
Palsu
7
Asli
Asli
8
Asli
Palsu
10
Asli
Asli
11
Palsu
Asli
115
0800762514
18
Palsu
Palsu
19
Palsu
Palsu
20
Asli
Asli 2 25%
Error Error Rate
User NIM
Status
26 fitur
Tanda Tangan Ke 7
Palsu
Asli
8
Asli
Asli
9
Asli
Asli
10
Asli
Asli
11
Asli
Asli
18
Palsu
Palsu
19
Palsu
Palsu
20
Palsu
Palsu
0800764122
Error Rate
1 12.5%
Total Error
9
Total Error Rate
28.125%
Nilai Keakuratan
85.9375%
Error
116 4.2.3 Evaluasi pada 34 Fitur Pada Autentikasi tanda tangan menggunakan 34 fitur kami menggunakan fitur masking 3 x 3 yang berjumlah 24 Structuring element, lalu kami juga mencatat fitur height dan witdh-nya dan ditambah dengan fitur global yaitu pixel connection yang berjumlah 8 buah. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C – Means. Kami menemukan error sebesar 18.75% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 90.625% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Pada bagian ini kami mencoba menambahkan fitur Pixel Connection pada 26 fitur diatas untuk meningkatkan keakurasian pengenalan tanda tangan.
Tabel 4.5 Hasil Pengujian Data Training Pada 34 Fitur User NIM
Status
34 fitur
Tanda Tangan Ke 1
Palsu
Palsu
2
Palsu
Palsu
3
Palsu
Palsu
4
Palsu
Palsu
5
Palsu
Palsu
6
Palsu
Palsu
8
Asli
Asli
9
Asli
Asli
12
Asli
Asli
0700713152
117
0700713152
13
Asli
Asli
14
Asli
Asli
17
Asli
Asli 0 0%
Error Error Rate
User NIM .
Status
34 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
3
Asli
Asli
4
Asli
Asli
7
Asli
Asli
13
Asli
Asli
8
Palsu
Palsu
9
Palsu
Palsu
10
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
20
Palsu
Palsu
0800759450
Error Error Rate
0 0%
118 User NIM
Status
34 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
4
Asli
Asli
5
Asli
Asli
6
Asli
Asli
12
Asli
Asli
9
Palsu
Palsu
13
Palsu
Palsu
14
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
17
Palsu
Palsu
0800762514
0 0%
Error Error Rate
User NIM
Status
34 fitur
Tanda Tangan Ke 1
Asli
Asli
2
Asli
Asli
3
Asli
Asli
4
Asli
Asli
0800764122
119 5
Asli
Asli
6
Asli
Asli
12
Palsu
Palsu
13
Palsu
Palsu
14
Palsu
Palsu
15
Palsu
Palsu
16
Palsu
Palsu
17
Palsu
Palsu
0800764122
Error Rate
0 0%
Total Error
0
Total Error Rate
0%
Error
Tabel 4.6 Hasil Pengujian Data Uji Dengan 34 Fitur User NIM
Status
34 fitur
Tanda Tangan Ke 7
Palsu
Palsu
10
Palsu
Palsu
11
Palsu
Palsu
15
Asli
Palsu
16
Palsu
Palsu
18
Asli
Asli
19
Asli
Palsu
0700713152
120 0700713152
20
Asli
Asli 2 25%
Error Error Rate
User NIM
Status
34 fitur
Tanda Tangan Ke 5
Palsu
Palsu
6
Asli
Asli
11
Palsu
Asli
12
Palsu
Palsu
14
Asli
Asli
17
Asli
Asli
18
Asli
Asli
19
Palsu
Palsu
0800759450
1 12.5%
Error Error Rate
User NIM
0800762514
Status
34 fitur
Tanda Tangan Ke 3
Palsu
Palsu
7
Asli
Asli
8
Asli
Palsu
10
Asli
Asli
11
Palsu
Asli
121
0800762514
18
Palsu
Palsu
19
Palsu
Palsu
20
Asli
Asli 2 25%
Error Error Rate
User NIM
Status
34 fitur
Tanda Tangan Ke 7
Palsu
Asli
8
Asli
Asli
9
Asli
Asli
10
Asli
Asli
11
Asli
Asli
18
Palsu
Palsu
19
Palsu
Palsu
20
Palsu
Palsu
0800764122
Error Rate
1 12.5%
Total Error
6
Total Error Rate
18.75%
Nilai Keakuratan
90.625%
Error
122 4.3 Perbandingan pendeketan Fitur yang digunakan Dari
hasil
evaluasi yang
telah
dilakukan,
secara
umum FCM
dapat
mengelompokkan tanda tangan asli dan palsu dengan baik. Hasil kekakurasian yang didapat tergantung dari image, lalu fitur yang digunakan, semakin banyak fitur yang digunakan maka hasil yang diperoleh semakin akurat, disebabkan karena ruang lingkup dipersempit sehingga nilai yang didapat lebih spesifik dan menghasilkan data yang akurat / aman. Tetapi dengan menambahkan fitur maka kemungkinan tanda tangan asli terkenali sebagai palsu akan meningkat cukup tinggi. Diambil dari evaluasi, yang memenuhi tujuan penelitian untuk meningkatkan keamanan dalam bertransaksi maka kami memilih fitur yang memiliki nilai keakuratan paling tinggi, yaitu autentikasi tanda tangan dengan 34 fitur yang memiliki nilai keakuratan 90.625%.
