BAB 4 IMPLEMENTASI DAN EVALUASI. spesifikasi sistem yang digunakan agar analisis dapat berjalan dengan baik

BAB 4 IMPLEMENTASI DAN EVALUASI

4.1

Spesifikasi Sistem Dalam menguji analisis sistem koreksi soal esai, penulis menyarankan spesifikasi sistem yang digunakan agar analisis dapat berjalan dengan baik. Spesifikasi sistem dibagi atas spesifikasi perangkat keras dan spesifikasi piranti lunak, dan untuk setiap spesifikasi penulis membaginya lagi antara spesifikasi penguji dan spesifikasi minimum yang disarankan. Spesifikasi penguji merupakan spesifikasi yang digunakan oleh penulis untuk menguji analisis sistem koreksi soal esai, dan dalam menguji penulis menggunakan jaringan lokal. Sedangkan spesifikasi minimum merupakan spesifikasi minimal yang penulis sarankan ketika analisis sistem koreksi ini akan diterapkan pada komputer client.

4.1.1 Spesifikasi Perangkat Keras untuk Pengujian Dalam

melakukan

pengujian

analisis,

penulis

menggunakan

spesifikasi perangkat keras sebagai berikut : Notebook Acer Aspire 4920 dengan spesifikasi: Processor : Intel Core Two-Duo CPU T5550 1,83 GHz Memory : 3062 MB Graphic Card : Mobile Intel 965 Express Chipset Family 358MB Mouse dan keyboard standart

118

119 4.1.2 Spesifikasi Piranti Lunak untuk Pengujian Dalam

melakukan

pengujian

analisis,

penulis

menggunakan

spesifikasi piranti lunak sebagai berikut : Sistem Operasi : Microsoft Windows Vista Home Premium (6.0, Build 6.2) Bios : Version 1.00 PARTPBL Development Software : 9 Adobe Dreamweaver CS 3 9 PHP Myadmin 2.11.7 9 Mozilla Firefox 3.5 9 Internet Explorer 7 9 MySQL Client version 5.0.51B 9 XAMPP version 2.5

4.1.3 Spesifikasi Minimum Perangkat Keras yang Disarankan Spesifikasi minimum perangkat keras yang disarankan oleh penulis agar analisis dapat berjalan dengan baik adalah sebagai berikut : Processor : Intel Pentium III Memory : 128 MB Monitor : minimal resolusi 256 color Mouse dan keyboard standart

120 4.1.4 Spesifikasi Minimum Piranti Lunak yang Disarankan Spesifikasi minimum piranti lunak yang disarankan oleh penulis agar analisis dapat berjalan dengan baik adalah sebagai berikut : Adobe Dreamweaver MX 2004 PHP Myadmin 2.11.7 Internet Explorer 6 Mozilla Firefox 3 MySQL Client version 5.0.51B XAMPP version 2.5

4.2

Operasional Analisis Pada point ini, penulis akan menjelaskan langkah-langkah yang dapat dilakukan oleh mahasiswa dalam menjalankan aplikasi analisis sistem koreksi.

Saat menjalankan analisis sistem koreksi ini, mahasiswa/i langsung dihadapkan pada 3 soal esai yang sudah ditentukan oleh penulis, yang tergolong pada ranah kognitif level C1 dan C2. Contoh Soal Dapat dilihat pada gambar berikut:

Gambar 4.1 Layar Soal Esai Tipe Sebutkan

121

Gambar 4.2 Layar Soal Esai Tipe Jelaskan

Gambar 4.3 Layar Soal Esai Tipe Bedakan

Setelah mahasiswa/i membaca soal tersebut dan siap untuk menjawab, maka mahasiswa/i dapat langsung memasukan jawaban pada kotak jawab yang sudah disediakan. Contoh jawaban dapat dilihat pada gambar berikut:

122

Gambar 4.4 Layar Mahasiswa/i Menjawab Soal Sebutkan

Gambar 4.5 Layar Mahasiswa/i Menjawab Soal Jelaskan

123

Gambar 4.6 Layar Mahasiswa/i Menjawab Soal Bedakan

Jika mahasiswa/i sudah benar-benar yakin dengan jawaban yang mereka masukan maka mahasiswa/i harus meng-klik tombol ‘submit’ agar analisis dapat langsung diproses.

Setelah meng-klik tombol ‘submit’ maka pada kotak kata kunci akan secara otomatis keluar jawaban yang menurut sistem dapat dijadikan acuan dalam menilai jawaban dari mahasiswa/i. Persamaan pada jawaban dari mahasiswa/i dengan kata kunci yang ada di database akan diperlihatkan melalui kotak evaluasi beserta nilai yang diberikan oleh sistem.

124

Gambar 4.7 Layar Evaluasi Jawaban Mahasiswa/i Soal Sebutkan

Gambar 4.8 Layar Evaluasi Jawaban Mahasiswa/i Soal Jelaskan

125

Gambar 4.9 Layar Evaluasi Jawaban Mahasiswa/i Soal Bedakan

4.3

Prosedur Evaluasi Pada evaluasi analisis sistem koreksi soal esai, penulis hanya melakukan pengujian dari sisi penerapan NLP dalam aplikasi. Pengujian dari sisi aplikasi berbasis intranet tidak dilakukan karena penulis tidak berfokus pada tampilan dari aplikasi melainkan hasil dari analisis yang dilakukan oleh sistem. Pengujian dilakukan dengan melakukan survei pada beberapa mahasiswa/i semester I. Survei dilakukan dengan meminta mahasiswa/i semester I untuk menjawab 3 soal yang telah disediakan oleh penulis, kemudian dari jawaban tersebut penulis meminta kepada beberapa dosen Pengantar Teknologi Informasi untuk mengkoreksi jawaban dari mahasiswa/i selayaknya mengkoreksi pada saat ujian. Bobot nilai

126 setiap soal adalah 100 begitu juga sistem ketika memberikan nilai pada jawaban mahasiswa/i. Setelah mendapatkan hasil pengkoreksian dari dosen, penulis membandingkan dengan hasil pengkoreksian dari sistem. Dalam aplikasi pengujian dari sisi NLP dilakukan dengan menguji tahap NLP satu per satu. Pengujian di mulai dari tahap pertama yaitu tahap morfologi, kemudian dilanjutkan dengan tahap yang ke-dua yaitu tahap sintaksis sampai ke tahap yang ke-tiga yaitu tahap semantik. Parameter yang penulis gunakan untuk melakukan pengujian terhadap analisis NLP berbeda-beda pada setiap tahapnya tergantung pada kebutuhan pengujian itu sendiri. Hasil dari pengujian tersebut dapat memperlihatkan seberapa besar keberhasilan yang dihasilkan oleh aplikasi dalam setiap tahap NLP.

4.4

Evaluasi Penerapan Metode Natural Language Processing Pada evaluasi tahap NLP yang merupakan inti dari jalannya sistem ini, penulis akan melakukan evaluasi dengan menggunakan beberapa contoh kalimat input-an dari jawaban mahasiswa/i. Beberapa contoh kalimat sebagai berikut:

Kalimat 1 “Software yang berfungsi untuk membantu manusia meringankan atau menyelesaikan masalahnya”

Kalimat 2 “Application software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer”

127

Kalimat 3 “Program yang dibuat buat bantuin dan mempermudah user dalam menyelesaikan masalahnya”

Kalimat 4 “Aplikasi software adalah software tambahan yang dibuat untuk menyelesaikan masalah-masalah tertentu”

Kalimat 5 “Aplikasi Software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer, misalnya Ms Word 2003”

Dalam mempermudah pengimplementasian sistem J-earley yang di-reuse oleh penulis pada tahap NLP, maka dibuatlah notasi grammar yang berdasar pada grammar yang sudah di rancang pada bab 3 sebelumnya. Notasi grammar dapat dilihat pada table berikut: Tabel 4.1 Notasi Grammar KÆL

X Æ VqV

N Æ dl

K Æ LqL

X Æ PVqPV

N Æ el

K Æ qL

X Æ PVqVP

N Æ fl

L Æ HIJU

X Æ VqPVP

N Æ gl

L Æ HI

X Æ PVqV

N Æ ak

L Æ IJU

X Æ VqPV

N Æ ek

L Æ HIJ

X Æ VqVP

N Æ fk

L Æ HIU

BÆY

N Æ gm

128 L Æ IJ

BÆX

N Æ am

L Æ IU

B Æ YX

N Æ em

LÆI

B Æ XY

N Æ fm

HÆA

B Æ XX

N Æ gm

H Æ AW

B Æ YY

N Æ ar

IÆG

ZÆM

N Æ dr

IÆB

Z Æ MqM

N Æ ao

IÆC

CÆZ

N Æ eo

IÆD

C Æ PZ

V Æ Nj

IÆT

C Æ ZP

V Æ Nh

JÆA

C Æ ZPZ

VÆN

J Æ AsL

D Æ PoAP

V Æ aNj

UÆ L

D Æ oA

V Æ aNh

U Æ QL

D Æ PoA

V Æ eNj

U Æ QqpL

D Æ oAP

V Æ eNh

U Æ qpL

T Æ pTA

V Æ eN

U Æ qL

T Æ pA

V Æ aN

AÆE

S Æ oR

OÆk

A Æ EF

SÆo

O Æ uk

A Æ EtF

RÆP

O Æ ul

W Æ sL

R Æ SP

O Æ um

WÆn

RÆS

O Æ dm

W Æ sLn

E Æ mA

O Æ uo

129 G Æ PA

EÆm

O Æ ur

GÆA

E Æ SMA

MÆO

PÆr

E Æ SM

M Æ Oi

P Æ rP

E Æ MA

M Æ bOi

Y Æ VP

E -> M

M -> Ov

Y Æ PV

FÆE

M -> bOv

YÆV

NÆl

Q Æ oP

X Æ PVqPVP

N Æ al

Keterangan dari notasi grammar dapat dilihat pada tabel berikut: Tabel 4.2 Keterangan Notasi Grammar a: di

o: kbil

I: P

b: ke

p: kd

R: FN2

c: se

q: kh

S: Fbil

d: ter

r: kket

T: FP

e: me

s: khs

K: Kalimat

f: ber

t: khn

L: Klausa

g: per

v: nya

W: S2

u: pe

A: FB

J: O

h: i

B: FK

U: Ket

i: an

C: FS

V: KK

j: kan

D: FN

M: KB

k: kb

E: FB1

N: KK2

130 l: kk

F: FB2

O: KB2

m: ks

G: FB3

P: Kket2

n: kt

H: S

Q: FN1

4.4.1 Analisis Morfologi Evaluasi yang dilakukan oleh penulis pada tahap morfologi yaitu dengan menguji seberapa tepat dan cepat tahap morfologi dapat dijalankan oleh sistem. Pengujian dilakukan dengan membandingkan jawaban dari mahasiswa/i sebagai output yang seharusnya dengan database jawaban kunci sebagai output dari sistem. Setelah proses berbandingan tersebut maka akan didapatkan Persentase ketepatan yang dilakukan oleh sistem dalam membandingkan. Hasil persentase tersebut diperoleh dari: M=

X Y

Keterangan:

x 100% M = Persentase Ketepatan tahapan Morfologi X = Jumlah output morfem dari sistem Y = Jumlah output morfem yang seharusnya

Perhitungan tersebut berdasar pada asumsi dari penulis, karena dengan perbandingan tersebut maka dapat diketahui ketepatan yang dilakukan oleh sistem. Semakin tinggi tingkat ketepatan, maka dapat dikatakan sistem dapat melakukan tahap morfologi dengan tepat, begitu juga sebaliknya.

131

Kalimat 1 Tabel 4.3 Analisis Morfologi Contoh Kalimat 1

Output yang seharusnya Output dari sistem Persentase Tingkat Ketepatan Time Process

yang Software bantu manusia me selesai yang Software bantu manusia me selesai 100%

ber me kan ber me kan

fungsi ringan masalah fungsi ringan masalah

untuk kan nya untuk kan nya

me atau me atau

0, 75 Detik

Penjelasan, pada kalimat pertama output yang seharusnya terjadi menghasilkan 17 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 17 kata. Sehingga dapat disimpulkan pada kalimat pertama tahap morfologi yang dilakukan oleh sistem menghasilkan kata yang tepat.


Output yang seharusnya Output dari sistem Persentase Tingkat Ketepatan Time Process

Application me kan Application me kan 100%

0,51 Detik

software bantu komputer software bantu komputer

adalah kita

suatu dalam

aplikasi me

yang guna

adalah kita

suatu dalam

aplikasi me

yang guna

132 Penjelasan, pada tes uji coba pada kalimat ke-dua output yang seharusnya terjadi menghasilkan 14 kata, dan dilakukan perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 14 kata. Sehingga dapat disimpulkan pada kalimat kedua tahap morfologi yang dilakukan oleh sistem menghasilkan kata yang tepat.


Output yang seharusnya Output dari sistem Persentase Tingkat Kesalahan Time Process

Program dan me Program dan me 94%

yang me selesai yang me selesai

di per kan di per kan

buat mudah masalah buat mudah masalah

buat user nya buat user nya

bantu dalam dalam

0,90 Detik

Penjelasan, pada tes uji coba kalimat ke-tiga output yang seharusnya

terjadi

menghasilkan

17

kata,

dan

dilakukan

perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 16 kata. Dikarenakan pada kalimat ke-tiga terdapat morfem kata dasar ‘bantu’ dan memiliki akhiran ‘in’ dan setelah dilakukan pengecekan pada database tidak ditemukan akhiran ‘in’ karena akhiran tersebut tidak sesuai dengan tata bahasa Indonesia,

133 maka sistem menghapus kata tersebut. Sehingga pada kalimat ke-tiga dapat disimpulkan bahwa kalimat tersebut pada tahap morfologi yang dilakukan oleh sistem masih dapat menghasilkan kata yang tepat.


Output yang seharusnya Output dari sistem Persentase Tingkat Kesalahan Time Process

aplikasi yang kan aplikasi yang kan 100%

software di masalah software di masalah

adalah buat ter adalah buat ter

software untuk tentu software untuk tentu

tambah me

an selesai

tambah me

an selesai

2,01 Detik

Penjelasan, pada tes uji coba kalimat ke-tiga output yang seharusnya

terjadi

menghasilkan

15

kata,

dan

dilakukan

perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 15 kata. Dikarenakan pada kalimat ke-empat terdapat perulangan

kata ‘masalah’. Tetapi sistem dapat mengatasi

perulangan kata tersebut, sehingga pada kalimat ke-tiga dapat disimpulkan bahwa kalimat tersebut pada tahap morfologi yang dilakukan oleh sistem masih dapat menghasilkan kata yang tepat.

134


Output yang seharusnya

Output dari sistem

Persentase Tingkat Kesalahan Time Process

aplikasi me kan 2003 aplikasi me kan 84,2%

software bantu komputer

adalah kita misal

suatu dalam nya

aplikasi me ms

yang guna word

software bantu komputer

adalah kita misal

suatu dalam nya

aplikasi me -

yang guna -

1,29 Detik

Pada ada tes uji coba kalimat ke-lima output yang seharusnya

terjadi

menghasilkan

19

kata,

dan

dilakukan

perbandingan dengan database, maka output yang dihasilkan oleh sistem yaitu 16 kata. Dikarenakan pada kalimat ke-lima memiliki kata yang tidak dimiliki oleh database, dan kata yang tidak terdapat dalam database tersebut merupakan kata bertata bahasa Inggris dan memiliki digit angka, maka pada kalimat ke-lima dapat disimpulkan bahwa kalimat tersebut pada tahap morfologi yang dilakukan oleh sistem masih dapat menghasilkan kata yang tepat. Dari 5 contoh yang diambil, maka dapat simpulkan pada evaluasi tahap morfologi ini sistem dapat membandingkan kata dengan tepat, hanya saja untuk beberapa kasus seperti kata yang bertata bahasa Inggris dan memiliki digit bilangan belum bisa

135 ditangani oleh sistem. Dari perfoma sistem dapat dikatakan sistem berjalan dengan cepat, dilihat dari time process yang dihasilkan masih pada satuan detik. Karena semakin banyak kata yang harus dicari oleh sistem maka semakin banyak juga waktu yang dibutuhkan oleh sistem, begitu juga sebaliknya.

4.4.2 Analisis Sintaksis Evaluasi yang dilakukan oleh penulis pada tahap sintaksis akan memperlihatkan tingkat keoptimalan dari jalannya sistem, yaitu dengan menjabarkan potongan-potongan kata / morfem kata ke dalam notasi grammar yang sudah dibuat sebelumnya. Morfem dikatakan sesuai dengan grammar jika morfem dapat melanjutkan pola grammar yang sudah dilalui oleh morfem-morfem sebelumnya sehingga dapat membentuk kalimat utuh. Pada proses evaluasi tahap sintaksis, input-an berdasar pada hasil yang didapat pada tahap sebelumnya. Sehingga hilangnya kata pada tahap sebelumnya dapat mempengaruhi hasil yang diperoleh pada tahap ini. Ketidaksempurnaan tahap sintaksis ini juga dipengaruhi oleh notasi grammar yang belum sepenuhnya mewakili pola kalimat yang di-input. Berikut adalah perhitungan yang dilakukan oleh penulis pada evaluasi tahap sintaksis:

Persentase tingkat kesesuaian morfem dengan grammar diperoleh berdasar pada: Jumlah morfem yang sesuai dengan grammar X 100% Jumlah seluruh morfem dalam inputan

136 Proses penelusuran notasi grammar per morfem pada evaluasi tahap sintaksis ini, dapat dilihat pada tabel berikut:

Kalimat 1 “Software yang berfungsi untuk membantu manusia meringankan atau menyelesaikan masalahnya” Tabel 4.8 Notasi Grammar pada Kalimat 1

software K ÆL L Æ HIJ H Æ AW AÆE EÆM MÆO OÆk k Æ software

yang KÆL L Æ HIJ H Æ AW W Æ sL s Æ yang

ber W ÆsL L Æ HIJ IÆB BÆX X ÆVqV VÆN N Æ fk f Æ ber

fungsi W ÆsL L Æ HIJ IÆB BÆX X ÆVqV VÆN N Æ fk k Æ fungsi

untuk W ÆsL L Æ HIJ IÆB BÆX X ÆVqV q Æ untuk

bantu W ÆsL L Æ HIJU IÆB BÆX X ÆVqV VÆN N Æ el l Æ bantu me UÆL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj N Æ el e Æ me

manusia W ÆsL L Æ HIJU JÆA AÆE EÆM MÆO OÆk k Æ manusia selesai UÆL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj N Æ el l Æ selesai

me UÆL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj N Æ em e Æ me kan UÆL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj j Æ kan

ringan UÆL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj N Æ em m Æ ringan masalah UÆL L ÆHIJ JÆA AÆE EÆM M Æ Ov OÆk k Æ masalah

kan UÆL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj j Æ kan nya UÆL L ÆHIJ JÆA AÆE EÆM M Æ Ov v Æ nya

me W ÆsL L Æ HIJ IÆB BÆX X ÆVqV VÆN N Æ el e Æ me atau UÆL L ÆHIJ IÆB BÆX X ÆVqV q Æ atau

137 Dalam pengujian analisis sintaksis kita yang pertama, digunakan testcase Kalimat 1. Kalimat tersebut saat dicek, ditemukan sebanyak 17 morfem. Setelah pengecekan, maka sistem berhasil membaca kalimat tersebut dengan tepat dan sesuai dengan grammar yang telah dibuat. Dengan begitu, maka persentase keberhasilan untuk testcase yang kali ini bernilai 100%.

Kalimat 2 “Application software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer” Tabel 4.9 Notasi Grammar pada Kalimat 2

Application K ÆL L ÆHIJ H Æ AW A ÆEF E ÆM M ÆO OÆk k ÆApplication me J ÆAsL L ÆHIJU IÆB BÆX X ÆV VÆN N Æ el e Æ me kan

software K ÆL L ÆHIJ H ÆAW A Æ EF F ÆE E ÆM M ÆO OÆk k Æsoftware bantu J ÆAsL L ÆHIJU IÆB BÆX X ÆV VÆN N Æ el l Æ bantu komputer

adalah KÆL L ÆHIJ IÆB BÆX X ÆV V ÆN NÆl l Æadalah

suatu K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM S Æo o Æsuatu

aplikasi K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM M ÆO O Æk k Æaplikasi

yang K ÆL L ÆHIJ J ÆAsL s Æ yang

kita J ÆAsL L ÆHIJU J ÆA A ÆE E ÆM M ÆO O Æk k Ækita

dalam J ÆAsL L ÆHIJU U ÆqL q Ædalam

me U ÆqL LÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ ek e Æ me

guna U ÆqL LÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ ek k Æguna

138

U ÆqL L ÆHIJ IÆB BÆX X ÆV V Æ Nj j Æ kan

U ÆqL L ÆHIJ JÆA AÆE EÆM MÆO OÆk kÆkomputer

Dalam pengujian analisis sintaksis kita yang kedua, digunakan testcase Kalimat 2. Kalimat tersebut saat dicek, ditemukan sebanyak 14 morfem. Dalam pengecekan itu, terdapat kata bilangan yaitu “suatu” yang berada dalam Objek. Sistem berhasil membaca kata bilangan “suatu” sebagai bagian dari objek, sehingga tidak terjadi kesalahan. Dengan begitu, maka persentase keberhasilan untuk testcase yang kali ini bernilai 100%.

Kalimat 3 “Program yang dibuat buat bantuin dan mempermudah user dalam menyelesaikan masalahnya” Tabel 4.10 Notasi Grammar pada Kalimat 3

program K ÆL L ÆHIJ H Æ AW A ÆE E ÆM M ÆO OÆk k Æ program

yang K ÆL L ÆHIJ H Æ AW WÆsL s Æyang

di W ÆsL L Æ HIJ IÆB B Æ YX Y ÆV VÆN N Æ fk a Æ di

buat W ÆsL L Æ HIJ IÆB B Æ YX Y ÆV VÆN N Æ fk k Æ buat

buat W ÆsL L Æ HIJ IÆB B Æ YX X ÆVqV VÆN NÆk k Æ buat

-

139 dan W ÆsL L Æ HIJ IÆB B Æ YX X ÆVqV q Æ dan

me W ÆsL L Æ HIJ IÆB B Æ YX Y ÆV V Æ eN e Æ me

me U ÆqL L ÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ el e Æ me

selesai U ÆqL L ÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ el l Æ selesai

per W ÆsL L Æ HIJ IÆB B Æ YX Y ÆV V Æ eN N Æ gm g Æ per kan U ÆqL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj j Æ kan

mudah W ÆsL L Æ HIJ IÆB B Æ YX Y ÆV V Æ eN N Æ gm m Æmudah masalah U ÆqL L ÆHIJ JÆA AÆE EÆM M Æ Ov OÆk kÆmasalah

user W ÆsL L Æ HIJ JÆA AÆE EÆM MÆO OÆk kÆ user nya U Æ qL L ÆHIJ JÆA AÆE EÆM M Æ Ov v Æ nya

dalam W ÆsL L ÆHIJ U ÆqL q Ædalam

Untuk pengujian ketiga, maka digunakan testcase Kalimat 3. Kalimat tersebut saat dicek, ditemukan sebanyak 17 morfem. Dalam grammar yang telah dicek, terdapat satu kata yang tidak dikenali di database yaitu kata “bantuin”, karena imbuhan “in” tidak dikenali oleh grammar sebagai imbuhan yang baik dalam ejaan bahasa Indonesia yang baik dan benar. Oleh karena itu, morfem “bantuin” dianggap kosong oleh sistem dan tidak dibaca dalam sintaksis. Dalam pengecekannya, persentase keberhasilan untuk testcase yang kali ini bernilai 100%.

140

Kalimat 4 “Aplikasi software adalah software tambahan yang dibuat untuk menyelesaikan masalah-masalah tertentu” Tabel 4.11 Notasi Grammar pada Kalimat 4

aplikasi K ÆL L ÆHIJ H Æ AW A ÆEF E ÆM M ÆO OÆk kÆaplikasi yang K ÆL L ÆHIJ J ÆAsL s Æ yang

kan J ÆAsL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj j Æ kan

software K ÆL L ÆHIJ H ÆAW A Æ EF F ÆE E ÆM M ÆO OÆk kÆsoftware di J ÆAsL L ÆHIJ IÆB BÆX X ÆVqV VÆN N Æ fk f Æ di masalah J ÆAsL L ÆHIJ JÆA A Æ EF EÆM MÆO OÆk kÆmasalah


software K ÆL L ÆHIJ J ÆAsL A ÆEF E ÆM M ÆO O Æk kÆsoftware

buat J ÆAsL L ÆHIJ IÆB BÆX X ÆVqV VÆN N Æ fk k Æ buat ter J ÆAsL L ÆHIJ JÆA A Æ EF FÆE EÆM MÆO O Æ dm d Æ ter

untuk J ÆAsL L ÆHIJ IÆB BÆX X ÆVqV q Æ untuk

tambah K ÆL L ÆHIJ J ÆAsL A ÆEF FÆE E ÆM M ÆOi O Æk kÆtambah me J ÆAsL L ÆHIJ IÆB BÆX X ÆVqV V Æ Nj N Æ el e Æ me

an K ÆL L ÆHIJ J ÆAsL A ÆEF FÆE E ÆM M ÆOi k Æ an selesai J ÆAsL L ÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ el l Æselesai

tentu J ÆAsL L ÆHIJ JÆA A Æ EF FÆE EÆM MÆO O Æ dm m Æ tentu

Dalam pengujian analisis sintaksis kita yang keempat, digunakan testcase Kalimat 4. Kalimat tersebut saat dicek, ditemukan

141 sebanyak 16 morfem. Setelah pengecekan grammar, maka kata perulangan “masalah-masalah” telah dikenali sebagai satu kata yaitu “masalah”. Untuk pengecekan analisis sintaksisnya, sistem berhasil membaca semua morfem tersebut. Dengan demikian, persentase keberhasilan untuk pengecekan testcase kali ini adalah 100%.

Kalimat 5 “Aplikasi Software adalah suatu aplikasi yang membantu kita dalam menggunakan komputer, misalnya Ms Word 2003” Tabel 4.12 Notasi Grammar pada Kalimat 5

aplikasi K ÆL L ÆHIJ H Æ AW A ÆEF E ÆM M ÆO OÆk kÆaplikasi me J ÆAsL L ÆHIJU IÆB BÆX X ÆV VÆN N Æ el e Æ me kan U ÆqL L ÆHIJ IÆB

software K ÆL L ÆHIJ H ÆAW A Æ EF F ÆE E ÆM M ÆO OÆk k Æsoftware bantu J ÆAsL L ÆHIJU IÆB BÆX X ÆV VÆN N Æ el l Æ bantu komputer U ÆqL L ÆHIJ JÆA


suatu K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM S Æo o Æsuatu

aplikasi K ÆL L ÆHIJ J ÆAsL A ÆE E ÆSM M ÆO O Æk kÆaplikasi

yang K ÆL L ÆHIJ J ÆAsL s Æ yang

kita J ÆAsL L ÆHIJU J ÆA A ÆE E ÆM M ÆO O Æk k Ækita misal U ÆqL L ÆHIJ JÆA

dalam J ÆAsL L ÆHIJU U ÆqL q Ædalam

me U ÆqL LÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ ek e Æ me -

guna U ÆqL LÆHIJ IÆB BÆX X ÆV V Æ Nj N Æ ek k Æguna -

nya U ÆqL L ÆHIJ JÆA

142 BÆX X ÆV V Æ Nj j Æ kan

A Æ EF EÆM MÆO OÆk kÆkomputer

A Æ EF FÆE EÆM M Æ Ov OÆk kÆ misal

A Æ EF FÆE EÆM M Æ Ov v Æ nya

-

Untuk pengujian kelima, maka digunakan testcase Kalimat 5. Kalimat tersebut saat dicek, ditemukan sebanyak 19 morfem. Dalam grammar yang telah dicek, terdapat tiga kata yang tidak mampu dicek oleh grammar, yaitu “Ms”, “Word”, dan “2003”. Kata “Ms” dan “Word” tidak dapat dibaca ke dalam morfem karena kata tersebut tidak terdapat dalam database, dan untuk kata “2003” juga tidak dapat dibaca dikarenakan sistem tidak dapat mengenali digit angka. Sehingga, untuk pengecekan analisis sintaksis, 3 kata tersebut tidak dicek dan dianggap null. Maka, pengecekan sintaksis dilakukan tanpa mengecek 3 kata tersebut. Persentase keberhasilan sistem untuk mengecek testcase ini adalah bernilai 100%.

143 Berdasar pada evaluasi yang dilakukan untuk ke-lima kalimat diatas , maka dapat disimpulkan pada tabel berikut: Tabel 4.13 Hasil Kesesuaian Morfem dengan Grammar Kalimat

Kalimat 1 Kalimat 2 Kalimat 3 Kalimat 4 Kalimat 5

Persentase Kesesuaian morfem dengan grammar 100% 100% 100% 100% 100%

Time Process

1,41 Detik 2,45 Detik 2,30 Detik 1,19 Detik 1,17 Detik

Setelah melakukan evaluasi pada 5 contoh kalimat diatas, dapat disimpulkan bahwa pengujian membutuhkan waktu yang lebih lama dibandingkan dengan pengujian pada tahap morfologi. Dikarenakan banyaknya pengecekan yang dilakukan pada tahap ini, maka kondisi tersebut sudah sewajarnya terjadi.

4.4.3 Analisis Semantik Evaluasi ini dilakukan oleh penulis pada tahap semantik untuk menguji seberapa besar keoptimalan sistem dalam memberikan ketepatan nilai untuk jawaban yang telah diberikan oleh mahasiswa. Standar pengukuran kemampuan sistem dalam melakukan tahapan semantik adalah dengan menghitung relevansi dan ketepatan dari grammar jawaban mahasiswa dengan jawaban kunci pada database. Jawaban kunci yang ada di database telah disusun dengan struktur pola kalimat sederhana, sehingga dalam pengecekan jawaban kunci pada database dengan grammar jawaban

144 dari mahasiswa, yang akan dicek adalah ketepatan hubungan Subjek, Predikat, Objek, dan Keterangan yang dikenali pada grammar jawaban mahasiswa, dan dibandingkan dengan pola kalimat yang dibuat di jawaban kunci database. Untuk Pola kalimat pada jawaban kunci database disederhanakan sedemikian rupa agar jika terdapat jawaban mahasiswa yang memiliki kata kunci yang cocok dengan jawaban kunci pada database, maka sistem dapat mengenali kata kunci itu. Dalam jawaban kunci pada database, pola kalimat kunci dapat dibuat lebih dari satu, sehingga kemungkinan mahasiswa untuk menjawab soal dengan benar menjadi lebih banyak. Hasil pengujian semantik yang telah dilakukan oleh sistem dapat dilihat pada tabel 4.14. Tabel 4.14 Hasil Pengujian Analisis Semantik

Kalimat

Nilai dari Sistem

Time Process

( 0 – 100 )

4.5

Kalimat 1

100

2,21 detik

Kalimat 2

37,42

1,39 detik

Kalimat 3

98,18

1,24 detik

Kalimat 4

100

1,57 detik

Kalimat 5

35,83

1,08 detik

Evaluasi Analisis secara Umum Setelah melakukan evaluasi, maka secara umum aplikasi tersebut dapat dioperasikan dengan baik dan fungsi pada aplikasi tersebut juga berjalan dengan

145 semestinya. Dari hasil evaluasi penerapan NLP dalam aplikasi didapatkan hasil yang menggambarkan performa sistem yang cukup stabil dan memberikan keoptimalan yang cukup dari tiap tahapan NLP yang dilakukan. Penulis juga memperlihatkan nilai yang diberikan oleh 3 dosen terhadap jawaban dari mahasiswa/i. Penulis memilih 3 dosen berdasar pada lama mengajar, IKAD Q dan KPI semester genap 2008/2009, yaitu sebagai berikut: 1.

Dosen A awal mengajar tahun 1993

IKAD Q (rata-rata nilai dari kehadiran mengajar, rapat, dan nilai) : 4,75 dengan skala 6

2.

KPI (Key Performance Indikator) : 4,34 dengan skala 6

Dosen B awal mengajar tahun 2000

IKAD Q (rata-rata nilai dari kehadiran mengajar, rapat, dan nilai) : 3,67 dengan skala 6

3.

KPI (Key Performance Indikator) : 4,57 dengan skala 6

Dosen C awal mengajar 2009

IKAD Q (rata-rata nilai dari kehadiran mengajar, rapat, dan nilai) : -

KPI (Key Performance Indikator) : -

Berdasar pada data 3 dosen diatas, maka penulis dapat menentukan komposisi penilaian agar sistem dapat menilai dengan objektif. Untuk dosen C tidak memiliki IKAD Q dan KPI dikarenakan dosen C baru mengajar di tahun 2009. Hasil perbandingan nilai tersebut dapat dilihat pada evaluasi berikut ini:

146

Soal dan Penilaian 1.

Unjuk kerja suatu komputer ditentukan oleh CPUnya. Apa saja yang mempengaruhi kemampuan CPU ini? Tabel 4.15 Penilaian Soal 1

Mahasiswa Mahasiswa 1 Mahasiswa 2 Mahasiswa 3 Mahasiswa 4 Mahasiswa 5 Mahasiswa 6 Mahasiswa 7 Mahasiswa 8 Mahasiswa 9 Mahasiswa 10 Mahasiswa 11 Mahasiswa 12

Dosen 3 100

Dosen 4 100

Dosen 5 100

Sistem 100

Selisih 1 0

Selisih 2 0

Selisih 3 0

100

100

100

73.75

26.25

26.25

26.25

100

100

100

100

0

0

0

90

60

85

57.5

32.5

2.5

27.5

100

100

100

100

0

0

0

100

50

85

73.75

26.25

23.75

11.25

100

50

100

73.75

26.25

23.75

26.25

30

40

50

57.5

27.5

17.5

7.5

30

80

85

73.75

43.75

6.25

11.25

80

80

80

100

20

20

20

60

60

85

73.75

13.75

13.75

11.25

100

100

100

100

0

0

0

18.02

11.14

11.77

Rata-Rata Selisih Nilai

147

2.

Hardware komputer tidak akan berfungsi apabila tidak diberikan perintah kepadanya, dan perintah-perintah ini ada pada software. Salah satu jenis software adalah Application Software. Apa yang disebut Application software ini ? Tabel 4.16 Penilaian Soal 2


Dosen 3 80

Dosen 4 60

Dosen 5 80

Sistem 37.59

Selisih 1 42.41

Selisih 2 22.41

Selisih 3 42.41

100

80

100

100

0

20

0

30

50

50

38.37

8.37

11.63

11.63

90

100

100

91.17

1.17

8.83

8.83

100

50

85

69.59

30.41

19.59

15.41

80

60

75

37.26

42.74

22.74

37.74

60

60

65

40.18

19.82

19.82

24.82

80

70

80

38.33

41.67

31.67

41.67

80

70

100

92.85

12.85

22.85

7.15

90

90

90

98

8

8

8

90

100

100

100

10

0

0

90

90

100

94.14

4.14

4.14

5.86

18.47

15.98

16.96


148 3.

Alat untuk menyimpan program dan data dinamakan storage. Apa perbedaan CD-R dan CD-RW? Tabel 4.17 Penilaian Soal 3


Dosen 3 100

Dosen 4 100

Dosen 5 100

Sistem 88.09

Selisih 1 11.91

Selisih 2 11.91

Selisih 3 11.91

30

60

50

66.31

33.31

6.31

16.31

80

80

65

63.06

16.94

16.94

1.94

80

80

50

59.88

20.12

20.12

9.88

100

100

100

98.19

1.81

1.81

1.81

80

70

30

60.87

19.13

9.13

30.87

100

80

100

92.22

7.78

12.22

7.78

70

70

100

89.7

19.7

19.7

10.3

50

70

30

44.92

5.08

25.08

14.92

100

80

100

99.11

0.89

19.11

0.89

80

70

80

60.25

19.75

9.75

19.75

100

80

100

94.6

5.4

14.6

5.4

13.48

13.89

10.98


4.6

Rangkuman Hasil Evaluasi Hasil evaluasi secara keseluruhan terhadap pengujian yang telah diterapkan pada tahap NLP dan sistem dapat dilihat pada tabel berikut, dan juga hasil dari

149 perfoma sistem serta parameter yang digunakan bergantung pada kebutuhan pengujian. Tabel 4.18 Hasil Rangkuman Evaluasi NLP Analisis Morfologi

Analisis Sintaksis

Analisis Semantik

Persentase Tingkat Keoptimalan

Nilai dari Sistem ( 0 – 100 )

Kalimat 1

100 %

Persentase Kesesuaian morfem dengan grammar 100%

Kalimat 2

100%

100%

37.42

Kalimat 3

94 %

100%

98.18

Kalimat 4

100 %

100%

100

Kalimat 5

84.2 %

100%

35.83

Kalimat

100

Dapat dilihat pada tabel 4.18 pada tahap analisis morfologi, tingkat keoptimalan yang dijalankan oleh sistem mencapai rata-rata 95.64 %. Sehingga dapat diasumsikan bahwa pada tahap morfologi sistem dapat mencari bentuk morfem dari kalimat input-an jawaban mahasiswa/i dengan cukup sempurna. Pada tahap sintaksis. tingkat kesesuaian morfem dengan grammar yang dijalan oleh sistem mencapai rata-rata 100%. Sehingga dapat diasumsikan bahwa sistem dapat mencari grammar dari morfem pada kalimat input-an jawaban mahasiswa/i dengan tepat. Pada tahap semantik. nilai dari sistem yang diperoleh berdasarkan input-an jawaban mahasiswa/i mencapai rata-rata 58.24%. Sehingga dapat diasumsikan

150 bahwa sistem sudah dapat mencari jawaban kunci yang tepat untuk memberikan nilai. hanya saja nilai yang diperoleh tetap bergantung pada penggunaan tata bahasa Indonesia yang tepat dan kesesuaian terhadap jawaban kunci yang terdapat pada database. Sedangkan pada sistem. perfoma dapat dilihat pada grafik berikut:

20 18 16 14 12 10 8 6 4 2 0

Dosen 3 Dosen 4 Dosen 5 Rata‐Rata Keseluruhan Soal ke‐ Soal ke‐ Soal ke‐ 1 2 3

Gambar 4.10 Statistik Hasil Perbandingan Nilai dari Dosen dengan Sistem Berdasar pada statistik diatas. dapat diasumsikan bahwa sistem telah memberikan nilai kepada mahasiswa dengan rata-rata perbandingan perbedaan nilai antara dosen dengan sistem, yaitu 13.64 pada soal 1, 17.14 pada soal 2, dan 12.78 pada soal 3. Dari rata-rata yang diperoleh dosen pada setiap soal, maka penulis mendapatkan nilai rata-rata keseluruhan dari ketiga soal yaitu 14,52%.

BAB 4 IMPLEMENTASI DAN EVALUASI. spesifikasi sistem yang digunakan agar analisis dapat berjalan dengan baik

Recommend Documents