ANALISIS PENYERANGAN VIRUS CONFICKER PADA SISTEM OPERASI WINDOWS XP DI CELAH KEAMANAN RPC DCOM 3
SKRIPSI
NANDAR AFRIZA 051401010
DEPARTEMEN S-1 ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2010
Universitas Sumatera Utara
ii
PERSETUJUAN
Judul Kategori Nama Nomor Induk Mahasiswa Program Studi Departemen Fakultas
: ANALISIS PENYERANGAN VIRUS CONFICKER PADA SISTEM OPERASI WINDOWS XP DI CELAH KEAMANAN RPC DCOM 3 : SKRIPSI : NANDAR AFRIZA : 051401010 : SARJANA (S1) ILMU KOMPUTER : ILMU KOMPUTER : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA Diluluskan di Medan, 3 Juni 2010
Komisi Pembimbing
:
Pembimbing 2
Pembimbing 1
Syahriol Sitorus, S.Si, MIT NIP 197103101997031004
Drs. Sawaluddin, MIT NIP 195912311998021011
Diketahui/Disetujui oleh Program Studi S1 Ilmu Komputer Ketua,
Prof. Dr. Muhammad Zarlis NIP 195707011986011003
Universitas Sumatera Utara
iii
PERNYATAAN
ANALISIS PENYERANGAN VIRUS CONFICKER PADA SISTEM OPERASI WINDOWS XP DI CELAH KEAMANAN RPC DCOM 3 SKRIPSI Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.
Medan, 3 Juni 2010
Nandar Afriza 051401010
Universitas Sumatera Utara
iv
PENGHARGAAN
Alhamdulillah, puji syukur penulis panjatkan kehadirat Allah SWT, yang telah memberikan rahmat dan ridho-Nya, sehingga saya dapat menyelesaikan penyusunan skripsi ini, sebagai syarat untuk memperoleh gelar Sarjana Komputer, Program Studi Ilmu Komputer Universitas Sumatera Utara. Shalawat dan Salam saya hadiahkan kepada Nabi Besar Muhammad SAW. Ucapan terima kasih yang sebesar-besarnya penulis sampaikan kepada Bapak Drs. Sawaluddin, MIT sebagai Dosen Pembimbing I dan Bapak Syahriol Sitorus, S.Si, MIT sebagai Dosen Pembimbing II yang juga selaku Sekretaris Program Studi Ilmu Komputer atas bimbingan, saran, masukan kepada penulis untuk menyempurnakan skripsi ini. Ucapan terima kasih juga ditujukan kepada Ketua Program Studi Ilmu Komputer, Bapak Prof. Dr. Muhammad Zarlis, Dekan dan Pembantu Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Sumatera Utara, semua dosen, pegawai/staf di Program Studi Ilmu Komputer S-1 USU. Seluruh proses pengerjaan skripsi ini tidak akan dapat dilalui tanpa dukungan orangtua dan seluruh keluarga saya. Terima kasih sebesar-besarnya atas segala dukungannya baik materil dan spiritual. Semoga Allah SWT akan membalasnya. Terima kasih juga kepada seluruh sahabat-sahabat RCS yang sangat saya hormati, serta seluruh teman-teman yang tidak dapat saya sebutkan semuanya. Terima kasih pula kepada semua pihak-pihak yang tidak dapat saya sebutkan satu persatu, terima kasih atas ide, saran, dan kerjasama yang baik. Saya menyadari bahwa skripsi ini masih jauh dari kesempurnaan, karena kesempurnaan hanya milik Allah dan kekurangan adalah milik saya. Oleh karena itu saya menerima saran dan kritik yang bersifat membangun demi kesempurnaan skripsi ini. Semoga skripsi ini dapat bermanfaat bagi kita semuanya.
Universitas Sumatera Utara
v
ABSTRAK
Windows XP merupakan salah satu sistem operasi yang banyak digunakan dengan salah satu keunggulannya yaitu user-friendly. Namun sistem operasi ini memiliki beberapa kelemahan misalnya protokol RPC yang sering dimanfaatkan untuk penyebaran virus komputer. Salah satu virus komputer yang memanfaatkan protokol RPC adalah Conficker. Conficker menyebabkan gangguan terhadap aktivitas jaringan komputer sehingga menjadi lambat. Kajian ini bertujuan untuk menganalisis keberadaan virus Conficker yang menginfeksi sistem operasi Windows XP di celah keamanan RPC DCOM 3 dan upaya penanggulangannya.
Universitas Sumatera Utara
vi
ANALYSIS OF ATTACK CONFICKER VIRUS ON WINDOWS XP OPERATING SYSTEM IN RPC DCOM 3 SECURITY HOLE
ABSTRACT
Windows XP is a commercial operating system which is widely used because of its user friendliness and availability. However, this operating system also has some weaknesses regarding its security. One of which is its RPC protocol, which can be used by unintended users (crackers) to spread computer viruses. One virus that uses RPC protocol is the well known Conficker. Conficker may cause disruption in network activities so that the computer may become slow. The purpose of this research is to analyze the presence of Conficker that infects Windows XP which has security hole in its RPC DCOM 3 protocol and to find solutions to this problem.
Universitas Sumatera Utara
vii
DAFTAR ISI
Persetujuan Pernyataan Penghargaan Abstrak Abstract Daftar Isi Daftar Gambar Daftar Tabel
Halaman ii iii iv v vi vii ix x
BAB 1 PENDAHULUAN 1.1 Latar Belakang Masalah 1.2 Rumusan Masalah 1.3 Batasan Masalah 1.4 Tujuan Penelitian 1.5 Maanfaat Penelitian 1.6 Metodologi Penelitian 1.7 Sistematika Penulisan
1 1 5 5 5 5 6 6
BAB 2 LANDASAN TEORI 2.1 Remote Procedure Call (RPC) 2.1.1 Client dan Server 2.1.2 Fitur Dalam RPC 2.1.2.1 Batching Calls 2.1.2.2 Broadcasting Calls 2.1.2.3 CallBack Procedures 2.1.2.4 Select Subroutine 2.1.3 Otentifikasi RPC 2.1.4 Implementasi RPC 2.1.4.1 Bahasa RPC 2.1.5 Port Mapper 2.1.5.1 Meregister Port 2.1.5.2 Prosedur Port Mapper 2.1.6 Lapisan RPC 2.1.7 Model Cara Kerja RPC 2.1.8 Kelemahan dan Pencegahan Eksploitasi RPC 2.1.8.1 Kelemahan RPC pada Sistem Operasi Windows 2.1.8.2 Pencegahan Eksploitasi RPC 2.2 Distributed Component Object Model (DCOM) 2.2.1 Arsitektur DCOM 2.2.2 Cara Kerja Remote DCOM 2.3 Sejarah Virus Komputer 2.3.1 Klasifikasi Virus Komputer 2.3.2 Cara Kerja Virus Komputer
8 8 9 10 10 10 10 11 11 12 12 14 14 15 17 17 21 21 23 24 24 26 27 28 30
Universitas Sumatera Utara
viii
BAB 3 ANALISIS 3.1 Proses Infeksi Conficker 3.2 Media Penyebaran Conficker 3.2.1 MS08-067 3.2.2 NetBIOS Share 3.2.3 Removable Drive 3.3 Generasi Nama Domain 3.3.1 Algoritma Generasi Nama Domain 3.4 Eksploitasi Conficker pada Layanan Server 3.5 Analisis Infeksi Conficker pada Jaringan Komputer 3.5.1 Dampak Forensik 3.5.2 Dampak Jaringan 3.6 Conficker A/B Temporal
33 33 35 36 37 37 37 38 44 45 45 46 47
BAB 4 IMPLEMENTASI dan PENGUJIAN 4.1 Implementasi 4.1.1 Lingkungan Implementasi 4.1.2 Batasan Implementasi 4.2 Pengujian 4.2.1 Proteksi 4.2.1.1 Pengujian Conficker Tools 4.2.2 Pencegahan
50 50 50 52 52 56 63 65
BAB 5 KESIMPULAN DAN SARAN 5.1 Kesimpulan 5.2 Saran Daftar Pustaka
67 67 68
Universitas Sumatera Utara
ix
DAFTAR GAMBAR Halaman Gambar 2.1 Prinsip RPC pada Client-Server Gambar 2.2 Cara Kerja RPC Gambar 2.3 Remote Procedure Call Flow Gambar 2.4 Proses RPC Gambar 2.5 Arsitektur DCOM Gambar 2.6 Arsitektur DCOM Server dan DCOM Client Gambar 2.7 Klasifikasi Harmful Program Gambar 3.1 Conficker A (kiri) /B (kanan): Top-level control flow Gambar 3.2 Algoritma Generasi Nama Domain Gambar 3.3 Struktur Conficker dalam sebuah Path String Gambar 3.4 Proses infeksi Conficker A pada aktivitas jaringan (8 jam) Gambar 3.5 TCP/445 scan interval volume/6 jam Gambar 3.6 Penghitungan IP (harian dan kumulatif) dari Conficker A/B Gambar 4.1 Topologi pengujian Conficker Gambar 4.2 www.Google.com Gambar 4.3 www.Microsoft.com Gambar 4.4 Hasil capture Wireshark pada komputer Client Gambar 4.5 Kaspersky AVP Removal Tools Gambar 4.6 Norman Malware Cleaner in action Gambar 4.7 Stinger in action Gambar 4.8 MWMSRT - Microsoft Windows Malicious Software Removal Tools Gambar 4.9 KidoKiller by Kaspersky Gambar 4.10 FixTOOL Worm_Downad oleh TrendMicro Gambar 4.11 Downadup Removal Tool by Symantec Gambar 4.12 Pesan yang diberikan oleh Downadup Removal Symantec Gambar 4.13 EconfickerRemover by Eset
9 18 19 20 25 27 30 34 39 44 47 48 49 53 54 54 55 56 57 58 59 60 61 61 62 62
Universitas Sumatera Utara
x
DAFTAR TABEL Halaman Table 2.1 Port dan Protokol yang umum dieksploitasi Table 3.1 Urutan proses eksploitasi Conficker pada MS08-067 Tabel 3.2 Konstanta yang digunakan dalam PRNG Tabel 3.3 Generasi Nama Domain Tabel 3.4 Sub Generasi Nama Domain: penambahan nama domain secara acak dan loop 250 kali Tabel 4.1 Perbandingan Conficker Tools kategori tools umum Tabel 2.2 Perbandingan Conficker Tools kategori khusus
22 36 40 41 42 63 64
Universitas Sumatera Utara