ANALISIS KINERJA SIGNATURE-BASED IDS DENGAN MENGGUNAKAN SNORT DAN IP-TABLES DALAM MENDETEKSI SERANGAN ICMP FLOODING PADA WEB SERVER
SKRIPSI
I WAYAN EDDY PRAYOGA NIM. 1008605023
PROGRAM STUDI TEKNIK INFORMATIKA JURUSAN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS UDAYANA BUKIT JIMBARAN 2016
LEMBAR PENGESAHAN TUGAS AKHIR Judul
Kompetensi Nama NIM Tanggal Seminar
: Analisis Kinerja Signature-Based IDS Dengan Menggunakan Snort Dan IP-Tables Dalam Mendeteksi Serangan ICMP Flooding Pada Web Server : Jaringan Komputer : I Wayan Eddy Prayoga : 1008605023 : 29 Januari 2016
Disetujui oleh : Pembimbing I
Penguji I
I Dewa Made Bayu Atmaja,S.Kom,M.Cs NIP. 198901272012121001
I Made Widiartha,S.Si.,M.Kom NIP. 198212202008011008
Pembimbing II
Penguji II
Agus Muliantara,S.Kom.,M.Kom NIP. 198006162005011001
Ida Bagus Made Mahendra,S.Kom.,M.Kom NIP. 198006212008121002 Penguji III
I Komang Ari Mogi, S.Kom.,M.Kom NIP. 198409242008011007
Mengetahui, Jurusan Ilmu Komputer FMIPA UNUD Ketua,
Agus Muliantara,S.Kom.,M.Kom NIP. NIP. 198006162005011001 ii
Judul
: Analisis Kinerja Signature-Based IDS Dengan Menggunakan Snort Dan IP-Tables Dalam Mendeteksi Serangan ICMP Flooding Pada Web Server Nama : I Wayan Eddy Prayoga NIM : 1008605023 Pembimbing : 1. I Dewa Made Bayu Atmaja, S.Kom, M.Cs 2. Agus Muliantara, S.Kom, M.Kom ABSTRAK Keamanan suatu jaringan sering kali terganggu dengan adanya ancaman dari dalam ataupun dari luar, oleh sebab itu dikembangkan suatu system bernama IDS (Intrusion Detection System). IDS adalah sebuah sistem yang melakukan pengawasan terhadap traffic jaringan dan pengawasan terhadap kegiatan-kegiatan yang mencurigakan didalam sebuah sistem jaringan. Software yang menerapakan system IDS adalah Snort IDS. Penyerangan yang sering terjadi dalam jaringan komputer seperti memenuhi bandwidth dan membanjiri jaringan dengan request pengiriman paket termasuk kedalam teknik ICMP flooding DOS. Pengujian Snort IDS dilakukan dengan menerapakan serangan ICMP Flooding untuk melakukan penyerangan sehingga mendapatkan informasi tentang cara Snort dalam mendeteksi serangan. Selain itu untuk menunjang kinerja snort dalam mendeteksi serangan, dibuatlah sebuah aplikasi blocking IP yang terintegrasi dan berjalan secara otomatis dengan menerapkan script dari IP-Tables. Dalam mendeteksi serangan, Signature-Based IDS membandingkan paket dengan database rule IDS yang berisi signature - signature paket serangan. Jika paket data mempunyai pola yang sama dengan database rule IDS, maka paket tersebut dianggap sebagai serangan. Dalam melakukan itegrasi iptables dengan system snort, iptables harus terkoneksi dengan database snort dan mengambil query data dari acid event. Dalam query data acid event berisi informasi log dari system snort dalam mendeteksi proses ping. Informasi yang diperoleh dari query data acid event akan di cek untuk melihat ada atau tidaknya serangan. Jika terdeteksi IP yang teridentifikasi sebagai penyerang, maka IP tersebut akan di block secara otomatis menggunakan script IP-Tables. Hasil akurasi snort IDS dalam mendeteksi serangan sebesar 100%. Sehingga dapat disimpulkan kinerja snort sangat baik dalam mendeteksi serangan ICMP Flooding. Kata Kunci : IDS, Snort, Ipwatcher, IP-Tabels, ICMP Flooding
iii
Title
Name Student Number Main Supervisor Co-supervisor
: Analysis of Signature-Based Performance IDS Using Snort and IP-Tables in Detecting ICMP Flooding Attacks on Web Server : I Wayan Eddy Prayoga : 1008605023 : I Dewa Made Bayu Atmaja, S.Kom, M.Cs : Agus Muliantara, S. Kom, M. Kom ABSTRACT
The security of networks is often disrupted by the threat from within or from outside, therefore a system called IDS (Intrusion Detection System) was developed. IDS is a system monitoring the network traffic and monitoring suspicious activities in a network system. Software applying the IDS system is Snort IDS. Attacks that often occur in computer networks such as meeting the bandwidth and flooding the network with packet delivery request including ICMP flooding techniques into DOS. Snort IDS Testing was done by applying the ICMP Flooding attack to attack so as to get information about how Snort detects attacks. In addition to supporting the performance of Snort to detect attacks, an IP blocking application integrated and run automatically was made by applying the script of IP-Tables. In detecting attacks, Signature-Based IDS Compare IDS rule package with a database containing signatures – signature of attack packets. If the packet has the same pattern as database IDS rule, then the packet is considered an attack. In doing iptable integration with Snort system, iptables must be connected to the snort database query and retrieve data from acid event. In data query the acid event contains information log of Snort system to detect the ping process. Information obtained from query data acid event is checked to see whether or not there is an attack. If the detected IP is identified as the attacker, then the IP will be blocked automatically using a script IP-Tables. Results snort IDS accuracy in detecting attacks by 100%. It can be concluded that snort performance is excellent in detecting ICMP Flooding attack. Keywords : IDS, Snort, Ipwatcher, IP-Tables, ICMP Flooding
iv
KATA PENGANTAR
Puji syukur penulis panjatkan kehadapan Tuhan Yang Maha Esa, karena berkat rahmat dan karunia-Nya, Tugas Akhir yang berjudul “Analisis Kinerja SignatureBased IDS Dengan Menggunakan Snort dan Ip-tables Dalam Mendeteksi Serangan Icmp Flooding Pada Web Server ” ini dapat diselesaikan tepat pada waktunya. Secara khusus penulis mengucapkan terima kasih dan penghargaan kepada berbagai pihak yang telah membantu Tugas Akhir ini, yaitu : 1. Bapak I Dewa Made Bayu Atmaja, S.Kom, M.Cs sebagai Pembimbing I yang telah banyak membantu meluangkan waktu untuk membimbing, mengkritisi, dan memeriksa serta menyempurnakan tugas akhir ini. 2. Bapak Agus Muliantara, S.Kom, M.Kom sebagai Pembimbing II yang bersedia mengkritisi, membantu dan memeriksa serta menyempurnakan tugas akhir ini. 3. Bapak dan Ibu dosen Ilmu Komputer yang secara tidak langsung telah memberikan dukungan serta arahan kepada penulis. 4. Seluruh teman-teman mahasiswa Jurusan Ilmu Komputer FMIPA Universitas Udayana yang telah memberikan bantuan dan dukungan moral dalam penyelesaian tugas akhir ini. 5. Semua orang yang telah memberikan kontribusi untuk membantu penulis dalam menyelesaikan tugas akhir ini, yang tidak dapat penulis sebutkan satu persatu. Pada akhirnya penulis berharap agar adanya perbaikan pada Tugas Akhir ini mengingat keterbatasan penulis, sehingga sangat diharapkan untuk adanya kritik dan saran yang membangun untuk pencapaian yang lebih baik.
Bukit Jimbaran,
Penulis v
DAFTAR ISI
LEMBAR PENGESAHAN TUGAS AKHIR ........................................................ ii ABSTRAK ............................................................................................................. iii ABSTRACT ........................................................................................................... iv KATA PENGANTAR ............................................................................................ v DAFTAR GAMBAR .............................................................................................. x DAFTAR LAMPIRAN .......................................................................................... xi BAB I ...................................................................................................................... 1 PENDAHULUAN .................................................................................................. 1 1.1
Latar Belakang ......................................................................................... 1
1.2
Rumusan Masalah .................................................................................... 3
1.3
Tujuan Penelitian...................................................................................... 3
1.4
Batasan Penelitian .................................................................................... 3
1.5
Manfaat Penelitian.................................................................................... 3
BAB II ..................................................................................................................... 6 TINJAUAN PUSTAKA ......................................................................................... 6 2.1.
Intrusion Detection System (IDS) ........................................................ 6
2.1.1
Tipe Intrusion Detection System (IDS) ............................................ 7
2.1.2
IDS Didasarkan Pada Beberapa Terminologi ................................... 9
2.1.3
IDS Dalam Melakukan Analisa Paket Data .................................... 10
2.1.4
Fungsi IDS (Intrusion Detection System) ....................................... 10
2.1.5
Peran IDS (Intrusion Detection System) ......................................... 11
2.1.6
Keuntungan dan Kekurangan IDS .................................................. 12
2.2
Snort ....................................................................................................... 13
2.2.1
Komponen – komponen Snort ........................................................ 13
2.2.2
Fitur – fitur Snort ............................................................................ 14 vi
2.2.3
Snort Rules ...................................................................................... 15
2.2.4
Flowchart Snort ............................................................................... 16
2.3
BASE (Basic Analysis Security Engine) ............................................... 17
2.4
DOS (Denial Of Services) ...................................................................... 18
2.4.1 2.5
IP-Tables ................................................................................................ 21
2.5.1 2.6
Karakteristik Serangan DoS (Denial Of Services) .......................... 21
Parameter IP-Tables ........................................................................ 22
Tinjauan Studi ........................................................................................ 23
BAB III ................................................................................................................. 26 ANALISIS DAN PERANCANGAN SISTEM .................................................... 26 3.1
Objek Peneliatian ................................................................................... 26
3.2
Variabel Penelitian ................................................................................. 26
3.3
Analisis Kebutuhan Sistem .................................................................... 26
3.4
Model Rancangan Sistem Snort IDS ...................................................... 28
3.5
Model Rancangan Sistem Snort IDS ...................................................... 29
BAB IV ................................................................................................................. 32 HASIL DAN PEMBAHASAN............................................................................. 32 4.1
Tahap Implementasi ............................................................................... 32
4.1.1
Instalasi ........................................................................................... 32
4.1.2
Konfigurasi ..................................................................................... 32
4.1.2.1 Konfigurasi Snort IDS .................................................................. 33 4.1.2.2 Konfigurasi Web Server ............................................................... 33 4.2 Cara IDS snort dalam memilih request yang termasuk serangan atau bukan serangan ............................................................................................................ 37 4.3
Pengujian Sistem Snort IDS Dalam Mendeteksi Serangan .................... 39
4.3.1 Pengujian Skenario Pertama ................................................................ 40 4.3.2
Pengujian Skenario Kedua .............................................................. 42 vii
4.3.3
Pengujian Skenario Ketiga .............................................................. 44
4.4 Block IP Dengan IP Watcher ...................................................................... 47 4.5 Analisa Keseluruhan ................................................................................... 49 BAB V .................................................................................................................. 51 PENUTUP............................................................................................................. 51 5.1
Kesimpulan............................................................................................. 51
5.2
Saran ....................................................................................................... 51
DAFTAR PUSTAKA ........................................................................................... 52 LAMPIRAN .......................................................................................................... 54
viii
DARTAR TABEL
Tabel 3.1 Spesifikasi Hardware CPU pembangunan snort IDS............................ 27 Tabel 3.2 Spesifikasi Hardware CPU pembangunan web server dan attacker ..... 27 Tabel 3.3 Perangkat lunak pembangunan Snort IDS, E-Learning dan attacker ... 28 Tabel 3.4 IP Address ............................................................................................. 29 Tabel 4.1 Hasil pengujian skenario pertama ......................................................... 41 Tabel 4.2 Hasil pengujian skenario kedua ............................................................ 43 Tabel 4.3 Hasil pengujian skenario ketiga ............................................................ 45
ix
DAFTAR GAMBAR
Gambar 2.1. Bagian IDS ......................................................................................... 6 Gambar 2.2. Network Based IDS............................................................................ 7 Gambar 2.3. Host Based IDS .................................................................................. 8 Gambar 2.4. Flowchart Snort ................................................................................ 16 Gambar 2.5. BASE (Basic Analysis Security Engine) ......................................... 17 Gambar 2.6. Serangan DOS (Denial Of Services) ................................................ 18 Gambar 2.7. Proses 3-way handshake .................................................................. 19 Gambar 3.1 Rancangan Sistem Snort IDS ............................................................ 28 Gambar 3.2 Diagram Alir Snort IDS dan Ipwatcher ............................................ 30 Gambar 4.1 Flowchart IP Watcher ....................................................................... 34 Gambar 4.2 Komponen Snort ............................................................................... 37 Gambar 4.3 Ping Generator .................................................................................. 40 Gambar 4.4 Tampilan Web Base saat medeteksi IP Normal ................................ 41 Gambar 4.5 Tampilan Web Base saat medeteksi IP Abnormal ............................ 43 Gambar 4.6 Tampilan Web Base saat medeteksi IP Random (Besar dan Kecil) . 46 Gambar 4.7 Bloking IP Otomatis .......................................................................... 48
x
DAFTAR LAMPIRAN
Lampiran 1 : Pengujian ping dengan besaran kecil .............................................. 54 Lampiran 2 : Pengujian ping dengan besaran abnormal ....................................... 79 Lampiran 3 : Pegujian ping random max paket 2048 byte ................................. 105
xi
