2007

UNIVERSITAS BINA NUSANTARA Jurusan Teknik Informatika Skripsi Sarjana Komputer Semester Ganjil tahun 2006 / 2007 KEAMANAN JARINGAN MENGGUNAKAN UNIFIED THREAT MANAGEMENT (UTM) PADA SERVER BERBASISKAN LINUX Wahyu Hento Benny Defendy

0700706342 0700711102 0700727946

Abstrak Dalam kesempatan yang baik ini, penulis berusaha untuk memperkenalkan suatu sistem baru dalam bidang keamanan jaringan dengan nama UTM (Unified Threat Management). UTM adalah suatu aplikasi yang mengintegrasikan berbagai fitur keamanan menjadi suatu platform hardware tunggal. Kualifikasi didalam kategori ini meliputi kemampuan firewall jaringan, network intrusion detection and prevention (IDP), dan anti-virus gateway. Aplikasi yang penulis bangun merupakan paket UTM dalam sistem operasi Linux dengan menggunakan tools yang sudah berjalan dengan stabil. Alasan penulis membangun sistem ini adalah untuk memberikan proteksi menyeluruh pada jaringan di sekolah St. Bellarminus. Metode yang penulis gunakan adalah metode spiral dimana pengembangan aplikasi ini akan bersifat berkelanjutan dan dapat dengan mudah diubah jika ada versi terbaru dari tools keamanan yang digunakan dalam aplikasi atau jika ada tools keamanan yang lebih baik. Jadi, aplikasi ini dapat dikatakan memiliki kemampuan yang tidak terbatas selama operator sistem melakukan update dari tools tersebut. Hasil yang diberikan oleh aplikasi ini dapat dikatakan sangat baik karena memberikan proteksi jaringan yaitu: (1) cross-platform firewall, dimana firewall dapat diterapkan di dalam lingkungan Linux (sebagai server) maupun Windows (sebagai client). (2) Intrusion Detection System yang dapat mendeteksi intrusion seperti masquerade dan backdoor program. (3) Proxy Server yang memantau kegiatan jaringan dan memberikan batasan akses terhadap situs-situs yang termasuk blacklisted sites. (4) Proteksi terhadap e-mail yang mengandung virus dan spam. Keunggulan lain dari aplikasi yang dibuat dalam sistem operasi Linux ini adalah bahwa proteksi dapat dilakukan di sistem operasi Linux dan Windows secara bersama-sama. Simpulan yang penulis tarik dari aplikasi ini adalah aplikasi ini dapat menghasilkan efektivitas kerja yang lebih dengan biaya rendah dan aplikasi ini sangat berguna dalam memantau kondisi jaringan dan mengkonfigurasi jaringan di sekolah St. Bellarminus. Kata Kunci : Network, Keamanan Jaringan, UTM, Unified Threat Management, Aplikasi Jaringan, Firewall, Proxy, Anti Virus, Anti Spam, Intrusion Detection System.

iv

PRAKATA

Puji syukur penulis panjatkan kepada Tuhan Yang Maha Esa atas segala berkat dan karunia-Nya sehingga penulis dapat menyelesaikan skripsi ini dengan baik dan tepat pada waktunya. Tujuan dari penulisan ini adalah sebagai salah satu syarat akhir di dalam menyelesaikan program Strata-1 Jurusan Teknik Informatika pada Universitas Bina Nusantara. Skripsi ini memiliki judul “Keamanan Jaringan Menggunakan Unified Threat Management pada Server Berbasiskan Linux“. Pada kesempatan ini, penulis juga ingin menyampaikan ucapan terima kasih kepada pihak-pihak yang berperan di dalam penyusunan skripsi ini dari awal hingga akhir, antara lain : 1. Keluarga penulis yang telah banyak memberikan dukungan baik material maupun spiritual kepada penulis selama penulis menempuh pendidikan di Universitas Bina Nusantara. 2. Bapak Prof. Dr. Gerardus Polla, M.App.Sc. selaku Rektor Universitas Bina Nusantara. 3. Bapak Ir. Sablin Yusuf, M.Sc., M.Comp.Sc selaku. Dekan Fakultas Ilmu Komputer Universitas Bina Nusantara. 4. Bapak H. Mohammad Subekti, BE, M.Sc selaku Kepala Jurusan Teknik Informatika Universitas Bina Nusantara. 5. Bapak Fredy Purnomo, S.Kom., M.Kom selaku Sekretaris Jurusan Teknik Informatika Universitas Bina Nusantara.

v

6. Bapak Bambang Heru T, Ir., M.Sc. selaku Dosen Pembimbing yang telah membimbing penulis dalam banyak hal di dalam penyusunan skripsi ini. 7. Sr. Maria Goretti, OSU selaku koordinator pelaksana harian yayasan St.Bellarminus yang telah memberikan ijin dalam melaksanakan survey skripsi ini. 8. Bapak Fendi Widjaja dan Bapak Judian Inanda Kolloh selaku staff IT dari yayasan St. Bellarminus yang telah memberikan banyak kemudahan dan saran-saran kepada penulis dalam penyusunan skripsi ini. 9. Pihak-pihak lain yang tidak dapat penulis sebutkan satu per satu, yang telah memberikan dukungan baik dalam bentuk material maupun spriritual kepada penulis.

Penulis juga menyadari bahwa masih terdapat banyak kekurangan di dalam penulisan skripsi ini, oleh karena itu penulis sangat mengharapkan adanya kritik dan saran yang membangun sehingga penulis dapat menyempurnakan skripsi ini dengan lebih baik. Pada akhirnya, penulis berharap skripsi ini dapat berguna bagi pengembangan pengetahuan dan wawasan bagi pihak yayasan St.Bellarminus, dan seluruh civitas akademik Universitas Bina Nusantara maupun bagi pembaca lainnya.

Jakarta, 12 Januari 2006

Penulis vi

DAFTAR ISI

Halaman Judul Luar ……………………………………………………………….. i Halaman Judul Dalam..…………………………………………………………….. ii Halaman Persetujuan Softcover...………………………………………………….. iii Abstrak…………….……………………………………………………………….. iv Prakata …………….……………………………………………………………….. v Daftar Isi………………..………………………………………………………….. vii Daftar Tabel……….……………………………………………………………….. xiii Daftar Gambar…….……………………………………………………………….. xiv

BAB 1 PENDAHULUAN 1.1

Latar Belakang Masalah…………………………..……………... 1

1.2

Ruang Lingkup……………………………………..…….............. 3

1.3

Tujuan dan Manfaat…………………………………………….... 4

1.4

Metodolog Pengembangan Piranti Lunak…...…………............... 5

1.5

Sistematika Penulisan…………………………………………….. 7

BAB 2 LANDASAN TEORI 2.1

2.2

Jaringan (Network)…….………………………..………………... 9 2.1.1

Local Area Network (LAN)……………...…….................. 12

2.1.2

Metropolitan Area Network (MAN).....…...……................ 13

2.1.3

Wide Area Network (WAN) ………...…............................ 13

Network Addresing………...……..................……...…….............. 13 vii

2.3

2.4

2.5

2.6

2.2.1

Physical Address………...……...............………...……...... 13

2.2.2

Logical Address………...……...............………...……....... 15

Internet Protocol………...……..................…….....…….................. 16 2.3.1

Ipv4………...……..................…..…...……......................... 16

2.3.2

Ipv6........................................................................................ 19

2.3.3

Subnet Mask ......................................................................... 20

Ancaman Jaringan………...……..................…….....……............... 21 2.4.1

Program Berbahaya (Malicious Software) ..……...……...... 21

2.4.2

Intruder………...……..................……….....….................... 28

Keamanan Jaringan………...……..................……….……............. 29 2.5.1

Antivirus………...……..................………...….................... 30

2.5.2

Firewall………...……..................………...…….................. 31

Linux………...……..................………...……..................……….... 37 2.6.1

2.7

Linux Fedora Core………...……..................………...……. 39

Piranti Lunak Keamanan dan Pemantauan Jaringan………...…….. 40 2.7.1

Iptables………...……..................……….............................. 40

2.7.2

Squid………...……..................………...……..................... 41

2.7.3

Qmail dan Qmail-scanner………...……............................... 41

2.7.4

ClamAV………...……..................………...……................. 42

2.7.5

Spamassasin………...……..................………...……........... 42

2.7.6

Snort………...……..................………...……....................... 43

2.8

Unified Threat Management………...……..................………...….. 43

2.9

Web Server………...……..................………...……........................ 44 2.9.1

Apache………...……..................………...……................... 45 viii

2.10

PHP………...……..................………...…….................................... 45

2.11

DataBase………...……..................………...……............................ 46 2.11.1 MySQL………...……..................………...…….................. 47

BAB 3 ANALISIS DAN PERANCANGAN SISTEM 3.1

3.2

3.3

Sejarah dan Struktur Organisasi Yayasan St. Bellarminus.............. 48 3.1.1

Sejarah Yayasan St. Bellarminus......................................... 48

3.1.2

Visi dan Misi Yayasan St. Bellarminus............................... 49

3.1.3

Struktur Organisasi Yayasan St. Bellarminus .................... 51

Analisis Sistem................................................................................ 52 3.2.1

Sistem yang Sedang Berjalan............................................... 52

3.2.2

Analisis Permasalahan....................................... .................. 54

3.2.3

Analisis Pemecahan Masalah............................................... 55

Perancangan Sistem Solusi...................................... ........................ 58 3.3.1

Perancangan Model Sistem Solusi........................................ 59

3.3.2

Perancangan Fitur Sistem Solusi........................................... 60

3.3.3

Perancangan STD.................................................................. 62 3.3.3.1

Perancangan STD Login......................................... 62

3.3.3.2

Perancangan STD Home......................................... 63

3.3.3.3

Perancangan STD Firewall > Manage.................... 64

3.3.3.4

Perancangan STD Firewall > Add.......................... 65

3.3.3.5

Perancangan STD Mail Monitoring....................... 66

3.3.3.6

Perancangan STD Spam Management > Manage.. 67

3.3.3.7

Perancangan STD Spam Management > Add...... 68 ix

3.3.3.8

Perancangan STD Proxy Monitoring....................... 69

3.3.3.9

Perancangan STD Proxy Management > Manage... 70

3.3.3.10 Perancangan STD Proxy Management > Add New. 71 3.3.3.11 Perancangan STD IDS............................................ 72 3.3.3.12 Perancangan STD User > Manage......................... 73 3.3.3.13 Perancangan STD User > Add New....................... 74 3.3.3.14 Perancangan STD Help........................................... 75 3.3.3.15 Perancangan STD Logout....................................... 75 3.3.4

Perancangan Layar Sistem Solusi............................................ 76 3.3.4.1

Halaman Login........................................................ 76

3.3.4.2

Halaman Home........................................................ 77

3.3.4.3

Halaman Firewall > Manage................................... 78

3.3.4.4

Halaman Firewall > Add New................................. 79

3.3.4.5

Halaman Mail Utilities > Mail Monitoring............. 80

3.3.4.6

Halaman Mail Utilities > Spam Manag. > Manage... 81

3.3.4.7

Halaman Mail Utilities > Spam Manag.t > Add...... 82

3.3.4.8

Halaman Proxy > Proxy Monitoring....................... 83

3.3.4.9

Halaman Proxy > Proxy Management > Manage.... 84

3.3.4.10 Halaman Proxy > Proxy Management > Add.......... 85 3.3.4.11 Halaman IDS........................................................... 86 3.3.4.12 Halaman User > Manage......................................... 87 3.3.4.13 Halaman User > Add New...................................... 88 3.3.4.14 Halaman Help.......................................................... 89 3.3.4.15 Halaman Logout...................................................... 90 x

3.3.5

3.3.6

Perancangan Basis Data Sistem Solusi.................................. 91 3.3.5.1

Firewall................................................................... 91

3.3.5.2

Proxy..................................................................... 91

3.3.5.3

Spam...................................................................... 92

3.3.5.4

User........................................................................ 92

Perancangan Modul Sistem Solusi....................................... 93 3.3.6.1

Perancangan Modul Program Server..................... 93

3.3.6.2

Perancangan Modul Program Client..................... 96

BAB 4 IMPLEMENTASI DAN EVALUASI 4.1

Spesifikasi Sistem............................................................................ 110

4.2

Prosedur Operasional....................................................................... 112 4.2.1

Prosedur Instalasi dan Konfigurasi Sistem.......................... 112

4.2.2

Prosedur Penggunaan Sistem.............................................. 117 4.2.2.1

4.3

Memulai Program................................................ 117

Evaluasi Sistem............................................................................... 135 4.3.1

Evaluasi Kemampuan Fitur Sistem..................................... 135

4.3.2

Evaluasi dari Sisi Teknis dan Kelebihan............................. 138

BAB 5 SIMPULAN DAN SARAN 5.1

Simpulan.......................................................................................... 140

5.2

Saran................................................................................................ 141

DAFTAR PUSTAKA …………………………………………………………….. 143 xi

RIWAYAR HIDUP ……………………………………………………………….. 145 FOTOCOPY SURAT SURVEI ………………………………………………… 148

xii

DAFTAR TABEL

Tabel 2.1 Format heksadesimal penulisan MAC address .......................................... 14 Tabel 2.2 IP kelas A .................................................................................................. 17 Tabel 2.3 IP kelas B ................................................................................................... 17 Tabel 2.4 IP kelas C .................................................................................................. 18 Tabel 2.5 IP kelas D .................................................................................................. 18 Tabel 2.6 IP kelas E .................................................................................................. 18 Tabel 3.1 Tabel Perbandingan Sistem Solusi Keamanan Jaringan ............................ 56 Tabel 3.2 Skema tabel basis data Firewall ................................................................ 91 Tabel 3.3 Skema tabel basis data Proxy ................................................................... 91 Tabel 3.4 Skema tabel basis data Spam .................................................................... 92 Tabel 3.5 Skema tabel basis data User ..................................................................... 92 Tabel 4.1 Tabel Hasil Pengujian Penyaringan Spam ................................................ 135 Tabel 4.2 Tabel Hasil Pengujian Pengiriman email bervirus .................................... 136

xiii

DAFTAR GAMBAR

Gambar 2.1 MAC address dalam NIC ...................................................................... 14 Gambar 2.2 Susunan bit dalam IPv4 ........................................................................ 15 Gambar 2.3 Kelas – kelas IP dalam IPv4 ....................................... ......................... 19 Gambar 2.4 Taxonomy dari program berbahaya ...................................................... 21 Gambar 2.5 Contoh Penyebaran Virus melalui Surat Elektronik ............................. 25 Gambar 2.6 Behaviour dari intruder dan authorized user ....................................... 29 Gambar 2.7 Penempatan firewall di dalam jaringan ................................................. 32 Gambar 2.8 Protokol di tingkat masing-masing layer TCP/IP ................................ 33 Gambar 3.1 Struktur Organisasi Yayasan St. Bellarminus ...................................... 51 Gambar 3.2 Skema Jaringan Yayasan St. Bellarminus ............................................ 53 Gambar 3.3 Gambar Arsitektur UTM ....................................................................... 57 Gambar 3.4 Skema Peletakan UTM pada jaringan Yayasan St.Bellarminus .......... 59 Gambar 3.5 Gambar Perancangan Fitur Sistem Solusi ............................................. 61 Gambar 3.6 State Transition Diagram Layar Login ................................................

62

Gambar 3.7 State Transition Diagram Layar Home ...............................................

63

Gambar 3.8 State Transition Diagram Layar Firewall > Manage .........................

64

Gambar 3.9 State Transition Diagram Layar Firewall > Add New Rule ................

65

Gambar 3.10 State Transition Diagram Layar Mail Monitoring ............................... 66 Gambar 3.11 State Transition Diagram Layar Spam Rule Management > Manage .. 67 Gambar 3.12 State Transition Diagram Layar Spam Rule Management > Add New. 68 Gambar 3.13 State Transition Diagram Layar Proxy Monitoring ............................. 69 Gambar 3.14 State Transition Diagram Layar Proxy Management > Manage ......... 70 xiv

Gambar 3.15 State Transition Diagram Layar Proxy Management >Add New .......... 71 Gambar 3.16 State Transition Diagram Layar IDS .................................................... 72 Gambar 3.17 State Transition Diagram Layar User > Manage ................................ 73 Gambar 3.18 State Transition Diagram Layar User > Add New ............................... 74 Gambar 3.19 State Transition Diagram Layar Help .................................................... 75 Gambar 3.20 State Transition Diagram Layar Logout ................................................ 75 Gambar 3.21 Rancangan Layar Halaman Login ......................................................... 76 Gambar 3.22 Rancangan Layar Home ........................................................................ 77 Gambar 3.23 Rancangan Layar Firewall > Manage ................................................. 78 Gambar 3.24 Rancangan Layar Firewall > Add New ............................................... 79 Gambar 3.25 Rancangan Layar Mail Utilities > Mail Monitoring...................... ........ 80 Gambar 3.26 Rancangan Layar Mail Utilities > Spam Rule Management > Manage 81 Gambar 3.27 Rancangan Layar Mail Utilities>Spam Rule Management > Add New 82 Gambar 3.28 Rancangan Layar Proxy > Proxy Monitoring ...................................... 83 Gambar 3.29 Rancangan Layar Proxy > Proxy Management > Manage ................. 84 Gambar 3.30 Rancangan Layar Proxy > Proxy Management > Add New ............... 85 Gambar 3.31 Rancangan Layar IDS .......................................................................... 86 Gambar 3.32 Rancangan Layar User > Manage ...................................................... 87 Gambar 3.33 Rancangan Layar User > Add New .................................................... 88 Gambar 3.34 Rancangan Layar Help ........................................................................ 89 Gambar 3.35 Rancangan Layar Logout ..................................................................... 90 Gambar 4.1 Halaman Login ........................................................................................ 117 Gambar 4.2 Halaman Login Salah .............................................................................. 117 Gambar 4.3 Halaman Home ....................................................................................... 118 xv

Gambar 4.4 Halaman Firewall ................................................................................... 119 Gambar 4.5 Halaman Menambah Rule Firewall ........................................................ 119 Gambar 4.6 Halaman Menambah Rule Firewall Sukses ........................................... 120 Gambar 4.7 Halaman Mengubah Rule Firewall ......................................................... 120 Gambar 4.8 Halaman Mengubah Rule Firewall Sukses ............................................. 121 Gambar 4.9 Halaman Menghapus Rule Firewall Sukses ........................................... 121 Gambar 4.10 Halaman isoqlog ................................................................................... 122 Gambar 4.11 Halaman isoqlog yearly report ............................................................. 123 Gambar 4.12 Halaman Spam ...................................................................................... 123 Gambar 4.13 Halaman Menambah Rule Spam ........................................................... 124 Gambar 4.14 Halaman Menambah Rule Spam Sukses ............................................... 124 Gambar 4.15 Halaman Mengubah Rule Spam ............................................................ 125 Gambar 4.16 Halaman Mengubah Rule Spam Sukses ................................................ 125 Gambar 4.17 Halaman Menghapus Rule Spam Sukses .............................................. 126 Gambar 4.18 Halaman sarg ........................................................................................ 126 Gambar 4.19 Halaman sarg daily report .................................................................... 127 Gambar 4.20 Halaman Proxy Management ................................................................ 127 Gambar 4.21 Halaman Menambah Rule Proxy .......................................................... 128 Gambar 4.22 Halaman Menambah Rule Proxy Sukses .............................................. 128 Gambar 4.23 Halaman Mengubah Rule Proxy .......................................................... 129 Gambar 4.24 Halaman Mengubah Rule Proxy Sukses .............................................. 129 Gambar 4.25 Halaman Menghapus Rule Proxy Sukses ............................................. 130 Gambar 4.26 Halaman ACID ..................................................................................... 130 Gambar 4.27 Halaman User ...................................................................................... 131 xvi

Gambar 4.28 Halaman Menambah User ................................................................... 131 Gambar 4.29 Halaman Menambah User Sukses ....................................................... 132 Gambar 4.30 Halaman Mengubah User ................................................................... 132 Gambar 4.31 Halaman Mengubah User Sukses ....................................................... 133 Gambar 4.32 Halaman Menghapus User Sukses ..................................................... 133 Gambar 4.33 Halaman Help ...................................................................................... 134 Gambar 4.34 Halaman Logout .................................................................................. 134 Gambar 4.35 Tampilan pembatasan akses situs …………………………………… 137 Gambar 4.36 Tampilan Proxy Monitoring > Denied Reports…………………..…. 138

xvii