ANALISIS PERANCANGAN DAN IMPLEMENTASI IP SECURITY (IPSEC) SEBAGAI PROTOKOL KEAMANAN UNTUK VIRTUAL PRIVATE NETWORK (VPN) PADA KLIEN PT. XYZ
TUGAS AKHIR
M. BAGUS OKA G.W. 1102001025
FAKULTAS TEKNIK DAN ILMU KOMPUTER PROGRAM STUDI INFORMATIKA UNIVERSITAS BAKRIE JAKARTA 2016
UNIVERSITAS BAKRIE
UCAPAN TERIMA KASIH
Puji syukur penulis panjatkan kehadirat Allah SWT, karena hanya atas berkat dan karunia-Nya, sehingga Tugas Akhir yang berjudul “Analisis Perancangan dan Implementasi IP Security (IPSec) sebagai Protokol Keamanan untuk Virtual Private Network (VPN) pada Klien PT. XYZ”, dapat terselesaikan dengan baik. Penulisan Tugas Akhir ini dilakukan dalam rangka memenuhi salah satu syarat untuk mencapai gelar Sarjana Komputer Program Studi Informatika pada Fakultas Teknologi dan Ilmu Komputer Universitas Bakrie. Penyusunan Tugas Akhir ini tidak terlepas dari berbagai hambatan dan kesulitan dari awal hingga akhir penyusunan. Terima kasih juga Penulis sampaikan kepada Universitas Bakrie yang telah memberikan dukungan dan fasilitas yang memadai selama masa perkuliahan. Begitu banyak pihak yang telah memberikan doa, masukan, bantuan, semangat dan nasihat selama penyusunan Tugas Akhir ini. Oleh karena itu, Penulis sampaikan juga terima kasih kepada: 1. Kedua orang tua tercinta, Bapak Arfan Chairudin dan Ibu Ika Saulina atas kasih sayang, dukungan, dan doa yang tidak henti-henti untuk penulis. 2. Anggittya Larasaty, sahabat yang tidak pernah lelah untuk mendukung dan menyemangati penulis dalam penulisan penelitian ini. 3. Dosen pembimbing Tugas Akhir, Bapak Berkah I. Santoso, ST., MTI., yang sudah dua tahun dengan sabar membimbing penulis dalam menyelesaikan penelitian ini. 4. Bapak Prof. Dr. Hoga Saragih, ST., MT., selaku kepala Program Studi Informatika yang membantu penulis dalam penyusunan penelitian ini. 5. Bapak Iqbal, Mas Otto, dan Mas Diki beserta tim divisi jaringan PT. XYZ yang telah mengizinkan penulis melakukan penelitian dalam proyek implementasi jaringan untuk klien.
iv
UNIVERSITAS BAKRIE
6. Sahabat- sahabat penulis Ikri, Bagus, Preste, Kak Siska, Kak Eky yang selalu menyemangati dan membantu penulis. 7. Adik-adik dan keluarga penulis, terima kasih untuk doa dan motivasi yang diberikan. 8. Teman-teman Fakultas Teknologi dan Ilmu Komputer Baubau, Said, Adit, Dida, Hamdi, Dipta, dan teman-teman lain yang tidak bisa disebutkan namanya satu per satu. 9. Teman-teman Universitas Bakrie Tria, Seiva, Kenny, Edo, dan teman-teman lain yang tidak bisa disebutkan namanya satu per satu. 10. Ibu Ikri, Ibu Kenny, dan Ibu Anggit untuk doanya. 11. Kakak-kakak Sahabat Anak Manggarai Kak Septi, Kak Vita, Kak Dena, Kak Jane, Kak Suci, Kak Ais, dan kakak-kakak lain yang tidak bisa disebutkan namanya satu per satu. 12. Mbak Rona atas dukungannya yang membuat penulis tetap melanjutkan kuliah di Universitas Bakrie. 13. Teman-teman barista untuk dukungannya kepada penulis. Semoga Allah SWT membalas kebaikan dan memberikan keberkahan kepada kita semua. Serta semoga Tugas Akhir ini memberi informasi yang berguna dan dapat bermanfaat bagi semua kalangan bidang pendidikan, khususnya bidang Informatika.
Jakarta, 16 September 2016
M. Bagus Oka G.W.
v
UNIVERSITAS BAKRIE
HALAMAN PERNYATAAN PERSETUJUAN PUBLIKASI
Sebagai sivitas akademik Universitas Bakrie, saya yang bertanda tangan di bawah ini, Nama
: M. Bagus Oka G.W.
NIM
: 1102001025
Program Studi
: Informatika
Fakultas
: Teknik dan Ilmu Komputer
Jenis Tugas Akhir
: Skripsi
Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Bakrie Hak Bebas Royalti Noneksklusif (Non-exclusive Royalty-Free Right) atas karya ilmiah saya yang berjudul: Analisis Perancangan dan Implementasi IP Security (IPSec) sebagai Protokol Keamanan untuk Virtual Private Network (VPN) pada Klien PT. XYZ Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Noneksklusif
ini
Universitas
Bakrie
berhak
menyimpan,
mengalih
mediakan/formatkan, mengelola dalam bentuk pangkalan data (database), merawat dan mempublikasikan Tugas Akhir saya selama tetap mencantumkan nama saya sebagai penulis dan sebagai pemilik Hak Cipta untuk kepentingan akademis. Demikian pernyataan ini saya buat dengan sebenarnya. Dibuat di
: Jakarta
Pada Tanggal : 16 September 2016 Yang menyatakan,
(M. Bagus Oka G.W.)
vi
UNIVERSITAS BAKRIE
ANALISIS PERANCANGAN DAN IMPLEMENTASI IP SECURITY (IPSEC) SEBAGAI PROTOKOL KEAMANAN VIRTUAL PRIVATE NETWORK (VPN) PADA KLIEN PT. XYZ M. Bagus Oka G.W. ____________________________________________________________________ ABSTRAK
Keamanan jaringan merupakan faktor penting dalam suatu organisasi yang menggunakan teknologi informasi dalam kegiatannya. Hal ini menjadikan mekanisme keamanan jaringan harus diimplementasi dengan baik dan efisien untuk memastikan tidak ada data yang dapat diambil oleh penyerang dalam jaringan tersebut. IPSec adalah salah satu protokol keamanan yang diterapkan pada layer ketiga dalam OSI model. IPSec berjalan di atas VPN dan berfungsi untuk mengenkripsi setiap paket data yang keluar dan masuk dalam suatu jaringan. Penelitian ini bertujuan untuk menganalisis perancangan dan implementasi IPSec sebagai protokol keamanan jaringan klien PT. XYZ. Dari hasil penelitian, diperoleh bahwa konfigurasi yang diusulkan oleh penulis berdasarkan jurnal yang dilampirkan, dapat dilaksanakan dengan baik, dan dapat dijadikan sebagai referensi implementasi IPSec untuk proyek selanjutnya. Kata kunci: kemanan jaringan, IPSec, analisis perancangan.
vii
UNIVERSITAS BAKRIE
DESIGN ANALYSIS AND IMPLEMENTATION OF IP SECURITY (IPSEC) AS SECURITY PROTOKOL ON PT. XYZ CLIENT’S VIRTUAL PRIVATE NETWORK (VPN) M. Bagus Oka G.W. ____________________________________________________________________
ABSTRACT
Network security is an important factor in the organization which relies on information technology. This reason makes network security mechanism must be implemented with good consideration and efficiency, to make sure there are not data that can be stolen by the attacker. IPSec is security protocol in layer three of the OSI model. The purpose of IPSec is to encrypt each data packet either in or out in the network. This study aims for providing design analysis and implementation of IPSec as a security protocol for PT. XYZ’s client network. The result of this research is IPSec’s configuration who author suggests based on attached journal is properly implemented, and can be referenced for next implementation. Keywords: network security, IPSec, design analysis.
viii
UNIVERSITAS BAKRIE
DAFTAR ISI
JUDUL ........................................................................................................................... i HALAMAN PERNYATAAN ORISINALITAS .......................................................... ii HALAMAN PENGESAHAN ...................................................................................... iii UCAPAN TERIMA KASIH ........................................................................................ iv HALAMAN PERNYATAAN PERSETUJUAN PUBLIKASI............................... vi ABSTRAK .................................................................................................................. vii ABSTRACT ............................................................................................................... viii DAFTAR ISI ................................................................................................................ ix DAFTAR SINGKATAN ............................................................................................. xi DAFTAR GAMBAR ................................................................................................. xiv DAFTAR TABEL ....................................................................................................... xv DAFTAR LAMPIRAN .............................................................................................. xvi BAB I PENDAHULUAN ............................................................................................. 1 1.1
Latar Belakang Masalah ................................................................................. 1
1.2
Rumusan Masalah .......................................................................................... 3
1.3
Batasan Masalah ............................................................................................. 3
1.4
Tujuan Penelitian ............................................................................................ 3
1.5
Manfaat Penelitian .......................................................................................... 3
1.6
Sistematika Penulisan ..................................................................................... 4
BAB II TINJAUAN PUSTAKA................................................................................... 6 2.1
Penelitian Terdahulu ....................................................................................... 6
2.2
Virtual Private Network ............................................................................... 10
2.3
IP Security .................................................................................................... 13
2.4
IKE-Scan ...................................................................................................... 24
2.5
Cisco® Packet Tracer .................................................................................. 26
BAB III METODE PENELITIAN.............................................................................. 27
ix
UNIVERSITAS BAKRIE
3.1
Fase Penelitian .............................................................................................. 27
3.2
Metode Penelitian ......................................................................................... 29
3.3
Rencana Kerja Penelitian ............................................................................. 34
BAB IV IMPLEMENTASI DAN PENGUJIAN ....................................................... 35 4.1 Gateway VPN Device ........................................................................................ 35 4.2 Topologi Jaringan dan Pembagian IP ................................................................ 35 4.3 Implementasi IPSec via J-Web.......................................................................... 37 4.4 Pengujian Jaringan ............................................................................................ 37 4.5 Pengujian IKE-Scan .......................................................................................... 40 BAB V KESIMPULAN DAN SARAN ...................................................................... 43 5.1 Kesimpulan ........................................................................................................ 43 5.2 Saran .................................................................................................................. 43 DAFTAR PUSTAKA ................................................................................................. 44
x
UNIVERSITAS BAKRIE
DAFTAR SINGKATAN
3DES
TRIPLE DATA ENCRYPTION STANDARD
AES
ADVANCED ENCRYPTION STANDARD
AH
AUTHENTICATION HEADER
ARPANet
ADVANCED RESEARCH PROJECTS AGENCY NETWORK
CLI
COMMAND LINE INTERFACE
DES
DATA ENCRYPTION STANDARD
DOD
DEPARTMENT OF DEFENSE
DSA
DIGITAL SIGNATURE ALGORITHM
E2E-NATPT
END TO END NETWORK ADDRESS TRANSLATION PROTOCOL TRANSLATION
ECDSA
ELLYPTIC CURVE DIGITAL SIGNATURE ALGORITHM
ESP
ENCAPSULATED SECURITY PAYLOAD
GNS3
GRAPHICAL NETWORK SIMULATOR-3
GtG
GATEWAY TO GATEWAY
HMAC
HASH MESSAGE AUTHENTICATION CODE
HMAC-MD5
HASH MESSAGE AUTHENTICATION CODE-MESSAGE DIGGEST 5
HMAC-SHA1
HASH
MESSAGE
HASH ALGORITHM HtG
HOST TO GATEWAY xi
AUTHENTICATION
CODE-SECURE
UNIVERSITAS BAKRIE
HtH
HOST TO HOST
IAB
INTERNET ARCHITECTURE BOARD
IDEA
INTERNATIONAL DATA ENCRYPTION ALGORITHM
IKE
INTERNET KEY EXCHANGE
IP
INTERNET PROTOCOL
IPSec
INTERNET PROTOCOL-SECURITY
LAN
LOCAL AREA NETWORK
NAT-T
NETWORK ADDRESS TRANSLATION-TRAVERSAL
NS-2
NETWORK SIMULATOR-2
OS
OPERATING SYSTEM
OSI
OPEN SYSTEM INTERCONNECTION
PKI
PUBLIC KEY INFRASTRUCTURE
PSK
PRE-SHARED KEY
QoS
QUALITY OF SERVICE
RC4
RIVEST CIPHER 4
RFC
REQUEST FOR COMMENTS
RSA
RIVEST-SHAMIR-ADLEMAN
SA
SECURITY ASSOCIATION
SAD
SECURITY ASSOCIATION DATABASE
SPD
SECURITY POLICY DATABASE
xii
UNIVERSITAS BAKRIE
SPI
SECURITY PARAMETER INDEX
TCP/IP
TRANSMISSION
CONTROL
PROTOCOL/INTERNET
PROTOCOL UDP-ESP
USER
DATAGRAM
PROTOCOL-ENCAPSULATED
SECURITY PAYLOAD VPN
VIRTUAL PRIVATE NETWORK
WAN
WIDE AREA NETWORK
xiii
UNIVERSITAS BAKRIE
DAFTAR GAMBAR
Gambar 2. 1 Gateway-to-Gateway Architecture [4] ................................................... 11 Gambar 2. 2 Host-to-Gateway Architecture [4].......................................................... 11 Gambar 2. 3 Host-to-Host Architecture [4] ................................................................ 12 Gambar 2. 4 IPSec Architecture [5] ............................................................................ 20 Gambar 2. 5 Host SPD [5] .......................................................................................... 22 Gambar 2. 6 IKE Mode ............................................................................................... 24 Gambar 3. 1 Fase Penelitian........................................................................................ 27 Gambar 3. 2 Tahapan Implementasi IPSec ................................................................. 29 Gambar 3. 3 Topologi IPSec VPN .............................................................................. 30 Gambar 3. 4 IPSec VPN via Packet Tracer................................................................. 33 Gambar 4. 1 Topologi Site B ...................................................................................... 36 Gambar 4. 2 Topologi Site B ...................................................................................... 36 Gambar 4. 3 Ping Site A to Site B .............................................................................. 38 Gambar 4. 4 Ping Site B to Site A .............................................................................. 38 Gambar 4. 5 Traceroute LAN Site A to Gateway B ................................................... 39 Gambar 4. 6 Traceroute LAN Site B to Gateway A ................................................... 39 Gambar 4. 7 IKE-Scan Main Mode Handshake [13] .................................................. 40 Gambar 4. 8 IKE-Scan Aggressive Mode Handshake [13] ........................................ 41 Gambar 4. 9 IKE-Scan Klien PT. XYZ ...................................................................... 41
xiv
UNIVERSITAS BAKRIE
DAFTAR TABEL
Tabel 2. 1 Komparasi Penelitian Terdahulu dengan Penelitian Penulis ....................... 8 Tabel 2. 2 Komparasi Model VPN [4] ........................................................................ 12 Tabel 2. 3 Komparasi HMAC [9] ............................................................................... 15 Tabel 2. 4 AH Tunnel Mode [4].................................................................................. 16 Tabel 2. 5 AH Transport Mode [4] ............................................................................. 16 Tabel 2. 6 Komparasi Algoritma Enkripsi [10] .......................................................... 16 Tabel 2. 7 ESP Tunnel Mode [4] ................................................................................ 18 Tabel 2. 8 ESP Transport Mode [4] ............................................................................ 18 Tabel 2. 9 Tabel Komparasi AH dan ESP [5] ............................................................. 19 Tabel 2. 10 Kombinasi Parameter Main Mode IKE-Scan [13]................................... 25 Tabel 2. 11 Kombinasi Parameter Aggressive Mode IKE-Scan [13] ......................... 25 Tabel 3. 1 Tabel Spesifikasi Hardware ....................................................................... 30 Tabel 3. 2 Konfigurasi IPSec ...................................................................................... 31 Tabel 3. 3 IP Table Simulasi ....................................................................................... 32 Tabel 3. 4 Rencana Kerja Penelitian ........................................................................... 34 Tabel 4. 1 IP Table ...................................................................................................... 37
xv
UNIVERSITAS BAKRIE
DAFTAR LAMPIRAN
Lampiran 1 Hasil Wawancara ..................................................................................... 46 Lampiran 2 Konfigurasi CLI Packet Tracer................................................................ 48 Lampiran 3 Konfigurasi CLI VPN IPSec ................................................................... 58 Lampiran 4 Implementasi IPSec via J-Web ................................................................ 67
xvi
