Modifikasi Distributed File Server pada GlusterFS Menggunakan Indikator Beban
1)
Stefan Julianto, 2)Wiwin Sulistyo, ST., M.Kom.,
3)
Dr. Sri Yulianto, J.P., S.Si., M.Kom.
Program Studi Teknik Informatika Fakultas Teknologi Informasi Universitas Kristen Satya Wacana Salatiga, Jawa Tengah 50711 Phone (0298) 321212 Email : 1)
[email protected], 2)
[email protected] 3)
[email protected]
ABSTRACT File that is popular and downloaded more than other files is a common thing that happens in file server. High traffic is determined from total users that access the file from the servers. There are some files that downloaded more than other files on the servers. This thing could make bottleneck occur in ones of the servers that served the files. Method that being used is NDLC (Network Development Life Cycle). NDLC method has purpose to plan an architecture of file servers from the decision of the topology that being used and the plan to choose the application and optimalization of the file servers. The purpose of this research is to use GlusterFS as the filesystem to address the issues. The type of filesystem that going to be used is distributed and striped type. The two type of the filesystems will being used to solve the problem of bottleneck in some of servers that have overload traffic into another server with low traffic.
ABSTRAK File yang populer dan diunduh lebih sering dibandingkan files lainnya merupakan hal yang sering terjadi pada file server. Padatnya traffic jaringan ditentukan oleh jumlah user yang mengunduh file pada server. Dari sejumlah file yang terdapat pada server, terdapat beberapa file yang diunduh lebih banyak dari file lainnya. Hal ini mengakibatkan bottleneck pada salah satu server yang menyimpan file tersebut, sedangkan server lainnya dalam keadaan tidak padat. Metode yang digunakan adalah metode NDLC (Network Development Life Cycle). Digunakannya metode ini bertujuan untuk merancang sebuah arsitektur file server dari awal penentuan topology hardware sampai pada perancangan aplikasi dan optimalisasi file server. Tujuan dari penelitian ini adalah merancang file server menggunakan filesystem GlusterFS. Tipe Filesystem yang dipakai menggunakan tipe distributed dan stripe. Kedua tipe tersebut digunakan untuk mengatasi bottleneck pada salah satu server yang mengalami kepadatan jaringan untuk dibagi bebannya ke server lainnya.
1.
Pendahuluan
Banyaknya user yang mengunduh file pada fileserver dapat mengakibatkan padatnya salah satu server pada cluster file server. Padatnya salah satu server tersebut mengakibatkan menurunnya transfer rate dari server ke user. Semakin menurunnya transfer rate maka semakin lama pula waktu yang dibutuhkan user untuk selesai mengunduh file. Ukuran file turut menentukan lama sebuah file untuk selesai diunduh, semakin besar ukuran file, semakin lama user selesai untuk mengunduhnya. Kinerja suatu cluster server dapat terganggu dikarenakan server dalam cluster yang berfungsi sebagai storage mengalami gangguan. Terdapat kemungkinan 50% 1
2
bahwa di dalam suatu cluster server, storage server yang kemungkinan besar mengalami gangguan atau kerusakan[4]. Untuk mencegah storage server pada cluster tidak mengalami penurunan kinerja, dibutuhkan suatu perancangan fileserver yang saling bekerja sama untuk membagi beban jaringan. Pada penelitian ini akan menggunakan GlusterFS untuk mengatur pembagian file pada cluster fileserver. Dengan pembagian tipe volume distributed dan stripe, diharapkan akan dapat mendistribusi beban jaringan. Dengan didistribusikannya file sesuai tingkat popularitasnya, maka diharapkan tidak terjadi bottleneck pada salah satu server dari kumpulan cluster fileserver yang ada.
2.
Kajian Pustaka
Penelitian dengan judul Analysis of Six Distributed File System[2], melakukan perbandingan dari enam jenis aplikasi distributed file systems. Diantaranya terdapat GlusterFS DFS. GlusterFS memiliki kelebihan dalam kecepatan input/output yang lebih baik dibanding DFS jenis lainnya. Selain itu GlusterFS juga tidak memisahkan antara server metadata dengan server penyimpanan data, sehingga GlusterFS dapat dikembangkan hingga beberapa server dalam jumlah yang sangat banyak. Kelebihan GlusterFS inilah yang dianggap sangat cocok dengan kebutuhan web file server yang merupakan tipe cluster server yang membutuhkan transfer rate tinggi dan dapat diperluas dengan mudah dan berskala besar. Tabel 1 Perbandingan Fitur DFS [2]
Architecture Naming Api
Fault detection
HDFS Centralized Index CLI, FUSE REST, API
iRODS Centrlized Database CLI, FUSE REST, API
Fully connect No failover
P2P
System availability Data Replication availability Placement Auto strategy Replication Async Cache WORM, consistency lease Load balancing Auto
GlusterFS Decentralized EHA FUSE, mount
Lustre Centralized Index FUSE
Detected
Manually
No failover
Ceph Distributed CRUSH FUSE, mount REST Fully connect High
High
Failover
Replication
Replication
RAID-like
No
Manual
Auto
Manual
No
Sync Lock
Sync Lock
Sync No
RAID-like Lock
Manual
Manual
No
Pada tabel 1 merupakan perbandingan dari enam DFS yang sering digunakan. GlusterFS merupakan salah satu DFS yang memiliki placement strategy manual. Sehingga untuk menjadikan GlusterFS DFS menjadi filesystem yang dapat melakukan placement strategy dinamis, perlu ditambahkan sebuah script tambahan untuk manajemen file pada file server cluster. Sebuah sistem cluster file server memiliki beberapa server komputer yang saling berbagi akses di dalam sebuah filesystem di dalam shared storage[1]. Untuk menghindari terjadinya server overload pada salah satu server di dalam cluster file server, perlu dilakukan
3
management cluster. Ketika terjadi server overload, maka management cluster harus mampu memindahkan atau membagi beban server ke server lainnya di dalam cluster file server. GlusterFS memiliki desain client server dimana tidak terdapat server metadata. GlusterFS menyimpan data dan metadata ke beberapa devices yang terletak di beberapa server yang saling terhubung. Kumpulan devices itu disebut volume , yang dapat dikonfigurasi untuk menyimpan data secara stripe ke dalam bentuk blocks dan mereplikasinya. Blocks kemudian didistribusikan ke dalam beberapa device di dalam volume[5]. GlusterFS menggunakan algoritma Elastic Hasing Algorithm. Algoritma ini tidak memisahkan antara data dengan metadatanya. Lokasi data diketahui dengan hanya membutuhkan informasi berupa path name dan file name. Tidak dipisahkannya data dan metadatanya dikarenakan lokasi file dapat ditentukan secara independen.
Gambar 1 Cara Kerja Gluster Filesystem Distributed[7]
Pada gambar 2 merupakan penjelasan cara kerja umum GlusterFS. Brick adalah storage filesystem yang ditempatkan ke dalam volume. Brick kemudian menjadi kesatuan di dalam perangkat (server) yang memuat volume. Volume adalah perangkat yang merupakan tempat menampung data sebenarnya. Setelah brick dikelompokkan ke dalam volume dengan tipe tertentu misalnya tipe striped, maka stripping data akan terjadi ke dalam beberapa bricks di dalam satu volume. 3.
Metode Perancangan Sistem
Perancangan File Server menggunakan pendekatan metode NDLC ( Network Development Life Cycle ). Tahapan yang terdapat di dalamnya yaitu, analysis, design, simulation prototyping, implementation, monitoring, management.
Gambar 2 Network Development Life Cycle[6]
4
Gambar 2 menunjukkan diagram NDLC yang akan digunakan pada file server. Tahap pertama yaitu tahap analysis merupakan tahapan untuk menentukan dan menganalisa kebutuhan system File Server dengan GlusterFS. GlusterFS membutuhkan minimal dua server yang berfungsi sebagai Gluster server dan minimal 1 server sebagai GlusterFS client. Gluster server merupakan server yang menampung data berupa file yang disimpan sehingga Gluster server inilah yang merupakan pusat file server pada arsitektur file server menggunakan GlusterFS ini. Analisis lainnya yang dianalisa adalah seberapa besar maximum file size yang diperbolehkan diunggah ke file server. Besaran file maximum yang disimpan pada server inilah yang menjadi patokan untuk menentukan apakah suatu file akan disimpan pada filesystem distributed atau filesystem striped. Analisis yang terakhir adalah analisis untuk menentukan jumlah total download per jam untuk masing-masing file untuk dikatergorikan sebagai file yang memiliki tingkat jumlah unduh tinggi. Jumlah total download per jam akan di reset tiap satu jam dengan pertimbangan kemampuan maksimum transfer rate ethernet cable, sehingga file yang melebihi batas 100 total download per jam akan dipindahkan antar kedua filesystem distributed dan striped. Ukuran file yang dijadikan batas adalah minimal 100 mb dengan mengacu pada transfer rate ethernet, yaitu 100 mb/s. Tahap Design yang akan digunakan merupakan topologi antara file server-server yang menyimpan file dengan web server/GlusterFS client. Pada tahapan ini, design yang digunakan menyesuaikan dengan prototype local network. Local network ini hanya mencakup jaringan LAN. Ketiga server hostname dalam cluster GlusterFS harus saling terdaftar di dalam hosts di masing-masing server. Protocol yang digunakan adalah tcp, dan port yang digunakan adalah port 24007 untuk Gluster daemon, 24008 untuk infiniband management, port 34865 – 34867 untuk inline GlusterNFS server dan port 111 untuk portmapper.
Gambar 3 Topology Jaringan Web File Server dengan GlusterFS
5
Gambar 3 menjelaskan topology jaringan yang akan dipakai oleh cluster glusterfs. Topology yang digunakan merupakan topology dasar dari glusterfs. Kedua gluster server adalah server 1 dan server 2. Web server adalah server yang juga berfungsi sebagai server gluster client. Shell script yang akan dibuat terdapat pada web server untuk mengatur distribusi file pada file server. Tahap simulasi akan dijalankan pada virtual server menggunakan aplikasi VirtualBox. File Server dan web server akan diinstall pada Ubuntu Server 12.04. Server yang akan disimulasikan adalah dua file server Gluster dan satu server GlusterFS client. Web server akan diinstall pada server GlusterFS client menggunakan apache2. Database mysql akan dibuat pada server GlusterFS client untuk menyimpan data file berupa nama file, ukuran file, dan path file. Pada tahap implementation akan diimplementasikan semua tahapan dari tahapan design sampai ke tahapan simulation prototyping. Dimulai dengan instalasi Gluster server pada kedua file server dan instalasi GlusterFS client pada head server. Selain instalasi utama berupa cluster GlusterFS, diperlukan juga instalasi mysql, apache web server, web browser (firefox), wonderhaper, dan tcptrack sebagai aplikasi pelengkap web file server menggunakan GlusterFS.
Start
Shell Script
Database File
tidak
ya total unduh lebih dari 100
tidak
ukuran file >100mb
ya copy file from distribute to stripe
Finish
Gambar 4 Flowchart Implementasi Shell Script pada File Server
6
Gambar 4 menjelaskan flowchart implementasi shell script pada file server. total unduh adalah total unduh file pada file server. Ukuran file adalah ukuran file yang disimpan pada file server. Alasan ukuran file ditentukan 100 mb sebagai acuan adalah dikarenakan striping data lebih efektif pada file berukuran besar, yang pada penelitian ini dipakai 100 mb sebagai batas minimal suatu file untuk dapat didistribusikan ke dalam filesystem tipe striped[7]. Tahap monitoring diperlukan untuk memonitor file server apakah telah berjalan sesuai dengan konfigurasi yang ditentukan. Monitoring menggunakan tcptrack dari sisi head server untuk memonitor kondisi Gluster server. Tcptrack memonitor alamat IP Gluster server yang terhubung dengan head server berupa transfer rate dan status jaringan. Dari sisi client, monitoring dilakukan dengan mengamati transfer rate pada download manager browser (firefox). Data yang didapat dari hasil monitoring akan dicatat dan dianalisa apakah sesuai hasil yang diingankan atau tidak dan apa yang menyebabkan hasil yang didapat tersebut. Tahapan management adalah tahapan terakhir yang merupakan tahapan penting yang digunakan sebagai kebijakan utama untuk mendistribusikan file ke dalam filesystem distributed atau striped. Management dilakukan secara otomatis dengan menggunakan shell script. Shell script akan mengatur dan mengecek kondisi file menggunakan data dari database mysql dan melakukan tindakan sesuai dengan kondisi yang telah ditentukan pada tahap analysis.
4.
Hasil dan Pembahasan
Persiapan pertama yang dilakukan adalah dengan melakukan konfigurasi di ketiga server yang merupakan bagian dari cluster GlusterFS. Pembagian konfigurasi server dibagi ke dalam dua tahap. Tahap pertama adalah melakukan konfigurasi gluster server di kedua server yang nantinya berfungsi sebagai tempat penyimpanan data. Konfigurasi gluster server dapat dilihat pada gambar 5.
Gambar 5 Konfigurasi Gluster Server
7
Pada gambar 5, gluster server memiliki dua directory yang diperuntukkan untuk menyimpan file. Directory /datadis adalah directory utama untuk menyimpan file. Directory /data adalah directory untuk menyimpan file sementara. Semua file yang diupload ke file server akan otomatis disimpan ke dalam directory /datadis. Sedangkan file yang akan disimpan pada directory /data, adalah file yang telah diunduh sebanyak lebih dari seratus kali. Shell script inilah yang akan memindahkan file yang terdapat pada directory /datadis ke dalam directory /data. Tipe distributed adalah tipe filesystem di mana file yang didistribusikan ke dalam file server dibagi secara merata ke semua bricks yang ada. Tipe striped merupakan tipe filesystem dimana file yang ada dipecah ke dalam ukuran block kecil sesuai ukuran block size standar glusterfs yaitu 128 kb yang kemudian pada konfigurasi yang dipakai diubah menjadi 100 mb per block data. Tahap kedua adalah konfigurasi head server atau gluster client. Gluster client merupakan jembatan yang menghubungkan semua gluster server yang ada. Pada server gluster client inilah sebuah virtual directory akan digunakan oleh aplikasi php sebagai tempat penyimpanan file. Gambar 6 menunjukkan lokasi storage yang digunakan oleh gluster server.
Gambar 6 Filesystem Distributed dan Striped pada Gluster Client
Gambar 6 menunjukkan web server yang akan ditempatkan pada head server GlusterFS dengan tujuan agar web server dapat langsung menggunakan directory volume gluster server. Pada server ini juga terdapat aplikasi php yang digunakan untuk membuat website dengan fungsi upload dan download. Besaran maksimum file yang diatur oleh konfigurasi file pada file php.ini. Konfigurasi php.ini bertujuan untuk menyesuaikan dengan syarat yang dibuat pada shell script untuk mengatur besaran file minimum untuk didistribusikan ke filesystem striped, sehingga tidak terjadi kesalahan pada proses management file. Database yang digunakan adalah database mysql. Database menyimpan data yang berisi tentang informasi file tersimpan pada file server. Field utama yang terdapat pada database file adalah namafile, ukuran, path, totalhr. Struktur database dapat dilihat pada gambar 7.
Gambar 7 Struktur Utama Database File
8
Gambar 7 menjelaskan rancangan database yang akan digunakan oleh shell script untuk management file. Field namafile adalah data berupa nama file, ukuran adalah data berupa ukuran file dalam satuan kb (kilobytes), path adalah data berupa directory dimana file disimpan pada gluster client secara virtual, totalhr adalah data berupa total download dalam durasi kurun waktu satu jam. Management file secara dinamik diatur secara otomatis oleh shell script. Shell script berfungsi untuk melakukan kontrol secara berkala kepada database file. Setiap jam shell script akan mencari sebuah file yang memiliki total download melebihi batas minimum yang telah ditetapkan yaitu 100 download per jam. File yang telah memiliki total download lebih dari 100 dan juga memiliki ukuran lebih dari 200 Mb, akan dicopy ke dalam filesystem striped yang terdapat pada directory /data. Shell script akan terus melakukan pengecekan secara berkala sampai tidak ada lagi file yang memenuhi kriteria di atas, dan kemudian shell script akan berada dalam kondisi idle. Selain melakukan fungsi memindahkan file ke dalam filesystem striped, shell script juga bertanggung jawab untuk mengontrol total size dari seluruh file yang terdapat pada filesystem striped. Dikarenakan filesystem distributed merupakan filesystem utama tempat penyimpanan file, maka total size dari filesystem striped tidak dapat melebihi total size filesystem distributed. Oleh karena itu shell script juga bertugas untuk menghapus file dari filesystem striped untuk memberikan ruang kosong.
#!/bin/bash maxtotal=$(mysql –D coba1 –u root –pcluster –e “select max(totalhr) as max from infofile where ukuran>300000 and path=’/var/www/serverdis’ and totalhr >100”) max=${maxtotal:4} if[“$max” == “NULL”] then echo”no file” else namafile=$(mysql –D coba1 –u root –pcluster –e “select namafile from infofile where ukuran>300000” nama=${namafile:9} fi
Kode Program 1 cp /var/www/serverdis/$nama /var/www/serverstrip
Shell Sript Management File
Kode Program 1 Shell Script untuk Distribusi File
Kode program 1 adalah script yang digunakan oleh shell script untuk management file yang berguna untuk mendisribusikan file pada file server. Pada kode program ini juga dijalankan perintah untuk mengecek data file pada database sebagai factor untuk melakukan sebuah tindakan pendisribusian file. File yang telah diseleksi dan memiliki tingkat request lebih dari 100 request per detik dan memiliki ukuran file lebih dari 300 megabytes akan didistribusikan ke dalam gluster server bertipe filesystem striped. Pengujian dilakukan dengan membandingkan keadaan dimana Cluster File Server hanya menggunakan satu tipe filesystem dengan cluster file server yang menggunakan gabungan kedua tipe filesystem dengan optimalisasi shell script. Pengujian melihat transfer rate yang dihasilkan jika kedua konfigurasi tersebut mengalami tingkat request yang tinggi yang menimbulkan server overload pada salah satu gluster server.
Tabel 2 Hasil Pengujian Throughput Gluster Server
9
Pengujian ke 1 2 3 4 5 6 7 8 9 10
Server 1 Distributed (Mbps) 5,6 5,6 5,5 5,4 4,9 5,7 5,6 4,9 5,1 5,3
Server 2 Striped (Mbps) 7,1 7,5 8,3 7,2 7,2 7,2 7,5 7,1 8,1 7,7
Pada tabel 2 terlihat jelas bahwa tipe server striped meningkatkan performa throughput server dengan rentang rata-rata 2-3 Mbps. Hasil pengujian pada tabel 2 masih pada tahap awal dimana kedua gluster server dalam keadaan normal dan belum diberi batasan transfer rate. Pengujian selanjutnya adalah pengujian untuk melihat throughput gluster server jika salah satu server mengalamai penurunan throughput. 6000 5000 4000 Distributed
3000
Striped
2000 1000 0 100 requests
>100 requests
Gambar 8 Perbandingan Throughput Server Sebelum dan Sesudah Optimalisasi
Gambar 8 menunjukkan perbedaan signifikan throuhput gluster server.Pada request dengan total 100 request, transfer rate pada kedua jenis filesystem relatif masih tidak terdapat perbedaan signifikan. Pada saat request telah melebih 100 requests untuk file yang sama, maka oleh management script beban menjadi terbagi dua. Pada server 1, dimana file yang diminta berada yang pada saat requests berada pada jumlah maximum, shell script memecah file yang diminta tersebut dan sebagian pecahannya didistribusikan ke server 2.
10 3000 2500 2000 Distributed
1500
Striped & Distributed 1000 500 0 10
20
30
40
50
60
70
80
90
Gambar 9 Perbandingan Throughput antar Gluster Server
Gambar 9 merupakan grafik yang menunjukkan kondisi real time saat terjadi transfer file dari gluster server ke gluster client. Hasil throughput server 1 mencerminkan adanya penurunan throughput secara drastis disaat server 2 terjadi kenaikan througput yang sangat drastis. Hal ini dikarenakan server 1 yang melakukan transfer file dalam keadaan heavy load sesudah shell script memindahkan pecahan dari file yang memiliki requests rate yang tinggi. Titik terjadinya perubahan throughput pada kedua server merupakan titik dimana server 1 telah selesai melakukan transfer file dan kemudian dilanjutkan oleh server 2 yang memiliki throughput yang lebih besar dibandingkan server 1. 2500 2000 1500 Client
1000 500 0 10
20
30
40
50
60
70
80
90
Gambar 10 Hasil Pengamatan Transfer Rate pada Client
Gambar 10 merupakan hasil pengujian dari sisi client yang melakukan download file, terlihat terjadi peningkatan transfer rate yang signifikan setelah rentang waktu 60 detik. Hal ini dikarenakan file server telah merespon dengan melakukan management transfer file dari sisi file server. Sehingga dari grafik 3 ini dapat disimpulkan bahwa optimalisasi dengan management file server GlusterFS berhasil meningkatkan transfer rate pada client yang mengunduh file yang dikategorikan sebagai file populer.
11
5.
Simpulan
Hasil pengujian menunjukkan hasil yang sangat signifikan pada saat terjadi overload pada salah satu file server. File server yang mengalami heavy overload yang diakibatkan request yang melebihi 100 requests per detik mengakibatkan transfer rate berkurang hingga 70% dalam konfigurasi single filesystem glusterfs distributed menjadi bottleneck kepada file server lain yang tidak mengalamai over load. Konfigurasi yang merupakan gabungan filesystem glusterfs distributed dan striped, jika terjadi bottleneck pada salah satu file server maka file yang menyebabkan over load akan dibagi ke file server lain sehingga transfer rate pada client hanya berkurang 10 %. Kekurangan pada konfigurasi ini dalam lingkungan cluster glusterfs adalah tipe filesystem striped secara merata membagi atau memecah file ke semua server yang ada yang terdapat pada seluruh volume tipe striped. Dengan kata lain, jika terdapat server lainnya yang mengalami overload pada saat yang bersamaan, meskipun sudah dioptimalisasikan dengan shell script yang dibuat, transfer rate yang didapat masih jauh dari optimal. Sehingga untuk pengembangan ke depan diharapkan dapat melakukan management yang lebih efisien dalam kondisi file server multi over load.
12
6. [1] [2] [3] [4]
[5]
[6]
[7]
Daftar Pustaka
Sehgal Priya, Vasily Tasarov, Erez Zadok, 2009, Evaluating Performance and Energy in File Systems Server Workloads, Stony Brook University, New York. Depardon Benjamin, 2013, Analysis of Six Distributed File Systems, Laboraioire MIS, Universite de Picardie Jules Verne, Amiens. Baskoro Pranata 2013 Rancang Bangun Server Learning Management System (LMS) Berbasis Metode Load Balancing, Jurusan Teknik Elektro, ITS, Solo. Kasick Michael, 2010, Black Box Problem Diagnosis in Parallel Filesystems, Electrical & Computer Engineering Department, Carnegie Mellon University, Pittsburg. Wang Yuan, 2011, Performance Evaluation of A Infiniband-based Lustre Parallel File System, Information Engineering School, Communication Engineering of China, Beijing. Etkin, Joshua dan John A. Zinky, 1989, Development Life Cycle of Computer Networks: The Executable Model Approach, IEEE Transaction on Software Engineering 15: 1078. Gluster, Inc, 2011, An Introduction to Gluster Architecture, http://www.gluster.org. Diakses tanggal 20 Mei 2014.
