Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi (SisTer) Pengantar Perkuliahan
Husni Program Studi Teknik Informatika Universitas Trunojoyo Madura
04 September 2015
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Garis Besar
1
Perkuliahan
2
Sistem Terdistribusi
3
Search Engine
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Dosen Sekilas
Husni, S.Kom., MT. (S1 Ilmu Komputer UGM, S2 Informatika ITB) Web: http://husni.trunojoyo.ac.id Email:
[email protected] Kantor: Lab. CC dan Lab. SisTer, 3 Gedung Lab. Bersama Jam Diskusi: Kamis 13.00 s.d 16.30, Jumat, 10.00 - 11.30
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Tujuan Perkuliahan
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Buku Teks dan Prasyarat
Textbook Andrew S. Tanenbaum and Maarten Van Steen, Distributed Systems: Principles and Paradigms (2nd Edition), 2007
Prasyarat: Sistem Operasi Jaringan Komputer
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Buku Teks dan Prasyarat
Textbook Andrew S. Tanenbaum and Maarten Van Steen, Distributed Systems: Principles and Paradigms (2nd Edition), 2007
Prasyarat: Sistem Operasi Jaringan Komputer
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Topik
Arsitektur Proses Komunikasi Penamaan Sinkronisasi Konsistensi dan Replikasi Toleransi Kegagalan Keamanan (dilewatkan) Sistem File Terdistribusi (tentatif).
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Hasil yang Diharapkan
Memahami cara kerja sistem terdistribusi Mampu menjelaskan: Prinsip-prinsip yang mendasari berfungsinya sistem terdistribusi Bagaimana prinsip-prinsip tersebut diterapkan dalam sistem terdistribusi, apa masalah dan tantangannya
Mampu memperkirakan secara cermat pengaruh pilihan rancangan dan fitur-fitur pada sistem terdistribusi Mampu merancang dan mengimplementasikan aplikasi terdistribusi (prototipe)
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Hasil yang Diharapkan
Memahami cara kerja sistem terdistribusi Mampu menjelaskan: Prinsip-prinsip yang mendasari berfungsinya sistem terdistribusi Bagaimana prinsip-prinsip tersebut diterapkan dalam sistem terdistribusi, apa masalah dan tantangannya
Mampu memperkirakan secara cermat pengaruh pilihan rancangan dan fitur-fitur pada sistem terdistribusi Mampu merancang dan mengimplementasikan aplikasi terdistribusi (prototipe)
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Hasil yang Diharapkan
Memahami cara kerja sistem terdistribusi Mampu menjelaskan: Prinsip-prinsip yang mendasari berfungsinya sistem terdistribusi Bagaimana prinsip-prinsip tersebut diterapkan dalam sistem terdistribusi, apa masalah dan tantangannya
Mampu memperkirakan secara cermat pengaruh pilihan rancangan dan fitur-fitur pada sistem terdistribusi Mampu merancang dan mengimplementasikan aplikasi terdistribusi (prototipe)
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Hasil yang Diharapkan
Memahami cara kerja sistem terdistribusi Mampu menjelaskan: Prinsip-prinsip yang mendasari berfungsinya sistem terdistribusi Bagaimana prinsip-prinsip tersebut diterapkan dalam sistem terdistribusi, apa masalah dan tantangannya
Mampu memperkirakan secara cermat pengaruh pilihan rancangan dan fitur-fitur pada sistem terdistribusi Mampu merancang dan mengimplementasikan aplikasi terdistribusi (prototipe)
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Penilaian
Komponen yang dinilai: Ujian Tengah Semester (UTS): 40% (Tertutup) Laporan Perkembangan Proyek: 25% (Pertemuan ke-7) Laporan Akhir Proyek: 35% (Pertemuan ke-13 dan ke-14)
Konversi Nilai Akhir: A > 80 80 > B > 70 70 > C > 60 60 > D > 50 E < 50
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Penilaian
Komponen yang dinilai: Ujian Tengah Semester (UTS): 40% (Tertutup) Laporan Perkembangan Proyek: 25% (Pertemuan ke-7) Laporan Akhir Proyek: 35% (Pertemuan ke-13 dan ke-14)
Konversi Nilai Akhir: A > 80 80 > B > 70 70 > C > 60 60 > D > 50 E < 50
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Ketentuan Perkuliahan Mengikuti aturan UTM dan Fakultas Teknik Keterlambatan: tidak lebih 15 menit Kelas dimulai 13.00 (tepat) Pakaian: Tidak menggunakan T-Shirt, Sandal, Celana Pendek, Celana Training. Tidak ketat! Posisi duduk: Perempuan di sisi kiri, laki-laki di sisi kanan Gadget: Di-silent-kan atau dimatikan. Tidak digunakan. Hanya Dosen yang boleh menggunakan Gadget! Terakhir: Dosen tidak dapat obyektif 100%, perilaku Mahasiswa mempengaruhi penilaian.
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Ketentuan Proyek Proyek dikerjakan oleh Kelompok (3 s.d 5 Mahasiswa). Segera buat kelompok! Tahap I: membuat web crawler (2 minggu) Tahap II: mendistribusikan web crawler pada minimal 3 komputer (5 minggu). Aplikasikan konsep sistem terdistribusi ke dalam proyek tersebut. Laporan: Penjelasan rancangan, cara kerja dan kode program. Laporan dan Slide presentasi wajib ditulis menggunakan Tex (LaTEX) Software/Tool tidak dibatasi. Paling penting: paham dan mampu menjelaskan!
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi Definisi bebas Suatu kumpulan komputer independen yang muncul kepada pengguna sebagai sistem tunggal yang koheren
Karakteristik Komponen-komponen otonom (yaitu komputer) Suatu sistem tunggal yang koheren Perbedaan antara komponen serta komunikasi di antara mereka tersembunyi dari pengguna Pengguna dapat berinteraksi dengan cara yang seragam dan konsisten terlepas dari mana dan kapan interaksi berlangsung
Mudah diperluas dan diganti
Dalam hal tertentu, sistem terdistribusi adalah sebuah sistem operasi yang mengelola beberapa komputer terhubung melalui jaringan Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi Definisi bebas Suatu kumpulan komputer independen yang muncul kepada pengguna sebagai sistem tunggal yang koheren
Karakteristik Komponen-komponen otonom (yaitu komputer) Suatu sistem tunggal yang koheren Perbedaan antara komponen serta komunikasi di antara mereka tersembunyi dari pengguna Pengguna dapat berinteraksi dengan cara yang seragam dan konsisten terlepas dari mana dan kapan interaksi berlangsung
Mudah diperluas dan diganti
Dalam hal tertentu, sistem terdistribusi adalah sebuah sistem operasi yang mengelola beberapa komputer terhubung melalui jaringan Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi Definisi bebas Suatu kumpulan komputer independen yang muncul kepada pengguna sebagai sistem tunggal yang koheren
Karakteristik Komponen-komponen otonom (yaitu komputer) Suatu sistem tunggal yang koheren Perbedaan antara komponen serta komunikasi di antara mereka tersembunyi dari pengguna Pengguna dapat berinteraksi dengan cara yang seragam dan konsisten terlepas dari mana dan kapan interaksi berlangsung
Mudah diperluas dan diganti
Dalam hal tertentu, sistem terdistribusi adalah sebuah sistem operasi yang mengelola beberapa komputer terhubung melalui jaringan Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi
Di Dunia Internet modern, komputasi terdistribusi adalah salah satu teknologi kunci yang memainkan peran penting. Sistem terdistribusi mengharuskan server berjalan di ruang alamat yang berbeda, berpotensi pada host yang berbeda, dan dapat berkomunikasi satu sama lain. Data dalam jumlah besar (beberapa terabyte) dapat dibaca dan diproses secara paralel, dalam hitungan detik pada jenis komputasi ini
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi
Di Dunia Internet modern, komputasi terdistribusi adalah salah satu teknologi kunci yang memainkan peran penting. Sistem terdistribusi mengharuskan server berjalan di ruang alamat yang berbeda, berpotensi pada host yang berbeda, dan dapat berkomunikasi satu sama lain. Data dalam jumlah besar (beberapa terabyte) dapat dibaca dan diproses secara paralel, dalam hitungan detik pada jenis komputasi ini
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Terdistribusi
Di Dunia Internet modern, komputasi terdistribusi adalah salah satu teknologi kunci yang memainkan peran penting. Sistem terdistribusi mengharuskan server berjalan di ruang alamat yang berbeda, berpotensi pada host yang berbeda, dan dapat berkomunikasi satu sama lain. Data dalam jumlah besar (beberapa terabyte) dapat dibaca dan diproses secara paralel, dalam hitungan detik pada jenis komputasi ini
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Sistem Operasi Terdistribusi
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Infrastruktur Aplikasi Modern
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Infrastruktur Web: Load Balancer
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Load Balancing
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Load Balancing
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Virtualisasi Berbasis Container
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Virtualisasi vs. Docker
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Virtualisasi vs. Docker vs. OSv
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Cloud Computing
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Cloud Computing
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Search Engine
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Web Crawler
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Web Crawler Banyak Thread
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Web Crawler Terdistribusi
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Software/Tool Penting & Menarik
OpenStack: membangun infrastruktur cloud sendiri MySQL atau MariaDB: fitur replikasi multi-masternya untuk mengelola database yang tersebar di beberapa mesin GlusterFS: replikasi file antar server secara otomatis Docker: virtualisasi berbasis container yang ringan, cepat dan mengatasi masalah heterogenitas HAProxy: load balancer dan reverse Proxy Nginx: web server yang ringan dan stabil
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Software/Tool Penting & Menarik
OpenStack: membangun infrastruktur cloud sendiri MySQL atau MariaDB: fitur replikasi multi-masternya untuk mengelola database yang tersebar di beberapa mesin GlusterFS: replikasi file antar server secara otomatis Docker: virtualisasi berbasis container yang ringan, cepat dan mengatasi masalah heterogenitas HAProxy: load balancer dan reverse Proxy Nginx: web server yang ringan dan stabil
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Software/Tool Penting & Menarik
OpenStack: membangun infrastruktur cloud sendiri MySQL atau MariaDB: fitur replikasi multi-masternya untuk mengelola database yang tersebar di beberapa mesin GlusterFS: replikasi file antar server secara otomatis Docker: virtualisasi berbasis container yang ringan, cepat dan mengatasi masalah heterogenitas HAProxy: load balancer dan reverse Proxy Nginx: web server yang ringan dan stabil
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Software/Tool Penting & Menarik
OpenStack: membangun infrastruktur cloud sendiri MySQL atau MariaDB: fitur replikasi multi-masternya untuk mengelola database yang tersebar di beberapa mesin GlusterFS: replikasi file antar server secara otomatis Docker: virtualisasi berbasis container yang ringan, cepat dan mengatasi masalah heterogenitas HAProxy: load balancer dan reverse Proxy Nginx: web server yang ringan dan stabil
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Software/Tool Penting & Menarik
OpenStack: membangun infrastruktur cloud sendiri MySQL atau MariaDB: fitur replikasi multi-masternya untuk mengelola database yang tersebar di beberapa mesin GlusterFS: replikasi file antar server secara otomatis Docker: virtualisasi berbasis container yang ringan, cepat dan mengatasi masalah heterogenitas HAProxy: load balancer dan reverse Proxy Nginx: web server yang ringan dan stabil
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Software/Tool Penting & Menarik
OpenStack: membangun infrastruktur cloud sendiri MySQL atau MariaDB: fitur replikasi multi-masternya untuk mengelola database yang tersebar di beberapa mesin GlusterFS: replikasi file antar server secara otomatis Docker: virtualisasi berbasis container yang ringan, cepat dan mengatasi masalah heterogenitas HAProxy: load balancer dan reverse Proxy Nginx: web server yang ringan dan stabil
Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Recall: Proyek Web Crawler Terdistribusi Buat web crawler tunggal, pastikan berjalan dengan baik Buat atau salinkan web crawler ke mesin lain. Pastikan dua atau tiga web crawler tersebut berjalan sesuai harapan. Samakan semua data pada semua mesin yang menjalankan Crawler. Jika salah satu program web Crawler dibetulkan, dicoding lagi, pastikan perubahan tersebut juga terjadi pada Web Crawler lain Semua web crawler perlu berkoordinasi? Perlu berbagi data? Banyak cara menyelesaikan masalah, lakukan dan perhatikan? ;-) Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Recall: Proyek Web Crawler Terdistribusi Buat web crawler tunggal, pastikan berjalan dengan baik Buat atau salinkan web crawler ke mesin lain. Pastikan dua atau tiga web crawler tersebut berjalan sesuai harapan. Samakan semua data pada semua mesin yang menjalankan Crawler. Jika salah satu program web Crawler dibetulkan, dicoding lagi, pastikan perubahan tersebut juga terjadi pada Web Crawler lain Semua web crawler perlu berkoordinasi? Perlu berbagi data? Banyak cara menyelesaikan masalah, lakukan dan perhatikan? ;-) Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Recall: Proyek Web Crawler Terdistribusi Buat web crawler tunggal, pastikan berjalan dengan baik Buat atau salinkan web crawler ke mesin lain. Pastikan dua atau tiga web crawler tersebut berjalan sesuai harapan. Samakan semua data pada semua mesin yang menjalankan Crawler. Jika salah satu program web Crawler dibetulkan, dicoding lagi, pastikan perubahan tersebut juga terjadi pada Web Crawler lain Semua web crawler perlu berkoordinasi? Perlu berbagi data? Banyak cara menyelesaikan masalah, lakukan dan perhatikan? ;-) Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Recall: Proyek Web Crawler Terdistribusi Buat web crawler tunggal, pastikan berjalan dengan baik Buat atau salinkan web crawler ke mesin lain. Pastikan dua atau tiga web crawler tersebut berjalan sesuai harapan. Samakan semua data pada semua mesin yang menjalankan Crawler. Jika salah satu program web Crawler dibetulkan, dicoding lagi, pastikan perubahan tersebut juga terjadi pada Web Crawler lain Semua web crawler perlu berkoordinasi? Perlu berbagi data? Banyak cara menyelesaikan masalah, lakukan dan perhatikan? ;-) Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Recall: Proyek Web Crawler Terdistribusi Buat web crawler tunggal, pastikan berjalan dengan baik Buat atau salinkan web crawler ke mesin lain. Pastikan dua atau tiga web crawler tersebut berjalan sesuai harapan. Samakan semua data pada semua mesin yang menjalankan Crawler. Jika salah satu program web Crawler dibetulkan, dicoding lagi, pastikan perubahan tersebut juga terjadi pada Web Crawler lain Semua web crawler perlu berkoordinasi? Perlu berbagi data? Banyak cara menyelesaikan masalah, lakukan dan perhatikan? ;-) Husni
Pengantar Perkuliahan
Perkuliahan Sistem Terdistribusi Search Engine
Recall: Proyek Web Crawler Terdistribusi Buat web crawler tunggal, pastikan berjalan dengan baik Buat atau salinkan web crawler ke mesin lain. Pastikan dua atau tiga web crawler tersebut berjalan sesuai harapan. Samakan semua data pada semua mesin yang menjalankan Crawler. Jika salah satu program web Crawler dibetulkan, dicoding lagi, pastikan perubahan tersebut juga terjadi pada Web Crawler lain Semua web crawler perlu berkoordinasi? Perlu berbagi data? Banyak cara menyelesaikan masalah, lakukan dan perhatikan? ;-) Husni
Pengantar Perkuliahan
