Pemrosesan Paralel Haddad Sammir, M.Kom
Pemrosesan Paralel Arsitektur Memori Komputer Paralel
Haddad Sammir, M.Kom
March 4, 2015
Pemrosesan Paralel
Proses dan Memori
Haddad Sammir, M.Kom
• Program dan proses
Pemrosesan Paralel
Proses dan Memori
Haddad Sammir, M.Kom
• Program dan proses • Program: File executable atau source code pada bahasa pemrograman tertentu.
Pemrosesan Paralel
Proses dan Memori
Haddad Sammir, M.Kom
• Program dan proses • Program: File executable atau source code pada bahasa pemrograman tertentu. • Proses/task: Konsep sistem operasi tentang program yang sedang berjalan.
Pemrosesan Paralel
Proses dan Memori
Haddad Sammir, M.Kom
• Program dan proses • Program: File executable atau source code pada bahasa pemrograman tertentu. • Proses/task: Konsep sistem operasi tentang program yang sedang berjalan. • Program yang dijalankan (pada shell / command prompt) akan membuat proses baru (spawn/fork).
Pemrosesan Paralel
Proses dan Memori
Haddad Sammir, M.Kom
• Program dan proses • Program: File executable atau source code pada bahasa pemrograman tertentu. • Proses/task: Konsep sistem operasi tentang program yang sedang berjalan. • Program yang dijalankan (pada shell / command prompt) akan membuat proses baru (spawn/fork). • Proses yang sedang dieksekusi diletakkan pada memori.
Pemrosesan Paralel
Tinjauan Pembuatan Program
Haddad Sammir, M.Kom
• Kompiler menterjemahkan kode program ke instruksi yang
dimengerti oleh komputer sesuai dengan spesifikasi komputer.
Pemrosesan Paralel
Tinjauan Pembuatan Program
Haddad Sammir, M.Kom
• Kompiler menterjemahkan kode program ke instruksi yang
dimengerti oleh komputer sesuai dengan spesifikasi komputer. • Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda.
Pemrosesan Paralel
Tinjauan Pembuatan Program
Haddad Sammir, M.Kom
• Kompiler menterjemahkan kode program ke instruksi yang
dimengerti oleh komputer sesuai dengan spesifikasi komputer. • Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda. • Instrusi dimasukkan ke segmen text.
Pemrosesan Paralel
Tinjauan Pembuatan Program
Haddad Sammir, M.Kom
• Kompiler menterjemahkan kode program ke instruksi yang
dimengerti oleh komputer sesuai dengan spesifikasi komputer. • Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda. • Instrusi dimasukkan ke segmen text. • Data terinisialiasi, data static dan konstanta masuk ke
segmen data.
Pemrosesan Paralel
Tinjauan Pembuatan Program
Haddad Sammir, M.Kom
• Kompiler menterjemahkan kode program ke instruksi yang
dimengerti oleh komputer sesuai dengan spesifikasi komputer. • Linker membuat file executable dan menghimpun instruksi dan data di segmen yang berbeda. • Instrusi dimasukkan ke segmen text. • Data terinisialiasi, data static dan konstanta masuk ke
segmen data. • Data tidak terinisialisasi dimasukkan ke BSS (block started
from symbol).
Pemrosesan Paralel Haddad Sammir, M.Kom
Peta Memory • Saat sebuah program dijalankan, text dan dua segmen
lainnya dimuat ke memori.
Pemrosesan Paralel Haddad Sammir, M.Kom
Peta Memory • Saat sebuah program dijalankan, text dan dua segmen
lainnya dimuat ke memori. • Segmen text menempati lokasi pada bagian terbawah
dengan segment data dan BSS diatasnya.
Pemrosesan Paralel Haddad Sammir, M.Kom
Peta Memory • Saat sebuah program dijalankan, text dan dua segmen
lainnya dimuat ke memori. • Segmen text menempati lokasi pada bagian terbawah
dengan segment data dan BSS diatasnya.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hirarki Memori • Kode yang berjalan seringkali hanya membutuhkan
10-20% kapasistas prosesor.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hirarki Memori • Kode yang berjalan seringkali hanya membutuhkan
10-20% kapasistas prosesor. • Sebagian besar waktu dihabiskan pada sistem memori.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hirarki Memori • Kode yang berjalan seringkali hanya membutuhkan
10-20% kapasistas prosesor. • Sebagian besar waktu dihabiskan pada sistem memori. • Memindahkan data membutuhkan waktu lebih lama dari pada proses aritmatika maupun logika.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hirarki Memori • Kode yang berjalan seringkali hanya membutuhkan
10-20% kapasistas prosesor. • Sebagian besar waktu dihabiskan pada sistem memori. • Memindahkan data membutuhkan waktu lebih lama dari pada proses aritmatika maupun logika.
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor.
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor.
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor. • Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori.
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor. • Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. • Untuk mengatasi latensi memori:
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor. • Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. • Untuk mengatasi latensi memori: • Membatasi operasi memori dengan menyimpan data pada
memori yang cepat (cache).
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor. • Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. • Untuk mengatasi latensi memori: • Membatasi operasi memori dengan menyimpan data pada
memori yang cepat (cache). • Memanfaatkan locality.
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor. • Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. • Untuk mengatasi latensi memori: • Membatasi operasi memori dengan menyimpan data pada
memori yang cepat (cache). • Memanfaatkan locality. • Temporal locality: Memanfaatkan kembali data sepesifik untuk lokasi memori yang sebelumnya pernah digunakan jika data pada lokasi tersebut diminta kembali.
Pemrosesan Paralel Haddad Sammir, M.Kom
Latensi Memori • Latensi memori adalah delay saat pengiriman data dari
memori ke prosesor. • Kecepatan akses data pada memori lebih rendah dari prosesor. • Berakibat pada delay yang terjadi apa bila sebuah proses melakukan operasi pengambilan data dari memori. • Untuk mengatasi latensi memori: • Membatasi operasi memori dengan menyimpan data pada
memori yang cepat (cache). • Memanfaatkan locality. • Temporal locality: Memanfaatkan kembali data sepesifik untuk lokasi memori yang sebelumnya pernah digunakan jika data pada lokasi tersebut diminta kembali. • Spatial locality: Menggunakan data spesifik dari lokasi memori yang pernah digunakan sebelumnya untuk menentukan lokasi memori jika ada permintaan data pada lokasi momori yang berdekatan dengan lokasi memori tersebut.
Pemrosesan Paralel
Arsitektur Memori Paralel
Haddad Sammir, M.Kom
• Shared memory: Beberapa prosesor dapat mengakses
memori global bersama.
Pemrosesan Paralel
Arsitektur Memori Paralel
Haddad Sammir, M.Kom
• Shared memory: Beberapa prosesor dapat mengakses
memori global bersama. • Uniform Memory Access (UMA)
Pemrosesan Paralel
Arsitektur Memori Paralel
Haddad Sammir, M.Kom
• Shared memory: Beberapa prosesor dapat mengakses
memori global bersama. • Uniform Memory Access (UMA) • Non Uniform Memory Access (NUMA)
Pemrosesan Paralel
Arsitektur Memori Paralel
Haddad Sammir, M.Kom
• Shared memory: Beberapa prosesor dapat mengakses
memori global bersama. • Uniform Memory Access (UMA) • Non Uniform Memory Access (NUMA)
• Distributed memory: Setiap prosesor memiliki memori
lokal sendiri.
Pemrosesan Paralel
Arsitektur Memori Paralel
Haddad Sammir, M.Kom
• Shared memory: Beberapa prosesor dapat mengakses
memori global bersama. • Uniform Memory Access (UMA) • Non Uniform Memory Access (NUMA)
• Distributed memory: Setiap prosesor memiliki memori
lokal sendiri. • Hybrid distributed-shared memory: menggunakan
arsitektur memori shared dan distributed.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory UMA • Karakteristik:
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory UMA • Karakteristik: • Semua prosesor dapat mengakses memori sebagai ruang alamat bersama.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory UMA • Karakteristik: • Semua prosesor dapat mengakses memori sebagai ruang alamat bersama. • Setiap prosesor dapat bekerja secara independent namun saling berbagi memori.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory UMA • Karakteristik: • Semua prosesor dapat mengakses memori sebagai ruang alamat bersama. • Setiap prosesor dapat bekerja secara independent namun saling berbagi memori. • Perubahan pada suatu lokasi memori oleh sebuah prosesor dapat diketahui oleh prosesor lain.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory UMA • Karakteristik: • Semua prosesor dapat mengakses memori sebagai ruang alamat bersama. • Setiap prosesor dapat bekerja secara independent namun saling berbagi memori. • Perubahan pada suatu lokasi memori oleh sebuah prosesor dapat diketahui oleh prosesor lain.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik:
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik: • Sejumlah prosesor memiliki bank alamat memory sendiri.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik: • Sejumlah prosesor memiliki bank alamat memory sendiri. • Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik: • Sejumlah prosesor memiliki bank alamat memory sendiri. • Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. • Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik: • Sejumlah prosesor memiliki bank alamat memory sendiri. • Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. • Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP. • Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik: • Sejumlah prosesor memiliki bank alamat memory sendiri. • Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. • Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP. • Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung. • SMP: Symmetric Multiprocessing, yaitu arsitektur yang menggabungkan dua atau lebih prosesor identik yang terhubung ke satu memori bersama.
Pemrosesan Paralel Haddad Sammir, M.Kom
Shared Memory NUMA • Karakteristik: • Sejumlah prosesor memiliki bank alamat memory sendiri. • Prosesor dapat mengakses memory lokal dengan cepat, namun mengakses memory remote lebih lambat. • Sering kali dibuat dengan menggabungkan dua atau lebih prosesor SMP. • Satu prosesor SMP dapat mengakses memori prosesor SMP lainnya secara langsung. • SMP: Symmetric Multiprocessing, yaitu arsitektur yang menggabungkan dua atau lebih prosesor identik yang terhubung ke satu memori bersama.
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan:
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan: • Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman.
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan: • Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. • Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu.
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan: • Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. • Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. • Kelemahan:
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan: • Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. • Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. • Kelemahan: • Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory.
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan: • Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. • Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. • Kelemahan: • Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory. • Programmer bertanggung jawab untuk sinkronisasi yang memastikan akses yang tepat ke memori global.
Pemrosesan Paralel
Kelebihan dan Kekurangan Shared Memory
Haddad Sammir, M.Kom
• Kelebihan: • Ruang alamat memori global memberikan kemudahan akses memori dari perspektif pemrograman. • Berbagi data antar task lebih lebih cepat dan seragam karena dekatnya memori ke cpu. • Kelemahan: • Tidak scalable. Penambahan CPU dapat menambah trafik pada jalur shared memory. • Programmer bertanggung jawab untuk sinkronisasi yang memastikan akses yang tepat ke memori global. • Bertambah kompleks dan bertambah mahal seiring degan bertambahnya prosesor.
Pemrosesan Paralel
Distributed Memory
Haddad Sammir, M.Kom
• Karakteristik:
Pemrosesan Paralel
Distributed Memory
Haddad Sammir, M.Kom
• Karakteristik: • Setiap prosesor memiliki memori lokal sendiri.
Pemrosesan Paralel
Distributed Memory
Haddad Sammir, M.Kom
• Karakteristik: • Setiap prosesor memiliki memori lokal sendiri. • Perubahan pada memori lokal tidak mempengaruhi memori lain.
Pemrosesan Paralel
Distributed Memory
Haddad Sammir, M.Kom
• Karakteristik: • Setiap prosesor memiliki memori lokal sendiri. • Perubahan pada memori lokal tidak mempengaruhi memori lain. • Jika memerlukan pemrosesan interprosesor, tugas programmer menentukan bagaimana dan kapan data akan dikomunikasikan.
Pemrosesan Paralel
Kelebihan dan Kekurangan Distributed Memory
Haddad Sammir, M.Kom
• Kelebihan:
Pemrosesan Paralel
Kelebihan dan Kekurangan Distributed Memory
Haddad Sammir, M.Kom
• Kelebihan: • Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan.
Pemrosesan Paralel
Kelebihan dan Kekurangan Distributed Memory
Haddad Sammir, M.Kom
• Kelebihan: • Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. • Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead.
Pemrosesan Paralel
Kelebihan dan Kekurangan Distributed Memory
Haddad Sammir, M.Kom
• Kelebihan: • Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. • Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead. • Cost effective. Dapat menggunakan komputer komoditas.
Pemrosesan Paralel
Kelebihan dan Kekurangan Distributed Memory
Haddad Sammir, M.Kom
• Kelebihan: • Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. • Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead. • Cost effective. Dapat menggunakan komputer komoditas. • Kekurangan:
Pemrosesan Paralel
Kelebihan dan Kekurangan Distributed Memory
Haddad Sammir, M.Kom
• Kelebihan: • Scalable. Jumlah prosesor dan jumlah memori dapat dengan mudah ditingkatkan. • Tiap prosesor dapat mengakses memorinya tanpa interferensi dan overhead. • Cost effective. Dapat menggunakan komputer komoditas. • Kekurangan: • Tugas programmer semakin sulit terkait detail komunikasi data.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed. • Komponen shared memory adalah komputer SMP
koheren.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed. • Komponen shared memory adalah komputer SMP
koheren. • Prosesor pada mesin SMP memiliki akses global ke memori
pada mesin tersebut.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed. • Komponen shared memory adalah komputer SMP
koheren. • Prosesor pada mesin SMP memiliki akses global ke memori
pada mesin tersebut. • Komponen distributed memory adalah jaringan komputer
SMP.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed. • Komponen shared memory adalah komputer SMP
koheren. • Prosesor pada mesin SMP memiliki akses global ke memori
pada mesin tersebut. • Komponen distributed memory adalah jaringan komputer
SMP. • Setiap komputer SMP hanya mengenal memory miliknya
saja.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed. • Komponen shared memory adalah komputer SMP
koheren. • Prosesor pada mesin SMP memiliki akses global ke memori
pada mesin tersebut. • Komponen distributed memory adalah jaringan komputer
SMP. • Setiap komputer SMP hanya mengenal memory miliknya
saja. • Komunikasi jaringan dibutuhkan untuk memindahkan data
dari satu komputer SMP ke komputer SMP lainnya.
Pemrosesan Paralel Haddad Sammir, M.Kom
Hybrid Memory • Terdiri dari arsitektur memory shared dan distributed. • Komponen shared memory adalah komputer SMP
koheren. • Prosesor pada mesin SMP memiliki akses global ke memori
pada mesin tersebut. • Komponen distributed memory adalah jaringan komputer
SMP. • Setiap komputer SMP hanya mengenal memory miliknya
saja. • Komunikasi jaringan dibutuhkan untuk memindahkan data
dari satu komputer SMP ke komputer SMP lainnya. • Tren masa depan menggunakan arsitektur memori ini.
Pemrosesan Paralel Haddad Sammir, M.Kom
Sekian Terima Kasih
