Analisis Video dengan Metode Segmentasi Cerita Berdasarkan Hubungan Sosial Antar Pemeran Hanik Fathiya Solihah – 2205 100 191 Jurusan Teknik Elektro, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember Kampus ITS Sukolilo, Surabaya 60111 Email :
[email protected]
Abstrak Video sebagai salah satu bentuk multimedia telah memberikan banyak kontribusi, baik dalam dunia hiburan maupun teknologi. Sebagai salah satu wujud video, film merupakan hiburan yang paling popular di masyarakat. Dengan perkembangan dan kemajuan teknologi digital, film diproduksi, diproses, dan disebarluaskan dengan mudah dan cepat, mengakibatkan besarnya jumlah film yang beredar dan menjadi hambatan dalam proses penyimpanan data maupun penyebarannya. Karena itu studi analisis terhadap video atau film dikembangkan untuk membantu analisis semantik dalam manajemen dan browsing media video, sehingga dapat dilakukan proses klasifikasi, indexing, dan retrieval dari suatu objek dalam video database. Penelitian konvensional dalam menganalisis video dilakukan dengan pendekatan berdasarkan audiovisual feature, yaitu berdasarkan pada komponen visual, audio, atau teks. Menyadari bahwa selain mengandung komponenkomponen tersebut, sebagian besar video, misalnya film, juga mengandung unsur cerita yang menyusun keutuhan dari sebuah video, sebuah metode analisis baru dikembangkan dengan berdasar pada konteks cerita. Dalam metode ini, sebuah film direpresentasikan dalam bentuk jaring berdasarkan hubungan sosial antar pemeran. Dari model jaring yang terbentuk dapat ditentukan pemeran utama dan komunitas yang bersangkutan secara otomatis. Hasil identifikasi komunitas memberikan alternatif baru dalam manajemen dan browsing media video. Lebih jauh lagi, dengan menggambarkan adegan video dalam konteks pemeran, metode segmentasi cerita berdasarkan hubungan sosial dikembangkan untuk memberikan cara baru dalam studi analisis video. Hasil evaluasi menunjukkan bahwa metode analisis video berdasarkan hubungan sosial antar pemeran memberikan hasil yang efektif dan efisien. Kata Kunci: analisis semantik, model jaring, identifikasi komunitas, segmentasi cerita.
I. PENDAHULUAN Video merupakan salah satu bentuk multimedia yang memiliki banyak peranan dan banyak dimanfaatkan oleh semua kalangan masyarakat. Mulai dari masyarakat umum yang sekedar memanfaatkan video sebagai tontonan hiburan atau sebagai salah satu media recorder gambar bergerak dalam kehidupan mereka, orang-orang yang berkecimpung di dunia industri yang memanfaatkan video sebagai salah satu media berbisnis, para akademisi dan ilmuan yang menggunakan video sebagai bahan ajar dan penelitian, sampai para pakar security yang memanfaatkan video untuk membantu pertahanan dan keamanan secara otomatis. Perkembangan teknologi kompresi video saat ini, tersedianya kemampuan kamera digital, media dan sisten penyimpanan digital berkapasitas tinggi, adalah sama pesatnya dengan perkembangan kemampuan akses internet dan jaringan komunikasi broadband. Hal tersebut yang
mengakibatkan video digital popular di masyarakat. Video digital tidak hanya meningkat menggantikan video analog dalam beberapa konteks aplikasi, namun juga telah diproduksi, ditonton, diedit, disimpan, disebarkan, serta diperdagangkan dalam jumlah yang sangat besar. Fenomena perkembangan di atas terjadi karena adanya kemungkinan untuk memproses video digital secara otomatis, baik untuk tujuan kompresi, pengeditan, streaming melalui jaringan, atau sekedar untuk menampilkannya pada sebuah alat elektronik portable. Kemungkinan untuk memproses video digital ini tercapai karena adanya perkembangan bidang penelitian untuk menganalisis video, yaitu dengan mengekstrak informasi yang disajikan atau dibawa oleh video. Secara singkat, analisis video dikembangkan sebagai dasar untuk mengembangkan perangkat atau teknologi yang dapat membantu masyarakat, di antaranya untuk memudahkan dalam mengakses orang, kejadian atau objek yang ditangkap oleh kamera, atau untuk membantu menghasilkan ringkasan atau abstrak dari video. Analisis video memiliki dua bidang penelitian besar, yaitu analisis video berdasarkan konten (video content analysis), yang merupakan bidang penelitian yang telah lama dikembangkan dan telah banyak diaplikasikan dalam kehidupan masyarakat, dan analisis video berdasarkan konteks (video context analysis), yang merupakan bidang penelitian baru dan sedang dikembangkan dalam studi analisis video. Video content analysis berdasar pada prinsip untuk memahami video digital sebagai data multimedia yang mengandung komponen visual, audio, dan teks yang masingmasing membawa sebagian informasi dari keseluruhan video [3]. Sementara video context analysis mulai dikembangkan ketika disadari bahwa selain mengandung komponen visual, audio, dan teks, sebagian besar video, misalnya film sebagai salah satu wujud video yang sangat popular di masyarakat, juga mengandung unsur cerita yang menyusun keutuhan dari sebuah video. Konteks cerita ini adalah hal yang sebenarnya dilihat dan dimengerti pertama kali saat menonton video, di balik konten yang disajikan oleh data digital video yang dapat dipahami manusia. Cerita yang membuat video dapat dinikmati dan diingat oleh siapapun yang menontonnya, sementara color feature, motion feature atau feature-feature lain dari video hanya merupakan pelengkap yang membuat tampilan dari sebuah video menarik untuk disaksikan. Karena itu metode analisis ini disebut juga dengan story-level analysis. Kita memahami cerita yang disajikan oleh film karena kita mengetahui hubungan antar pemerannya. Karena itu, Weng dkk. memperlakukan film sebagai sebuah masyarakat kecil yang dibangun oleh para pemeran dan interaksi di antara mereka [2]. Weng dkk. memodelkan hubungan antar pemeran dalam sebuah jaring sosial pemeran, yang disebut RoleNet.
Karena itu metode analisis ini disebut juga dengan social network analysis. Berdasar pada RoleNet, beberapa algoritma dikembangkan untuk menemukan informasi semantik yang tersembunyi. Metode ini dipercaya mampu memberikan titik pandang baru dalam studi analisis video atau film. Social network analysis yang dikembangkan oleh Weng dkk. adalah metode analisis berdasarkan graf. Dalam sebuah film terdapat banyak pemeran, dan hubungan sosial di antara mereka seringkali sulit dipahami. Selain itu, kedekatan antara beberapa pemeran sangat beragam. Karena itu, bagaimana merepresentasikan karakteristik ini secara efektif adalah kunci utama. Hubungan sosial antar pemeran ini kemudian direpresentasikan dalam sebuah graf, yang kemudian membentuk jaring sosial yang disebut RoleNet. Sehingga proses yang dikembangkan kemudian dengan metode ini adalah berdasar pada graf yang telah dibentuk. Pada paper ini akan dibahas lebih rinci mengenai video context analysis atau social network analysis. Selanjutnya, paper ini disusun sebagai berikut. Bagian II menjelaskan tentang metodologi yang digunakan dalam analisis video berdasarkan hubungan sosial antar pemeran. Analisis data dan evaluasi dari hasil analisis video diberikan pada Bagian III. Akhirnya, kesimpulan dan saran diberikan pada Bagian IV. Bagian V adalah daftar pustaka atau referensi yang digunakan dalam penelitian ini.
Gambar 1. Sistematika pengerjaan analisis video berdasarkan hubungan sosial antar pemeran.
Proses penentuan adegan ini juga dilakukan secara manual dengan menyaksikan keseluruhan cerita video dan menentukan semua adegan dalam video, serta menentukan pemeran mana saja yang muncul di setiap adegan. C. Perancangan Sistem Perangkat Lunak
II. METODOLOGI Secara umum, sistematika pengerjaan analisis video berdasarkan hubungan sosial antar pemeran ditunjukkan oleh Gambar 1.
Proses perancangan sistem perangkat lunak dilakukan dengan menggunakan bahasa pemrograman MatLab. Untuk membantu perancangan ini, analisis yang dilakukan terhadap video melalui beberapa tahap, yaitu:
A. Penentuan Pemeran
1) Pemodelan jaring hubungan sosial antar pemeran
Langkah pertama dalam proses analisis ini adalah menentukan pemeran-pemeran penting yang ada dalam cerita film yang dianalisis. Setiap cerita dalam suatu film, seringkali memiliki banyak pemeran untuk menyusun keseluruhan cerita yang dibawakan. Dari banyak pemeran itu, ada pemeranpemeran penting yang merupakan pembawa inti cerita. Sementara pemeran-pemeran lain adalah pemeran pembantu yang mendukung pemeran-pemeran penting untuk menyempurnakan cerita. Dari pemeran-pemeran penting tersebut, satu atau lebih di antaranya merupakan pemeran utama dan sisanya adalah pemeran pembantu yang mendukung pemeran utama. Proses penentuan pemeran utama ini dilakukan secara manual, yaitu dengan menyaksikan keseluruhan cerita dari video dan kemudian menetapkan pemeran mana yang merupakan pemeran-pemeran penting.
Untuk dapat menganalisis hubungan sosial antar pemeran dalam suatu film secara sistematis, sebuah metode digunakan untuk memodelkan hubungan tersebut dalam suatu jaring yang direpresentasikan dalam bentuk graf, yang disebut dengan RoleNet [1]. Berdasar pada RoleNet, hubungan antar pemeran terbentuk ketika mereka saling berinteraksi. RoleNet adalah suatu graf terhubung yang dinyatakan dengan [1]:
B. Penentuan Adegan Setelah menetapkan pemeran-pemeran penting yang ada dalam cerita video, langkah selanjutnya adalah menentukan setiap adegan dalam video, yang direpresentasikan dalam konteks pemeran. Hubungan sosial antar pemeran digunakan sebagai informasi untuk penggambaran adegan, yaitu dengan membagi keseluruhan cerita dalam beberapa adegan yang mengandung satu atau beberapa pemeran yang saling berinteraksi. Hasil yang diperoleh berupa data sejumlah adegan dengan satu atau lebih pemeran di masing-masing adegan sebagai konteksnya.
G=
〈V , E ,W 〉
(1)
dengan: V = {v1, v2,…, vn}, merepresentasikan sejumlah pemeran dalam sebuah video atau film. E = {eij|jika vi dan vj mempunyai hubungan}, adalah garis (edge) yang menghubungkan vi dan vj. W = {wij|jika vi dan vj mempunyai hubungan}, menyatakan kekuatan hubungan antara vi dan vj. Berdasar pada RoleNet, pemodelan jaring dilakukan dengan cara: a) Menggambarkan video secara utuh dalam bentuk graf bipartite (Gambar 2(a)) yang memiliki dua kelompok node yang menyatakan korespondensi antara adegan (node berbentuk segi empat) dan pemeran (node berbentuk lingkaran). Garis hubung (edge) antara node segi empat ke-i dan node lingkaran ke-j menyatakan bahwa pemeran ke-j muncul dalam adegan ke-i.
1 0 1 1
0 1 3 1 1
1 1 0 0 1 0 1 0 0 1 0 0 0 1 1 1
1 3 1 1 0 1 1 0 1 0 1 1 1 1 0 1 0 1 1 0
Gambar 2. Contoh pemodelan jaring untuk menunjukkan hubungan antar pemeran.
b) Merepresentasikan graf tersebut dalam bentuk matriks A = [aij]m×n, yang menyatakan keberadaan setiap pemeran dalam setiap adegan (Gambar 2(b)). Elemen dalam matriks bernilai 1 jika pemeran ke-j muncul dalam adegan ke-i dan bernilai 0 untuk keadaan sebaliknya. c) Menyusun matriks kedua (Gambar 2(c)) berdasarkan pada matriks sebelumnya yang menyatakan frekuensi interaksi dua pemeran dalam beberapa adegan: Wn×n = AT A m
wij =
∑a k =1
a = a Ti aj , untuk i ≠ j
ki kj
(2) (3)
dengan: AT adalah matriks transpose dari matriks A. wij adalah inner product dari ai dan aj, bernilai 0 saat i = j. d) Merepresentasikan kembali matriks tersebut dalam bentuk graf terhubung (Gambar 2(d)) yang menggambarkan korespondensi antar pemeran (sebagai node dalam graf) dengan korespendensi (sebagai edge dalam graf) menyatakan frekuensi interaksi antara dua pemeran. Edge antara dua node menunjukkan bahwa dua pemeran muncul dalam adegan yang sama. Ketebalan edge bergantung pada kedekatan atau kekuatan hubungan antara dua pemeran.
j ≠i
ij
Komunitas adalah kelompok pemeran yang memiliki hubungan yang sama dengan pemeran utama dalam cerita. Dalam graf atau RoleNet, komunitas adalah kelompok node yang memiliki koneksi antar node yang rapat di dalam, tetapi memiliki koneksi yang jarang di luar atau dengan komunitas lain [1]. Terdapat dua macam komunitas yang diidentifikasi, yaitu komunitas makro, komunitas yang dipimpin oleh pemeran utama, dan komunitas mikro, komunitas tersembunyi yang lebih kecil yang berada di dalam komunitas makro. Algoritma berikut digunakan untuk memperoleh komunitas mikro: a) Hilangkan pemeran-pemeran utama dan semua edge yang terhubung pada mereka dari graf (model jaring). b) Anggap setiap node sebagai sebuah komunitas mikro sebagai kondisi inisial. Himpunan komunitas mikro t
t
(4)
t
dinyatakan dengan Πt = { T1 , T2 ,…, Tn }, t = 0, dengan n adalah jumlah node. Besar dari komunitas ke-p dalam Πt dilambangkan t
dengan | T p |, yang menyatakan jumlah node dalam c)
komunitas. Temukan edge eij yang paling tebal (memiliki beban paling besar) antara node vi dan vj, dengan vi ∈ T p t
dan vj ∈ Tq , kemudian: t
t
Pemeran utama adalah pemeran yang mempunyai pengaruh paling besar dan mendominasi cerita dalam video. Suatu algoritma disusun untuk penentuan pemeran utama, yaitu sebagai berikut: a) Hitung centrality value dari setiap pemeran dan petakan nilainya dalam grafik batang (Gambar 3(a)). Centrality value adalah nilai yang menyatakan dampak setiap pemeran terhadap pemeran-pemeran lain, yaitu jumlah edge yang terkoneksi pada setiap node (pemeran), yang dinyatakan dengan:
∑w
3) Identifikasi komunitas
t
1) Jika | T p | ≥ 1 dan | Tq | = 1, maka
2) Penentuan pemeran utama
ci =
dengan: ci adalah centrality value dari pemeran ke-i. wij adalah inner product yang telah diperoleh dari tahap sebelumnya. b) Urutkan centrality value semua pemeran dalam grafik batang dari yang paling besar nilainya (Gambar 3(b)). c) Hitung selisih centrality value dari dua pemeran yang berdekatan dan memetakannya dalam bentuk grafik garis atau kurva (Gambar 3(c)). d) Temukan titik maksimum dari distribusi selisih tersebut yang membatasi pemeran-pemeran utama dengan pemeran-pemeran lain (Gambar 3(c)). e) Jika jumlah pemeran utama lebih besar dari jumlah pemeran pembantu, temukan kembali titik maksimum dari distribusi selisih centrality value dari pemeran utama yang diperoleh sementara, untuk memperoleh batas pemeran utama yang sesungguhnya (Gambar 3(d)).
T pt +1 =
T pt U Tqt , Πt+1 = Πt – { Tqt }, dan t = t + 1. t
t
2) Jika | T p | > 1 dan | Tq | > 1, maka simpan kondisi komunitas sementara. d) Hilangkan edge eij dari model jaring dan kembali ke Langkah 3 sampai semua edge habis. Proses selanjutnya adalah melakukan pengukuran untuk mengevaluasi kasus komunitas pada setiap level yang berbeda, yang dirumuskan dengan:
140
120
120 centrality value
centrality value
140
100 80 60 40 20
100 80 60 40 20
0
0 1
2
3
4
5
6
7
8
9
2
1
6
4
indeks pemeran
5
3
7
9
8
indeks pemeran
(a)
(b)
50 selisih centrality value
45 40 35
Gambar 4. Contoh dendrogram dari proses clustering komunitas.
30 25 20 15 10 5 0 1
2
3
4
5
6
5
6
7
8
(c) 50 selisih centrality value
45 40 35 30 25 20 15 10 5 0 1
2
3
4
7
8
Gambar 5. Contoh hasil dari identifikasi komunitas mikro dan komunitas makro.
(d)
Gambar 3. Visualisasi grafik: (a) centrality value dari setiap pemeran; (b) centrality value yang diurutkan; (c) selisih centrality value antara dua pemeran yang berdekatan; (d) hasil akhir dari proses penentuan pemeran utama.
Untuk memperoleh komunitas makro, digunakan algoritma berikut: a) Untuk setiap pemeran utama k ∈ PU, untuk setiap komunitas mikro
AvgWt =
∑w
ij
∏t
, ∀ vi ∈ T p , vj ∈ Tq , p ≠ q (5) t
t
dengan: AvgWt menyatakan beban rata-rata antara komunitas yang berbeda pada level t.
∏ t menyatakan jumlah komunitas pada level t. Untuk setiap langkah iterasi algoritma di atas terjadi clustering komunitas, namun tidak setiap langkah mengalami peningkatan hasil situasi komunitas. Pada beberapa langkah iterasi hasil situasi komunitas tetap. Pengukuran nilai AvgW hanya dilakukan pada iterasi yang mengalami peningkatan hasil situasi komunitas, dalam hal ini disebut dengan level. AvgW merepresentasikan kedekatan antar komunitas. Dengan menemukan nilai minimum dari AvgW dan menganggapnya sebagai threshold dapat diperoleh beberapa komunitas mikro seperti diilustrasikan oleh Gambar 4. Hasil komunitas mikro yang diambil adalah hasil komunitas pada level threshold tersebut. Seperti dicontohkan pada Gambar 4 diperoleh komunitas mikro: {3,5,7}, {4}, dan {6}. Komunitas makro dapat disusun dari komunitas mikro yang telah diperoleh, karena sebuah komunitas makro terdiri dari satu pemeran utama dan komunitas-komunitas mikro yang paling berhubungan dengannya.
T p ∈ Π, dapatkan nilai maksimum
dari wkl, dengan l ∈ T p . b) Jika untuk komunitas mikro
Tb , nilai maksimum wkl
terjadi saat k=a, maka komunitas mikro Tb adalah komunitas mikro yang termasuk dalam komunitas makro oleh pemeran utama a. Contoh hasil identifikasi komunitas mikro dan makro ditunjukkan oleh Gambar 5. 4) Representasi adegan Sebelum dilakukan proses segmentasi cerita, perlu terlebih dahulu didefinisikan representasi dari adegan. Dalam metode ini, adegan digambarkan dalam konteks pemeran. Segmentasi cerita dapat dicapai dengan membandingkan setiap adegan secara berurutan. Jika r(k) melambangkan pemeran ke-k dalam suatu adegan, hubungan antara pemeran ini dengan pemeranpemeran lainnya dapat diekspresikan dengan sebuah “profil vektor” wr(k) = (w1r(k), w2r(k),…, wnr(k)), yang merupakan vektor kolom dari matriks W dalam persamaan (2). Vektor wr(k) menunjukkan kedekatan antara pemeran ke-r(k) dengan pemeran-pemeran lainnya. Vektor ini kemudian dinormalisasi ke dalam bentuk vektor unit untuk menghitung kesamaan
(context-based similarity) dan perbedaan (context-based difference) antara dua adegan yang berdekatan. Untuk setiap adegan, profil vektor dari setiap pemeran yang muncul dikumpulkan untuk membentuk sebuah matriks CMx: CMx = [wr(1) wr(2) … wr(p)]
(7)
Dengan menghitung nilai context-based similarity antara dua pemeran dalam dua adegan yang berurutan, similarity antara adegan ke-i dan adegan ke-j dapat diekspresikan dengan sebuah matriks: CMij = CMiT CMj
(8)
Sedangkan untuk menghitung nilai context-based difference antara adegan ke-i dan adegan ke-j, digunakan persamaan berikut:
dij = 1 -
1 pq
p
q
∑∑ CM (s,t) ij
(9)
s =1 t =1
dengan dij merepresentasikan perbedaan rata-rata antara pasangan pemeran dalam dua adegan yang berbeda, yang bernilai antara 0 dan 1. Nilai context-based difference ini kemudian diplot dalam suatu kurva aatau grafik garis yang merepresentasikan perbedaan antara adegan-adegan yang berurutan dari keseluruhan video. 5) Segmentasi cerita Proses segmentasi cerita dilakukan dengan menentukan batas-batas cerita berdasarkan pada perubahan hubungan timbal balik antar pemeran yang ditunjukkan dalam adeganadegan yang berbeda, yaitu dengan mendeteksi tuning point dari cerita dimana pemeran-pemeran dalam segmen cerita yang berbeda mempunyai konteks sosial yang berbeda secara signifikan. Kurva context-based difference memiliki nilai ketinggian yang berbeda-beda. Variasi ketinggian ini secara tidak langsung memberikan beberapa petunjuk untuk menemukan batas dari setiap segmen cerita (story boundary). Berdasarkan kurva tersebut, tujuan dari segmentasi cerita adalah untuk menemukan batas adegan (scene boundary) yang merepresentasikan perubahan dari cerita. Algoritma berikut digunakan untuk menentukan scene boundary mana yang merupakan story boundary: a) Himpunan scene boundary dinyatakan dengan B = {b1, b2,…, bm-1}, dengan elemen bi adalah batas antara adegan ke-i dan adegan ke-(i+1), dan m adalah jumlah total adegan. Dan nilai context-based difference yang berhubungan dinyatakan dengan D = {d1, d2,…, dm-1}. b) Berdasarkan D, temukan scene boundary mana yang merupakan puncak, dinyatakan dengan P, dan scene boundary mana yang merupakan lembah, dinyatakan dengan V:
∈ V, jika di < d i −α 1 dan di < d i +α 2
∈ P, jika di > d i −α 1 dan di > d i +α 2 ∈ OT, lainnya α 1 = min{j| j ∈ A1} α 2 = min{j| j ∈ A2} A1 = {k|( di - d i − k ) ≠ 0, 1 ≤ k ≤ i-1 }
bi bi
(6)
dengan p adalah jumlah pemeran yang muncul dalam adegan tersebut. Context-based similarity antara pemeran ke-s dalam adegan ke-i dan pemeran ke-t dalam adegan ke-j didefinisikan sebagai inner product dari masing-masing profil vektornya: wr(s) . wr(t) = wTr(s) wr(t)
bi
A2 = {k|( di - d i + k ) ≠ 0, 1 ≤ k ≤ m-1-i } (10) Untuk setiap lembah di V, temukan dua puncak terdekat dari P yang berada di kiri dan kanannya secara berturut-turut, dan tentukan puncak mana yang memiliki nilai context-based difference minimum dari dua puncak tersebut, dinyatakan dengan bk. d) Hitung nilai context-based difference rata-rata dari semua puncak di P sebagai global threshold, dinyatakan dengan gt. e) Jika bk < gt, maka ambil scene boundary yang mempunyai nilai context-based difference tidak kurang dari bk dan berada di antara dua puncak yang disebutkan dalam point (c). Jika bk > gt, maka ambil scene boundary yang mempunyai nilai context-based difference tidak kurang dari gt dan berada di antara dua puncak yang disebutkan dalam point (c). Seluruh scene boundary yang diperoleh merupakan story boundary.
c)
III. ANALISIS DATA DAN EVALUASI Hasil evaluasi terhadap sepuluh film yang dianalisis ditunjukkan pada Tabel 1. Pada kolom identifikasi komunitas pada Tabel 1, tanda kurung siku "[ ]" menyatakan komunitas makro dari film yang dianalisis, sedangkan tanda kurung kurawal "{ }" menyatakan komunitas mikro yang termasuk di dalamnya. Angka-angka yang berada di dalamnya menyatakan indeks pemeran, dengan angka yang dicetak tebal menunjukkan pemeran utama. Penulisan pengelompokan komunitas berdasarkan pemeran utamanya yang terkesan acak menunjukkan urutan dari pemeran utama yang memiliki pengaruh tertinggi. Secara umum, proses penentuan pemeran utama yang digunakan dalam metode analisis ini memberikan hasil yang cukup baik. Hasil pemeran utama yang diperoleh sesuai dengan kenyataan dalam film. Satu kejanggalan yang terjadi, yaitu pada film Laskar Pelangi. Pemeran utama yang teridentifikasi adalah 11 orang. Hal ini mungkin akan mendapatkan banyak bantahan dari para pengamat maupun penikmat film. Namun karena proses penentuan pemeran utama yang digunakan dalam metode analisis ini menggunakan dasar bahwa pemeran utama adalah pemeran yang mempunyai pengaruh paling besar dan mendominasi keseluruhan cerita dalam film, hal ini menjadi mungkin. Film Laskar Pelangi menceritakan tentang 10 anak (pemeran 1 sampai 10) dalam perjuangan mereka menggapai mimpi, serta seorang guru (pemeran 13) yang berusaha mengabdikan dirinya sebagai seorang pengajar. Karena itulah, sepanjang cerita film ini mengisahkan tentang sebelas pemeran tersebut, dan karena itu pula 11 pemeran tersebut dinyatakan mendominasi cerita dan teridentifikasi sebagai pemeran utama.
Tabel 1. Hasil evaluasi data. Indeks Film
Judul Film
Genre
Durasi (menit)
Jumlah Pemeran
Jumlah Adegan
Jumlah Pemeran Utama
F1
You’ve Got Mail
KomediRomantis
108
14
59
2
F2
Nagabonar Jadi Dua
DramaKomedi
114
9
90
2
F3
Laskar Pelangi
DramaKomedi
119
22
145
11
F4
Fiksi
99
7
73
2
F5
Perempuan Berkalung Surban The Real Pocong
16
99
1
7
56
3
8
50
4
8
79
2
6
47
1
[1 {2,5} {3,4} {6}]
31
15
167
1
[1 {2} {3,4,5,6,9, 12,13,14,15} {7,8,10} {11}]
83
F6
F7
Virgin 2
F9
Ku Kejar Cintaku Ke Bandung Gie
126
Horror
Punk In Love
F8
F10
DramaThriller Drama
95
Komedi
94
DramaRemaja RemajaRomantis DokumenterBiografi
77 76 135
Tabel 2. Ketepatan dari proses identifikasi komunitas. Indeks Film F1 F2 F3 F4 F5 F6 F7 F8 F9 F10
Jumlah pemeran yang teridentifikasi dengan benar 14 7 20 7 16 6 8 6 6 15 Rata-rata presisi
Jumlah total pemeran 14 9 22 7 16 7 8 8 6 15
Presisi 100 % 77,8 % 90,9 % 100 % 100 % 85,7 % 100 % 75 % 100 % 100 % 92,94 %
Untuk mengevaluasi ketepatan (presisi) dari proses identifikasi komunitas berdasarkan hubungan sosial antar pemeran, hasil identifikasi komunitas makro dari implementasi sistem pada sepuluh film di atas dibandingkan dengan informasi sebenarnya, seperti ditunjukkan pada Tabel 2. Dalam proses ini, pemeran dinyatakan teridentifikasi dengan benar jika berada dalam satu komunitas dengan
Identifikasi Komunitas [2 {3,5,6,7}] [1 {4} {8} {9,10} {11,12,13} {14}] [2 {3,4,5,6}] [1 {7} {8,9}] [1 {12} {17,18} {20} {21}] [5 {11} {15}] [6] [3] [4] [8] [7] [9] [10] [2 {19}] [13 {14,16} {22}] [1 {4} {5} {6} {7}] [2 {3}] [1 {2,3,4,5,6,7,9, 10,12,13,14,15} {8} {11} {16}] [1] [2 {3} {5} {6} {7}] [4] [1 {7}] [2] [4] [3 {5,6,8}] [2 {3,4,6,7} {5}] [1 {8}]
Jumlah Segmen Cerita 35 56
64
32 64
32
18
26
pemeran utama yang sesuai. Nilai presisi merupakan prosentase perbandingan antara jumlah pemeran yang teridentifikasi dengan benar, dengan jumlah total pemeran dalam film. Dari rata-rata presisi yang diperoleh dapat dilihat bahwa metode ini hampir mencapai performansi yang sempurna. Secara umum, proses segmentasi cerita dengan metode analisis berdasarkan hubungan sosial antar pemeran memberikan hasil yang cukup baik, karena pada metode ini segmentasi cerita dilakukan dengan mendeteksi tuning point dari cerita dimana pemeran-pemeran dalam segmen cerita yang berbeda memiliki konteks sosial yang berbeda secara signifikan. Contohnya pada film You’ve Got Mail, adegan ke-10, 15, 18 dan 20 terdeteksi sebagai story boundary yang membentuk tiga segmen cerita. Segmen cerita pertama diawali oleh adegan ke-11 sampai adegan ke-15, segmen cerita kedua diawali oleh adegan ke-16 sampai adegan ke-18, dan segmen cerita ketiga diawali oleh adegan ke-19 sampai adegan ke-20. Adegan ke-15, sebagai story boundary, membatasi adegan ke-15 (yang mengandung pemeran JF, NF, SF, dan K) sebagai akhir dari segmen cerita pertama, dan adegan ke-16 (yang mengandung pemeran KK, C, G, dan B) sebagai awal dari segmen cerita kedua. Tampak bahwa dua
adegan tersebut memiliki konteks sosial yang berbeda, dipandang dari pemeran yang muncul di masing-masing adegan. Pada kenyataanya, adegan ke-15 benar memisahkan dua segmen cerita yang berbeda. Sementara pada adegan ke-18 (yang mengandung pemeran KK dan JF) sebagai akhir dari segmen cerita kedua, dan adegan ke-19 (yang mengandung pemeran KK, FN, JF, dan PE) sebagai awal dari segmen cerita ketiga, tampak perbedaan yang tidak terlalu signifikan, namun adegan ini terdeteksi sebagai story boundary. Hal ini menyebabkan kesalahan pendeteksian. Pada kenyataannya, adegan ke-18 dan adegan ke-19 masih berada dalam satu segmen cerita. Contoh di atas menunjukkan hasil yang tepat dan kurang tepat dari metode segmentasi ini. Segmen cerita yang pertama terdeteksi dengan baik, sementara segmen cerita yang kedua seharusnya disambung oleh segmen cerita yang ketiga. Dengan kata lain, segmen cerita kedua dan ketiga seharusnya terdeteksi sebagai satu segmen cerita karena adegan ke-19 adalah lanjutan dari adegan ke-18 yang berada dalam datu lokasi (acara).
2.
V. DAFTAR PUSTAKA [1]
[2]
[3] [4]
IV. KESIMPULAN A. Kesimpulan Dari hasil pengamatan selama analisis, perancangan, implementasi, dan evaluasi sistem perangkat lunak yang telah dilakukan, dapat diambil kesimpulan sebagai berikut: 1. Analisis video berdasarkan hubungan sosial antar pemeran adalah sebuah metode analisis berdasar graf yang mentransformasikan sebuah film ke dalam sebuah jaring sosial pemeran yang disebut RoleNet. 2. Berdasar pada RoleNet, dapat diidentifikasi pemeran utama dan komunitas dari sebuah film yang bermanfaat untuk manajemen, retrieval, dan browsing film database, serta dapat mensegmentasikan sebuah film berdasarkan konteks cerita. 3. Dari proses penentuan pemeran utama, identifikasi komunitas, dan segmentasi cerita yang dilakukan pada beberapa film, dapat ditunjukkan bahwa metode analisis video berdasarkan hubungan sosial antar pemeran memberikan hasil yang cukup baik. B. Saran Berdasarkan studi yang dilakukan selama pengerjaan Tugas Akhir, terdapat beberapa saran untuk kemungkinan pengembangan studi atau penelitian yang berkaitan, yaitu: 1. Dengan metode identifikasi komunitas, sebuah sistem browsing berdasarkan komunitas (community-based) dapat dibangun dengan lebih
jauh lagi menemukan informasi semantik yang tersembunyi dalam sebuah cerita film. Analisis video berdasarkan hubungan sosial antar pemeran merupakan studi video context analysis yang dikembangkan di luar studi video content analysis. Namun kedua metode analisis ini dapat dikombinasikan untuk memperoleh metode analisis yang lebih baik lagi.
[5] [6] [7]
[8]
[9]
C.-Y. Weng, W.-T. Chu, dan J.-L. Wu, “RoleNet: Movie Analysis from the Perspective of Social Network”, IEEE Trans. Multimedia, Vol.11, No.2, 2009, pp.256-271. C.-Y. Weng, W.-T. Chu, dan J.-L. Wu, “Movie Analysis Based On Roles’ Social Network”, Proc. IEEE Int. Conf. Multimedia & Expo., 2006. Alan Hanjalić, Content-Based Analysis of Digital Video. Kluwer Academic Publisher, Boston, 2004. Petros Maragos, Alexandros Potamianos, dan Patrick Gros, Multimodal Processing and Interaction. Springer, Borko Furht, 2008. J.A. Bondy dan U.S.R. Murty, Graph Theory with Applications. Canada: Ontario, 1976. Dieter Jungnickel, Graph, Networks and Algorithms. Springer, Augsburg, 2007. Paisley Livingston dan Carl Plantinga, The Routledge Companion to Philosophy and Film. Routledge, Oxon, 2009. Noël Carroll dan Finhee Choi, Philosophy of Film and Motion Pictures. Blackwell Publishing, UK, 2006. Mark Winokur dan Bruce Holsinger, The Complete Idiot’s Guide to Movies, Flicks, and Film. Alpha Books, USA: Pearson, 2001.
RIWAYAT PENULIS Hanik Fathiya Solihah, lahir pada tanggal 20 September 1987 di Balikpapan. Lulus dari SDN Banjarejo I Bojonegoro tahun 1998 kemudian melanjutkan ke MTsN I Bojonegoro dan lulus pada tahun 2001. Kemudian melanjutkan studi ke SMUN 2 Bojonegoro dan lulus tahun 2004. Setelah lulus SMA, penulis melanjutkan jenjang pendidikan S1 di Institut Teknologi Sepuluh Nopember Surabaya pada tahun 2005 dan mengambil Jurusan Teknik Elektro, bidang studi Telekomunikasi Multimedia. Pada bulan Januari 2010 penulis mengikuti seminar dan ujian Tugas Akhir sebagai salah satu syarat untuk memperoleh gelar Sarjana S1.
