Pengaruh Game Bergenre Multiplayer Online Battle Arena (MOBA) Terhadap Kemampuan Kognitif Pemain

Seminar Nasional Teknologi Informasi dan Komunikasi Terapan (SEMANTIK) 2015

105

Pengaruh Game Bergenre Multiplayer Online Battle Arena (MOBA) Terhadap Kemampuan Kognitif Pemain I Kadek Dendy Senapartha*), Ridi Ferdiana**), Rudy Hartanto***) Teknik Elektro dan Teknologi Informasi, Universitas Gadjah Mada E-Mail: *[email protected] , ** [email protected] , *** [email protected]

Abstrak Game bergenre real time strategy (RTS) adalah permainan yang menantang pemain untuk meraih kemenangan dengan cara merencanakan serangkaian aksi untuk mengalahkan lawan. Penelitian yang dilakukan Brian Daniel Glass dengan memberikan pelatihan game RTS selama 40 jam kepada sekelompok orang yang bukan pemain game ternyata memberikan keuntungan berupa peningkatan kemampuan koginif. Multiplayer Online Battle Arena (MOBA) yang merupakan subgenre dari RTS dengan karakteristik gameplay yang sama dengan RTS namun memiliki beberapa perbedaan. Makalah ini mempresentasikan hasil penelitian dalam menguji dampak elemen gameplay video game bergenre MOBA terhadap kemampuan kognitif pemain, menganalisis elemen gameplay RTS apa saja yang ada pada MOBA dan bagaimana elemen ini berdampak sama terhadap kemampuan kognitif pemain. Game MOBA yang digunakan untuk penelitian ini adalah Defense of the Ancients (DOTA) yang merupakan modifikasi dari game Warcraft 3 bergenre RTS. Hasil dari penelitian ini menunjukan bahwa kelompok pemain DOTA memiliki kemampuan task-switching, working-memory dan multitasking yang lebih baik dibandingkan kelompok bukan pemain DOTA yang membuktikan adanya pengaruh yang disebabkan oleh elemen-elemen gameplay MOBA yang terdiri dari taktik dan strategi; micromanagement dan macromanagement; early-, mid- dan late-game; dan resource system. Kata kunci: Real Time Strategy (RTS), Multiplayer Online Battle Arena (MOBA), Defense of the Ancients (DOTA), pisikologi kognitif.

1. PENDAHULUAN Video game sangat populer dikalang anak muda atau orang-orang yang memiliki semangat muda. Perangkat bergerak seperti konsol Game Boy dan smartphone memungkinkan seseorang untuk bermain kapanpun dan dimanapun. Bagi anak-anak, komputer dan video game online menjadi aktifitas bermain yang lebih aman dibandingkan aktifitas bermain diluar. Namun terkadang komputer dan video game online yang bersentuhan dengan teknologi modern menjadi lebih berbahaya karena telah menyebabkan kecanduan. Anak-anak yang telah menjadi kecanduan terhadap aktivitas ini, akan menyulitkan orang tua untuk mengatur dan menghentikannya. Anderson [1] mengkaji efek negatif yang dapat terjadi pada masyarakat. Dua buah penelitian dilakukan untuk menemukan efek video game bertema kekerasan terhadap sifat keagresifan. Penelitian ini menunjukan

ISBN: 979-26-0280-1

adanya dampak langsung yang terjadi pada penggunaan video game bertema kekerasan yang dapat meningkatkan sikap agresif baik dalam jangka pendek atau jangka panjang [1]. Mitchell [2] menemukan manfaat dari video game terhadap perkembangan pisikologi, mental, dan kesehatan seseorang. Penelitian dilakukan untuk menganalisa efek positif dari penggunaan video game terhadap masyarakat muda yang berumur 16-24 tahun. Penelitian ini menunjukan bahwa game dapat memotivasi dan membuat aktivitas belajar menjadi lebih menyenangkan dan efektif [2]. Arnseth [4] mengemukakan bahwa video game memiliki kriteria yang baik untuk membantu proses belajar yang lebih baik. Video game memiliki lingkungan yang dapat mambawa pemain kedalam dunia fantasi yang nampak nyata baginya. Sehingga pemain termotivasi untuk mengeksplorasi lingkungan video game dan berbagai tantangan yang ada didalamnya, aktifitas ini

106

Seminar Nasional Teknologi Informasi dan Komunikasi Terapan (SEMANTIK) 2015

adalah bagian dari proses pembelajaran alamiah dalam perkembangan manusia. Selain itu video game juga sangat imaginatif, menghasilkan sebuah simulasi yang meningkatkan kemampuan visual, eksperimen dan kreatifitas dalam upaya mencari cara untuk memenangkan permainan. Video game juga memungkinkan untuk melakukan aktifitas belajar yang mahal atau berbahaya, atau aktifitas yang sulit dilakukan didalam ruangan kelas. Penelitian tentang dampak dari video game juga dilakukan oleh Basak et. al. [5]. Penelitian dilakukan untuk menemukan manfaat dari video game bergenre RTS dalam menunda proses penuaan yang dialami orang yang berumur diatas 60 tahun. Penelitan ini menganalisis apakah gameplay RTS yang kompleks, yang memerlukan umpan balik atensi dan kemampuan untuk memprioritaskan penugasan, memiliki dampak positif terhadap kondisi kognitif dan proses mengingat manula. Gameplay ialah elemen penting pada game yang mendefinisikan tantangan dan aksi yang dapat dilakukan pemain[3]. Gameplay memiliki potensi sebagai arena yang penting untuk pengembangan dan membentuk cara berpikir, identitas, nilai dan norma-norma umum [4]. Sehingga kita dapat memahami bahwa kegiatan bermain merupakan proses transfer suatu pengetahuan atau informasi kedalam pikiran yang kemudian meninggalkan jejak dan mentransformasikan berbagai representasi mental yang telah ada pada diri seseorang. Adanya efek dari gameplay terhadap pemain telah dibuktikan pada penelitian pisikologi yang dilakukan oleh Basak, Boot, Voss dan Kramer [5] dengan melakukan eksperimen game RTS pada sekelompok pemain. Penelitian ini dilakukan dengan melakukan pelatihan RTS selama 23,5 jam kepada kelompok orang yang berumur 68 hingga 70 tahun dengan tujuan untuk meningkatkan kemampuan eksekutif peserta. Hasil dari pelatihan ini menunjukan bahwa terjadi peningkatan fungsi kerja eksekutif seperti task-switching, daya ingat, dan pemahaman. Penelitian lebih lanjut juga dilakukan oleh Brian Daniel Glass [6] dengan melakukan pelatihan game RTS selama 40 jam dengan durasi bermain 2 jam/hari secara berkala kepada kelompok

ISBN: 979-26-0280-1

orang yang bukan pemain game menunjukan bahwa bermain video game dalam rentang waktu yang lama akan memberikan keuntungan pisikologis tertentu. Ini menunjukan aspek penting dari kegiatan bermain video game terhadap perubahan kemampuan kognitif seseorang. Defense of the Ancients (DOTA) merupakan modifikasi (game mod) dari game Warcraft 3 yang bergenre RTS. DOTA merupakan video game yang bergenre Multiplayer Online Battle Arena (MOBA) sub-genre dari RTS, memiliki karakteristik gameplay yang sama dengan RTS namun dengan beberapa perbedaan [7]. Pemain (player) mengendalikan sebuah unit atau karakter hero yang memiliki skill untuk membangkitkan unit lain dan mengendalikannya [8]. Permainan akan dibagi menjadi dua kubu yang saling beralawanan dan hanya memiliki satu tujuan, yaitu menyerang dan menghancurkan markas (Ancient) pemain lain. Paper ini akan mengkaji dampak elemen gameplay dari video game bergenre MOBA terhadap kemampuan kognitif pemain, menganalisis elemen gameplay RTS apa saja yang ada pada MOBA dan bagaimana elemen ini berdampak sama terhadap kemampuan kognitif pemain. Pengumpulan data dilakukan dengan melakukan serangkaian tes pisikologi untuk mendapatkan informasi kemampuan kognitif dari dua kelompok yang berbeda yaitu pemain game DOTA dan bukan pemain DOTA. Tes dilakukan dengan menguji kemampuan kognitif yang terdiri dari fleksibilitas atensi, task-switching, workingmemory, dan multitasking. Hasil penelitian ini adalah untuk menemukan adanya perbedaan kemampuan pisikologis yang dimiliki oleh pemain video game bergenre MOBA dengan orang yang tidak bermain video game dan menemukan adanya persamaan dampak pisikologis akibat gameplay turunan dari video game bergenre RTS.

2. METODE PENELITIAN Metode penelitian yang digunakan untuk mendapatkan dan mengolah data pemain (player) video game DOTA dan bukan pemain DOTA adalah dengan melakukan serangkaian tes pisikologi yang

Seminar Nasional Teknologi Informasi dan Komunikasi Terapan (SEMANTIK) 2015

terdiri dari tes stroop, tes task switching dan tes multitasking. Kelompok player DOTA dipilih dengan kriteria sebagai berikut : a. Memiliki akun Steam dan aktif sebagai anggota. b. Memiliki installasi game Dota pada komputer pribadi atau komputer kerja. c. Memiliki profil DOTA pada level 20 lebih. d. Peserta berusia antara 22 – 35 tahun. Pemilihan karakter dari kelompok ini dipilih untuk memastikan bahwa kandidat sumber data penelitian adalah seorang pemain video game DOTA aktif. Ini ditunjukan dengan karakter kepemilikan akun Steam serta memiliki installasi video game DOTA. Sedangkan pilihan kriteria bahwa kandidat memiliki profil DOTA pada level 20 atau lebih adalah untuk memastikan kandidat telah dan secara aktif memainkan video game DOTA dalam rentang waktu yang relatif lama. Pemilihan rentang waktu umur kandidat yang berkisar antara 22 hingga 35 tahun adalah untuk memastikan para peserta dari kelompok pemain DOTA sudah memasuki usia dewasa awal[9]. Sedangkan untuk kelompok non-player DOTA memiliki kriteria sebagai berikut : a. Memiliki profil DOTA pada level 20 lebih. b. Memiliki atau tidak memiliki akun Steam baik aktif atau tidak. c. Memiliki atau tidak memiliki inistallasi game DOTA pada komputer pribadi dan komputer kerja. d. Tidak memiliki profil DOTA pada level 20 lebih. e. Peserta berusia antara 22 - 35 tahun. Pemilihan karakter dari kelompok kedua ini dipilih karena platform Steam tidak hanya menyediakan video game DOTA tetapi juga video game lain dengan judul dan genre yang berbeda. Sehingga ada kemungkinan bahwa peserta dari kelompok kedua berasal dari orang yang memiliki akun Steam tapi tidak memainkan video game DOTA. Kriteria kedua dan ketiga pada kelompok ini juga untuk memastikan bahwa peserta bukanlah pemain DOTA aktif sehingga bisa diketahui bahwa peserta tidak secara rutin bermain video game DOTA. Pemilihan umur didasarkan bahwa peserta sudah memasuki usia dewasa awal.

ISBN: 979-26-0280-1

107

Analisis data dilakukan dengan dua cara. Yang pertama adalah proses transformasi data dengan menggunakan EZdiffusion model sehiingga didapatkan informasi yang berkaitan dengan tarik-ulur akurasi-kecepatan dan mengubah informasiinformasi ambigu dari perhitungan hasil tes respon penugasan dua pilihan. Proses yang kedua adalah dengan melakukan statistik untuk menguji adanya perbedaan pada kedua kelompok sampel penelitian dengan menggunakan independent sample t-test.

3. HASIL PENELITIAN Untuk mendapatkan data yang benarbenar valid, dilakukan test pisikologi terhadap 27 orang peserta yang terdiri 14 peserta non-player dan 13 orang peserta player DOTA. Setiap peserta akan menjalani tes pisikologi yang sudah dipersiapkan dan mengerjakannya berdasarkan instruksi yang diberikan. Dari ke 27 orang peserta,sebanyak 7 orang memiliki hasil yang tidak valid karena rata-rata jawaban benarnya adalah dibawah 50%. Sedangkan 20 orang untuk masing-masing kelompok memiliki rata-rata jawaban benar diatas 50%. Test pisikologi berlangsung selama kurang lebih 30 menit dan hasilnya tes akan disimpan dalam dokumen dengan format *.txt di akhir tiap-tiap sesi oleh aplikasi tes. Informasi yang disimpan pada dokumen tersebut adalah jawaban yang dipilih oleh peserta dan durasi peserta untuk menjawab setiap butir tes dalam satuan milli second. Tes pisikologi yang dilakukan pertama kali adalah tes stroop yang bertujuan untuk menguji tingkat vitalitas dan fleksibilitas mental (atensi) seseorang [6]. Berdasarkan pengamatan peserta tes lebih mudah mengerjakan tes ini karena hanya membandingkan warna dan kata. Tes task switching adalah tes tahap kedua yang dilakukan oleh peserta tes pisikologi yang bertujuan untuk menguji kemampuan seseorang dalam berpindah penugasan (task switching)[10]. Berdasarkan pengamatan, peserta tes cukup mudah mengerjakan tes ini namun beberapa merasa kesulitan untuk membedakan saat-saat penanda huruf atau angka muncul sebelum stimulus terjadi, kesulitan ini terutama banyak terjadi pada kelompok non-player. Tahapan tes yang

108

Seminar Nasional Teknologi Informasi dan Komunikasi Terapan (SEMANTIK) 2015

terakhir adalah tes multitasking yang bertujuan untuk menguji kemampuan seseorang dalam mengerjakan penugasan yang berbeda pada waktu yang hampir bersamaan (multitasking)[11]. Data hasil tes psikologi yang didapat akan ditransformasi dengan EZ-diffusion model. Metode diffusion modeling adalah metode yang paling tepat untuk mendapatkan hubungan antara kecepatan reaksi dan akurasi dari test yang bersifat two-choice respon [12]. Model ini akan menggunakan rata-rata dari waktu respond (MRT), varians waktu respond (VRT) dan proporsi jawaban (Pc) benar untuk menghasilkan parameterparameter baru dari metode ini yaitu drift rate (v), boundary separation (a), dan nondecision time (Ter). Drift rate adalah variabel yang mengukur kombinasi kecepatan respon dan akurasi dari respon seseorang untuk menghitung kemampuan seseorang atau tingkat kesulitan penugasan yang diberikan [13]. Drift rate merupakan variable terbaik yang dapat merepresentasikan kombinasi dari kecepatan respon dan akurasi respon dalam menghitung kemampuan seseorang [13]. Boundry separation adalah variabel yang menentukan kemampuan seseorang dalam menentukan pilihan [13]. Semakin besar nilai variabel ini berarti sistem pengenalan seseorang memerlukan jumlah informasi yang lebih banyak untuk dapat menentukan pilihan dari opsi yang tersedia. Variabel Ter adalah variabel yang menentukan lamanya waktu yang diperlukan untuk akhirnya dapat menentukan sebuah pilihan [13]. Hubungan timbal-balik antara kecepatan respon dan akurasi jawaban diperlihatkan oleh perbedaan parameter boundary separation. Semakin kecil boundary separation maka menunjukan respon yang cepat namun memiliki jawaban yang tidak akurat. Nilai drift rate yang semakin besar menunjukan integrasi yang lebih baik dalam menentukan sebuah keputusan. Waktu jeda pengambilan keputusan adalah waktu tunggu saat mencari petunjuk untuk menentukan pilihan. Parameter ini menggambarkan perbedaan yang tidak disebabkan oleh perubahan besar drift rate atau boundary separation[6]. Setelah ketiga variable dari EZ-diffusion model masing-masing kelompok didapatkan maka tahap berikutnya adalah melakukan uji

ISBN: 979-26-0280-1

hipotesis dengan metode statistik independent sample test dengan menggunakan software bantuan SPSS. Tahap ini akan menguji apakah terdapat perbedaan yang signifikan pada hasil tes pisikologi kedua kelompok dengan nilai signifikansi 5%. Prinsip pengujian uji ini adalah melihat perbedaan variasi kedua kelompok data, sehingga sebelum dilakukan pengujian, terlebih dahulu harus diketahui apakah variannya sama (equal variance) atau variannya berbeda (unequal variance) [14]. Kemudian dilakukan uji t untuk mengetahui beda rata-rata kedua kelompok dan memverifikasi kebenaran/kesalahan hipotesis. Hasil uji tes stroop pada table 1 memperlihatkan bahwa tidak ada perbedaan dalam menangkap informasi, akurasi menentukan pilihan dan kecepatan pengambilan keputusan untuk penugasan yang memerlukan vitalitas dan fleksibilats mental (atensi) pada kedua kelompok. Hal ini diperlihatkan dari nilai t hitung masingmasing variabel adalah t(v)=-1.186, t(a)=0,523, dan t(Ter)=-1.025 yang lebih kecil dari sig(p) 0.05. Tabel 1. Hasil Uji t-test Dengan Metode Independet Sample Test

Stroop

task switching

Multitasking

F

t-test

Sig

v

0,559

-1,186

0,251

a

0,271

-0,523

0,608

Ter

0,310

-0,025

0,319

v

0,095

2,890

0,010

a

0,255

-0,840

0,412

Ter

0,018

-1,336

0,199

v

11,944

2,547

0,20

a

1,433

-0,281

0,782

Ter

0,049

0,357

0,726

Selanjutnya uji tes task switching pada tabel 1 memperlihatkan bahwa terdapat perbedaan signifikan pada kemampuan menangkap informasi untuk penugasan yang

Seminar Nasional Teknologi Informasi dan Komunikasi Terapan (SEMANTIK) 2015

memerlukan kemampuan menangkap informasi untuk penugasan yang bersifat task-switching. Hal ini diperlihatkan dari nilai t(v)=2.890, t(a)=-0.840, dan t(Ter)=1.336 sehingga diketahui bahwa nilai t variabel a dan t lebih kecil dari 0.05 sedangkan nilai t variabel v lebih besar dari 0.05 Hasi uji tes multitasking pada table 1 memperlihatkan bahwa ada perbedaan dalam kecepatan menangkap informasi dan kecepatan pengambilan keputusan untuk penugasan yang memerlukan kemampuan multitasking. Hal ini diperlihatkan dari nilai t(v) = 2.547, t(a) = -0.281, dan t(Ter) = 0.357 sehingga diketahui bahwa nilai t variabel a lebih kecil dari 0.05 sedangkan nilai t variabel v dan Ter lebih besar dari 0.05.

4. KESIMPULAN Dari hasil tes yang telah dilakukan untuk menguji perbedaan vitalitas dan fleksibilitas atensi antara kelompok player DOTA dan non-player, maka dapat disimpulkan bahwa tidak ada perbedaan dalam kemampuan menangkap informasi (v), akurasi menentukan pilihan (a) dan kecepatan pengambilan keputusan (Ter) untuk penugasan yang memerlukan vitalitas dan fleksibilitas atensi. Ini dikarenakan nilai hitung t untuk ketiga variabel tersebut adalah t(v)=-1.186, t(a)=-0,523, dan t(Ter)=0.584 yang lebih kecil dari sig(p) 0.05, artinya tidak ada perbedaan dalam menangkap informasi, akurasi menentukan pilihan, dan kecepatan pengambilan keputusan untuk penugasan yang memerlukan vitalitas dan fleksibilitas mental (atensi). Untuk hasil tes pengujian kemampuan task switching, maka dapat disimpulkan bahwa kelompok player DOTA memiliki rerata kemampuan berpindah penugasan yang lebih baik dibandingkan non-player karena nilai drift rate (v) yang berbeda signifikan dari kedua kelompok. Ini ditunjukan dengan perbedaan nilai t hitung masing-masing variabel adalah t(v)=2.890, t(a)=-0.840, dan t(Ter)=-1.336 sehingga diketahui bahwa nilai t variabel a dan Ter lebih kecil dari 0.05 sedangkan nilai t variabel v lebih besar dari 0.05. Untuk hasil tes pengujian kemampuan multitasking kedua kelompok, maka dapat

ISBN: 979-26-0280-1

109

disimpulkan bahwa kelompok player memiliki rerata kemampuan multitasking yang lebih baik dibandingkan non-player karena nilai drift rate (v) yang berbeda signifikan dari kedua kelompok. Ini ditunjukan dari nilai t hitung masing-masing variabel adalah t(v) = 2.547, t(a) = -0.281, dan t(Ter) = 0.357. Nilai t variabel a lebih kecil dari 0.05 sedangkan nilai t variabel v dan Ter lebih besar dari 0.05. Informasi data statistik ini juga memberikan kesimpulan lain bahwa elemen gameplay RTS pada MOBA memiliki dampak yang sama terhadap kemampuan kognitif pemain. Video game bergenre RTS memiliki elemen gameplay untuk membuat, mengatur dan komando pasukan secara realtime pada sebuah peta strategi (map-based). Untuk dapat memenangkan permainan, pemain harus dapat mengatur dan mengendalikan banyak aspek seperti perekonomian, resource dan informasi mengenai lawan dengan efektif dan secepat mungkin secara real-time [15]. Kriteria ini juga dimilki pada game bergenre MOBA namun pada cakupan yang lebih kecil dan bentuk implementasi yang berbeda dalam game. Implementasi elemen RTS pada genre MOBA dan bagaimana elemen ini digunakan antara lain: 1. Macromanagement dan micromanagement : elemen RTS yang berhubungan dengan strategi dan taktik namun terletak pada aspek mekanisme dan berhubungan dengan kemampuan pemain untuk mencari solusi. 2. Taktik dan Strategi : Strategi adalah keputusan dan garis besar rencana yang ditentukan oleh pemain untuk memenangkan permainan sedangkan taktik adalah tentang bagaimana semua unit yang ada dapat dikontrol dan bagaimana pemain menentukan target yang diserang. 3. Early-, Mid-, Late Game : Merupakan elemen timeline yang ada pada genre RTS. Dalam game RTS, game berproses melalui tiga fase utama yaitu early-, mid- dan late-game. 4. Resource System : Merupakan mekanisme gameplay saat pemain harus mengumpulkan sumber daya (resource) yang terdapat pada game-map.

110

Seminar Nasional Teknologi Informasi dan Komunikasi Terapan (SEMANTIK) 2015

5.

DAFTAR PUSTAKA

[1] Craig A. Anderson, "Video Games and Aggressive Thoughts, Feelings, and Behavior in the Laboratory and in Life," Journal of Personality and Social Psychology, pp. 772-790, 2000. [2] Alice Mitchell & Carol Savill-Smith, "The use of computer and video games for learning," London, UK, 2004. [3] Ernest Adams, Fundamentals of Game Design, 2nd ed., Karyn Johnson, Ed. Berkeley, United States of America: Pearson, 2010. [4] Hans Christian Arnseth. Learning to Play or Playing to Learn - A Critical Account of the Models of Communication Informing Educational Research on Computer Gameplay. URL: http://gamestudies.org/0601/articles/arns eth , diakses tanggal 3 September 2015. [5] Walter R. Boot, Michelle W. Voss, and Arthur F. Kramer Chandramallika Basak, "Can Training in a Real-Time Strategy Video Game Attenuate Cognitive Decline in Older Adults," Psychology and Aging, pp. 765-777, 2008. [6] Brian Daniel Glass, "Becoming a Gamer: Cognitive Effects of Real-Time Strategy Gaming," Texas, USA, 2012. [7] Rothbart. Multiplayer Online Battle Arena. URL: http://www.giantbomb.com/multiplayeronline-battle-arena/3015-6598/, diakses tanggal 3 September 2015.

ISBN: 979-26-0280-1

[8] Ryan C. Multiplayer Online Battle Arenas Explained. URL: http://www.alteredgamer.com/pcgaming/43646-multiplayer-onlinebattle-arenas-and-dota-explained/, diakses tanggal 3 September 2015. [9] E. B. Hurlock, Psikologi Perkembangan, Suatu Pendekatan Sepanjang Rentang Kehidupan. Jakarta, Indonesia: Erlangga, 1994. [10] H. Pashler, "Task switching and multitask performance," in Attention and Performance XVIII: Control of mental, Cambridge, 2000. [11] Ami Eidels, Joseph Houpt, James Coleman, Jason Watson, David Strayer Andrew Heathcote, "Multitasking in Working Memory," in Cognitive Science Conference, Quebeck, 2014, pp. 601-606. [12] R. Ratcliff & J.N. Rouder, "Modeling Response Times for Two Choice Decisions," Psychological Science, vol. 9, pp. 347-356, 1998. [13] Han l. J. Van Fer Maas, Raoul P. P. P. Grasman Eric-Jan Wagenmakers, "An ez-diffusion model for response time," in Psychonomic Bulletin & Review, 2007, pp. 3-22. [14] MA., M.Sc. Prof.DR. Sudjana, Metoda Statistika. Indonesia: Tarsito, 2005. [15] W. Todd Maddox, Bradley C. Love Brian D. Glass, "Real-Time Strategy Game Training: Emergence of a Cognitive Flexibility Trait," Public Library of Science (PLOS), August 2013.