Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7
Research Report
Sensivisitas, spesifisitas dan akurasi pengukuran sudut antegonial pada radiografik panoramik penderita osteoporosis (Sensitivity, specificity, and accuracy of antegonial angle measurement in panoramic radiographs patient osteoporosis) R.P. Bambang Noerjanto1 , Deny Saputra1 , Yolan Tiara Yusuf 2 1 Staf Pengajar Departemen Radiologi Kedokteran Gigi 2 Mahasiswa Program Pendidikan Dokter Gigi Fakultas Kedokteran Gigi Universitas Airlangga Surabaya – Indonesia
ABSTRAK Latar belakang: Penderita osteoporosis belum mendapatkan penanganan lebih awal hingga akhirnya mulai dirasakan adanya kerapuhan pada tulang. Oleh karena itu dicari suatu media yang dapat mendiagnosa terjadinya osteoporosis secara dini. Salah satu yang dapat diukur untuk mendiagnosa osteoporosis pada radiografik panoramik adalah sudut antegonial yang terdapat pada tulang mandibula. Perubahan pada sudut antegonial dapat digunakan sebagai indikator pertumbuhan mandibula dan dapat pula digunakan untuk screening osteoporosis. Tujuan : Tujuan penelitian ini adalah untuk mengetahui sensitivitas, spesifisitas dan akurasi pengukuran sudut antegonial pada penderita osteoporosis. Metode : Foto radiografik wanita postmenopause yang tidak menderita osteoporosis, dan wanita postmenopause yang menderita osteoporosis di ukur sudut antegonialnya kemudian di cari nilai sensitivitas, spesifisitas dan akurasi. Hasil : Pengukuran sudut antegonial pada radiografik panoramik dapat medeteksi pasien yang positif osteoporosis sebesar 83%, medeteksi pasien yang negatif osteoporosis sebesar 11%, 50%, 0% dan akurasi sebesar 66%. Kesimpulan : Pengukuran sudut antegonial pada radiografik memiliki sensitivitas tinggi dan akurasi cukup, tetapi spesifisitas rendah. Kata kunci : Wanita postmenopause, Radiografik panoramik, Sensitivitas, Spesifisitas, Akurasi sudut antegonial mandibula.
ABSTRACT Background: People with osteoporosis aren’t gotten the treatment early until they started to felt fragility at their bones. Therefore should be sought media that can detect at an early stage of osteoporosis. The one that can be measured to detect osteoporosis panoramic radiographs antegonial angle is contained in mandibular bone. Change in the antegonial angle can be used as an indicator of mandibular growth and can also be used to screening of osteoporosis .Purpose : The purpose of this study was for determine the sensitivity, specificity and accuracy of antegonial angle measurement in patients with osteoporosis. Methods: radiographic photo posmenopausal women who do not suffer from osteoporosis, and posmenopausal women with osteoporosis in her the antegonial protractor in searching the sensitivity, specificity and accuracy. Result: Antegonial angle measurements on panoramic radiographs to detect the positive patients osteoporosis by 83%, detecting osteoporosis patients who were negative by 11%, 50%, 0% and accuracy 66%. Conclusion: Antegonial angle radiographic measurements have high sensitivity and sufficient accuracy, but low specificity. Keyword : Postmenopausal women, Panoramic radiographs, Sensitivity, Specificity, Accuracy of mandibular antegonial angle.
1
Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7 Korespondensi (correspondence) : Yolan Tiara Yusuf., Mahasiswa Program Pendidikan Dokter Gigi, Fakultas Kedokteran Gigi Universitas Airlangga Jl. Prof. Dr. Moestopo No. 47 Surabaya 60132, Indonesia. Email :
[email protected]
PENDAHULUAN Individu dengan osteoporosis, terutama perempuan postmenopause, masih belum mendapatkan penanganan secara dini, sampai mereka menyadari bahwa tulang mereka sudah rapuh dan pada akhirnya mengalami fraktur 1.Osteoporosis didefinisikan sebagai penyakit sistemik dari tulang yang ditandai oleh berkurangnya massa tulang dan terganggunya jaringan tulang, yang mengarah pada meningkatnya kerapuhan tulang dan resiko fraktur 2. Di Indonesia sendiri prevalensi osteoporosis pada tahun 2002 adalah 19,7%, yaitu pada laki-laki 14,8 % dan perempuan 21,7 %. Sedangkan pada tahun 2003 sebesar 7,7 %, kemudian sebesar 7 % pada tahun 2004 dan tahun 2005 sebesar 10,3% yaitu laki-laki 14,3% dan perempuan sebesar 8,2%. Pada umur 55 tahun, resiko asteoporosis lebih tinggi pada laki-laki dan pada umur di atas 55 tahun porposi penderita osteoporosis lebih tinggi pada wanita3. Radiografik panoramik adalah salah satu gambaran ekstra oral yang sering digunakan oleh dokter gigi karena memberikan gambaran struktur yang kompleks dari oral-maksilofasial, yang membantu dalam memperoleh diagnosis untuk rencana perawatan 4. Dokter gigi dapat menggunakan radiografik panoramik untuk mengidentifikasi osteoporosis pada perempuan postmenopause1 . Bone mineral density (BMD) merupakan inikator dalam pemeriksaan osteoporosis, dual energy xray absorptiometry (DXA) adalah teknik yang paling tepat untuk menentukan bone mineral density (BMD), DXA dianggap sebagai salah satu alat yang dapat mendeteksi osteoporosis yang paling baik pada saat ini 5.Pemerikasaan DXA terhadap osteoporosis memiliki sensivisitas sebesar 90%, spesifisitas 40-60% dan akurasinya sebesar 90-99%. Oleh sebab itu penilaian dengan DXA paling efektif untuk
mendeteksi secara dini resiko dari osteoporosis 6. Salah satu yang dapat diukur untuk mendeteksi osteoporosis pada radiografik panoramik adalah sudut antegonial yang terdapat pada tulang mandibula. Perubahan pada sudut antegonial dapat digunakan sebagai indikator pertumbuhan mandibula pada bidang orthodontik kedokteran gigi dan dapat pula digunakan untuk mendeteksi secara dini resiko dari osteoporosis 7,8 .Pengukuran sudut antegonial dilakukan untuk mengetahui morfologi perubahan mandibula selama penuaan. Oleh karena tulang mandibula mengalami perubahan morfologi seiring dengan bertambahnya umur, dan dapat mempengaruhi keadaan gigi pasien. Oleh sebab itu penting untuk mengetahui normal tidaknya sudut antegonial dalam setiap kelompok umur, jenis kelamin, dan hubungannya dengan osteoporosis. Hal ini dapat dievaluasi pada perubahan sudut antegonial mandibula pada pasien 7. Maka berdasarkan latar belakang di atas, penulis ingin melakukan penelitian terkait dengan perubahan sudut antegonial menggunakan radiografik panoramik pada pasien osteoporosis apakah dapat digunakan sebagai pengganti uji DXA pada osteoporosis, dengan cara menghitung nilai sensitivitas, spesifisitas, dan akurasi pengukuran sudut antegonial pada radiografik panoramik. BAHAN DAN METODE Penelitian yang dilakukan merupakan penelitian observasional deskriptif dan dilakukan di UPF Radiologi Kedokteran Gigi Universitas Airrlangga. Penelitian ini menggunakan sampel 36 wanita postmenopause yang membawa surat konsul dari dokter untuk melakukan tes BMD dengan DXA di klinik Pramita Jalan Jemur Andayani no. 67 Surabaya. Sampel harus memenuhi kriteria sebagai berikut : (1) wanita berusia lebih dari 50 tahun; (2) telah
2
Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7 mengalami menopause; (3) tidak mengalami penyakit sistemik. Alat yang digunakan dalam penelitian ini adalah unit x-ray panoramik, film, kertas transparan, spidol, penggaris, viewer, dan kaliper dengan ketelitian 0,05. Sampel kemudian dikelompokkan menjadi 2 kelompok, yaitu kelompok osteoporosis sebesar 18 orang dan kelompok tidak osteoporosis sebesar 18 orang, berdasarkan hasil pemeriksaan BMD dengan DXA. Sampel dari kedua kategori dilakukan pengambilan foto radiografik panoramik untuk kemudian dilakukan pengukuran sudut antegonial oleh 3 pengamat. Pengukuran sudut antegonial dilakukan dengan menarik secara tegak lurus pada garis yang menyinggung titik terluar dari ramus mandibula dan body mandibula. Kemudian diamati serta dibaca oleh penulis dengan pembimbing. Gambaran sudut antegonial mandibula pada radiografik panoramik dihitung dengan melihat dua garis paralel menuju ke tepi bawah kortikal dan mengukur sudut terdalam dari derajat antegonial mandibula menggunakan busur.
Gambar 1 : Pengukuran sudut antegonial 8
Setelah pengukuran sudut antegonial dilakukan, nilai sensitivitas, spesifisitas, dan akurasi dihitung dengan menggunakan rumus sebagai berikut 9:
a = true positive (didiagnosa osteoporosis berdasarkan DXA dan sudut antegonial ) b = false positive (didiagnosa tidak osteoporosis berdasarkan DXA, tetapi tidak osteoporosis berdasarkan sudut antegonial ) c = false negative (didiagnosa osteoporosis berdasarkan DXA, tetapi tidak osteoporosis berdasarkan sudut antegonia) d = true negative (didiagnosa tidak osteoporosis berdasarkan DXA dan sudut antegonial ) Nilai sensitivitas, spesifisitas, dan akurasi ketiga pengamat kemudian dianalisis dengan uji friedman menggunakan SPSS 17 untuk mengetahui adanya perbedaan antar pengamat. Apabila antara ketiga peneliti tidak signifikan maka dilanjutkan dengan perhitungan nilai z. HASIL Berdasarkan penelitian yang dilakukan, didapatkan hasil sebagai berikut: Tabel 1 : Tabel Hasil Perhitungan Sudut Antegonial
Kode
Peneliti 1 18
Peneliti 2 15
Peneliti 3 15
a b
16
9
18
c
0
3
3
d
2
9
0
Setelah dilakukan perhitungan besar sudut antegonial pada setiap sampel oleh tiga peneliti. ditemukan nilai sensitivitas, spesifisitas dan akurasi sebagai berikut. Tabel 2 : Tabel Hasil Perhitungan Nilai Sensitivitas, Spesifisitas dan Akurasi
Peneliti
Sensitivitas
Spesifisitas
Akurasi
Peneliti 1
100%
11%
50%
Peneliti 2
83%
50%
66%
Peneliti 3
83%
0%
42%
Keterangan :
3
Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7 Uji statistika menggunakan uji friedman dilakukan untuk mengetahui apakah terdapat perbedaan antara pengamat 1, pengamat 2, dan pengamat 3 dalam mendiagnosa sampel osteoporosis dan tidak osteoporosis. Tabel 3 : Tabel hasil uji Friedman
Sampel osteoporosis Sampel tidak osteoporosis
Hasil uji Friedmann N Asymp. Sig 18 0,105 18
0,001
Dari hasil pengolahan data dengan menggunakan Friedman test pada sampel yang mengalami osteoporosis berdasarkan DXA pada tabel 3 didapatkan nilai asymp. sig sebesar 0,105. Nilai ini lebih dari 0,05, sehingga Ho diterima (tidak ada perbedaan antara pengamat 1, pengamat 2, pengamat 3 dalam mendiagnosa pasien yang menderita osteoporosis berdasarkan sudut antegonial pada radiografi panoramik. Sedangkan pada Friedman test sampel yang tidak mengalami osteoporosis berdasarkan DXA (Tabel 3) didapatkan nilai asymp. sig sebesar 0,001. Nilai ini kurang dari 0,05, sehingga Ho ditolak (terdapat perbedaan antara pengamat 1, pengamat 2, dan pengamat 3 dalam mendiagnosa osteoporosis berdasarkan sudut antegonial pada radiografi panoramik). Untuk mengetahui pengaruh perbedaan pengamat 1, pengamat 2, dan pengamat 3 dalam mendiagnosa pasien osteoporosis pada nilai sensitivitas, spesifisitas, dan akurasi maka dilakukan perhitungan nilai z. Nilai z adalah nilai standar yang digunakan untuk mengetahui perbedaan antara 2 kelompok. Perhitungan nilai z untuk sensitivitas, spesifisitas, dan akurasi masing-masing dilakukan 3 kali, yaitu antara pengamat 1 dan pengamat 2, antara pengamat 2 dan pengamat 3, dan antara pengamat 1 dan pengamat 3. Perhitungan nilai z menggunakan rumus sebagai berikut.
Keterangan : p1 = proporsi 1 ( nilai sensitivitas / spesifisitas /akurasi ) p2 = proporsi 2 ( nilai sensitivitas / spesifisitas / akurasi ) q = 1-p1 q2 = 1-p2 μ1 = jumlah sampel 1 μ2 = jumlah sampel 2 Tabel 4 : Hasil perhitungan nilai z pada pasien yang didiagnosa osteoporosis berdasarkan DXA
Nilai Z Sensitivitas Spesifisitas Akurasi Antar pengamat 1 dan 2 2 dan 3 1 dan 3
1,91 0 1,91
2,78 4,17 1,57
1,33 1,5 0,5
Nilai z > 1,96 menunjukkan adanya perbedaan antar pengamat, sedangkan nilai z < 1,96 menunjukkan tidak ada perbedaan antar pengamat. Nilai z pada sensitivitas antara pengamat 1 dan 2 adalah 1,91 (< 1,96) yang berarti bahwa tidak terdapat perbedaan nilai sensitivitas antara pengamat 1 dan 2. Nilai z pada sensitivitas antara pengamat 2 dan 3 adalah 0 (< 1,96) yang berarti bahwa tidak terdapat perbedaan dalam nilai sensitivitas antara pengamat 2 dan 3. Nilai z pada sensitivitas antara pengamat 1 dan 3 adalah 1,91 (< 1,96) yang berarti bahwa tidak terdapat perbedaan nilai sensitivitas antara pengamat 1 dan 3. Nilai z pada spesifisitas antara pengamat 1 dan 2 adalah 2,78 (> 1,96) yang berarti bahwa terdapat perbedaan dalam nilai spesifisitas antara pengamat 1 dan 2. Nilai z pada spesifisitas antara pengamat 2 dan 3 adalah 4,17 (> 1,96) yang berarti bahwa terdapat perbedaan dalam nilai spesifisitas antara pengamat 2 dan 3. Nilai z pada spesifisitas antara pengamat 1 dan 3 adalah 1,57 (< 1,96) yang berarti bahwa tidak terdapat perbedaan dalam nilai spesifisitas antara pengamat 1 dan 3. Nilai z pada akurasi antara pengamat 1 dan 2 adalah
4
Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7 1,33 (> 1,96) yang berarti bahwa tidak terdapat perbedaan dalam nilai akurasi antara pengamat 1 dan 2. Nilai z pada akurasi antara pengamat 2 dan 3 adalah 1,5 (< 1,96) yang berarti bahwa tidak terdapat perbedaan dalam nilai akurasi antara pengamat 2 dan 3. Nilai z pada akurasi antara pengamat 1 dan 3 adalah 0,5 (< 1,96) yang berarti bahwa tidak terdapat perbedaan dalam nilai akurasi antara pengamat 1 dan 3. Dari nilai z tersebut dapat disimpulkan bahwa nilai sensitivitas pengamat 1 tidak ada perbedaan dengan pengamat 2 dan pengamat 3. Sedangkan nilai spesifisitas terdapat perbedaan antara pengamat 1, pengamat 2, dan pengamat 2 , pengamat 3, namun antara pengamat 1 dan pengamat 3 tidak terdapat perbedaan. Nilai akurasi antara pengamat 1, pengamat 2, dan pengamat 3 tidak terdapat perbedaan. PEMBAHASAN Penelitian ini menggunakan radiografik panoramik oleh karena gambaran yang dihasilkan dapat menggambarkan keadaan rahang bawah secara jelas terutama sudut antegonial, hal tersebut dapat mempermudah dalam penghitungan sudut antegonial pada bagian mandibula. Selain itu radiografik panoramik juga banyak digunakan sebagai sarana diagnosis pada bidang kedokteran gigi, dan memiliki paparan radiasi yang minimal 10. Hasil penelitian pengukuran sudut antegonial pada radiografik panoramik memiliki sensitivitas sebesar 83%, hal ini berarti pengukuran sudut antegonial pada radiografik panoramik ini dapat mendeteksi pasien yang positif dan benar menderita osteoporosis sebesar 83%. Sedangkan nilai spesifisitasnya adalah 11%, 50%, 0% berarti pengukuran sudut antegonial pada radiografik panoramik ini dapat mendeteksi pasien yang negatif atau benar tidak menderita osteoporosis sebesar 11%, 50%, 0%. Didapatkan tiga nilai spesifisitas karena antara ketiga peneliti terdapat perbedaan nilai. Perbedaan nilai terjadi pada peneliti 1 dan peneliti 2 serta peneliti 2 dengan peneliti 3, namun pada peneliti 1
dan peneliti 3 tidak terdapat perbedaan yang signifikan. Nilai akurasi dari pengukuran sudut antegonial pada radiografik panoramik ini memiliki keakuratan sebesar 66% sebagai diagnosa terhadap pasien yang menderita osteoporosis. Perbedaan nilai spesifisitas dari ketiga peneliti ini karena rentang nilai yang dihasilkan oleh 3 peneliti cukup tinggi. Perbedaan yang mencolok terjadi yaitu pada hasil perhitungan sampel yang negatif osteoporosis peneliti 1 mendapatkan 2 sampel, peneliti 3 tidak mendapatkan sampel yang negatif osteoporosis, sedangkan peneliti 2 mendapatkan rentang nilai yang cukup tinggi dari pada peneliti 1 dan 3, yaitu sebanyak 9 sampel negatif osteoporosis. Hasil yang bervariasi dan memiliki rentang nilai cukup tinggi ini dapat menyebabkan perhitungan menjadi tidak signifikan. Faktor individu juga memainkan peranan yang besar dalam pengukuran ini salah satunya adalah kesepakatan antar pengamat dalam menentukan cara perhitungan sudut antegonial dan penentuan titik terdalam dari tulang mandibula 11. Nilai spesifisitas yang rendah dikarenakan ketiga peneliti menemukan false positive atau dapat di artikan pasien yang seharusnya osteoporosis namun terdeteksi normal cukup banyak, sedangkan untuk mendapatkan nilai spesifisitas yang tinggi, nilai false positive yang ditemukan harus kecil. Penetapan antara sakit dan tidak sakit juga mempengaruhi, penetapan ini bergantung pada pertimbanganpertimbangan klinis sesuai kekhususan penyakit yang diteliti. Pertimbangpertimbangan klinis seperti riwayat alamiah penyakit ataupun keefektifan intervensi pada tahap awal atau lanjut harus diketahui. Jika penyakitnya jarang ditemukan sensitivitasnya harus tinggi, apabila sensitivitas rendah kasus-kasus yang jarang tidak akan ditemukan. Penyakit yang kejadiannya merata di masyarakat dan pengobatan tidak membuat hasil secara signifikan, spesifisitas harus tinggi kalau tidak pengobatan akan dipenuhi oleh kasuskasus yang benar-benar sakit saja, tanpa mampu memberikan pencegahan pada yang
5
Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7 terlihat tidak sakit namun sebenarnya sakit 12 . Spesifisitas juga kurang berpengaruh pada saat screening kasus awal tahap investigasi, spesifisitas lebih penting ketika digunakan untuk penanganan individu yang terkena dampaknya 13. Hasil sensitivitas pengukuran sudut antegonial pada radiografik panoramik sebesar 83% , berarti screening terhadapat osteoporosis dengan metode perhitungan sudut antegonial dapat dikatakan sensitif karena nilai yang dihasilkan mendekati angka 100%. Nilai spesifisitasnya yaitu 11%, 50%, 0% berarti pengukuran sudut antegonial pada radiografik panoramik dinyatakan kurang spesifik, hal ini dikarenakan metode ini lebih banyak mendeteksi pasien yang false negatif terhadap penderita osteoporosis. Akurasi yang dihasilkan yaitu sebesar 66% hal ini berarti bahwa pengukuran sudut antegonial pada radiografik panoramik bisa dikatakan cukup akurat sebagai screening terhadap osteoporosis. Pemeriksaan yang ideal sebaiknya mempunyai sensitivitas, spesifisitas maupun akurasi sebesar 100 %. Namun tidak ada tes yang benar-benar memenuhi kriteria ini. Untuk mendeteksi penyakit dibutuhkan sensitivitas maksimal, tetapi sering kali mengorbankan spesifisitas. Pada sebuah uji tunggal yaitu pengujian dengan satu variabel, peningkatan sensitivitas akan menyebabkan penurunan spesifisitas, demikian pula peningkatan spesifisitas akan menyebabkan penurunan sensitivitas. Secara umum, tes yang sangat sensitif mempunyai spesifisitas yang sangat rendah, dan tes yang sangat spesifik memiliki spesivisitas yang relatif rendah. Begitu pula nilai akurasi, semakin tinggi nilai akurasi yang di hasilkan maka tes tersebut memiliki keakurasian yang tinggi 14. Ditinjau dari beberapa penelitian sebelumnya yang menyatakan bahwa sudut antegonial dapat digunakan untuk mengetahui bahwa seseorang menderita osteoporosis dengan melihat penurunan pada sudut antegonial, maka penelitian ini menyatakan bahwa penggunaan sudut antegonial pada radiografik panoramik sebagai alat screening terhadap osteoporosis
sensitif dan cukup akurat, namun metode ini kurang spesifik karena kurang dapat mendeteksi penderita yang benar-benar tidak menderita osteoporosis 7,8,15. SIMPULAN Pengukuran sudut antegonial pada radiografi panoramik menghasilkan nilai sensitivitas 83%, spesifisitas sebesar 11%, 50%, 0% dan nilai akurasinya sebesar 66 %. Secara keseluruhan, pengukuran sudut antegonial ini sensitif dan cukup akurat sebagai alat screening terhadap osteoporosis namun kurang spesifik, dikarenakan tidak mampu mendeteksi penderita yang benar-benar tidak menderita osteoporosis. DAFTAR PUSTAKA 1.
Zainal, AA, Anny Y, Lutfiani RD, Akira A, Akira T, Takashi N, Arifzan R, and Hudan S. 2010. Computer aided diagnosis for osteoporosis based on trabecular bone analysis using panoramic radiographs. Dental jurnal, majalah kedokteran gigi. Vol. 43. No. 3 September 2010
2.
Dagistan, S and Bilge, 2010. Comparison of antegonial index, mental index, panoramic mandibular index and mandibular cortical index values in the panoramic radiographs of normal males and male patients with osteoporosis. Dentomaxillofacial Radiology. The British Institute of Radiology. http://dmfr.birjournals.org. (39, 290– 294) Jahari BA & Prihatini sri 2007. Resiko Osteoporosis di Indonesia. Puslitbang Gizi dan Makanan Depkes RI. Bogor. 30 (1) : 1-11 Ferreir, R. Fernando, G. Jadir, C. Inara, CC. Eduardo 2012. Forensic importance of panoramic radiographs for human identification CLINICO | CLINICAL. RGO - Rev Gaucha Odontol., Porto Alegre, v.60, n.4, p. 527-531, out./dez., 2012
3.
4.
6
Dentomaxillofacial Radiology Dental Journal Vol. 5 No.1 January-June 2014; 1-7 5.
6.
7.
8.
9.
Lim LS, Hoeksema LJ, Sherin K 2009. ACPM Prevention Practice Committee Screening for osteoporosis in the adult US population. ACPM position statement on preventive practice.Am J Prev Med 36:366–375 Taguchi A, M Ohtsuka, T Nakamoto, Y Suei, Y Kudo, K Tanimoto and AM Bollen.2008. Detection of postmenopausal women with low bone mineral density and elevated biochemical markers of bone turnover by panoramic radiographs. Dentomaxillofacial Radiology. The British Institute of Radiology http://dmfr.birjournals.org. 37, 433– 437 Dutra V, J Yang1, H Devlin and C Susin 2004. Mandibular bone remodelling in adults: evaluation of panoramic radiographs. Dentomaxillofacial Radiology .The British Institute of Radiology. http://dmfr.birjournals.org. 33, 323– 328 Ghosh, S. Vegal M, Pai KM, Abishek K. 2010. Remodeling of The Antegonial Angle Region in The Human Mandible: A Panoramic Radiographic Cross Sectional Study. J Med Oral Patol Oral Cir Bucal . 15(5): 802- 807 Eriyanto 2007. Teknik – teknik Analisi Opini Publik. LkiS Pelangi Aksara. Yogyakarta. 293-295
10. Astari, N 2011. Perbandingan Dosis dan Kualitas Gambar Radiografi Panoramik Konvensional dengan Radiografi Panoramik Digital. Available from : http://repository.usu.ac.id. Accessed September 3th, 2013. 11. Horner K, Devlin H 2007. The Relationship between indices of mandibular bone quality and bone mineral density measured by dual energi X-ray absorptiometry. Dentomaxillofac Radiol. 27:17-21 12. Richard, F. Morton, J. Richard Hebel , Robert J. McCarter 2009. Epidemiologi dan Biostatistika Panduan Studi edisi 5. Penerbit buku kedokteran EGC. Jakarta 13. Arias, Kathleen Meehan 2010. Investigasi Dan Pengendalian Wabah Di Fasilitas Pelayanan Kesehatan. Penerbit buku kedokteran EGC. Jakarta 14. Sacher, Ronald A., Richard A. McPherson. 2004. Tinjauan Klinis Hasil Pemeriksaan, Laboratorium. Edisi 11. EGC. Jakarta. Hal 4-7 15. Bintang CPL, 2011. Gambaran Radiografik Sudut antegonial Mandibula Sebagai Indikator Osteoporosis Pada Wanita Postmenopause. Skripsi Kedokteran Gigi Universitas Airlangga : Surabaya
7