EVALUASI PERPUSTAKAAN DIGITAL MELALUI TRANSACTION LOG ANALYSIS (TLA) Vivit Wardah Rufaidah*
Abstrak Evaluasi didefinisikan sebagai proses sistematis untuk menentukan kegunaan, manfaat, nilai dan harga dari sesuatu. Dalam perpustakaan digital evaluasi berarti proses untuk menentukan apakah maksud dan tujuan dari perpustakaan digital dapat tercapai. TLA adalah satu cara untuk mengetahui secara menyeluruh bagaimana pengguna menggunakan atau memanfaatkan suatu perpustakaan digital. Sistem Transaction logging biasanya merupakan sebuah fitur sistem otomasi perpustakaan yang dapat digolongkan dalam 2 kategori: (1) sistem yang menghitung transaksi yang mereka lakukan, dan (2) sistem yang menyimpan teks hasil transaksi. Selain mengevaluasi menggunakan transaction log analysis (TLA), online survey dapat juga dijadikan komplemen pada penggunaan suatu web site atau situs. TLA dapat merekam perilaku pengguna pada saat online dan survey dapat merekam motivasi, tujuan, sikap dan tingkat kepuasan. Dengan mengkombinasikan transaction log analysis dan online survey pencatatan akan lebih komprehensif. Dengan menghimpun data dengan pencatatan/logs diharapkan dapat membantu kita mengetahui apa yang pengguna perpustakaan digital lakukan di perpustakaan kita, dan kemudian dapat membuat kebijakan mengenai bagaimana mempertemukan kebutuhan pengguna dengan meningkatkan kualitas pencarian dengan memperbaiki setiap interface pada sistem kita. Transaction log analysis akan sangat berguna bila digunakan untuk mengkaji perilaku pengguna perpustakaan digital atau situs yang kita punya. Dari pencatatan tersebut kita dapat mengevaluasi perpustakaan digital atau situs yang kita miliki dengan mengetahui dari pencatatan tersebut, siapa pengguna kita, informasi apa yang pengguna butuhkan, bagaimana perilaku pencarian/akses pengguna, mengapa pengguna memerlukan informasi tersebut. Pendahuluan Evaluasi didefinisikan sebagai proses sistematis untuk menentukan kegunaan, manfaat, nilai dan harga dari sesuatu. Dalam perpustakaan digital evaluasi berarti proses untuk menentukan apakah maksud dan tujuan dari perpustakaan digital dapat tercapai. Dalam proses evaluasi ada beberapa hal yang perlu dikaji yaitu (1) apa maksud dan tujuan evaluasi, (2) Apa yang akan dievaluasi, (3) bagaimana cara mengevaluasinya, dan (4) kapan waktu yang tepat untuk evaluasi. Dalam mengevaluasi perpustakaan digital metode yang digunakan lebih kompleks. Ada bermacam teknik mengevaluasi perpustakaan digital, tergantung dari tipe perpustakaan dan maksud serta tujuan evaluasi. Teknik yang biasanya digunakan adalah transaction log analysis, metode survei, interview dan fokus grup dan observasi. Makalah ini akan mengkaji evaluasi perpustakaan digital dengan menggunakan transaction log analysis berdasarkan artikel yang ditulis Diane Harley dan Jonathan Henke berjudul Toward an Effective Understanding of Website Users Advantages and Pitfalls of Linking Transaction Log Analyses and Online Surveys di D-Lib Magazine Volume 13 No.3/4 March/April 2007. Selain itu untuk pengayaan materi, penulis juga meramu dari berbagai artikel lain tentang *Pustakawan pada Pusat Perpustakaan dan Penyebaran Teknologi Pertanian (PUSTAKA) Deptan, Bogor
44
transaction log analysis yang akan memperjelas kajian yang dilaksanakan. Harley dan Henke melakukan eksperimen dan analisis pada dua metode dalam memahami pengguna website berdasarkan web-based resources dengan transaction log analysis (TLA) dan online survey. Dalam artikelnya mereka menggambarkan implementasi TLA dan online survey pada dua situs termasuk hasil survai. Dari hasil pengujian dua metode tersebut kemudian disimpulkan kegunaan dan metode analisis khusus yang mungkin memberikan nilai yang lebih efisien. Beberapa situs menggunakan online survey untuk mempelajari mengenai penggunanya. Diantara kekuatannya adalah survey dapat digunakan untuk mengembangkan suatu profil pengunjung situs dan sikap, perilaku, dan motivasinya. Dalam kasus khusus, situs sering menggunakan survai untuk menentukan informasi mengenai pengguna situs atau perpustakaan digitalnya, untuk menemukan alasan dan motivasi pengguna mengunjungi websites dan mengetahui tingkat kepuasan pengguna. Di sisi lain Transaction log analysis (TLA) juga dapat menggambarkan pemakaian atau penggunaan website, termasuk volume pemakaian pada berbagai resources, detail pola navigasi pengguna, halaman yang sering direfer pengguna, kata kunci yang sering digunakan pengguna. Metode TLA bisa dilakukan tanpa VISI PUSTAKA Volume 11 Nomor 1 April 2009
atau dengan bantuan online survey, sebab pemakaian data yang dikumpulkan secara otomatis cenderung bersifat pasif sehingga diperlukan online survey dalam merekap perilaku pengguna. Transaction Log Analysis Transaction log analysis (TLA) telah dikembangkan pertama kali sebagai suatu evaluasi dalam menilai performance/kinerja online public catalogs (OPAC). Seperti juga WWW yang telah mulai berkembang pada tahun 1990-an, transaction log analysis telah meningkat penggunaannya untuk mengkaji bagaimana pengguna menggunakan dan mencari informasi di web sites. Dalam tahun-tahun belakangan ini, dengan makin luasnya penyebaran perpustakaan digital (digital library), penggunaan log analysis juga digunakan sebagai tool atau alat evaluasi sebuah perpustakaan digital. TLA adalah satu cara untuk mengetahui secara menyeluruh bagaimana pengguna menggunakan atau memanfaatkan suatu perpustakaan digital. Sebagai satu evaluator, kita boleh berharap untuk menganalisis informasi transaction log sebagai bagian suatu evaluasi menyeluruh yang ditujukan untuk mendapatkan satu pengertian paling mendalam bagaimana pengguna menavigasi melalui perpustakaan digital kita, sumberdaya yang mereka akses dan beberapa masalah pencarian/serching yang mereka hadapi. Bollen dan Luce dalam Tenopir (2003) menyatakan transaksi data dapat digunakan untuk lebih dari sekedar penggunaan statistik. Transaksi data dapat dianalisis untuk menentukan struktur hubungan antara dokumen, pengaruh dokumen diantara pengguna, dan untuk mengungkapkan karakteristik lain para pengguna informasi. Bollen dan Luce percaya bahwa data log pengguna yang terekam dapat membantu dalam menentukan kebijakan mengenai akuisisi untuk koleksi perpustakaan digital dan penyediaan layanan organisasi. Bahkan Tenopir (2003) menekankan pentingnya penambahan evaluasi perpustakaan digital menggunakan transaction log analysis dengan metode lain seperti observasi dan pengujian. Definisi Transaction Log Analysis sendiri telah dikemukakan oleh Peter, T.A. (1993): …studi pencatatan/perekaman secara elektronik interaksi antara sistem temu kembali informasi dengan pengguna yang mengadakan pencarian untuk menemukan informasi dalam sistem yang bersangkutan/tersebut... Selanjutnya Peter, T.A. (1993) membagi pengembangannya transaction log analysis sebagai VISI PUSTAKA Volume 11 Nomor 1 April 2009
suatu metodologi penelitian yang relatif baru, menjadi dalam 3 fase penggunaan:
Pertengahan 1960 sampai pertengahan 1970, mereka memberi tekanan pada mengevaluasi kinerja sistem daripada perilaku dan kinerja user/pengguna. Meister dan Sullivan’s (1967) menyatakan bahwa evaluasi terhadap tanggapan pengguna terhadap sistem menjadi satu dari kegunaan pertama transaction log.
Akhir 1970 sampai pertengahan 1980, penerapan pertama transaction log analysis pada studi/kajian sistem katalog online, mendapat perhatian yang sama dalam bagaimana sistem digunakan dan dalam perilaku pencarian pada pengguna/user
Akhir 1980 sampai sekarang, kegunaan dan pemanfaatan transaction log biasanya difokuskan pada penggunaan operasional sistem temu kembali informasi oleh user/pengguna.
Peter et a.l telah mengidentifikasi kegunaan transaction log yaitu: Meningkatkan/memperbaiki sistem temu kembali informasi Meningkatkan pemanfaatan sistem oleh manusia Meningkatkan pemahaman manusia dan sistem; bagaimana suatu sistem digunakan oleh pencari informasi Mengidentifikasi bagaimana suatu sistem digunakan oleh end user/pengguna, dan Studi sistem prototipe atau pengembangan sistem yang potensial. Sistem Transaction logging biasanya merupakan sebuah fitur sistem otomasi perpustakaan yang dapat digolongkan dalam 2 kategori: (1) sistem yang menghitung transaksi yang mereka lakukan, dan (2) sistem yang menyimpan teks hasil transaksi (Flaherty, 1993). Sistem pertama menyediakan informasi manajemen yang berguna bagi pustakawan, dan sistem jenis kedua yang menyediakan data yang bermanfaat dan berguna untuk peneliti sebab sistem tersebut menangkap dan menyimpan entri pengguna dan menyediakan temu kembali data penyimpanan. Kebanyakan perpustakaan digital memelihara server logs yang menjaga permintaan pengguna. Dalam server tersimpan File log yang unik berisi informasi seperti IP addres pengguna, waktu dan tanggal permintaan pengguna, subyek pencarian, dan seterusnya. Sebagai suatu evaluator, menganalisis log pengguna dapat meyediakan informasi berharga/bernilai yang dapat digunakan untuk menentukan kebijakan dalam perencanaan pengembangan perpustakaan atau web sites.
45
Disamping itu beberapa sistem akan juga merekam atau mencatat informasi mengenai respon balik oleh sistem. Flaherty mengidentifikasi jenis data dasar transaction log yaitu: entri pelanggan, hari dan tanggal, identifikasi lokasi pengguna, file yang disearch, banyaknya hit dan sistem respon (tidak tersedia pada semua sistem).
Beberapa pengguna mungkin berbagi satu IP address. Perpustakaan umum atau perpustakaan perguruan tinggi dapat digunakan oleh banyak pengguna untuk mengakses suatu situs. Juga, jaringan kecil seringkali berbagi satu alamat IP, jadi pengguna yg berbeda pada komputer yang berbeda masih dapat muncul dari satu alamat IP.
Sedangkan Tenopir (2003) menyatakan informasi yang dapat diperoleh dengan menganalisis TLA adalah: Frekuensi penggunaan fitur-fitur yang ada di perpustakaan digital Urutan atau rangkaian fitur-fitur yang digunakan Sistem respon waktu Kecepatan hit Aksi pengguna untuk recover dari kesalahan Jumlah pengguna yang menggunakan fitur secara bersama Lamanya pengguna menggunakan session Jumlah transaksi per session Lokasi pengguna Jose, A. (2007) mendefinisikan TLA sebagai rincian dan pengujian sistematik setiap perintah pencarian atau permintaan/query oleh seorang pengguna dan diikuti oleh hasil database atau output oleh OPAC. Menurut definisi ini transaction log analysis berarti sistem yang tidak merekam sistem respon bagi input pengguna bukanlah merupakan transaction logging sistem.
Setiap IP address dapat berkaitan dengan satu hostname tertentu, namun IP address mungkin tidak membuktikan atau menyatakan apapun tentang pengguna sesungguhnya.
Analisis dapat diterapkan dengan menggunakan hostname dalam mengidentifikasi karakteristik pengguna individual, seperti misalnya negara asal, status pendidikan, atau afiliasi secara institusional. Meskipun demikian, analisis tersebut tidak dapat diandalkan atau bahkan menyesatkan.
Peneliti dapat mengidentifikasi pengguna dari perguruan tinggi atau universitas dengan melihat hostnamenya misalnya edu., tetapi mungkin banyak juga pengguna yang berasal dari lingkungan pendidikan yang mengakses dari rumah sehinga hostname tidak terdeteksi.
Hostname dapat digunakan mendeteksi pengguna berdasarkan geografis, terutama utk hits dari internasional (kode Negara) domain. Tetapi bagaimanapun mayoritas pengguna meng-hit dari domain generic top-level (tanpa kode Negara) sehingga sulit untuk menentukan dari mana pengguna berasal. Sekarang telah tersedia Open course ware MIT sampai saat ini masih cukup mahal dan tidak menjamin 100 persen akurat.
Server proxy membatasi kapasitas andal server log, jika halaman yang diminta ada di proxy server cache, web server tidak akan dapat dihubungi, dan tidak akan punya rekaman akses.
Cookies dapat berfungsi untuk mengidentifikasi pengguna yang lebih baik daripada IP address, namun seringkali pengguna mempunyai inflexible alamat IP sehingga pengguna dapat cookies yang ditempatkan pada sistem mereka (dan kebanyakan pengguna menghambat cookies). Sebagai contoh suatu cookie dapat dikopi ke komputer lain, dihapus atau secara sistematis dimodifikasi oleh pengguna untuk kepentingan atau tujuan mereka, dan semua itu dapat berdampak pada logging atau pencatatan.
Teknik transaction log analysis yang lebih baru menggunakan beberapa analisis high-end, mungkin membutuhkan modifikasi situs yang ekstensif. Kebanyakan paket komersial
Menurut Harley dan Henke (2007) TLA membawa keunggulan pencatatan (logs) secara komputerisasi yang secara otomasi direkam oleh web sites. Dengan menganalisis log dapat menentukan karakteristik pengguna web sites dan merangkum total penggunaan situs. Tetapi mereka mengutip pendapat Troll Covey (2002) dan Bishop’s (1998), bahwa ada beberapa tantangan dalam mengkaji penggunaan koleksi digital perpustakaan kita apabila menggunakan TLA dan untuk penelitian lebih lanjut perlu untuk dikaji yaitu isu:
Karena log hanya mengidentifikasi komputer client, maka log tidak mungkin mengidentifikasi atau melacak pengguna individual secara akurat (100 persen). Sulit untuk menentukan rekaman/log yang mana yang berkaitan dengan pengguna yang sama. IP address pengguna, seringkali digunakan sebagai proxy utk mengidentifikasi pengguna, namun IP address bukan pengidentifikasi yang sempurna utk semua kasus.
Pengguna yang sama mungkin mengunjungi situs dari beberapa IP address. Pengguna dengan dialup connections atau pada jenis koneksi lain akan memiliki IP address (yang telah terisi) yang bebeda antar sesi (waktu) atau dalam satu sesi.
46
VISI PUSTAKA Volume 11 Nomor 1 April 2009
membutuhkan penempatan HTML tag khusus pada setiap halaman untuk memfasilitasi fitur terbaik software. Cara lain misalnya membutuhkan JavaScript code yg ada di halaman situs atau File Macromedia Flash yg tidak kasat mata yang menata Flash cookies. Modifikasi tersebut membutuhkan keahlian pada perancang situs atau manajer. Selain itu, Jose, A (2007) mencatat bahwa transaction logging system mempunyai keterbatasan. Log transaksi selain dapat menyediakan diagnosa yang jelas dan bermanfaat dalam masalah konseptual dan prosedural, transaction log ini juga mempunyai keterbatasan antara lain: Tidak semua sistem mempunyai fasilitas loging/mencatat Masalah-masalah dalam mengidentifikasi sesi pencarian individual Sistem respon tidak selalu terekam, dan Volume data yang tinggi yang dihasilkan menyebabkan kesulitan dalam analisis Meskipun demikian Harley dan Henke (2007) berpendapat TLA masih mempunyai dua keunggulan utama dibandingkan dengan metode penelitian pengguna lainnya yaitu: (1) TLA dapat menangkap perilaku actual dari pengguna di lingkungan penggunanya, (2) karena rekaman TLA bersifat pasif tanpa memerlukan partisipasi aktif dari pengguna, TLA dapat menangkap spektrum yang lebih luas penggunaan dan pengguna dibandingkan survey, focus group dan lainnya. Online survey Survai merupakan salah satu metode yang sudah lama dilakukan perpustakaan dalam mengumpulkan data. Bentuk yang paling umum adalah dengan menggunakan kuesioner. Dalam perpustakaan digital dengan berbasis web, survai yang dilakukan bukan lagi dalam bentuk tercetak tetapi form atau bentuk online. Beberapa software sudah banyak tersedia untuk menganalisis dan menginterpretasikan data yang ada. Menurut Harley dan Henke (2007), selain mengevaluasi menggunakan transaction log analysis (TLA), online survey dapat juga dijadikan komplemen pada penggunaan suatu website atau situs. TLA dapat merekam perilaku pengguna pada saat online dan survey dapat merekam motivasi, tujuan, sikap dan tingkat kepuasan. Studi Kasus Kajian TLA dan Online Survey Harley dan Henke (2007) pada artikelnya mengkaji pengunaan dua situs online yaitu SPIRO (UC Berkeley Architecture Department Slide Library) dan The Jack London Collection dengan transaction log analysis yang dikombinasikan dengan online survey. Mereka melakukan online survey dengan menempatkan kuesioner pada kedua situs dan mengumpulkan rekaman VISI PUSTAKA Volume 11 Nomor 1 April 2009
TLA selama 2 bulan pada periode yang sama. Kemudian mengidentifikasikan pengguna individual dengan mengkombinasikan IP address dan user agent. Hasil pengkajian menunjukkan bahwa dari pencatatan/log diketahui berbagai hal mengenai perilaku pengguna kedua situs yang diteliti dan dapat perbandingan kedua situs tersebut. Dari hasil pencatatan diketahui Jack London lebih banyak tiga kali dalam jumlah session dan jumlah pengguna (berdasarkan IP address) dibandingkan dengan SPIRO, tetapi untuk hal lain seperti hostname yang menghit atau sumber referens dapat dikatakan hampir sama. Dengan mengkombinasikan transaction log analysis dan online survey, Harley dan Henke (2007) mengharapkan bahwa pencatatan akan lebih komprehensif, karena apabila penelitian hanya menggunakan TLA maka hasil pencatatan hanya akan menggambarkan beberapa aspek perilaku pengguna dan pengelola situs tidak akan mengetahui siapa pengguna situs kita, apa tujuan dan maksud mereka dalam menghit situs kita. Penerapan TLA dan Online Survey di Perpustakaan Dari kajian di atas, dengan kelebihan dan keterbatasannya transaction log analysis dapat dijadikan metode evaluator untuk perpustakaan digital atau website perpustakaan. Dengan menghimpun data dengan pencatatan/logs diharapkan dapat membantu kita mengetahui apa yang pengguna perpustakaan digital lakukan di perpustakaan kita, dan kemudian dapat membuat kebijakan mengenai bagaimana mempertemukan kebutuhan pengguna dengan meningkatkan kualitas pencarian dengan memperbaiki setiap interface pada sistem kita. Saat ini pengkajian keterpakaian website sudah banyak dilakukan oleh provider atau pengelola situs, tetapi di perpustakaan atau website perpustakaan, pengkajian keterpakaian website atau perpustakaan digital sepertinya belum banyak dilakukan. Kebanyakan perpustakaan hanya melakukan survey untuk mengetahui perilaku pengguna yang menggunakan situsnya, tetapi TLA belum dikaji secara mendalam. Transaction log analysis akan sangat berguna bila digunakan untuk mengkaji perilaku pengguna perpustakaan digital atau situs yang kita punya. Dari pencatatan tersebut kita dapat mengevaluasi perpustakaan digital atau situs yang kita miliki dengan mengetahui dari pencatatan tersebut, siapa pengguna kita, informasi apa yang pengguna butuhkan, bagaimana perilaku pencarian/akses pengguna, mengapa pengguna memerlukan informasi tersebut. Dalam makalah ini penulis merekam perilaku pengguna website PUSTAKA Bogor melalui transaction
47
log (weblog) selama bulan Januari 2007. Perlu diketahui, pencatatan/log terjadi secara otomatis dan yang ditampilkan adalah berasal Xampp yang merupakan software packager dari Windows dan telah diterjemahkan oleh weblizer menjadi summary atau data bisa dipahami. Tampilan report atau summary oleh weblizer di website PUSTAKA dapat dilihat pada gambar 1, 2 , 3 dan 4, yang merupakan contoh transaction log dari penggunaan website PUSTAKA (http//www.pustaka-deptan.go.id). Gambar 1 menggambarkan statistik umum record/ rekaman yang dilakukan pengguna/user pada bulan Januari 2008 yang datanya diambil pada tanggal 18 Februari 2008. Di dalam data tersebut terdapat informasi daily dan hourly statistics, banyaknya hit, fitur, pengunjung situs, situs yang mengunjungi website PUSTAKA dll. Gambar 3. Grafik aktivitas harian/daily pada bulan Januari 2008
Selain itu, pengelola website juga dapat melihat 30 URL pertama yang paling banyak di hit atau dikunjungi pengguna; 10 file pdf. dan php yang paling sering diakses, hostname (berupa IP address) yang sering mengakses website PUSTAKA dan terakhir summary statistik log setiap bulannya sampai bulan Februari 2008 seperti pada Gambar 4, 5, 6, dan 7.
Gambar 1. Summary log General Statistik selama satu bulan (Januari 2008)
Dalam Gambar 2, digambarkan grafik aktivitas harian/ daily pada bulan Januari 2008 sampai jam 14.07 wib. Sedangkan informasi terperinci mengenai statistik harian pada bulan Januari yaitu banyaknya hit, page, file, visit/ kunjungan, situs yang dikunjungi dan banyaknya bytes dapat dilihat pada Gambar 3.
Gambar 4. Alamat URL paling banyak di hit pengguna pada bulan Januari 2008
Gambar 2. Grafik aktivitas harian/daily pada bulan Januari 2008)
48
VISI PUSTAKA Volume 11 Nomor 1 April 2009
•
digunakan untuk merekam dan menganalis data log diantaranya adalah Web Log Analysis, Memanfaatkan hasil statistik terekam pada log untuk menentukan kebijakan dalam sistem pemeliharaan sistem dan pengembangan fitur-fitur pada website dan perpustakaan digital.
Penutup
Gambar 5. File pdf dan php yang paling banyak didownload oleh pengguna pada bula Januari 2008
Dari paparan di atas, dapat dikatakan bahwa transaction log analysis dapat diterapkan di situs atau perpustakaan digital yang kita kelola. Sebagai salah satu evaluator, keberadaan transaction log dapat digunakan untuk alat mengevaluasi keberadaan website atau perpustakaan digital dengan merekam semua aktivitas dan perilaku pengguna dalam mencari/seeking informasi melalui website atau perpustakaan digital, misalnya; kapan pengguna paling banyak melakukan pencarian file-file tertentu, pengarang atau subyek apa yang paling sering dicari pengguna, dan lain-lain. Diharapkan dengan mengevaluasi perilaku pengguna dengan menggunakan pencatatan/log melalui transaction log analysis dapat memperbaiki dan meningkatkan kinerja dan layanan perpustakaan digital sehingga perpustakaan digital akan bisa memenuhi kebutuhan penggunanya.
Gambar 6. Hostname yang paling sering mengunjungi website PUSTAKA selama bulan Januari 2008 (10 urutan pertama)
Daftar Pustaka Banks, Julie. (2000). Are Transaction Logs Useful? A Ten-Year Study. Journal of Southern Academic and Special Librarianship: 01 (tersedia di iuicode: http:/ /www.icaap.org/iuicode?62.01.03.04) Diane Harley and Jonathan Henke. 2007. Toward an Effective Understanding of Website Users Advantages and Pitfalls of Linking Transaction Log Analyses and Online Surveys. D-Lib Magazine v(13). 3/4. Flaherty, P. 1993. Transaction Logging System; a descriptive summary. Library Hi Tech. 41, 11: 2, 67-78.
Gambar 7. Summary statistik log setiap bulannya sampai bulan Februari 2008
Akhirnya, supaya kita sebagai pengelola perpustakaan digital atau website bisa mendapatkan manfaat optimal dari transaction log tersebut, beberapa aspek bisa dipertimbangkan yaitu; • Kita harus mengetahui informasi seperti apa yang penting untuk dapat disimpan sebagai aspek yang dapat dipertimbangkan untuk pengembangan sistem, • Memilih software yang tepat untuk merekam dan menganalisis transaction log yang kita butuhkan, software diharapkan dapat membantu dalam menyeleksi data, dan menghemat waktu dan energi dengan efisien. Ada beberapa software yang biasa VISI PUSTAKA Volume 11 Nomor 1 April 2009
Pusat Perpustakaan dan Penyebaran Teknologi Pertanian. 2008. http://www.pustaka-deptan.go.id. Jose, Antonio. 2007. Evaluation of Digital Libraries: A Case Study ICSD-2007, pp. 229-238 Peter, Thomas A. 1993. The Histroy and Developing of Transaction Log analysis. Library Hi Tech. 42, 11: 2, 41-66. Tenopir, C (2003). Use and users of electronic library resources: An overview and analysis of recent research studies. Council on Library and Information Resources. (tersedia di http:// www.clir.org/pubs/reports/pub120/pub120.pdf.)
49
