数字图书馆评价研究综述

沈晓红 徐敏

摘要：通过查阅大量数字图书馆评价文献，文章按整体指标体系、具体方面指标和评价处理方法三方面对国内研究现状进行总结；按照可用性评价、用户和服务评价，及整体评价指标阐述国外研究现状。并对比分析国内外数字图书馆评价研究水平。

关键词：数字图书馆；评价指标；研究现状；调查

中图分类号：TP391文献标识码：A文章编号：1009-3044(2012)07-1622-02

随着因特网改变无数人收集、组织、获取、使用信息的方式，数字图书馆也随之产生并迅速发展，并向人们提供更多获得多样化的信息资源的机会。然而对于数字图书馆的理解却因人而异。Fox[1]等认为对图书馆官员来说，数字图书馆是实体图书馆的另一个形式；对计算机专家来说，数字图书馆是结合文本信息和多媒体信息的计算机系统；对终端用户来说，数字图书馆是一个组织良好、功能更多、更方便使用的网站。

关于数字图书馆的研究大致分为两类[2]，一类关注数字资源的获取与检索，另一类注重数字资源的收集、组织与服务。

构建一个数字图书馆的关键因素、指导思想有哪些，越来越成为人们所关注。然而，关于数字图书馆评价的研究仍然处于初级阶段，并且面临很大问题。Saracevic[3]指出，数字图书馆的评价无论是从理论层面还是实用的层面上都面临严峻的挑战。Borgman等[4]进一步指出技术的复杂性、内容和使用者的多样性以及缺乏评价方法都增加了问题的难度。任何评价都是基于评价者自身对于系统目标、用户需求和用户行为的认识。

1数字图书馆评价研究现状

1.1国内研究现状

从CNKI数据库中搜索“数字图书馆”并且含有“评价”的文献，将这些文献排名较靠前的关键词进行排序并且按照综合类、研究方向、研究方法、研究对象进行归类，结果如表1所示。

表1关键词分类统计

从表中可以看出，关于数字图书馆的评价研究中，绝大多数研究的是评价的标准或指标体系。而具体的指标中，研究较多的是服务质量评价、用户界面评价、可用性评价和馆藏评价，其余的评价指标集中在绩效评价、风险评价和信息安全评价等方面，而关于数字图书馆评价的另一大块研究是指标体系数据处理方法的研究，使用最多的是层次分析法，其次有模糊综合评价、临界基准实验等。下面按照整体指标体系、具体方面指标和评价处理方法三块对国内研究现状进行总结。

1）数字图书馆评价指标体系研究

周奇志[5]等在参考了Saracevic的研究成果和Tsakonas等的交互三维模型后，从用户视角提出了数字图书馆的评价体系，并对CNM数字图书馆进行了评价。评价指标分为馆藏质量、可用性、服务质量、系统性能、用户满意度五个方面。马玉荣[6]提出数字图书馆评价体系：内容评价、网页设计的评价、网络性能的评价、用户反馈评价。王鉴辉[7]提出数字图书馆的综合评价应该包含办馆条件的评价、数字化馆藏资源的评价、服务与信息利用率的评价、馆员素质与信息能力的评价、效益综合评价等几个方面。

2）数字图书馆具体方面评价研究

具体方面的评价研究中，绝大多数是可用性研究，其次是用户研究。如徐速[8]从用户界面友好性对数字图书馆进行评价，从用户认证、检索功能、导航功能、交互功能、个性化功能几个方面展开。李友诚[9]通过分析数字图书馆馆藏影响因素，将馆藏质量评价分为馆藏数字资源评价、学科结构评价、语种结构评价、时间分布评价、资源类型评价等指标。

3）数字图书馆评价处理方法研究

国内关于数字图书馆评价处理的方法研究中绝大多数使用的是层次分析法。例如，徐婧[10]指出，利用层次分析法处理评价指标数据的过程。一些学者提出和层次分析法思想类似的方法，如基于DEA和聚类分析的方法[11]。也有学者针对某个方面的指标提出具体的评价处理方法。如针对用户界面评价的改进TOPSIS方法[12]、针对馆藏评价的区间直觉模糊信息的方法[13]，针对用户满意度的群评价方法[14]等。

1.2国外研究现状

国外现有的关于数字图书馆的评价研究中最主要的研究可以分为两类：具体某一方面的评价研究，主要有可用性研究和用户研究；另外一类是总体评价框架和标准体系。此外还有一些是对评价方法的研究以及数字图书馆对人们社会生活影响的研究。

1）可用性评价研究

Hong (Iris) Xie[15]指出数字图书馆评价方面的研究绝大多数集中在用户如何使用数字图书馆，尤其是可用性方面的研究，进而提出好的设计原则或改进现有的设计。现有可用性研究可以分为两类：一类可用性研究试图理解用户需求和用户满意度，从而发现现有系统存在的问题进而提出改进意见；另一类可用性研究通过实验组和控制组对比进行，通过实验组和控制组的一系列任务对比来研究系统中哪些因素是能帮助提高用户学习成果的。

数字图书馆设计水平的重要衡量维度，研究较多且角度多样。Nielson的5个衡量指标和10项理论，Dillon的时间框架，Mead的概念图等是数字图书馆可用性评价的重要指标。特别时Nielsen的可用性要素被广泛采用，这些要素包括易学性、交互效率、易记性、满意度。

2）数字图书馆服务评价研究

Cecilia Garibay[16]等指出，数字图书馆需要处理大量异构信息，因此需要可靠的管理政策来保证客户满意度并且保证数字图书馆的服务质量。质量管理需要建立评价标准和指标来描述数字图书馆有多大程度实现了其质量目标，从而了解客户需求在多大程度上得到了满足。

数字图书馆的服务评价在最早期受到相对少的关注，因为当时网络的发展更趋向于由技术驱动。而随着技术的发展，数字图书馆的服务开始越来越受到关注。绝大多数的数字图书馆服务的评价研究着重对虚拟参考服务进行评价。

Monopoli[17]通过调查用户的使用过程以及使用方式，对一个数字图书馆的电子期刊服务进行评价。

3）数字图书馆总体评价研究

总体评价研究不仅进行了可用性研究，更是对系统的整个提供内容和绩效进行评价。这类研究在整体上为数字图书馆提供了提高的方向，从而使其满足用户需求和期望。

如，Marchionini等[18]使用多方法结合从学习、教学、系统（绩效、界面等）和内容四个方面对Perseus Project进行评价。Hill等[19]通过用户、界面、系统功能、内容等各个方面研究对Alexandria Digital Library进行评价。

4）数字图书馆影响评价研究

另一种数字图书馆评价研究的类型是数字图书馆对人们社会生活影响的研究。如，Marchionini[20]，研究了Perseus Digital Library对其用户和用户社区的影响。Bollen[21]通过用户日志分析其使用模式，并且分析了随着时间变化，用户社区的变化趋势。

1.3国内外现状对比述评

国内外关于数字图书馆的研究都主要集中在数字图书馆评价体系、和具体某方面的评价指标上。纵观这些研究，不难发现国内外关于数字图书馆评价方面的研究都存在一定的问题，主要问题包括：

1）评价标准的研究视角多样，但并未形成标准的评价方法；

2）缺乏全面的、定性与定量相结合的理论框架及评价指标体系。

观察国内外的研究，发现国内研究和国外的研究存在一定的差距，主要表现在：

1）缺乏前人的理论基础，很大一部分研究根据自己的感受或简单地和专家交流提出自己的评价标准，缺乏理论基础和科学性。

2）缺乏相关实验的验证。国外的研究使用的方法都是基于前人的评价标准，提出自己的评判标准，其次根据评判标准，选取一个或两个典型数字图书馆作为评价对象，选取相关用户（一般在50个左右）进行使用并根据评价标准打分。最后研究者通过spss等数据处理软件，对数据进行处理分析。而国内的研究有一半左右的研究没有实验证明，缺乏实证性。

3）国内有一部分研究关注数字图书馆评价指标数据的处理方法。主要有层次分析法、群评价方法等。这些方法应该更多地和标准化的评价标准结合。并且这些研究往往忽视了适用性原则，如层次分析法的前提是各个指标之间应该是独立不相关的，而实际操作中难以做到这些原则。

参考文献：

[1] Fox E A,Akscyn R M,Furuta R K,et al.Digital libraries[J].Communications of the ACM,1995,38(4):23-28.

[2] Chowdhury G G,Chowdhury S.Introduction to digital libraries[M].London:Facet Pub.Association of Research Libraries,1995.

[3] Saracevic T.Challenges for digital library evaluation[J].Proceedings of the ASIS Annual Meeting,2000,37:341-350.

[4] Borgman C L,Leazer G H,Gilliland-Swetland A J,et al.Iterative design and evaluation of a geographic digital library for university students：A case study of the Alexandria Digital Earth Prototype (ADEPT)[C]//Proceedings of the 5th European Conference on Research and Advanced Technology for Digital Libraries.LondonSpringer-Verlag,2001:390-401.

[5]周奇志,張玉兰,王燕.用户视角的数字图书馆评价标准及个案分析[J].情报杂志,2009,28(5):91-94.

[6]马玉荣.关于数字图书馆评价体系的思考[J].图书馆学研究,2004(2):37-39.

[7]王鉴辉.数字图书馆评价体系问题研究[J].中国图书馆学报,2004(4).

[8]徐速.数字图书馆门户的用户界面友好性评价[J].科技情报开发与经济,2010(3):1-3.

[9]李友诚.数字图书馆馆藏质量评价[J].图书馆,2009(3):82-83.

[10]徐婧.AHP法在数字图书馆综合评价中的应用[J].图书馆论坛,2006(1):238-240.

[11]范莹莹,金以明.基于DEA和CA的数字图书馆评价研究[J].图书馆论坛,2010(5):55-57.

[12]冯凯,李雪萍.基于改进TOPSIS方法的数字图书馆用户界面综合评价[J].现代情报,2006,(10):96-97.

[13]王居平.基于区间直觉模糊信息的数字图书馆馆藏的评价方法[J].情报理论与实践,2010(8):100-103.

[14]王居平.基于群评价方法的数字图书馆读者满意度指数的测评[J].农业图书情报学刊,2009(7):17-19.

[15] Hong Iris Xie. Users evaluation of DLs[J].Information Processing and Management,2008,44:1346-1373.