一、信息系统项目评价的内涵

    从管理角度而言，“没有评价就没有管理”，评价是辅助领导者决策的重要手段，也是一种重要的反馈与学习的工具，可以帮助企业发现IS（信息系统）项目成功或不成功的潜在的要素，进而改善建设方法或建设管理过程，促进项目向期望的方向发展。但IS项目评价是受情境因素影响很深的，同时也是非常主观的活动，因此很有必要从IS项目评价最基本的定义开始，探讨评价所包含的主要因素，统一对其内涵的理解。

    1.IS项目评价内涵。考察评价的本意，是指基于一定标准进行的一系列理解、测度、评判的活动，是一种有意识地判断在特定条件下对象的价值或贡献的过程。一般来说IS评价包括IS应用水平评价和IS项目评价两种，其中IS项目评价又包括项目投资评估、项目实施评价、项目绩效测度等内容。无论是哪一种项目评价，完整的评价过程都应该包括六个方面的因素：一是为什么要评价（Why），即评价的具体目的；二是决定评价的对象是什么（What）； 三是评价的标准（Whichaspects）；四是什么时候进行评价（When）；五是由谁来评价（Who）；最后是用什么方法，怎么评价（How）。这六个方面并不是互相独立的，而是相辅相成、互相依赖。如评价的目的在一定程度上决定了评价的标准，评价标准又决定了评价的方法、时间等。而这六个方面构成的整个评价过程最终又依赖于项目本身，依据项目特点的不同而有所不同。

    从IS项目评价的本质看，IS的项目目标是决定评价过程最主要的因素。我们可以把IS被期望达到的目标分为以下四种：（1）降低成本，提高效率，追求经济效益型；（2）通过先进IS的应用，获得或保持竞争优势型；（3）考虑与经营战略的一致性，实现战略目标型；（4）综合考虑IS的经济、社会、战略等多方面的集成型。那么每一种期望目标后面都应该有一系列目的、对象、标准、方法等不同的评价要素。因此IS的评价并不是简单地套用各种评价指标和评价方法，而是要根据IS项目在企业发展过程中扮演的不同角色建立对应的评价模型。

    2.IS项目评价的复杂性。从评价的内涵中可以看出影响评价方法选择的因素之多，除了IS项目目标的不同，仅从评价的六个方面分别对评价进行分类，不同的因素组合就会超过了数十种，可见评价选择过程的复杂性。实际上，IS项目评价本身也具有相当的复杂性：

    （1）IS项目应用中产生的大量无形效益、间接效益、长期效益以及滞后效益使得不可能精确地测度IS的效益，更不用说直接比较投入与产出确定IS项目的价值。

    （2）在实际的IS效果测度过程中，随着IS的应用不断地融入企业的组织结构及业务流程，已经很难把IS的活动与其它资产或活动剥离，单独计算IS对企业带来的影响。

    （3）企业信息化的效果并不是企业独得的，顾客与供应商等都将分享其中的利益，Brynjolfsson称之为利益的分散化。而这部分的利益是否应该计入IS项目的效益以及如何计算都加重了评价过程的复杂性。

    （4）IS项目特别是一些尚不成熟的软硬件技术应用项目，存在高风险及不确定性，使得成本、时间及完成的期限都很难确定，评价的过程也会相应地复杂。

    如果企业IS项目的评价过程期望取得较好的效果，上述问题都应该是必须考虑而且要通过一定的方法避免或解决的重点。

    3.IS项目评价的实践意义。尽管IS项目评价如此的复杂，研究者们仍在持之以恒地完善评价理论，究其原因只能是评价受到了太多的关注和重视，任何突破性的研究都会对实践产生重大的意义。在IS项目运行中，有四类主体对IS的评价非常关心：一是企业内部的指导委员会及项目小组，他们是IS效果的直接责任承担者，并是最终的决策者；二是企业中实际使用的员工，是感受IS建设效果好坏的直接反映者；三是帮助企业实施和配置IS的咨询公司，对于大型的IS项目，他们是不可缺少的重要力量；四是IS供应商，他们需要及时地了解企业对IS的评价及功能的期望，从而不断地改进IS的功能。从上述四类主体的评价目的出发，我们可以把IS评价的实践意义归为以下四个方面：

    （1）判断功能。在IS项目投资前期，判断“做”或“不做”的过程以及应该采用何种方式进行项目的建设等；在建设过程中需要判断资源的分配是否合理，是否需要变更建设方式甚至放弃当前的项目；在IS项目完成时，判断项目成功与否，建设效率和效果如何。

    （2）控制功能。为项目控制提供一系列评价标准，作为纠正偏差、协调各方利益的工具。实际上，评价本身并不是目的，而是为了获得一个更高的业绩水平而使用的手段，企业通过评价把项目的期望值传递给项目的所有相关人员，进而影响这些人员的项目行为才是评价的真正意义所在。

    （3）学习功能。通过评价系统地掌握影响项目成功与失败的关键因素，为类似的项目建设积累知识和解决问题的能力；总结经验，提升企业的实践能力和理论水平，是提高系统评估和系统建设能力的学习工具。

    （4）理解功能。更好地理解IS项目与企业系统交互的本质，以及IS项目可能带来的优势和引发的问题；理解IS项目建设所需要考虑的各种相关要素。从长期来看，评价可以帮助项目的相关人员更好地理解IS商业价值，进而改善IS部门与业务部门之间的关系，在企业范围内达成共识。

二、国内外IS项目评价理论研究现状

    正是由于IS项目评价在企业信息化建设过程中的重要性，评价一直是理论界研究的重点，特别在信息技术应用已经比较成熟的欧美国家更是如此。据Egon在2001年所做的总结，单单IS项目的事前评估方法就多达65种，可见研究成果之多。但总的来说IS评价可以分为以下两种，一种是基于主观满意度的评价，另一种是基于客观标准的评价。

    1.主观满意度评价。基于满意度的评价是一种“主观”的评价，该理论认为IS的评价被数学家们弄得如此复杂，似乎已经成为独立于组织之外的一种理性判断，而实际的评价过程更主要是评价者针对企业、市场、技术等方面综合的、主观的考虑过程，纯数据分析可能毫无价值，而且在某种情况下也无数据可供分析。他们认为用户意识中的经验现象与其它客观标准一样重要，完全可以用项目相关人员的主观满意度作为项目的成败判断标准。这种方法最常问的问题是“你对这个项目感觉如何”，分析依据是IS实施后“感受”的效果与实施前期望对比。如果这个比值大于1，则客户满意；小于1，则客户对项目不满意。使用这种评价理念时，IS项目成功与否不应该是讨论的焦点，企业最初制定的成功标准如何倒是值得研究的，因为IS实施的成功取决于企业IS建设初期制定的标准。

    基于主观满意度评价理论的原理是IS不是独立于使用者和其它社会因素的客观实体，IS评价中必须要理解和考虑组织的因素。在这方面很早就有学者开始研究并卓有成效，如1989年Guba就提出成立由项目相关人员组成的第三方评价小组，从不同的背景表达不同的判断观点，并给出具体的指导步骤；1992年Delone著名的IS成功模型，从用户使用（use）和使用满意度(use satisfactory)来判断IS成功与否； 根据大量的评价指标，把MRPⅡ实施水平分为ABCD四个等级；Vassilis从组织行为学的角度提出了IS评价的框架，包括相关评价人员分析、评价模式分析、评价角色的确定等可操作性较强的方法；一些传统的主观方法如德尔菲法、专家打分法等也可以归为此类。

    相对客观标准评价，主观满意度的评价不需要大量的指标和数学公式就可以对某个IS项目得出评价结果。但实际上目前关于满意度的评价研究大都以定性分析为主，主要是强调人的主观判断在评价中的重要性，对于哪些人的满意度可以作为评价的标准即如何选择测评对象、如何统一不同测评对象的评价标准和模式，以及如何把分散的观点集成为结论等问题并没有很好的得到解决。因此基于主观满意度的评价，无论是评价过程还是评价结果，都还不具备很强的说服力，难以完全达到评价的预期目标，多数情况只是作为客观标准评价的必要补充。

    2.客观标准评价。基于客观标准评价的结果一般不受相关人员主观意愿的影响，不同的企业根据自己的数据计算出来后可以进行横向比较。这种方法需要对评价的对象有较深的理解和研究，用一系列量化的指标综合反映该对象的方方面面，然后采用一定的数学方法对这些量化指标进行运算，形成最终的评价结果。

    例如，SEI(Software Engineering Institute)提出的软件企业能力成熟度模型CMM（Capability Maturity Modrl）就是一种较为客观的评价体系。在实际IS项目评价过程中，客观标准评价的难点在于选取适当数量但又能反映IS项目大量无形的、间接的、长期的效果的指标，并把这些指标用数字表示出来。另外，在评价领域，一直面临着方法很多但好方法很少的困境，每一种方法都各有其优缺点，给定许多的方法，怎样在一个特定的环境中选择最合适的方法或建立自己的方法是另一个难题。

    为了解决这两大难点，大量的研究者所构建的指标体系越来越庞大，数学模型也越来越复杂，可操作性却越来越差，令企业界无所适从，因而受到了很多过于复杂、不能完全反映IS的价值甚至无用论等抱怨或指责，我们称之为评价方法的恶性膨胀。但由于客观标准评价的理性说服力和可对比性，仍不乏大量的研究，从理论的发展趋势来看，逐渐从早期简单的方法独立阶段向综合灵活的机理互补阶段过渡。

    方法独立阶段主要是指不考虑企业的特定环境，采用单独一类方法对所有的IS项目进行评价，具体可以分为：（1）技术/功能类，把IS等同于其它技术投入，如新的生产设备来评价；（2）经济/财务类，把IS投入视为一项资本投资，从投资收益最大化的角度来评价对企业各个方面带来的影响。（3）多指标类，综合考虑IS在技术、经济、组织等方面的影响，形成一系列互补的指标进行评价，典型的是Kaplan提出的平衡记分卡（BSC，Balanced Scorecard），从财务、内部流程、顾客、创新与学习四个方面来评价IS项目的绩效。

    IS项目评价的复杂性使得很难有一个独立的评价方法能够涵盖所有相关因素，关于评价的研究就逐渐转入机理互补阶段，其思想是放弃寻找一个大而全的理论来解决所有问题，而是通过一系列最合适的方法的权变组合，覆盖整个IS项目的评价过程。最主要的研究成果包括：Willsock在1997年提出了 生命周期评价法，主要是以时间为维度，把IS的建设过程分为不同的阶段，分别采用不同的评价方法；Farbey等提出的矩阵评价法，在对影响IS项目建设的因素进行分类的基础上，建立一系列相关矩阵，为每一个单元寻找相应的评价方法；20世纪80年代以来，评价领域出现的几种不同的分类方法，使评价方法应用于它们最适合的背景，寻找评价的元方法论，也是类似的研究。两类评价理论的比较。我们可以从评价的六因素对基于满意度评价和基于客观标准评价进行进一步的区分，如表1所示。

表1 主观满意度评价和客观标准评价的比较

    非常明显，主观满意度评价与客观标准评价之间并非是完全独立的，主观满意度评价中必然有一部分定量的客观标准分析，而客观标准评价不见得没有任何个人的主观意愿，这两者都是IS项目评价必要的、互相补充的组成部分。

三、当前评价理论在实践应用中的不足

    评价理论近年来得到了快速发展，其它学科领域的知识逐渐应用到评价工作中，形成了许多新的评价理论；一些现存的评价理论经过大量的实践检验也日趋完善。但从上面的研究综述中可以发现，现有的评价研究无论从理论上，还是在实践中都还有待进一步完善和深化，再加上评价的复杂性，不可避免的会存在一些问题。归结起来，当前IS的评价理论主要存在如下几个方面的不足：

    1.IS项目评价主要还是以IS的经济价值导向型为主，没有从获得或保持竞争优势、实现战略目标以及改善企业文化、工作条件等方面来评价IS项目对企业的价值体现。实际上，IS对这些方面的影响与对经济价值的影响一样重要。

    2.IS项目的评价过程与其它评价理论一样，存在一个过于理性、过于正式的问题，对量化指标、数学模型投入很大，但可操作性不强，关于如何评价、由谁评价，在什么时候评价等这些实践性的问题研究深度不够。

    3.缺少相关的案例实证研究。IS项目评价的研究特别是最新的研究都缺乏案例实证研究的支持，很多企业都不愿意把自己作为评价的案例，暴露内部的技术、经济、组织等数据，这使得研究只能停留在理论分析上，不能通过实践得到反馈。

    4.对评价本身的价值研究不足。企业对评价到底有什么用、评价与IS项目投资的成功率之间是否存在相关关系没有感性的认识，所以项目的评价往往只是过过场，没有得到真正的重视。只有让企业领导、项目管理人员等理解评价的作用和价值，才能让他们真正重视评价，认真地选择并执行适当的评价方法。

    5.对企业级的IS项目评价研究比较多，但针对集团级的或跨企业战略联盟型的组织所做的IS价值评价比较少见。随着供应链管理、分销资源管理等共享型IS的不断应用，企业边界越来越模糊，这方面的研究势在必行。

四、对企业IS项目评价工作的启示

    根据上述理论分析，对企业实际的评价工作有以下几方面的启示：

    1.明确项目目标。项目目标是整个评价活动的导航灯，犹如战略目标对企业活动的指引作用，但很多企业在评价之前却没有明确的项目导向，仅以获取经济效益为主要目的，实际上很多项目比如说ERP、SCM等最主要的目的是获取或保持竞争优势，经济因素并非第一位。因此在开展评价活动之前必须要确定项目的目标，才能做到有的放矢。

    2.重视评价中的人的因素。根据Bran Meyerson的观点，IS的价值在于使用者的主观满意度，取决于参与者的价值偏好。评价是具有强烈社会特征的工作，在具体的评价工作中常常带有人为的导向性，并且方法的科学性也常常要服从于导向性，因此不考虑人的主观因素是不现实的，这样的后果往往是评价的结果与最初的评价意图相违背。

    3.应用方法的组合。越来越多的人已经充分意识到，目前存在的评价环境过于复杂，因而仅仅使用单个的方法进行评价是不够的，而是应该根据实际的企业环境，选择一系列合适的方法，通过有机组合达到互补的效果，完成整个IS项目评价过程。

    4.简化评价方法。鉴于IS项目评价的复杂性，不建议企业一味地追求评价的完美和精确程度，越精确的评价往往越复杂，越复杂的方法操作性就越低，因此有必要在方法的可行性和评价的精度之间形成妥协，在基本达到评价目的的前提下，简化评价方法，比如说应用一部分图表法，如投资对应矩阵图等。