当前位置
 

第三节 教育评价指标体系的建立

一、评价指标体系的概念及构成

评价指标(indivator of evaluation)就是根据一定的评价目标确定的、能反映评价对象某方面本质特征的具体评价条目。指标是具体的、可测量的、行为化和操作化的目标,即指标规定的内容必须是看得见、摸得着的。指标是目标的观测点、测量点,是可以通过对客体的实际观察获得明确结论的。

评价指标体系(system of indivators used evaluation)是由不同级别的评价指标按照评价对象本身逻辑结构形成的有机整体。它是衡量教育评价对象发展水平或状态的量标系统,在教育评价方案中处于核心位置。评价指标体系是系统化的、具有紧密联系的、反映评价对象整体的一群指标或具体指标的集合。

评价指标只能反映评价对象和评价目标的一个方面或某几个方面,评价指标体系则能反映评价对象和评价目标的全部。

评价指标体系大致由评价指标、权重和评价标准三个系统构成。

二、评价指标体系的设计要求

设计指标体系时要注意如下几个问题。

(1)一致性。既要使评价指标与评价目标一致,又要使下一层次的指标与上一层次的指标一致。

(2)可测性。评价指标系统中末级指标(最低层次指标)要用可操作化的语言加以界定,它所规定的内容可直接测量,以获得明

确结论。

(3)可比性。评价指标必须反映评价对象的共同属性,反映评,价对象属性中共同的东西。

(4)独立性。在指标体系内同一层次的指标必须各自独立,指标间不能相互重叠和包含,不能存在因果关系,不能从一项指标导

出另一项指标。

(5)完备性。设计出来的指标体系必须是一个完整、协调的系统,能够全面地、毫无遗漏地反映评价目标或上一层次指标。

(6)可行性。设计评价指标的数量和评价标准的高低都要适中。有足够的信息、人力、物力和切实可行的量化方法可资利用。

(7)可接受性。设计的评价指标必须经过人们的努力方能达到。

三、设计评价指标体系的具体方法

(一)评价指标系统

1.初拟评价指标

可以采用分解评价目标、头脑风暴、理论推演、典型研究等方法初拟指标。

采用分解评价目标的方法,可以通过把教育的总目标分解为次级目标(或称一级指标),再将次级目标(或称一级指标)分解成二级目标。由高到低逐层进行,越是下一级指标越是具体、明确、范围小,直至分解到指标可以观察、测量、操作,形成末级指标为止。这样形成一个从一级到二级……直至末级的指标系列。如图7-l,图中二级指标还可根据需要分解为若干三级指标,依此类推,直至指标所规定的内容可以测量。

头脑风暴法是评价专家凭借自己的理论知识和实践经验,积极思维,进行智力碰撞,提出初拟指标的方法。理论推演法是根据有关学科的理论推演出评价指标的方法。典型研究是通过对某些典型人物或典型事例进行研究,从而设计评价指标的方法。

2.筛选评价指标

初拟评价指标一般数量较多,有些能反映评价对象某方面的本质特征,符合评价指标设计的原则,但也有些评价指标不符合设计原则的要求,评价指标间相互包含、交叉、矛盾、互为因果关系。因此,还要对初拟指标进行比较、鉴别、筛选、归类合并,形成符合要求的评价指标系统。进行这项工作的方法有逻辑法、经验法、调查分析法、聚类分析法和主要素分析法。

(二)权重系统

1.权重的意义

评价指标的权重(weight)是表示某项指标在评价指标体系中重要程度的量数标志,是指标体系的重要组成部分。权重又称权数、权值、权系数。

各项评价指标在指标体系中的地位和重要程度是不同的。为了体现这些,就要为每项评价指标设定权重,这样才能达到客观、可比的要求。

2.权重的数字表示

(1)小数形式

在评价中较多地运用小数表示评价指标的权重。把指标体系整体作为l,即小数的权重之和为1,各评价指标的权重为1和0之间的一个小数。若设W表示权重,W;表示第i项指标的权重,则0<Wi<1,且在同一层次上指标权重之和为1,即∑Wi=1(i=l,2,3,…,n)。

(2)百分数形式

它实际是小数形式的一种变形。百分数形式应满足以下两个条件:同一层次各项指标的权重在。和100%之间的一个百分数,即0<Wi<100%;同一层次上各项指标权重之和为100%,即∑Wj=100%(i=1,2,3,…,n)。

(3)整数形式

整数实际上是小数或百分数的整倍数。用整数形式表示指标权重,先规定同一层次上各项指标的满分值,常见的有100、500和1000,其中以100最为常见。若设s为同一层次上各项指标的满分整数值,则各项指标的权重在0和s之间,即0<Wi<s;同一层次上各项指标权重之和为s,即∑Wi=s(i=1,2,3,…,n)。

3.确定指标权重的方法

(1)专家会议法(又称集体经验判断法)

这是由一定数量的长期从事教育管理工作的干部、有经验的教师以及有关领域的理论工作者共同讨论确定指标权重的方法。他们在一起讨论,各抒己见,根据个人对各评价指标重要程度的理解,确定不同的权重,然后求出各位专家对相应指标权数的平均值,作为指标权重的最后结果。

优点:信息量大,全面具体,有助于专家之间相互启发,集思广益,使结论更趋于合理。

不足:专家之间的意见易相互干扰,易受从众心理、权威人物一板定音、口头表达能力等因素影响。因此这种方法确定的指标权重有一定的主观性和片面性,易降低客观性及有效性。

(2)特尔斐法(Delphi Technique,又称专家咨询法)

这是采用匿名的形式,通过问卷向专家征求意见,然后由评价方案的设计人员进行汇总、整理,再将这一轮结果作为参考资料发给各位专家,让他们再发表意见,再次回收,并进行数理统计,多次重复这一过程,直至意见趋于一致确定评价指标权重的方法。

优点:每位专家都能独立地发表自己的意见;既能保证逐渐形成深思熟虑的观点,又能保证提出独到的见解和评定。

缺点:费时、费事;受应答者的随意性影响较大。

(3)层次分析法(Analytic Hierarchy Process,又称比较法)

层次分析法简称AHP法,这是多目标、多准则的决策方法。

20世纪70年代初由美国著名数学家斯塔(T.L.Saatg)首先引入到教育评价领域解决权系数的确定问题。

这种方法以人们的经验判断为基础,采用定性、定量相结合方法确定多层次、多指标的权重系数。先逐一判断每层次上指标的相对重要程度,并将两两比较判断的结果按给定的比率标度定量化,从而构成判断矩阵,通过计算矩阵的最大特征值及其相应的特征向量,得出该层次指标权重系数的方法称为层次分析法

(4)逆向法(又称逆问题法)

根据统计学原理,当样本量足够大时,样本的平均数就会较好地接近总体的平均数。在评价工作中,当参加评价的人员达到一定数量的时候,无论是先分项按指标评价后再综合评价,还是不分项直接进行综合评价,所得到的平均值都会比较客观。据此,在没有具体权重的情况下,同时进行分项评价和综合评价,然后通过综合运算的逆运算求得权重的方法,叫逆向法。

其具体步骤为:确定评价对象,分项评价,综合评价。

(三)评价标准系统

评价标准(criteria of evaluation)是衡量评价对象达到末级指标程度的尺度和准则。评价标准系统由标度和标号构成。标度的作用是区分评价对象达到评价指标的程度,标号是区分程度的符号,通常用汉字(如甲、乙、丙、丁)、字母(如A、B、C、D)或数字(5、4、3、2)等表示,标号本身无独立意义,它是评定标准的辅助部分。