1 行为观察法的定义
行为观察法是观察者依据编码方案的定义和规则,对目标行为进行编码,其结果可用于定量分析和对比研究。目标行为可以是现场正在发生的,也可以是用仪器记录下来的。现场既可以是实验室,也可以是实际的生活环境。行为观察法的要求包括: (1) 受一定的研究目的和理论指导,要事先识别行为的类别,对观察变量有清晰的操作定义; (2) 有标准化的观察程序或实施方案; (3) 有事先设计好的记录格式; (4) 受过训练的观察者依据编码方案观察。运用行为观察法的一个重要前提条件是选择或制定编码方案。
2 行为编码方案的编制
编码方案是运用行为观察法的前提,指研究者将行为或事件分为若干有意义的、可以观察和处理的类别,将大的行为单位 (即行为维度) 分解为独立有限的小的行为类别 (即代码) ,为观察、记录和随后的分析处理制定出的一整套符号系统。一个编码方案可以由一个行为维度构成,也可以由多个行为维度组成,每个行为维度是一个编码单位。
是否编制一个新的编码方案,主要看现有的编码方案是否适合研究的问题和要观察的行为。一般而言,应尽量采用现有的信度和效度较好的编码方案,或对其进行适当修改。使用相同编码方案的益处是可以进行不同研究的比较。如果需要编制新的编码方案,有几个步骤值得注意:首先,要明确研究问题,确定需要观察的行为。第二,根据研究问题的指导理论和相关文献,确定行为的维度以及每个维度大致的类别(即代码)。第三,对要研究的行为进行细致观察,补充类别。第四,在行为现场试用编码方案,并进一步讨论和提炼编码方案。这样的过程可能需要重复若干次。最后进行编码方案的信效度分析。
可以运用三种方式检验编码方案的信度。一是再测法,让一个观察者在不同的时间段对相同的资料再次编码。二是复制法,比较几个受过训练的独立观察者的编码结果。三是标准法,将几个受过训练的独立观察者的编码结果与标准相比,所谓标准的编码结果是由编码方案的开发者完成的。当然这里的信度检验和下文的编码者信度评价意义是不同的。后者是要确认编码数据的信度,信度高表明观察客观。
依据效度的类别,可以采用内容效度、聚合效度、区分效度或者预测效度等进行效度检验。比如,对依据行为观察法得到的数据与运用其他方法如自陈量表法获得的同种特质或行为数据求相关,如果有较高的正相关,可以判断该编码方案有聚合效度。在临床研究中,多运用预测效度。
对正式编码方案的要求是理论清晰、简单易用,并能准确地反映要研究的问题。行为分类要求完整、不重叠,有明确的操作定义,类别不必太精细,但也不能太概略,因为两者都可能增加观察的难度,降低观察者间的一致性。
3 编码者培训
行为编码过程是行为观察法的关键环节,包括录制和转录观察资料,选择、培训编码人员,编码等, 这里根据Margolin等人的观点主要对编码人员的培训进行阐述。
培训的目的是帮助编码者高效地对观察资料进行分类编码。培训常以群体的形式,通过数次会议进行。首先是让编码者自己阅读编码手册,熟悉代码定义,掌握编码程序。其次是编码者独立地对培训用资料进行试编码,讨论彼此意见不统一的编码。最后与熟练的编码者 (常常是研究者) 进行比较,考察其编码的一致性,以确定编码者是否达到了预定的胜任水平,可以开始编码工作。需要强调的是,在整个培训和正式编码期间,不能向编码者透露研究的主要假设。
在整个编码期间,可以通过检查编码者的一致性,决定是否需要进行补充培训。编码期间对编码者一致性经常进行检查,对于保证编码数据的完整性和统计效力非常必要。同时还可以激励编码者,维持或增强编码者的积极性。
4 编码者信度的评价
根据经典测验理论的观点,信度是指真分数的变异数与实得分数的变异数之比。表现在实际的测量中,当不同评价者之间的判断一致时,测量便是可信的,通常用编码者一致性系数来评估。编码者一致性是指由两个或两个以上的编码者对同一组观察资料独立地观察和编码时,编码结果之间的一致性程度。如果编码者一致性高,说明观察数据准确地反映了被观察的行为,随后的统计分析结果也是可信的。相反,若编码者一致性较低,则说明数据的客观性较差,无法作进一步的研究。以往编码者一致性系数是运用一致性百分比计算的,公式是: (一致数/一致与不一致数之和) ×100。因它没有排除偶然的一致性,常产生误导,所以不主张使用。目前更常用的是下列两种方法。
4.1 Kappa系数
Kappa系数是描述观察到的一致性与偶然一致性的差值,为使度量一致性的指标值不超过1,而对这个差值进行修正后的值。其科学之处是消除了一致性百分比计算中分子和分母的偶然性。Kappa系数是针对编码单位而非各个代码计算一致性,研究者可以计算各个案例的各个编码单位的k系数,也可以计算跨案例合并的各个编码单位的k系数。下面以两个编码者对某个幼儿社交退缩行为的编码为例加以说明。A表示抑制行为,B表示安静退缩,C表示活跃退缩。如果编码的数据是不计时的事件序列数据,那么一致性矩阵中的数值为各类行为出现的频次;如果数据是状态序列数据,那么矩阵中的数值是以时间为计数单位所获得的值。比如,假设时间单位为1分钟,某一类别的行为持续了3分钟,则在矩阵中相应位置记入3。两个编码者的编码结果见表1。设r代表编码方案中的代码数,这里为3,一致性可以在这个3×3 (r×r) 矩阵中计算。横排代表第一个编码者,纵列代表第二个编码者,两栏都用相同的r个代码标识。左上到右下的对角线表示两人一致的编码数,远离对角线的数据表示不一致的编码数。令xij为矩阵的某个元素,“+”表示加总,那么,xi+表示第i行的总数,x+i表示第i列的总数,x++表示矩阵中分数的总数。则观察到的一致性比值为:
偶然一致性比值为:
Kappa系数为:
本例中,P1= (3+5+12) /24=0.833;
P2= (4×3+6×8+14×13) /24×24=0.420;
K= (0.833-0.420) / (1-0.420) =0.712
计算k值的一个重要细节是,各个编码者总计的代码数应相同。如果计算出的Kappa系数值k小于或等于0,那么可以判断这两个编码者的结果是偶然一致的。只有当计算的k值大于0时,才能进行一致性的显著性检验 (具体方法可参阅王静龙、粱小筠,2005) 。当然,由于对编码者一致性的评估主要是看k值的大小,因而k值显著只是最低的标准,不能作为判断编码者之间是否一致的最终标准。对编码者一致性合适与否的判断,可以参考弗莱斯 (J.L.Fleiss, 1981) 的建议:若k值介于0.40~0.60之间,则编码者一致性是可接受的;若介于0.60~0.75之间,则一致性是较好的;若超过0.75,则一致性是极好的。此外,扩展的k值可用于计算两个以上编码者之间的一致性 (Fleiss, Nee, Landis, 1979) 。
4.2 组内相关系数
除了Kappa系数外,要想更规范地分析总的测量信度,可运用概化理论法。评估编码者的信度,可使用概化系数,在编码者个体侧面进行概化,对未来相似的编码者编码时的信度作出估计。其计算公式是:。这里,no是编码者或观察者的个数,MSP和MSr分别是被观察者的均方和残差 (即误差,此处指编码者和被观察者间的交互作用) 的均方。根据经典测量理论的假设——观察分数由真分数和误差分数组成 (X=T+e) ,概化系数即是组内相关系数。就所测的行为而言,高的组内相关系数表明,相对于被观察者间的差异引起的变异,编码者造成的变异是较低的。组内相关系数可以针对每个代码分别计算,以反映特定行为类别总数的一致性。
5 行为观察数据的修正
5.1 数据预览
在对研究变量进行正式统计分析之前,需要先了解收集的数据在整体上是否恰当,能否反映所研究的行为维度。集中所有的案例,计算出每个代码的描述性统计量,如频次、平均持续时间等。当了解了所研究的行为在全部数据中出现的情况后,就可以决定是否需要修正数据。
5.2 数据修正的方法
数据修正要求用一系列的步骤去合并原来的数据,形成修正数据。仔细地进行数据修正,慎重地设置新代码,既可以简化数据,又能更好地反映研究构思。一些修正涉及在行为者之间进行代码的合并,例如,如果在学生间加以区分是不重要的,可以将所有学生合并起来编码。另一些情况则是在行为之间进行合并,如将功能相似的行为合并。Bakeman等人提出了数据修正的下述思路。 (1) 在编码期间,如果发现编码者不能稳定地区分两个代码,但若将其组合为更概括性的代码后,概括性的代码较为可靠,则可以将这两个代码合并为一个新代码。 (2) 如果发现有些相似的代码不经常出现,若将其视为不同的代码,有些案例的得分可能是0,或者很小,则可将其合并为一个代码,以使分析更为简单。 (3) 根据更可靠的理论,把几个代码合并为一个更有包容性的新代码。 (4) 将同时发生的事件代码合并为一个新代码,如在互动行为研究中,用一个代码表示老师对学生说话,同时学生低着头,可以减少描述统计量。 (5) 将间隔很短的相同代码合并,如,已对亲子互动中的“忙乱”进行了编码,但检查数据时发现,“忙乱”的平均持续时间仅为几秒钟,且常常出现得很密集,则可以创设一个新代码,如定义为“一组分散不到5秒的‘忙乱’”,来描述忙乱的情节。
这里有个问题:既然有可能合并数据,最初为何还要进行精细地编码呢?事实上,第一,详细而精确的编码方案为编码者提供了更多的指导,可以减少编码者编码时的不确定性,保证编码的信度和效度;第二,精细的编码会获得更丰富的数据信息、更多的分析选项,有更多的选择去考察大量的研究问题。如果代码不细,那么研究者若对更具体的信息感兴趣,除了重新编码外,别无选择。
摘要:本文对行为观察法的重要环节, 包括选择或制定编码方案、培训编码人员、编码者信度的评价、数据修正等问题进行了阐述。
关键词:行为观察法,编码方案,信度,效度
参考文献
[1] Furr R M, Funder D C.Behavioral observation.In Robins R W, Fraley R C, Krueger R F (Eds.) , Handbook of research methods in personality psychology[M].New York:The Guilford Press, 2007.
[2] Bakeman R, Deckner D F, Quera V.Analysis of behavioral streams.In Teti D M. (Ed.) , Handbook of research methods in developmental science[M].Oxford, UK:Blackwell Publishers, 2005.