赛立信媒介研究公司节目评估系统研发小组
广播节目评估是一项十分复杂的工程，需要从多个角度、通过多项指标来评判节目的综合表现。在研究节目评估方法和实施节目评估的过程中，不可避免地都会遇到一个颇为关键的问题，就是各个评估指标的权重如何确定？
权重（统计学上也称“权数”）就是具体某个指标的重要性程度，它反映了不同指标之间的相对重要性。接节目评估体系来说，对于同一组指标，各指标之间权重不同，就会直接导致针对同一组数据得出不同的评价结果。可见，权重的确定对于节目评估来说，是相当重要而且十分关键的。
目前，对于广播节目评估的理论和方法研究较多的是在如何建立节目评估指标体系和节目评估的实施问题上，而对于评估指标体系中各个指标如何赋权问题则鲜有探索。本文拟从统计学的角度，针对广播节目和广播媒体的特性及客观规律，专门探讨广播节目评估体系中各个评价指标的权重和如何赋权的问题。
一、广播节目评估指标权重的赋权思路
任何一套广播节目，都会历经节目制作和听众收听的过程。在这一过程中涉及到至少两个主体，即节目制作人员和听众。毋容置疑，在节目评估中，一个评价指标的重要程度应该充分体现这两个主体的意愿。而对于节目评估指标的权重的确定，也大致形成了媒体导向和市场导向两种思路。
第一种是媒体导向思路。它是从节目制作的角度入手，由广播业内人士根据媒体的特点或经验确定每一个指标的重要性程度，然后通过简单计算或实证分析，形成每个指标的权重。从统计学角度看，循此思路而形成的赋权方法统称为主观型赋权方法，大致包括德尔菲法（Delphi）、层次分析法（AHP）、简单排序编码法、倍数环比法、优序环比法等，其中德尔菲法（Delphi）和层次分析法（AHP）为最常采用的方法。
这种赋权方法的优点在于：（1）业内人士熟悉广播节目，考虑问题一般会比较全面，且较有针对性；（2）通常确定权重的大多为电台的领导或者负责这项工作的专业人员，赋权往往具有一定的权威性；（3）这种方法比较简单，便于操作。但是，它也有一定的局限性：其一，仅凭个人主观判断，缺乏客观标准；其二，由于各个评价指标涵义不同，评判人员也很难形成量化的权重；（3）评判人员的水平不一，理解也不同，大多数时候往往只能作出趋近中位数或算术平均数的结论。因此，用这种方法确定权重往往也会遭遇最多非议，甚至影响到节目评估结果无法让人接受。
另一种是市场导向思路。它是站在听众的角度上来考虑，由通过调研所获取的、有代表性的听众群的实际收听情况来确定每个指标的权重，即采用统计方法对实地调研的节目相关数据进行处理后形成各指标的权重。由这一思路确定的权重完全取决于调研数据，通常不受个人主观意愿的影响，主要包括因子分析法、熵值法、秩和比法（RSR）、关系数法等，其中因子分析法、熵值法是常用的方法。这一类型方法的基本思想是，所有节目对应的同一个指标的具体数值差异性越明显，这个指标对应的权重就越大，反之，差异性越小，则权重越小。举个极端的例子，如果每个节目的满意度都是相同的（比如都是4分），即所有节目在满意度方面不存在差异，那么满意度对于评判节目质量的差异起不到任何效果，满意度这一指标对应的权重必然为零。
用这种方法确定各个指标的权重，在一定程度上解决了第一种方法偏主观性的问题，而且强调市场导向更能够体现节目或媒体的发展趋势和规律。但是同样也有其局限，一方面，中国广播媒体功能的多样性，恐怕不能仅仅以市场因素来表现；另一方面，忽视了广播媒体或广播节目本身固有的特性以及其所涉及的专业性问题。
显然，无论是采用媒体导向型还是市场导向型赋权方法，都存在一定的片面性。建立一套综合、科学的节目评估体系，在科学、合理地设置评价指标的基础上，将以上两种赋权方法结合起来确定各个指标的权重，将更为客观、更加合理。
因此，在“广播节目综合评估体系”研究中，我们采取了将两种思路和方法结合起来的赋权方法，即同时使用媒体导向思路的德尔菲法（Delphi）、层次分析法（AHP）和市场导向思路的因子分析法、熵值法，综合起来确定评估指标体系中各个指标最终的具体权重值。
二、确定指标权重的赋权方法
1、德尔菲法（Delphi）
德尔菲法是在20世纪40年代由O．赫尔姆和N．达尔克首创，经过T．J．戈尔登和兰德公司进一步发展而成的。1946年，兰德公司首次用这种方法用来进行预测，后来该方法被迅速广泛采用。
德尔菲法依据系统的程序，采用匿名发表意见的方式，即专家之间保持完全独立，不得碰面、互相讨论，不发生横向联系，只能与调查人员发生关系。通过多轮次调查专家对问卷所提问题的看法，经过反复征询、归纳、修改，最后汇总成专家基本一致的看法，作为预测的结果。这种方法具有广泛的代表性，较为可靠。
德尔菲法的优点：（1）能充分发挥各位专家的作用，集思广益，准确性高；（2）能把各位专家意见的分歧点表达出来，取各家之长，避各家之短。同时，德尔菲法又能避免以下缺点：（1）权威人士的意见影响他人的意见；（2）有些专家碍于情面，不愿意发表与其他人不同的意见；（3）出于自尊心而不愿意修改自己原来不全面的意见。德尔菲法的主要缺点是过程很是复杂、繁琐，花费时间较长。
2、层次分析法（AHP）
2.1 层次分析法的涵义
层次分析法（AHP）是美国运筹学家T.LSatty七十年代中期提出的一种多层次权重分析决策方法。它既包含定量的计算，又包含定性的分析，具有高度的逻辑性、系统性和实用性。在深入分析实际问题的基础上，将有关的各个因素按照不同属性自上而下地分解成目标层，准则层/指标层、方案层等，构造出递阶层次结构模型。层次分析法在建立上述层次结构模型之后，需要对因素重要性进行人为主观赋值（通常征求业内专家、学者的意见），然后构造成对比较阵，在此基础上计算权重和组合权向量，以此进行评价分析。
2.2 层次分析法的基本步骤
2.2.1建立层次结构模型
一般分为三层，最上面为目标层，最下面为方案层，中间是准则层或指标层。
2.2.2构造成对比较矩阵
设某层有n个因素，即 ，对同一目标的影响，每次取两个因素xi 和xj ，a ij表示xi 和xj 对目标的影响程度之比，得到矩阵A=(a ij)n×n，其中a ij的取值由Saaty 的1-9 值法决定：
表1 两指标之间相对重要性的判断尺度
|
标度
|
含 义
|
|
1
|
表示两个因素相比，具有相同重要性
|
|
3
|
表示两个因素相比，前者比后者稍重要
|
|
5
|
表示两个因素相比，前者比后者明显重要
|
|
7
|
表示两个因素相比，前者比后者强烈重要
|
|
9
|
表示两个因素相比，前者比后者极端重要
|
|
2，4，6，8
|
表示上述相邻判断的中间值
|
|
倒数
|
若因素xi与因素xj的重要性之比为a ij，那么因素xj与因素xi重要性之比为a ji= 1/ aij。
|
2.2.3权向量和一致性指标
所谓一致性，可以理解为相对重要性程度的可传递性，举例来说明：现有三个指标A、B、C，分别判断两两之间的相对重要性，例如，A/B=1.2， B/C=1.5，A比C也重要，如果A/C=(A/B)*(B/C)=1.2*1.5=1.8，则称对A、B、C三个指标的评价是一致的；如果A/C≠1.8，即A/C≠(A/B)*(B/C)，此时对A、B、C三个指标的评价就不是一致的。
上述构造成对比较判断矩阵的办法虽能减少其它因素的干扰，较客观地反映出一对因子影响力的差别。但综合全部比较结果时，其中难免包含一定程度的非一致性。对每个成对比较矩阵计算最大特征值及其对应的特征向量，利用一致性指标、随机一致性指标和一致性比率做一致性检验。
若成对比较矩阵是一致阵，则我们自然会取对应于最大特征根n的归一化特征向量{w1 ，w2 ，…… ，wn}，且
Wi表示下层第个因素对上层某因素影响程度的权值。若成对比较矩阵不是一致阵。Saaty等人建议，用其最大特征根对应的归一化特征向量作为权向量w，
则Aw = λw，w={w1 ，w2 ，…… ，wn}。对判断矩阵的一致性检验的步骤如下：
（i）计算一致性指标CI
其中，λmax为比较矩阵A的最大特征值
（ii）查找相应的平均随机一致性指标RI 。对n = 1，……，9 ，Saaty 给出了RI 的值，如下表所示：
表2：RI经验值
|
N
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
|
RI
|
0
|
0
|
0.58
|
0.90
|
1.12
|
1.24
|
1.32
|
1.41
|
1.45
|
（ⅲ）计算一致性比率CR
CR=CI/RI
当CR < 0.10 时，认为判断矩阵的一致性是可以接受的，可用其归一化特征向量
作为权向量，否则要重新构造成对比较矩阵，对加以调整。
2.3 层次分析法的优点
•原理简单、层次分明、因素具体、结果可靠
•不仅可用于同一单位不同时期的纵向比较，也可用于不同单位同一时期的横向比较
•指标对比等级划分比较细，能充分显示权重作用
•没有削弱原始信息量
•能客观检验其判断思维全过程的一致性
•能对定性与定量资料综合进行分析，特别适用于那些难以完全用定量指标进行分析的复杂问题
2.4 层次分析法的缺点
•构建递阶层次结构的过程比较复杂，各层因素较多时两两判断比较困难，计算繁琐
•在权重的确定上，由于有评价人的参与，评价结果会受评价人主观因素的影响。
3、因子分析法
因子分析法是将相关的P 个指标， 通过坐标旋转变换为不相关的P 个主成分。在变换中，总信息量(总方差) 不变，但信息分布发生了变化。设X = ( xij ) n ×p为原始数据阵，标准化后得到数据阵为Z = ( zij ) n ×p 。由于变量之间一般都存在着相关性，因此可利用因子分析法求得主成分y1 ，y2 ， ⋯， yp ，其中yk 可表示为: ( k = 1 ，2 ，⋯， p)
式中ljk是相关阵R 的特征值λk 所对应的单位特征向量。
样本i 的第k 个主成分为 ( k = 1 ，2 ⋯， p ; i = 1 ，2 ， ⋯， n)
样本i 的主成分得分值为
式中，其中，归一化得
( j = 1 ，2 ， ⋯， p) ，即为xj 的权数。
4、熵值法
熵值赋权法是根据各指标的信息载量的大小来确定指标权数的方法。按照信息论的观点， 考察各指标在指标体系中的作用，必须研究指标的变异度。指标的变异度越大，该指标的信息量就越大，指标的鉴别作用也越大。信息量的大小可用熵值来测度，熵的减少意味着信息量的增加。
设xij表示样本i 的第j 个指标的数值， ( i = 1 ，2 ，⋯， m；j=1，2，……n) ，熵值法确定指标权数的步骤如下：
4.1 数据的标准化
由于指标的量纲、数量级及指标的正负取向均有差异，需要对初始数据作标准化处理。
对于越大越好的指标，令yij = ( xij - minxij ) / (maxxji - minxij ) ; (1)
对于越小越好的指标，令yij = (maxxij - xij ) / (maxxji - minxij ) ; (2)
其中，maxxij、minxij分别是第j个指标下各评价样本值的最大值和最小值。
然后再采用Z - Score标准化公式Zij = ( yij - ) /Sj ，进行标准化。其中， 为第j个指标的均值， Sj 为标准差。
由于计算熵时要取自然对数，因此指标值必须为正数，令uij = zij + d，其中d为使d +minzij略大于0的一个正数。这样便得到了标准化矩阵U = ( uij ) m ×n。
4.2 计算指标信息熵e和信息效用
首先，第j项指标下第i样本指标的比重pij :
其次第j 项指标得信息熵值为:
式中，常数K与统计样本数m 有关， 此时令k = 1 / lnm，则0≤e≤1。
第j 项指标的信息效用价值为信息熵与1 之间的差值:dj = 1 - ej
4.3 评价指标权重
利用熵值法估算各指标的权重，其本质是利用指标信息的价值系数来计算的。某个指标具体数值之间的差异性程度越大，其价值系数越高，对评价的重要性就越大。最后可以得到第j 项指标的权重，为：。
三、实证研究：确定节目评估指标权重
根据赛立信提出的“广播节目综合评估系统”的节目评估指标体系，运用上述方法，我们进行具体的实证研究。基于基础数据采集的限制，在这里我们仅探讨该指标体系中客观评价部分所涉及指标赋权。具体地说，就是运用上面介绍的几种方法，分别对计算客观评估部分的“节目评估指数”的各个指标（即到达率、收听率、听众占有率、满意度和忠诚度）进行赋权实证分析，然后增和地确定各个指标的权重。
在开始进行实证分析前，我们先作了研究所需的资料收集及预处理工作。包括：
（1）设计一个表格，分别向7位从事广播研究的研究人员采集意见，要求他们按照各自的经验判断，对各个指标在计算节目评估指数中的重要程度进行打分评价。
（2） 从赛立信公司的广播收听率调查数据库中，抽取相关的广播节目调查数据，包括到达率、收听率、听众占有率、忠诚度、满意度的具体指标值。
以下是分别运用德尔菲法、层次分析法、熵值法和因子分析法进行赋权实证分析的过程及结果。
（一）运用德尔菲法赋权
第一步：将权重征询表及赋权详细说明独立提供给专家组每一位成员，要求专家按照具体赋权方法明确赋权。回收的结果如下：
表3：专家组初步评议赋权值
|
专家
|
到达率
|
收听率
|
听众占有率
|
忠诚度
|
满意度
|
合计
|
|
A
|
0.10
|
0.30
|
0.30
|
0.10
|
0.20
|
1
|
|
B
|
0.10
|
0.40
|
0.20
|
0.10
|
0.20
|
1
|
|
C
|
0.20
|
0.30
|
0.25
|
0.15
|
0.10
|
1
|
|
D
|
0.25
|
0.25
|
0.25
|
0.15
|
0.10
|
1
|
|
E
|
0.20
|
0.30
|
0.30
|
0.10
|
0.10
|
1
|
|
F
|
0.15
|
0.30
|
0.25
|
0.10
|
0.20
|
1
|
|
G
|
0.20
|
0.30
|
0.20
|
0.15
|
0.15
|
1
|
|
平均值
|
0.17
|
0.31
|
0.25
|
0.12
|
0.15
|
1
|
第二步：将第一轮汇总过的专家赋权情况及进一步的赋权要求寄回给每一位专家，要求他们在了解整体情况之后提出自己的见解。此时，他们可以保留自己的初始意见，也可以对自己的意见做出调整。对于与整体意见存有较大差异的专家，需要征询他们的详细解释。如是，反复进行，直至专家组的意见逐渐趋向一致，得到最终的赋权结果（如表）。
表4：专家组最终评议赋权值
|
专家
|
到达率
|
收听率
|
听众占有率
|
忠诚度
|
满意度
|
|
A
|
0.20
|
0.30
|
0.25
|
0.10
|
0.15
|
|
B
|
0.15
|
0.35
|
0.30
|
0.10
|
0.10
|
|
C
|
0.25
|
0.30
|
0.20
|
0.15
|
0.10
|
|
D
|
0.25
|
0.25
|
0.25
|
0.10
|
0.15
|
|
E
|
0.20
|
0.30
|
0.30
|
0.05
|
0.15
|
|
F
|
0.20
|
0.30
|
0.20
|
0.10
|
0.20
|
|
G
|
0.15
|
0.30
|
0.25
|
0.10
|
0.20
|
|
最终值
|
0.20
|
0.30
|
0.25
|
0.10
|
0.15
|
实际中很难做到各位专家的观点达到完全一致，只需征询各位专家对形成的趋向性较强的结果的具体意见，基本达到各位专家对该结果大致持肯定态度即可。
（二）运用层次分析法赋权
第一步：邀请专家组成员分别给出五个比较指标的两两相对重要性判断矩阵。
第二步：对每一位专家给出的判断矩阵分别进行一致性检验。通过检验，则可以进行后续工作；否则，则需要专家重新调整判断矩阵，直至通过检验。
以专家C给出的判断矩阵为例：
表5：专家C给出的节目评估指数计算用指标的重要性判断矩阵
|
专家C
|
周到达率
|
收听率
|
听众占有率
|
忠诚度
|
满意度
|
|
周到达率
|
1
|
1/3
|
1/3
|
1
|
1/2
|
|
收听率
|
3
|
1
|
1
|
3
|
2
|
|
听众占有率
|
3
|
1
|
1
|
3
|
2
|
|
忠诚度
|
1
|
1/3
|
1/3
|
1
|
1/2
|
|
满意度
|
2
|
1/2
|
1/2
|
2
|
1
|
基于上述数据进行矩阵运算，求得最大特征值λmax=5.29，CI=0.073，CR= 0.065<0.1，通过一致性检验，可以进行赋权运算。
第三步：计算各判断矩阵的最大特征值及对应的标准化特征向量，经过综合后最终形成基于层次分析法得出的各评估指标权重。
表6 采用层次分析法得出的综合权重结构
|
|
周到达率
|
收听率
|
听众占有率
|
忠诚度
|
满意度
|
|
专家一
|
0.11
|
0.38
|
0.34
|
0.03
|
0.14
|
|
专家二
|
0.05
|
0.44
|
0.22
|
0.05
|
0.24
|
|
专家三
|
0.09
|
0.27
|
0.27
|
0.09
|
0.28
|
|
专家四
|
0.04
|
0.40
|
0.27
|
0.13
|
0.16
|
|
专家五
|
0.27
|
0.27
|
0.27
|
0.03
|
0.16
|
|
专家六
|
0.15
|
0.37
|
0.27
|
0.06
|
0.14
|
|
专家七
|
0.15
|
0.29
|
0.29
|
0.05
|
0.22
|
|
平均值
|
0.12
|
0.35
|
0.27
|
0.06
|
0.19
|
（三）运用熵值法赋权
为了尽可能地消除地区性的调查结果差异而对赋权产生影响，我们采用了天津、西安、武汉、广州、重庆等几个地区的某期调查数据，以求得初步得出普遍意义上的权重经验值。
接下来，就是运用上面介绍的熵值法的各个步骤进行数据运算。在该方法的具体计算过程中，最繁琐的环节是对原始的收听率数据进行标准化处理，而在后期的计算则显得比较直接。
通过运算，得到详细的计算结果如下：
表7：各指标的信息熵ej及权重wj
|
|
ej
|
dj
|
wj
|
|
周到达率
|
0.977987
|
0.022013
|
0.17
|
|
收听率
|
0.958385
|
0.041615
|
0.33
|
|
听众占有率
|
0.96309
|
0.03691
|
0.29
|
|
忠诚度
|
0.985353
|
0.014647
|
0.12
|
|
满意度
|
0.988894
|
0.011106
|
0.09
|
（四）运用因子分析法赋权
同样使用使用天津、西安、武汉、广州、重庆等几个地区的某期调查数据，并使用功能强大的专业统计分析软件SPSS对选取得节目数据进行因子分析。提取5个主成分因子，取特征值λ〉1的因子，则取前4个因子的特征值。
表8：提取因子fat1—fat4
|
|
fat1
|
fat2
|
fat3
|
fat4
|
fat5
|
|
特征值λk
|
1.568
|
1.352
|
1.028
|
1.003
|
4.82E-02
|
|
累积方差贡献率
|
31.37%
|
58.42%
|
78.97%
|
99.04%
|
100.00%
|
|
ωk
|
31.7%
|
27.3%
|
20.8%
|
20.3%
|
|
最终得到的四个因子的因子得分系数ljk
表9：最终权重结果
|
|
ljk
|
aj
|
wj
|
|
fat1
|
fat2
|
fat3
|
fat4
|
|
到达率
|
0.304
|
-0.007
|
-0.099
|
0.017
|
7.7%
|
8.7%
|
|
收听率
|
0.862
|
-0.033
|
-0.183
|
0.004
|
22.7%
|
25.5%
|
|
听众占有率
|
-0.256
|
-0.006
|
1.088
|
-0.017
|
14.0%
|
15.7%
|
|
忠诚度
|
0.015
|
1.014
|
-0.01
|
-0.073
|
26.5%
|
29.8%
|
|
满意度
|
0.008
|
-0.087
|
-0.019
|
1.011
|
18.0%
|
20.2%
|
（五）综合以上四种方法，确定各个指标的权重
从上面的结果可以看出，四种结果之间均存在着明显差异。考虑到四种方法均对信息之间的差异性进行了行之有效的润滑、修匀，为此，我们直接计算四种结果的算术平均数作为综合后的结果。
表10：各种方法计算的指标权重
|
|
德尔菲法
|
层次分析法
|
因子分析法
|
熵值法
|
综合结果
|
|
周到达率
|
0.20
|
0.12
|
0.09
|
0.17
|
0.14
|
|
收听率
|
0.30
|
0.35
|
0.26
|
0.33
|
0.31
|
|
听众占有率
|
0.25
|
0.27
|
0.16
|
0.29
|
0.24
|
|
忠诚度
|
0.10
|
0.06
|
0.30
|
0.12
|
0.15
|
|
满意度
|
0.15
|
0.19
|
0.20
|
0.09
|
0.16
|
上述结果显示，如实反映节目听众规模的收听率和反映节目竞争力强弱的听众占有率对最终节目评估指数的具有更大的影响力；周到达率、满意度和重程度对节目评估结果的影响力大致相当。
鉴于数据处理的便捷性，在保证各指标间权重不失合理性的情况下，对上述结果作合理的调整，得出客观评价中计算节目评估指标的各个指标的权重如下表。
表11：客观评价中计算节目评估指标的各个指标的权重
|
指标
|
周到达率
|
收听率
|
听众占有率
|
忠诚度
|
满意度
|
合计
|
|
权重
|
15%
|
30%
|
25%
|
15%
|
15%
|
100%
|
需要说明的是，市场导向型的权重赋值方法完全由调研数据来决定。不同的调研地区的调查数据的差异性必然有一定的差别，因而最终确定的权重也可能有所不同。以上赋权结果大致是就全国整体市场而言。在实际操作时，各个地区也可以根据本地的调查数据来进行赋权分析，确定各个指标的具体权重。
|
