一、质量控制的标准
质量控制的标准通常以欧洲市场研究协会(ESOMAR)《市场和社会研究的国际标准》和中国市场研究行业协会《中国市场研究行业规则》为运作规范,在此基础上,调查公司往往制订了更为明细、针对性更强的运作规范和质量控制标准,如赛立信公司的《赛立信市场研究项目管理规程》和《赛立信市场研究运作规范及实施流程》等。
二、质量控制体系
收听率调查的质量控制,是在收听率调查从项目设计到数据结果的整个实施过程中,围绕收听率数据源的三个要素(访问员、受访者、问卷及日记卡),通过一系列质量控制措施和手段进行的。
图收听率调查质量控制体系
三、质量控制的措施与方法
在上述质量控制体系中,针对收听率调查从项目设计到数据结果的整个实施过程,调查公司会针对各个环节的特性采取相应的质量控制措施,以保证各个环节的工作质量。同时,各个环节的质量控制和质量检验的结果互相验证、互为监督,从而保证收听率调查结果的科学性、客观性和准确性。
(一) 项目设计及项目人员培训阶段
1. 项目设计。项目设计前研究人员必须对目标地区广播市场以及广播电台的情况进行深入的了解,适度把握客户的需求和需要解决的问题;同时,对项目设计必须严格审核,确保相关方案达到预定的目标。
2. 问卷设计。研究人员专门设置与研究内容关系不大但逻辑性很强的问题,以便事后检验访问员是否有作弊行为。
3. 问卷试访问。研究人员将问卷或访问大纲初稿设计出来后,须充分征询运作部、数据部以及客户的意见,保证设计出来的问卷或访问大纲科学、合理及方便操作。
4. 项目组培训。由研究人员对项目组全体人员进行全面的培训,包括研究目标、分析思路、方法与流程、质量要求、问卷、访问大纲以及项目运作执行中的具体要求等等。
(二) 抽样阶段
1. 抽样员培训。要求对抽样员进行不少于120分钟的培训,包括基础培训(抽样的基本知识和技巧)和项目培训(项目的抽样方法、做法和要求)。
2. 抽样结果审核。对于抽样结果,抽样督导必须逐一进行审核,并进行一定比例的实地复核或电话复核,核查项目包括:(1)抽样员是否按照抽样方案实施抽样;(2)抽样间隔是否符合标准;(3)抽样表记录有无错漏;(4)抽样行走路线是否正确,图标是否清晰,等等。
3. 样本甄别与审核。所有的访问样本必须经过甄别问卷的甄别,并确认所有的样本符合项目研究对象的要求和受访条件。
(三) 访问员招募与培训阶段
1. 访问员招募。访问员招募必须经过严格的面试和筛选,重点考察其诚实度和沟通能力。
2. 访问员培训。所有的访问员在正式访问之前,必须分别经过不少于120分钟的基础培训和不少于60分钟的项目培训。
3. 模拟访问。培训结束后,访问员必须在现场进行一对一的模拟访问,以便让访问员熟悉问卷及掌握访问流程,发现问题并及时纠正。
4. 签署访问质量承诺书或质量保证协议。承诺书或协议中,调查公司严格界定访问员的职责、任务、报酬以及质量标准、奖惩规定等,访问员还须对保证访问质量予以特别的承诺和声明。
5. 访问员“黑名单”制度。2005年全国市场研究行业协会在业内会员单位推行了访问员“黑名单”制度,各会员单位将各自发现有作弊或作假行为的访问员公布到“黑名单”上,一旦上榜,所有的会员单位将不再聘用,以示惩戒。
(四) 访问实施阶段
1. 试访。每位访问员在正式访问前必须进行1-2个样本的试访,经过运作督导检查合格后,才可以正式访问。
2. 陪访。督导陪同访问员入户进行访问,主要目的是检查访问员的访问质量,受访者对问题的特殊反应,项目问卷的设计是否有不符合实际情况需要特殊处理等等。
3. 日记卡记录。在受访者记录日记卡阶段,访问员必须每周不少于两次上门或电话沟通,检查受访者记录情况。
4. 热线电话和联系卡。调查公司设立专线电话和联系卡,供受访者随时咨询记录日记卡的方法和问题,反馈相关意见。
(五) 审核
对于回收的问卷及日记卡,一般需要经过三级审核:
1. 访问员自审。访问员必须对所完成的问卷和回收日记卡逐一审核,确认没有任何问题以后,才交回给督导。
2. 督导审核。督导必须对其管理的访问员所完成的问卷进行更全面的审核。审核内容包括:入户情况接触表和问卷的真实性,访问程序是否正确,问卷答案是否有逻辑错误,问卷填写是否清晰完整,等等。
3. QC人员终审。若发现问卷出现错漏或者逻辑问题,需再次入户或通过电话方式补问;若出现严重问题,或无法补问完整的问卷,则作废卷处理。
(六) 复核
对于每位访问员所完成的问卷及日记卡,均随机抽取30%的比例进行复核。复核内容主要是:
1. 受访户的地址及个人资料是否正确、真实。
2. 再次甄别受访者是否符合条件和要求。
3. 访问员是否准确、完整地记录受访者的答案。
4. 访问员是否按照规定的程序和要求进行访问及赠送礼品。
若复核发现某一访问员的问卷有严重的质量问题,如有作弊行为,则须扩大对该访问员的复核比例;对于一般的质量问题,能够补问的可以要求访问员补问完整,否则作废卷处理;如果出现严重的作弊行为,或因无法补问、废卷率达到20%以上,则该访问员的问卷全部视为不合格问卷作废。
(七) 数据分析阶段
1. 录入程序。通过数据录入程序对问卷答案的逻辑性作条件性限制,从而在数据录入时检验出问卷质量,并在一定程度上控制录入员的出错率。
2. 数据录入。由经过培训、熟练电脑操作的录入员负责数据录入,必要时采取二次录入的方式,及时发现录入员错录并予以纠正。
3. 数据检查。在数据统计前,数据分析员须对每条记录逐一进行检查,保证原始数据的完整性和准确性。
4. 数据检验。数据汇总及分析结果出来后,数据分析员再进行数据误差及显著性检验。同时,研究人员还将对数据结果与历史数据及相关数据作比较检验。 |