在线问卷调查的质量控制法

合集下载

在线问卷数据质量控制方法

在线问卷数据质量控制方法

在线问卷数据质量控制方法
在进行在线问卷调查时,保证数据质量是至关重要的。

以下是几种常见的在线问卷数据质量控制方法:
1. 预筛选参与者:在问卷发布之前,可以通过预筛选参与者来控制数据质量。

可以选择特定的受众群体,并排除那些可能会影响数据真实性的受众。

2. 引入验证问题:在问卷中引入一些验证问题,以检验参与者的真实性。

例如,可以询问参与者的年龄或居住地等信息,并与其他问题的回答进行比对,以确保参与者的回答是一致的。

3. 设定合理的答题时间:通过设定合理的答题时间来避免参与者匆忙回答问题或敷衍回答。

过短的答题时间可能导致参与者随意选择答案,而过长的答题时间可能引起参与者的不耐烦。

4. 检查重复回答:在问卷系统中,可以设定检测重复回答的功能,以避免同一参与者多次提交相同的问卷。

这可以提高数据的准确性和可靠性。

5. 设置逻辑跳转和必答问题:通过设置逻辑跳转和必答问题来确保问卷的逻辑完整性和数据的完整性。

逻辑跳转可以根据参与者的回答
跳过或展示特定问题,而必答问题可以确保参与者对关键问题进行回答,避免数据缺失。

6. 数据清洗和验证:在收集到数据后,进行数据清洗和验证是必不可少的。

可以对数据进行查重、删除无效回答、修正错误回答等操作,确保数据的准确性和一致性。

7. 数据比较和分析:在进行数据分析时,可以将不同样本之间的数据进行比较和验证。

通过比较不同样本的回答情况,可以进一步检验数据的可信度和一致性。

总之,以上方法可以帮助控制在线问卷数据的质量。

然而,数据质量控制是一个持续的过程,需要不断监控和改进,以确保数据的准确性和可靠性。

探析问卷调查的质量控制

探析问卷调查的质量控制

华中师范大学研究生课程论文论文题目探析问卷调查的质量控制完成时间2015年2月12日课程名称政治学研究方法专业地方政府学年级2014级探析问卷调查的质量控制摘要:问卷调查是我们进行社会科学及自然科学研究的重要研究方法,它是获取有效研究资料的重要手段,通过问卷调查,我们可以有效了解被研究对象及研究主题的相应状况,根据所获取的的调查数据进行分析,验证所要研究的课题,因此,它是学术研究中非常重要的研究手段,但是,如何进行有效的问卷调查以及如何控制问卷调查的质量,这直接关系到研究者所研究课题结果的信度和效度,因此,对于问卷调查的质量控制也是十分重要的。

关键词:问卷设计信度效度质量控制在现行的学术研究中,问卷调查的研究手段已经是非常普遍及重要的,尤其在社会科学的实证研究等方面表现得尤为突出,问卷调查获取的数据资料直接反映了研究对象的客观现象。

其实问卷调查法也称“书面调查法”,或称“填表法”,它是用书面形式间接搜集研究材料的一种调查手段,它是实证研究中研究者用来收集资料的一种常用方法,以语言为媒介,使用严格设计的问题或表格,收集研究对象的资料。

其方法主要适用于一些标准化的问题,以及描述性研究和解释性研究。

①其实在学术研究中,问卷调查法被广泛运用无异乎于几方面原因,也就是问卷调查法的几方面优点,问卷调查法它能够通过相对较短的时间快速有效地收集研究数据及资料,并且高质量的问卷调查其效度和信度都较高,样本数量大,课题研究者可以有效收集到高质量的研究数据,并且其数据结果易于统计分析和数据量化。

此外,问卷调查对于被调查者的干扰小,可行度也较高,所以在学术研究中应用较为广泛。

当然,要准确地运用问卷调查方法来客观真实地反映调查课题的调查结果,我们必须在问卷调查的前期问卷设计、中期的调查手段及态度和后期的整理、分析处理等方面做好质量把控,以使得准确客观地反映调查结果,才能为学术研究提供有价值的指导意义。

一.调查问卷的前期内容设计(前期控制)问卷调查的前期控制主要体现在问卷设计方面,问卷设计的质量直接关系到问卷所调查的受众意愿及调查结果的准确性,因此,为有效把控调查问卷的质量,其问卷设计必须满足相应的调查要求。

调研质量控制

调研质量控制

调研质量控制调研质量控制是指在进行调研活动时,通过一系列的措施和方法来保证调研结果的准确性、可靠性和有效性。

良好的质量控制可以确保调研数据的真实性和可信度,提高决策的科学性和准确性。

一、调研质量控制的重要性调研质量控制是保证调研结果可靠性的关键环节。

只有确保调研数据的准确性和可靠性,才能为决策提供科学依据。

良好的质量控制可以减少调研过程中的误差和偏差,提高调研结果的有效性和可比性。

二、调研质量控制的方法和措施1. 研究设计阶段的质量控制:在研究设计阶段,需要明确调研目标、研究问题和调研方法,并进行合理的样本设计。

同时,还需要制定详细的调研方案,明确调研过程中的操作步骤和流程,确保调研的科学性和可操作性。

2. 问卷设计阶段的质量控制:在问卷设计阶段,需要制定合理的问卷结构和问题设置。

问卷应该清晰、简洁、易于理解和回答。

同时,还需要进行问卷的预测试,通过对少数受访者进行试调研,发现问题并进行修正,确保问卷的质量和有效性。

3. 调研人员培训和管理的质量控制:调研人员是调研活动中的重要环节,他们的素质和能力直接影响调研结果的质量。

因此,在调研之前,需要进行调研人员的培训,包括调研目的、调研方法和调研流程等方面的培训。

同时,还需要建立调研人员的管理机制,确保调研人员按照规定的流程和要求进行调研工作。

4. 数据采集阶段的质量控制:在数据采集阶段,需要制定详细的数据采集方案,明确数据采集的时间、地点和方式。

同时,还需要进行数据采集人员的监督和管理,确保数据采集的准确性和可靠性。

此外,还需要对采集到的数据进行有效性检查和数据清洗,发现并纠正数据中的错误和异常值。

5. 数据分析和结果呈现阶段的质量控制:在数据分析和结果呈现阶段,需要使用合理的统计方法和分析工具对数据进行处理和分析。

同时,还需要进行数据的逻辑检查和结果的合理性检验,确保分析结果的准确性和可靠性。

最后,还需要将调研结果以清晰、简洁和易于理解的方式呈现给决策者,确保调研结果的有效传达和利用。

在线问卷调查质量控制的18项准则

在线问卷调查质量控制的18项准则

在线问卷调查质量控制的18项准则你们如何保证在线问卷调查的数据质量,在质量控制方面都做了些什么?在线问卷调查质量控制的18项准则说起来这个话题,在我从业的这将近10年里,几乎遇到每个新客户都要讲一讲。

当回头去看的时候,我们发现,这些年,我们也是在质量控制方面做了很多努力,技巧和标准都越来越充实。

有一些是标准化的,有一些是要根据不同的项目来分别对待的。

以至于到现在,在每个项目的开始,除了一些基础通用的质量控制方法,我们还会针对这个项目着重的使用一些控制方法。

我们为日常的质量控制所开发了20条原则,这些也是贯穿我们项目执行中所遵循的准则:Panel来源和身份验证阶段1、IP与注册地址相匹配:在线问卷调查的区域性限制决定了北上广等大型城市的问卷要多于三四线小城镇。

IP和地址的匹配杜绝了用户为获取更多问卷而恶意填写注册地址。

2、限制和移除多次注册:同一IP和设备(包括电脑和手机)只能注册一次。

尤其是现在的手机设备,我们可以通过设备编号锁定账户,多个账户将被移除。

3、机器注册自动检测:这个就不多说了,安全的第一道防线。

4、支付宝实名认证,手机号码唯一,绑定微信的身份验证:通过支付宝,微信招募,使用支付宝实名和微信唯一的第三方方式来保证账户的唯一性和真实性。

保证每个意见都来自于真实的受访者。

5、身份证号码填写和上传身份证照片的终极验证方式。

访问阶段6、设备唯一:无论是电脑和手机,每一台设备都可以通过cookie和设备号来限制唯一性。

7、IP检查:同一个IP只能作答一次,同时不是问卷目标城市的受访者IP限制作答问卷。

适合于地域限制比较强的问卷。

例如我们执行的厦门当地啤酒的项目,非厦门的IP的受访者即使是收到问卷邀请也不能进入问卷参与作答。

8、人口属性的匹配:注册时填写的人口属性和问卷作答时的信息双重校验。

不一致则被弹出。

9、答题时长的检测:答题时间过短很可能造成不认真看题。

而有些例如概念测试,广告测试的项目答题时间过长,很可能已经忘记前面的测试内容。

在线问卷数据质量控制方法

在线问卷数据质量控制方法

在线问卷数据质量控制方法
在线问卷是一种常用的数据收集方法,但是由于受到回答者的主观因素和其他外部因素的影响,可能会导致数据质量不高。

为了控制在线问卷数据的质量,可以采取以下几种方法:
1. 设定答题时间限制:通过设定合理的答题时间限制,可以减少回答者在回答问题时的思考时间,从而减少主观判断的干扰,提高数据的客观性。

2. 添加逻辑验证题:设计逻辑验证题目可以帮助识别问卷中的回答错误或矛盾的情况。

例如,在问卷中添加一些必答题和互斥选择题,如果回答者在回答中出现矛盾或错误,可以通过逻辑验证题来检测并剔除这些无效数据。

3. 设置限制条件:可以根据实际情况设置一些限制条件,例如,只允许特定的年龄段或地理位置的人参与回答,以确保样本的多样性和代表性。

4. 随机抽样:通过随机抽样的方式选择回答者,可以降低样本的偏倚性,提高数据的可靠性和可信度。

5. 数据清洗和校验:在收集到数据后,进行数据清洗和校验,剔除无效数据和异常值,确保数据的准确性和一致性。

6. 提供明确的说明和指导:在问卷中提供明确的说明和指导,确保回答者能够理解问题的意思,并给出准确的回答。

7. 数据监控和反馈机制:在数据收集过程中设置数据监控和反馈机制,及时发现并解决数据质量问题。

通过以上方法的综合运用,可以有效地控制在线问卷数据的质量,提高数据的可信度和可用性。

问卷调查的质量控制

问卷调查的质量控制

问卷调查的质量控制质量控制是任何类型的问卷调查设计项目的重要组成部分。

质量控制可以确保用户收集到的有效、准确的数据,以满足研究的要求。

一、质量控制的主要目的1. 确保反馈结果的准确。

确保问卷可以被正确、有效地解释,确定收集到的反馈结果有助于研究员作出正确地结论和决策。

2. 全面性。

确保所有必要的信息都得到了收集,以便研究者能够有效地收集和分析数据。

3. 确保数据准确性。

确保反馈结果的可信度和可靠性,以确保收集到的数据没有误差和故障。

二、质量控制的常见技术1. 背景研究。

在设计问卷之前,要进行足够的背景研究,帮助研究者选择最合适的设计方式,也有助于确定可以有效收集到足够的信息。

2. 样本规模计算。

计算样本规模时应考虑观测值的变化率、观测值的总体均值和总体标准差等因素,以确保问卷可以准确地反映所需量化的研究问题。

3. 问题设计和编排。

问题应该清楚准确地展示出问题内容,对话框架和回答方式也要确保其准确性。

4. 数据收集管理。

数据质量以及被调查者参与情况都应该得到充分管理,以确保收集到的数据符合要求。

三、有效应用质量控制1. 建立有效的过程控制和标准。

确保质量控制的过程连续性,能够确保问卷的准确性和一致性。

2. 使用专业的工具和技术。

应该使用可以满足需要的专业软件工具,以确保问卷质量的高效管理。

3. 执行结果追踪分析。

使用质量控制的结果追踪分析和问卷归档,以及在问卷设计过程中的质量监督是必不可少的。

4. 按照设定的标准执行。

确保执行时符合正式的标准,以保证收集到的数据准确可靠。

四、结论我们可以看出,质量控制是问卷调查的重要组成部分,能够帮助研究者有效地收集和分析有用的数据,以帮助作出正确的结论和判断。

质量控制应该应用到所有环节,从设计问卷到数据收集管理,对于提高问卷调查质量都是至关重要的。

调查问卷设计的质量控制

调查问卷设计的质量控制

调查问卷设计的质量控制际需要选择两个或两个以上的设计人员成立问卷设计小组,通过相互启发、讨论切磋,集中众人的智慧,避免设计缺陷,形成完善的问卷。

2.2以问卷设计的质量要求为标准,控制问卷设计过2.2.1明晰调查目的,精确界定调查问题问卷设计人员必须明确调查目的,要多与委托者进行沟通,全面了解、研究委托者公司决策层的市场营销战略,营销策略组合以及正在实施的营销计划,产品的特征及市场背景,必须完成的工作目标及完成工作所拥有的资源,分析委托者可能面临的机遇与难题,正确理解委托者的真正意图与真实需要。

并根据调查目的,确定调查主题,准确界定调查问题。

设计人员对调查目的越明确,对委托者营销情况研究越深入,问题界定就越准确,就越有助于提高问卷设计质量。

在问卷设计过程中,设计人员必须不断地提醒自己是否做到了准确地反映调查主题和调查目的,凡是不能体现调查主题或与调查目的无关的问题都必须舍去。

2.2.2收集有关资料搜集与问卷设计相关的资料,不失为提高问卷设计质量的有效捷径。

与问卷设计有关的资料可以就是尚无的同类或对数的问卷,通过深入细致分析和对照,予以先进经验,努力做到取长补短;也可以就是有关的市场信息,通过介绍与分析,调整问卷设计;还可以就是商品资料分类、职业分类、零售业态分类等国家标准,通过参照接纳,规范问卷设计。

总之,凡是有助于问卷设计的资料都可以收集,有关资料收集得越充份,介绍得越细致,越能够确保问卷设计的科学合理。

2.2.3问卷的初步拟定与修改一般而言,问卷由结尾、筛选、主体、背景及结束语等部分形成。

结尾部分通常包含问卷名称及编号、问候语、访问者身份、调查主题及调查目的概述、允诺信息、礼品信息、出访应邀与核对表明等内容。

筛选部分主要就是对被调查者展开甄选,以挑选出来合乎调查建议的被调查者展开调查。

主体部分就是问卷的核心部分,由问题和候选答案(或民主自由提问留出空白)共同组成。

背景部分主要就是有关被调查者的一些背景信息,通常包含被调查者的性别、年龄、教育程度、职业、平均值月总收入、婚姻状况、家庭人口等内容,为避免过早地遭不必要的婉拒,这部分通常放到问卷的后面。

问卷数据质量控制方法

问卷数据质量控制方法

问卷数据质量控制方法一、前言问卷调查是社会科学研究中常用的数据收集方式之一,但是由于受到各种因素的影响,问卷调查数据的质量可能会出现一定程度的偏差。

为了保证问卷数据的质量,需要采取有效的措施进行数据质量控制。

本文将从问卷设计、样本抽取、访问调查员培训、数据录入和清理等方面介绍问卷数据质量控制方法。

二、问卷设计1. 确定研究问题和目标:在确定研究问题和目标时,需要明确研究对象、研究内容和研究目的等方面的内容。

2. 制定调查计划:在制定调查计划时,需要明确调查时间、地点、方式以及样本规模等方面的内容。

3. 设计问卷结构:在设计问卷结构时,需要考虑问题顺序、问题类型以及问题数量等方面的内容。

同时还要注意避免出现歧义性问题和主观性问题。

4. 进行预测试:在正式进行调查前,需要进行预测试以验证问卷是否能够有效地获取所需信息,并及时对存在问题进行修改。

三、样本抽取1. 确定样本类型:在确定样本类型时,需要考虑研究对象的特点和研究目的等方面的内容。

2. 设计抽样方案:在设计抽样方案时,需要考虑抽样方法、抽样比例以及抽样误差等方面的内容。

3. 确定样本规模:在确定样本规模时,需要考虑研究目的、数据分析方法以及调查成本等方面的因素。

4. 进行随机抽样:在进行随机抽样时,需要遵循科学、公正、随机、代表性和可重复性等原则。

四、访问调查员培训1. 培训内容:在进行访问调查员培训时,需要对问卷调查流程、问题解答技巧以及信息保密等方面进行详细介绍。

2. 培训方式:培训方式可以采用现场教学、在线教学或者视频教学等方式进行。

3. 培训评估:在完成培训后,需要对调查员进行评估,确保其能够熟练掌握相关知识和技能,并能够有效地开展调查工作。

五、数据录入和清理1. 数据录入:在进行数据录入时,需要确保数据准确无误,并采用双录入或者多录入的方式进行校验,以避免数据录入错误。

2. 数据清理:在进行数据清理时,需要对数据进行逻辑检查、异常值处理以及缺失值填补等操作,以确保数据质量。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

2012-06-06 本文行家:夕阳牧马人一、引言在线调查在中国正处于从“量的增长”到“质的提升”的转换过程中。

企业在体验在线调查的高效、经济、便捷的同时,也承受着对在线调查数据真实性、可靠性的担忧。

一项最新的关于企业应用在线调查的研究数据显示,有意向使用在线调查的企业中,100%都曾提出过如何保证数据有效性的问题,87%的企业会问:“被访者从何而来,如何保证他们是真实的?”,85%的企业会问:“被访者如果不认真答题怎么办?”,而目前尚无意向使用在线调查企业中,出于对质量担忧的占到近60%。

对在线调查数据质量的控制与提升是每个企业已经或即将面临的问题。

1、现行主要质量控制手段的应用与局限性1)逻辑关系校验目前针对在线调查的质量控制方法中应用最为普遍的是逻辑关系校验,包含题目自身各选项间的逻辑和题目间逻辑。

选项间逻辑通常非常简单,主要是选项互斥或包含的关系,题目间逻辑主要存在于一些具有特定关系的指标中。

这些题目在问卷中数量有限,通常不会超过20%,且大多数与甄别部分相关,对主体问卷中题目数据质量的控制作用较微弱。

在线调查中,为了验证一些关键信息,尤其是和甄别相关的信息,我们会主动设置地雷题,用于筛选前后矛盾的答题者。

这种方法在一定程度上可以帮助我们辨别被访者是否存在作弊的情况,但这种辨别不是绝对的,因为一个被访者很可能在开始时的回答是真实的,但是由于问卷过于长等其他原因,在后期没有耐心继续认真回答时,在地雷题上出现前后不一的情况。

如果以此作为标准,筛除这些样本,那么在一个问题相对比较多的在线调查中,通过这种方法筛除的被访者比例可能是相当高的,而没有被筛除的人并不能排除其作弊的可能性。

2)历史数据比对基于在线调查的特殊性,对于有样本库的在线调查公司而言,可以将某一次调查的数据与注册信息或其他调查信息进行对比,验证其所填内容的真实性。

但一方面不是所有的问卷信息都可以作对比,另一方面有些信息对比后发现不一致现象,并不能100%说明是被访者作弊,因而这种方法在实际应用中存在一定的局限性。

3)基于内容的人工检查这种质量控制方法由于个性化很强,和产品或品牌本身特性相关,不是每个调查中都会涉及,也很难形成相对统一并且固化的质量控制方法,更多地需要研究者的介入。

综上,目前的在线调查质量控制方法对于有逻辑的题目可以进行控制,但是对于无逻辑或模糊逻辑的题目很难产生实际效果。

2、影响在线调查数据质量的关键因素在一个调查中,非抽样误差通常来自于三个方面:设计人员、访问员、受访者。

由于在线调查中没有了访问员的环节,相比传统调查,在线调查已经大大减少了产生非抽样误差的可能性。

在研究设计符合在线习惯的前提下,担心的唯一来源就是被访者了,一方面是被访者作弊,另一方面是被访者答题不认真。

一个符合在线习惯,同时不涉及过多个人隐私的问卷,被访者不存在主动作弊的动机,同时,后台严格的管理使被访者的作弊成本很高,因而作弊现象很少发生。

一旦发生,我们通常可以通过逻辑校验、设置地雷题、与会员过去答题情况和注册信息等已有属性对比来进行有效筛除,因而这一现象目前已得到有效控制。

但被访者答题不认真的情况尚未得到很好控制,一方面这种现象无法主动避免,主要是由于:1)在线调查无法主动控制被访者参与的情况;2)每个题目对被访者的吸引程度不同,被访者很可能对整体调查主题比较感兴趣,但对问卷中的某个内容不感兴趣而不认真作答;3)题目设计本身可能存在各种问题,造成被访者回答困难;另一方面,主体问卷中的绝大多数题目是无逻辑可依的,当前主要的质量控制方法无法对每个题目产生普遍作用,因而这一现象始终无法根除。

基于此,本研究通过探索无逻辑或模糊逻辑情况下的在线数据质量控制方法,剖析以下三个重要的问题:(1)如何系统应对在线调查中“答题不认真”的现象?(2)对于主体问卷中无逻辑或模糊逻辑的题目而言,是否存在“普适性”的质量控制方法,能够有效提高在线调查的数据质量?(3)在线调查与互联网紧密结合,具有不同于传统调查的数据存储特点,如何利用这些特点实现数据质量的“系统化”、“自动化”、“统一化”提升?二、研究设计基于上述研究目的,我们首先对典型在线调查项目进行综合分析,找出数据存在的典型现象;在此基础上,从概率角度出发,探索具有“普适性”的数据质量控制方法,并对应用结果进行评估,验证方法的正确性;再次,结合在线调查特点探索一套具有“可复制”性的质量控制方法,使在线调查质量得到“系统化”、“自动化”、“统一化”提升。

1.典型的“答题不认真”数据现象我们首先从2010年至今的各类在线调查项目中抽取了不同调查主题、涵盖不同行业的38个典型项目案例进行了评估,具体项目分布见下表。

在分析这些项目的数据特点前,我们已根据过滤条件、地雷题、问卷中显性逻辑关系进行了校验。

这些题目本身没有绝对的逻辑,与其他题目间也没有必然联系。

我们发现经过上述方法提出不合格的样本后,有些情况仍然无法杜绝,其中典型的现象是被访者回答的选项数量超过合理值范围。

我们抽取其中一个典型案例加以说明,如下图所示:比如,当提及过去3天吃过的快餐时,有被访者回答吃过12种,远超过平均的选项数量2种。

再如当提及过去3天看过哪些电影时,有被访者回答看过19部,远超过平均的选项数量2种。

对于在线调查而言,我们无法主动控制被访者选择时的状态和认真程度,这种数据现象在每个题目中都或多或少会出现。

对平均值影响最大的因素就是奇异值,哪怕只有一两个奇异值,也会使数据结果出现较大波动,在回归等分析中产生较大影响。

因而虽然奇异值很少,但仍会影响统计分析的准确性。

由于每个题目的奇异值标准不一样,如何用一种高效的、普适性的方法找到奇异值是我们面临的首要问题。

2、具有普适性的质控方法——概率清除(1)概率清除的基本原理概率统计中的3σ原理告诉我们,通常情况下,标准正态分布时有99.7%的可能数据应该落在μ+3σ的范围内(其中μ为均值,σ为标准差),如下图所示:而选项个数在一定程度上是比较稳定的,即所有人选择个数的均值是相对稳定的,这也是为什么可以通过数据找到事物客观发展规律的原因。

考虑到不同情况下大家行为的差异,我们既不能轻易删除被访者数据,但也不能轻易相信所有的回收数据。

因而需要利用科学的方法对被访者的回答进行筛除。

由于数据落在μ+3σ范围内的概率均超过99%,也就是说一个正常的数据有99%的可能性会落在这个范围内,超过这个范围的值发生的概率极小,因而一旦发生,可以认为是奇异值,需要剔除掉。

(2)概率清除的方法应用接下来,我们对上述典型案例中的题目进行验证,在过去3天吃过的快餐一题中,我们发现落在μ+3σ范围内的,即选项数量小于等于7.3个的比例为99.7%,有0.3%的人回答的选项数量超过合理范围,发生的可能很小,可认为是奇异值。

此外,在线调查中,由于系统自动记录了每个题的答题时间,因而从答题时间上,我们同样应用概率清除的方法,对每个题的答题时间落在μ+3σ范围外的数据进行剔除。

概率清除的质量控制方法在传统调查中是很难实现的,一方面记录每个题的答题时间会耗费大量精力物力,不具有可行性,即便能够记录,在以访问员为介质的调查中无法有效控制记录的准确性和有效性。

另一方面由于涉及题目多,计算过程相对复杂,单单依靠研究人员无法在有限的时间内,对所有题目进行同样的处理,结果导致没有人根据这些原则对项目数据进行严格的质量控制。

但与在线调查特点相结合,基于概率清除的数据质量控制可以得到很好的应用,从而对“答题不认真”现象进行普遍控制。

3、应用结果及其评估验证(1)应用结果在上述典型案例中:A)通过概率清除方法,平均每个题目可以在现有基础上,使2%-3%不好的数据得到清除,如下表所示:B)当我们把同一个被访者超过合理范围的次数进行统计,我们会发现:一个题目不认真作答的人数占总人数的4.21%,两个题同时不认真作答的人数占比为1.05%,3个题同时不认真作答的人数占比为0。

剔除的不认真回答数据占全部回答人数的5.3%。

在将这一方法运用于其他37个项目后,我们发现:C)随着答题时间的增加,“答题不认真”现象随之凸显,超过合理值范围的样本数随之增加。

在一个20个题的调查中,处在问卷末尾的题目,清除的不认真回答率约为5%。

(2)评估与验证为证明数据清除的有效性,我们在其他案例中将完全同质人群的在线调查数据与传统调查数据作对比,结果发现,概率清除后,在线调查数据与传统调查数据更为接近。

我们选取了具有人群覆盖广、认知程度较均匀的银行品牌竞争力调查项目,这样的项目能够较好的剔除由于人群行为特征的不同造成的数据差异,更能反映数据本身的质量。

在这个项目中,在线回收数据11963个样本,CLT回收8891个样本,CATI回收7457个样本。

三种渠道的样本构成完全一致,如下图所示:样本分布覆盖全国81个核心城市,其中省会以上城市占比超过50%。

本案例题目中(问卷第1题,且内容大家较熟悉,较容易作答),经过概率清除的不认真答题率为1%。

通过概率清除后的在线回收数据显示:在线回收数据中,最近三个月打过交道的银行的平均个数从3.52个降低到3.43个,概率清除前后,在线数据与拦截访问数据更为接近,平均差距缩小0.5%。

此外,三种渠道数据大体趋势相同,其中在线数据与CATI数据的趋势最为接近,但由于CATI数据的选项不提示特点,整体数据较在线调查与拦截访问降低了约10%的比例。

这个结果也同时验证了很少存在在线调查被访者整体作弊的情况,因而基于概率进行质量控制是可行的。

4、概率清除法的系统固化为了使在线调查的数据质量得到系统、稳定的提升,可以将这一质控流程固化在系统中,具体流程如下图所示:三、本次研究的意义及存在的问题1、本次研究的意义(1)创新性:针对当前无逻辑或模糊逻辑情况下质量控制手段缺失的现状,提出了概率清除的质量控制方法。

(2)科学性:较传统质控相比,由于“标准”是根据客观数据由系统计算得出的,因而改变了以往质控手段中“人为的”、“个性化的”运作特点,使“标准”更加客观、更加科学。

(3)有效性:通过这一质控手段,可以在现有基础上清除5%-10%答题不认真的数据,使数据质量提升。

(4)高效性:概率清除这一质控手段在在线调查领域具有“普适性”,与软件系统相结合,能够进行批量化处理,使在线调查的数据质量得到“系统化”、“自动化”、“统一化”提升。

2、本次研究的不足本次研究虽然采用概率清除的方法对“答题不认真”数据进行了有效清理,但仍属于事后控制的一种手段。

如引言所述,受访者的答题不认真可能是问卷设计不合理导致的被迫不认真,这种处于有效值范围内,以“非奇异值”形态存在的不认真现象,仍需从问卷设计这个源头进行深入研究。

两者相辅相成,“答题不认真”现象才能得到根除。

相关文档
最新文档