市场调查分析师考试《调查概论(中级)》教材讲义-第九章 数据处理【圣才出品】

第九章数据处理

第一节引言

数据处理就是把调查中收集到的数据转换为适合汇总制表和数据分析的形式。它包括数据收集完毕之后、作估计之前对数据进行加工处理的所有活动。

处理步骤的顺序取决于特定的调查以及处理步骤的自动化与否。处理的过程为：

1．数据收集后的第一步是全面核查问卷上的数据。包括为检查出明显错误和数据不一致性而进行的初步审核和净化。

2．对问卷上的回答进行编码。

3．将数据录入计算机(即将数据转换为电子信息)在这以后可能还要进行进一步编码。

4．详细审核。

5．进行离群值的检测，辨别出可疑值或极值。

6．当编码、录入、审核和插补工作完成之后，将数据储存在数据库中，以便于数据的后期处理。

第二节编码

编码是给问题的每项答案赋予一个数值代码，以便于数据录入和作进一步处理的过程。

编码工作通常包括手工操作和自动化操作两个方面，具体方法很多，包括：

1．问卷中已预先编码。

2．在数据收集完毕之后进行手工编码。

3．通过文本识别软件进行自动编码(即借助软件给一串字符赋予一个代码)。

一、预先编码的问卷

对预先编码的问卷，调查人员或被调查者在调查时需要做的只是在合适的代码上打勾或画圈即可。口头的或手写的原始回答并不需要录入。代码框可以紧挨着要编码的选项，也可以放在问卷的边缘。预先编码只适用于封闭式问题，对开放式问题则不适用。

二、手工编码

对于开放式的问题，在手工编码过程中，编码员(通常在数据收集之后)要阅读、理解问题的书面回答并把它编成数字代码，数字代码可以录入计算机，也可以直接标在问卷上。

编码员要进行严格的培训，因为使用编码方案需要考虑以下问题：

1．可能回答的答案数。

2．复杂性(判断)。

3．回答的不明确性(即回答的质量不高)。

三、自动编码

通常，自动编码系统需要输入两个文件，其中包含了典型的书面答案和相应的数字代码。

自动编码的第一步是解析。解析就是把被调查者的回答标准化，使计算机能够识别的过程。解析通常包括消除无关字符。下一步，对编码文件中需要编码的记录，从参考文件中去查找完全匹配的选项。找到了，就把参考文件中相应选项的代码复制到调查文件中，这样，这一条记录的编码就完成了。如果找不到完全匹配的选项，就要试图找最接近的选项。

第三节数据录入

数据录入是将回答转化成可机读的形式。采用纸张式收集数据的方法时，数据录入是在数据收集完毕之后(通常是在对问卷进行一些“梳理”和初步审核之后)进行。

下面几种方法可以提高数据录入的效率：

1．采用计算机辅助数据收集方法。

2．对纸张式问卷进行光电扫描。

3．对纸张式问卷进行预先编码。

计算机辅助数据收集方法的主要优点是数据收集和数据录入可以同时进行，从而比纸张式数据收集方法速度更快，效率也更高。它的不足之处是需要专门的技术人员进行软件的开发和测试。

第四节审核

一、审核及其分类

审核是应用各种检查规则来辨别缺失、无效或不一致等造成数据记录的潜在错误。

审核的目标是：

1．更好地理解数据和数据处理过程；

2．检查问卷；

3．回访被调查者；

4．检出填错的或漏填的数据；

5．删除无效记录；

6．分离需要插补的记录。

审核主要可分为三类：即有效性审核、一致性审核和分布审核。

有效性审核和一致性审核是对单张问卷进行审核；分布审核是对全部问卷或部分问卷的数据一起进行审核。

有效性审核是检查被调查者回答的语句语法是否正确，检查包括是否规定在填数字的地方填上了非数字的字符以及问卷中的回答是否有缺失等错误。

一致性审核检查不同问题之间的关系是否正确。一致性审核可以基于不同的问题或同一问题的不同部分之间的结构关系、逻辑性和合法性来进行。

分布审核试图通过数据的分布，来辨识记录是否远远脱离分布的正常范围，即有些数据是否为离群值。分布审核有时也称为统计审核或离群值的检测。

审核规则通常是基于以下几方面的原则来确定的：

1．关于调查主题的专业知识；

2．问卷和问题的结构；

3．其他相关的调查或数据；

4．统计理论(如离群值的检测方法)。

二、审核的时间(何时审核)

1．由下列人员在数据收集时进行的审核：

（1）调查人员在调查过程中进行；

（2）调查人员在调查结束之后立即进行；

（3）由督导进行审核；

（4）在数据处理过程中进行审核。

收集数据时所做的审核经常称为现场审核。现场审核一般包括有效性审核和一些简单的

一致性审核。现场审核的目的是：

（1）确认是否需要改善收集数据的工具；

（2）发现明显的错误；

（3）发现缺失信息；

（4）“净化”被调查者的回答；

（5）确定是否需要进一步培训。

现场审核目的之一就是校正访问时被调查者和调查人员造成的错误；并确定是否有漏填(或称缺失)的信息。现场审核的另一个目的就是“净化”被调查者的回答。

督导的任务之一就是检查调查人员的工作，发现错误，并把意见反馈给调查人员，让他们采取相应的补救措施。

2．数据收集后进行的审核

数据收集完毕后，对审核中发现的错误，通常按下列方法进行处理：

（1）在进一步的处理中将其剔除；

（2）进行插补；

（3）设立特殊代码。

三、选择性审核

选择性审核的基本思想：只有那些审核中发现的“关键”问题而不是所有的问题，才需要采取相应的处理措施。选择性审核一般适合于定量数据。

选择性审核的一些方法如下：

1．自上而下法

即对于一个给定的估计域，按(加权后)数据对估计影响的大小，从上到下将数值列表，并逐一检查，当下一个影响最大的数据值对域估计的影响不是很显著时，就停止往下检查和

验证。

2．聚集法

找出可疑的域估计，就要分别检查该域中各个加权后的数据。

3．画图法

把数据画成图形，确定可疑值。

4．问卷打分法

有人建议给每个被调查者按所答问卷上可疑数据项的多少和那些对应变量的相对重要性打分，只有得分高的，即对调查有较大影响的记录才作检查。

选择性检查的优点有：

1．节省费用且不降低数据质量；

2．把重点放在影响较大的记录上，从而提高数据质量；

3．缩短处理时间，加快进度，从而提高时效性；

4．减少回访比例，减轻被调查者答题负担(这对小单位特别重要，因为他们对回访特别敏感)。

选择性审核的缺点有：

1．从个体单位的水平看，对数据质量重视较少；

2．对于较小的估计域，与对问卷全部审核时相比，非抽样误差可能会增大；

3．可能会有来自数据处理人员和数据用户方面的阻力，数据用户可能认为数据缺乏可信度；

4．数据中可能存在不一致性，从而给数据用户造成数据质量不佳的印象。

四、手工审核与自动审核的比较