学术研究中,通过问卷收集数据,进行分析的情况越来越多。但在问卷收集数据时,难免会出现填写者乱填,或者不知道如何填写等,最终导致收集数据不准确,研究结论不可靠等问题。
如果问卷收集数据不准确,通常会带来数据信度和效度的影响。单独从肉眼看数据都挺正常,但使用研究方法进行测量就会立刻现出原形。
学术研究上使用量表居多,而且也只有量表也才能进行信度和效度测量,数据的信度即可靠性是最为基础,同时数据的有效性也是数据质量的基本要求。研究者可通过SPSSAU问卷研究模块进行信度和效度测量。
既然数据问题会带来信度和效度问题,那应该如何防范呢,出现问题时又如何解决呢?本文从两个部分进行阐述,如何保证数据质量。
一、防范无效样本
首先从防范的角度来看,从问卷设计和问卷收集两个角度提供以下六点建议:
1. 题目不能过多
题目过多会导致填写者不耐烦,越到后面的问题越不准确,如果是学术研究,通常有一个标准是测量变量的5倍左右,比如测量变量有10个,每个测量变量通常对应4~7个题,那么加起来共有50个题左右,除此之外再加上一些基本的个人信息题和一些样本行为特征题即可。因此如果研究越复杂,研究变量越多,那么问卷设计的题目也会越多,对于收集数据的质量控制也应该越高;问卷设计时不是题越多越好,而应该以刚好匹配研究目的为准。
2. 设置测谎题
问卷设计时可加入个别测谎题,此种做法的好处是可以在后续处理时很好的进行识别出无效样本,快速地检查出样本是否真实回答问卷。
3. 问卷整体规范
比如问卷设计时措词表达的简洁易懂,问卷结构的清晰简单,问卷是给用户填写使用的,一定需要站在填写问卷人的角度进行换角度考虑,设计出结构清晰简单易懂的问卷,别人也更加愿意为你填写。
4. 互填问卷需谨慎
问卷研究时样本数量一般要求是量表题的5倍,严格是10倍。比如问卷中有40道量表题,那至少需要200个样本才适合。问卷设计好后,通常是让朋友同学进行填写,但是数量有限,还是不够,所以现在出现较多的问卷互填QQ群,陌生人帮助填写等,陌生人为你填写,也没有利益问题,所以此类样本的准确度没办法保证,因此在问卷设计时有个测谎题就可以用于后面的识别。
5. 收费样本需谨慎
当前有比较多的问卷网站提供样本收集服务,如果使用此类服务,建议自己设置一些测谎题用于判断是否真实有效的样本。
6. 问卷预测试
上述已经说明,问卷是否真实可靠,是否有效,肉眼根本无法识别,但是使用分析方法一下子就能看出。因此一般可以先收集小部分(比如50个)数据后,进行预测试分析,一般是做信度分析,大概看下效度分析情况。先做到心中有数,如果预测试出现大的问题,提前发现问题,修改一些问卷规范,重新找有效的样本等。
二、无效样本处理
上述六种办法,已经做好各种防范,相信问卷中无效样本已经非常少,余下的都是有效样本了。但实际上并非如此,比如说会出现这样的样本,很多个量表题都选择同一个答案(比如‘同意’)。也或者填空年龄,结果出现一个数字110。类似这样的都属于无效,应该进行处理。
如果对无效样本不进行处理,肯定会导致分析出现问题。因此在做好各种防范后,还需要在数据收集完成后对数据无效性进行处理。接下来以SPSSAU无效样本和异常值处理这两个功能点进行说明。
1. 无效样本
首先找到SPSSAU提供的无效样本处理功能。数据处理》无效样本,如下图:
SPSSAU提供两种情况的无效样本设置:第一种是完全相同数字超过一定比例时设置成无效样本。不认真填写者通常有个特别是完全选择相同的答案,一般以量表题选择相同数字超过70%作为标准。
性别、学历这种是样本本身的属性,到底是男还是女,无法测试。所以一般选中问卷中的所有量表题,比如30道题表题,30个量表题中70%都是相同数字,意味着21个题都选择同样一个答案,这种一般就算无效样本。这里70%是常见处理方式,当然也可以设置成60%或者80%的标准。
除了相同数字识别成无效样本,SPSSAU还提供缺失样本比例超过某数字后,也设置成无效样本。如果一大堆答案都不选择,那肯定也属于无效。具体有多少比例的答案没有做出回答算成无效,没有固定的标准,一般70%以上肯定是无效样本。
设置好无效样本后,默认会新生成一个标题,用来标识那些样本是有效,那些是无效,在分析的时候直接进行筛选下就好。
2. 异常值
除上述无效样本外,还有一种情况是异常值也需要特别注意,比如有一个题是问年龄,样本回答为1岁,那肯定这个数字是有问题的,有可能填写者没有看清楚,也或者看清楚了写错了,也可能乱填,都有可能。
无论如何,当出现此种情况下都需要进行处理。SPSSAU数据处理里面的异常值功能可进行设置,并且提供多种选项处理方式等,如下图:
异常值的判断标准上,可按数字为null即‘缺失数字’当成是异常值,也可以设置在某个范围的数字(比如年龄大于100或小于0)为异常值,当然还有一种标准是数据超过3个标准差当成异常值。
异常值标准设定后,具体如何处理,正常情况下是设置成null值。当然也可以考虑进行填补,用正常的数据特征(比如平均值)去填补异常数据。具体情况视研究者偏好而定,没有固定的标准。
本文针对问卷无效样本的防范,以及通过SPSSAU对无效样本进行处理进行说明。除此之外还特别提示大家,如果问卷是量表题,多做信度和效度分析等,利用科学的研究方法进行分析,这样才具有说服力,数据是否真实可靠,问卷设计是否规范,不是个人说了算,而是通过科学的研究结论进行论证。
热门跟贴