我太懂你的痛点了:
- 熬了一周设计好问卷,发出去收了300份,结果一做信度分析直接红一片,导师一句“数据无效”直接打回重写;
- 问卷发出去没人填,到处蹲红包互填群,花了大几十买填充,结果一半是乱填的无效卷,钱花了数据废了;
- 明明研究问题想清楚了,一做问卷设计就偏题,回收的数据根本回答不了你的研究问题,临到送审才发现方向错了,差点延期;
- 跟着网上零散的教程学,只会套模板,根本不知道每个步骤为什么要这么做,遇到变量调整就慌了神。
作为已经靠3篇带问卷的核心论文毕业、帮不下20个同门改好过问卷设计的过来人,今天把从定题到回收清洗的完整流程全部拆解给你,看完就能直接上手用,帮你一次通过导师的审核,拿到能用的有效数据。
先搞懂:研究生做问卷和市场调研有什么不一样?
很多同学刚上手就错,把网上随便找的市场问卷模板直接改一改就用,完全忽略了学术问卷对信效度的硬性要求。我整理了两者的核心区别,帮你一开始就找对方向:
作为研究生,我们的问卷核心要求就是“能用、能过检验、能支撑结论”,接下来我就一步步带你走完整个设计流程。
第一步:设计前的准备:把研究问题拆清楚,避免做无用功
90%的问卷设计翻车,都不是出在题目编写环节,而是一开始就没搞清楚自己要问什么。拿到研究课题先别急着编题,做好这两步再动手:
明确你的研究框架和核心变量
学术问卷本质就是把你的研究假设用题项转化成可测量的数据,所以第一步必须把你的研究模型拆清楚:
- 你的研究核心是什么?要验证哪几个变量之间的关系?(比如“线上学习投入对研究生学业成就感的影响,自我效能感起中介作用”,这里的核心变量就是:线上学习投入、学业成就感、自我效能感)
- 每个变量的操作化定义是什么?有没有成熟的理论支撑?
- 你需要收集哪些人口统计学信息用来做控制变量?(一般是年级、专业、性别这类基础信息)
这里给大家一个新手最容易踩的坑:不要自己凭空造变量维度!如果不是做探索性研究,优先用领域内已经被反复验证的成熟量表,既可以满足效度要求,导师也挑不出毛病。给大家整理几个常用的成熟量表获取渠道:
- 知网搜索领域内高分论文,一般作者会在参考文献或者附录里标注量表来源
- 国内外专业量表库:比如美国教育研究协会的ETS量表库、中国心理学的量表中心(http://www.psychchina.com/liangbiao/)
- 经典心理学/管理学著作,比如《心理量表手册》这类工具书
确定合理的样本量,别等回收完才发现不够用
很多同学发问卷的时候随便收个两三百份就开始做分析,结果到了回归分析的时候自由度不够,或者检验不显著,才后悔样本量不够。这里给大家一个学术研究通用的样本量计算规则,直接套用就行:
- 如果只是做描述性统计:样本量至少是题项总数的5-10倍
- 如果做探索性因子分析:样本量至少是题项总数的10倍,总样本量不低于100
- 如果做结构方程模型、回归分析:总样本量最少不能低于200,理想状态是题项数的10-20倍,复杂模型最好到500以上
举个例子:如果你的问卷一共30个题项,做结构方程模型的话,样本量最好在300-600之间,最少不能低于200,低于这个数很容易出现模型拟合度不达标。
第二步:问卷结构设计:从头到尾的逻辑框架,照着套就行
一份合格的学术问卷,结构都是固定的,不需要花里胡哨,清晰符合逻辑就行,我给你整理好了标准模板,你直接按照顺序排就行:
卷首语:讲清楚规则,提高回收率和可信度
很多同学觉得卷首语没用,随便写两句就完事,其实卷首语直接影响你的问卷有效率。一份合格的学术卷首语必须包含这几个部分:
- 自我介绍:说明你是谁,哪个学校哪个专业的,做这个问卷是为了什么研究,比如“您好!我是XX大学XX专业的硕士研究生,本次调查旨在研究研究生科研压力对心理健康的影响,仅用于学术研究,请您放心填写。”
- 匿名承诺:一定要明确说明所有信息都是匿名的,不会泄露个人隐私,消除受访者的顾虑,尤其是涉及敏感问题的时候,这一点尤其重要。
- 填写要求:说明填写大概需要多长时间,有没有必填项,比如“本次填写共需要3-5分钟,所有题项均为必填,请您根据实际情况填写。”
- 感谢语:最后加上一句感谢,增加受访者的好感度,如果有需要可以说明可以提供后续的研究结果,或者留个联系方式答疑。
人口统计学变量:放在最前面,控制变量别漏了
一般把人口统计学变量放在卷首语之后,题项不要太多,只放你研究需要的控制变量就行,不需要什么都问。常见的控制变量题项包括:
- 性别、年龄、年级
- 专业类别(文科/理工科/医科等)
- 读研类型(学硕/专硕/直博)
- 家庭所在地、是否有工作经历等
根据你的研究需要选就行,不要为了凑数加很多没用的题,反而会让受访者反感,中途退出填写。
核心测量题项:你的研究核心,严格按照规范编写
这部分是问卷的灵魂,所有数据都来自这里,一定要注意规范,后面我会专门讲题项编写的技巧,这里先讲结构逻辑:
- 同一个变量的题项放在一起,不要不同变量穿插放
- 同一个维度的题项可以用相同的指导语,比如“请你根据你过去半年的科研状态,对以下描述打分,1分=完全不符合,5分=完全符合”,不用每个题都重复写一遍。
收尾:开放题可选,不要忘记致谢
如果你需要收集一些定性信息,可以在最后加1-2道开放题,比如“你认为当前研究生科研压力主要来自哪些方面?”,不需要多,最多两道就够,太多会增加受访者的负担。最后再加一句感谢就完成了。
第三步:题项编写的核心技巧:避开这90%的人都会踩的坑
题项编写是最容易出问题的环节,我整理了研究生做问卷最常犯的错误,还有对应的编写规范,你写完对照着改一遍就能避开大部分坑:
用Likert量表,不要随便用是非题
很多新手喜欢用“是/否”“对/错”这种是非题,其实对于学术研究来说,Likert量表(李克特量表)才是最合适的,因为它可以把态度转化成连续变量,方便后续做信效度检验和回归分析。
- 常用的是5级或7级Likert量表,5级用的最多,也就是“1=完全不符合,2=不太符合,3=一般,4=比较符合,5=完全符合”
- 双向题项要保留反向计分题,比如测量“焦虑”的时候,既有“我经常感到焦虑”(正向题),也有“我平时心态很平稳”(反向题),可以减少受访者的答题偏差,提高信度。
题项编写要符合这5个规则,别写模糊的题目
- 一句话只说一件事:绝对不要出现双重含义的题目,比如“我认为科研任务和导师沟通都让我压力很大”,这个题目到底是问科研任务还是问导师沟通?受访者根本没办法准确回答,一定要拆成两个题。
- 不用模糊的表述,所有表述都要具体:避免“经常”“有时候”这种模糊的词,因为不同人对“经常”的理解不一样,比如可以改成“我每周至少有3天会因为科研失眠”,比“我经常因为科研失眠”更准确。
- 不用引导性表述:不要暗示受访者应该选哪个答案,比如“很多人都认为导师压榨研究生,你是否也这么认为?”,这种题目本身就带有引导性,会导致数据偏差,一定要改成中立的表述:“你是否同意导师指导强度过大影响了你的身心健康?”。
- 不要问受访者记不清的问题:比如“你过去一年一共参加了多少次学术会议?”,大部分人根本记不清,随便选一个答案,数据就没用了,如果一定要问,可以改成范围选项:“0次/1-2次/3-5次/5次以上”,降低回忆的难度。
- 题项长度要适中,不要太长:一句话尽量控制在20字以内,太长了受访者看着累,容易乱选。
反向计分题怎么处理?提前搞清楚不然后期翻车
刚才说了,反向题可以提高信度,那反向题什么时候用?怎么处理?
- 使用场景:当你的量表是测量同一个特质的时候,加入1/4左右的反向题就可以,比如一个变量有8个题,放2个反向题就行,不用每个都反向。
- 后期处理:做分析之前一定要先把反向题重新编码,把分数反转过来,比如原来1分是完全不符合,反转之后5级量表里1分变成5分,5分变成1分,不然整个变量的得分都是错的,结果肯定不对。我见过太多同学做完分析才发现忘了反转反向题,白白浪费了几个月时间。
第四步:预调查与修改:花1天时间,避免后面翻车
很多同学设计完问卷直接就大规模发了,结果回收完才发现题项有歧义,信度不达标,再改已经来不及了。其实只要花1天做个预调查就能避免这个问题,步骤很简单:
- 先找30-50个符合你研究要求的受访者填预问卷,不用太多,这个数量足够检验信度了。
- 做一次初步的信度分析:看Cronbach's α系数,单个维度的α系数如果低于0.6,说明这个维度的题项内部一致性不好,要删掉偏差大的题项或者重新编写;总量表的α系数最好高于0.7,低于0.7说明你的问卷整体质量不行,要调整。
- 做探索性因子分析:看因子载荷,如果题项的因子载荷低于0.4,或者交叉载荷严重(在两个因子上的载荷都超过0.4),说明这个题项的归属不对,直接删掉就行。
- 找几个受访者问问:有没有看不懂的题项?有没有表述歧义?有没有题目让你不舒服?根据反馈修改表述,这个过程能帮你删掉很多有问题的题目。
预调查修改完之后,再发大规模的问卷,这时候你的问卷质量已经有保证了,不会出现大问题。
第五步:问卷发放与回收:提高有效回收率的实用技巧
设计好了问卷,发不出去或者收回来都是无效卷,也是研究生常见的痛点,我给大家分享几个亲测有效的方法:
选对发放渠道,匹配你的研究对象
如果你的研究对象是学生,优先用这些渠道:
- 朋友圈+师门/同班同学转发:成本低,都是真实的受访者,质量高,多找几个不同学校不同专业的同学帮你转,样本的多样性也够。
- 对应专业的社群:比如考研群、研究生互助群、专业论坛,进去先发个红包说明来意,大部分人都愿意帮忙填,不要直接发广告,容易被踢。
- 问卷互填群:这个是很多同学用的,但是要注意筛选,不要收乱填的卷,我给大家说个小技巧:加几个高质量的互填群,不要加那种几百人的大群,大群很多人都是随便填,100人左右的小群质量更高,填完互相截图,保证认真填写。
- 付费填答:如果实在找不到人,可以走付费渠道,比如问卷星的样本服务,或者找淘宝的靠谱商家,价格大概是1-3元一份,比你自己蹲互填省时间,但是一定要提前要求筛选样本,保证符合你的研究要求,拿到数据之后先清洗再用。
提高回收率的小技巧
- 控制问卷长度:总填写时间不要超过10分钟,最好控制在3-5分钟,太长了很多人填到一半就退出了,我见过太多同学做了七八十个题,回收率不到30%,白白浪费功夫,没用的题一定要删掉。
- 发红包激励:哪怕是一块钱拼手气,也能提高不少回收率,对于互填或者付费的,一定要确认填完再发钱,避免被骗。
- 错峰发放:尽量选在晚上或者周末发,大家有空填,工作日白天大部分人都在忙,看到也不会填。
第六步:回收后的清洗:把无效卷删掉,保证数据能用
回收完问卷不要直接就做分析,一定要先清洗数据,把无效卷删掉,不然会影响你的结果,我整理了判断无效卷的标准,符合任意一条就直接删掉:
- 答题时间太短:比如你的问卷正常填写需要3分钟,答题时间不到1分钟的,基本都是乱填的,直接删掉。
- 所有题选同一个答案:比如全部都选3分,这种明显是瞎填的,删掉。
- 前后矛盾的答案:比如前面说自己是研一,后面又说已经博士毕业,这种逻辑矛盾的直接删掉。
- 漏答题项超过10%:漏一两个题可以用均值填充,漏太多直接删掉。
清洗完的数据,再去做信效度检验和后续的分析,结果才可靠。
给研究生的几个实用小贴士,帮你少走半年弯路
最后给大家总结几个我做了好几次问卷总结出来的经验,都是踩过坑才明白的:
- 优先用成熟量表,不要自己瞎编:很多新手觉得自己编题很厉害,其实成熟量表已经被无数研究验证过信效度,你自己编的题很容易通不过检验,哪怕你要改编,也要基于成熟量表改,不要从零开始。
- 反向题不要太多:很多同学觉得反向题越多越好,其实反向题太多会增加受访者的答题负担,反而会降低数据质量,一般1/4左右就够了。
- 样本量够了就行,不是越大越好:当然不能太小,但是也没必要为了凑数收几千份,只要满足你的统计要求就够了,节省时间用在分析上更香。
- 一定要留备份:问卷原始数据、清洗后的数据都要存在云盘和本地两份,不要存在电脑里就不管了,丢了数据哭都没地方哭。
- 预调查一定要做:很多同学觉得预调查浪费时间,其实预调查花1天,能帮你避免后面几个月的返工,绝对是性价比最高的一步。
按照这个流程走下来,你设计出来的问卷绝对能满足学术要求,一次通过导师的审核,拿到能用的有效数据。如果你现在正在赶毕业论文的问卷部分,不如现在就对照这个流程,一步步调整,相信很快就能搞定。