1. AI查重的基本定义及主要定位
很多刚开始使用的用户很容易把AI查重和传统的文本复制比查重混为一谈,其实两者的底层逻辑、检测目的是不一样的。这里我们用核心逻辑差异对照表来一次性搞清楚两类技术本质的不同。
AI查重和传统文本查重在检测对象、技术逻辑、适用场景等维度的对比可视化卡片
以大家熟知的几款主流工具为例,ChatGPT生成的内容即使完全没有抄袭任何已公开文献,复制比查重结果为0%,也会被AI查重工具判定为AI生成内容;而人工完全原创、只引用了部分公开文献的文本,即使复制比查重结果达到30%,也不会被AI查重判定为AI生成。
作为近几年来才迅速发展起来的技术,AI查重的出现直接是由于生成式AI的爆发所导致的,根据OpenAI公开的语料范围说明,ChatGPT、GPT-4等大语言模型的训练语料包含了大量的互联网公开内容、学术文献、图书资料,普通人只需要输入简单的指令就可以很快地生成出几千字的完整文本,造成很多场景中内容的创作主体、原创属性无法确定,因此AI查重技术成了高校、出版机构、内容平台等验证内容创作合规性的重要工具。其中对于国内学术场景推出的知网AI检测系统,以及海外高校普遍使用的Turnitin AI Writing Report,是目前应用最广的两种AI查重系统,两者分别针对不同的语料环境和学术规范制定了专门的检测判定逻辑。
这里分享的是某985高校文科硕一新生真实的入门经历,该生入学后第一次完成课程小论文,偷懒用ChatGPT生成了3000字左右的课程论文主体,然后自己稍微修改了一些语句就提交了。出于好奇,他先用学校图书馆提供的传统知网查重系统进行检测,结果显示复制比为7%,完全符合课程论文的要求;但是他还是不放心,又使用了Turnitin AI Writing Report进行预检测,结果系统标记出78%的内容疑似AI生成,之后他又手动将内容全部用自己的话改写了一遍,再次使用知网AI检测系统进行复测,这次的疑似AI生成占比降到了12%。这次经历也使他发现了许多新手最容易犯的认知错误,即认为AI改写后的内容没有文字重复就不会被检测出来,实际上只要内容的表达逻辑、用词习惯符合大模型的典型生成特征,即使没有和公开文本重复,也会被AI查重工具识别出AI写作痕迹。
2. AI查重的核心作用原理
要理解AI查重的工作原理,首先要知道大语言模型生成文本的固有特点,无论是ChatGPT还是GPT-4所产生的内容,本质上都是根据训练语料库中各个字的出现概率来预测下一个字的结果,因此生成的文本具有用词偏好高度集中、句子长度分布非常均匀、逻辑衔接词使用频率远远高于人工创作、很少出现人工写作者常见的笔误、个性化表达和个人观点输出占比低等特点,这些隐藏的特征也被称为“生成式文本特征指纹”,是文本语义比对技术的主要识别依据。
AI查重的运行流程是固定的,正规的查重工具都会按照这四个步骤来执行,缺少任何一个环节都会导致结果不准确。
- 特征提取:系统会先对上传的文本进行预处理,去除标点、公式等干扰信息,然后从文本中提取出语序分布、用词频率、句长波动、语义连贯性等几十个主要特征,得到文本的特征向量。
- 语料库比对:把提取出来的文本特征同后台预存的大语言模型特征指纹库进行匹配,算出该文本的特征与已知大模型生成内容特征的重合度,也就是行业内常说的“LLM语料训练集匹配度”。
- 生成概率推演:利用预训练的概率模型来计算当前这段文本是由大语言模型自动生成的概率值,而不是简单的进行关键词匹配。
- 结果输出:根据系统设定好的阈值,把生成概率大于阈值的片段标记为疑似AI生成,输出相应的检测报告。
目前主流的AI查重工具技术路线主要有三种,分别是特征匹配法、概率模型分析法和语义指纹比对法,不同的工具采用的技术路线不同,最终的识别结果也会有所不同。整理出目前市面上主流的合规AI查重工具的核心能力基础对照表,所有数据均来自于各个平台的官方公开说明。
很多用户不明白为什么AI查重技术不能达到100%的准确率,其背后的原因有三个,分别是GPT-4等新一代大语言模型生成的低重复度内容,本身就做了大量的特征去重处理,生成的文本特征与人工原创特征的边界越来越模糊;二是不同的人写作习惯本身就存在很大的差异,有些逻辑严谨、表达规整的人工写作者所产出的内容,也有可能正好命中大模型特征库中的某些特征,从而导致误判;三是大语言模型的训练语料中包含了大量的人工创作的公开内容,对于那些长期在公开平台上发布内容的作者来说,他们的写作特征可能会被大模型所学习,进而导致其原创文本被误判。
3. AI查重的常见应用场景
AI查重主流应用场景分布占比图
根据公开的行业使用数据可知,AI查重的应用场景分布占比为学术教育场景占65%、内容创作场景占20%、职场办公场景占10%、其他场景占5%,不同的场景下AI查重的使用需求也有所不同。
3.1 学术教育场景
目前AI查重渗透率最高的场景是学术教育场景,国内高校、海外高校、学术期刊等都把AI查重当作辅助筛查手段,用来完成学生课程作业、学位论文、期刊投稿稿件的AI生成内容核验,防止出现完全由AI代写的学术不端行为。国内大部分高校使用的知网AI检测系统会根据中文学术文本的表达特点来筛选出中文大模型生成的内容,而海外高校一般使用Turnitin AI Writing Report和学生过去提交的作业历史语料进行对比,从而减少对学生个人原创内容的误判。
3.2 内容创作场景
自媒体平台、内容生产机构、网文平台等都在用AI查重技术对用户投稿、签约作者的产出内容进行AI原创度检测,防止大量的AI生成的低质内容进入平台,保证平台内容的原创性。此种情况下的AI查重工具更多地指向了对于批量生成的同质化内容的识别,而学术场景中则更看重于对整体内容的AI生成占比阈值的设置,对于局部少量的AI辅助润色内容更加宽容。
3.3 职场办公场景
部分企业在审核内部项目报告、商务投标文案、岗位竞聘材料的时候,也会用到AI查重工具进行合规校验,保证提交的内容是员工根据项目实际情况独立完成的,而不是直接使用AI生成的通用套话内容,从而避免出现内容脱离项目实际、数据失真的情况。除此之外,公考、事业单位的部分笔试材料核验环节,也会采用AI查重来辅助校验,判断应试者提交的文字材料是否为本人独立创作。
4. AI查重使用的常见误区与注意事项
作为面向入门认知阶段的科普内容,我们在这里重点纠正全网流传最广的一个认知误区:AI生成内容100%会被查出是不符合实际情况的错误结论。根据Turnitin官方公开的技术说明,当大语言模型用低重复语料做定向生成,并且生成内容中加入了大量的专属领域小众数据、个人原创观点、个性化表达的时候,AI查重工具的识别准确率就会大大降低,对于一些完全依靠全新私有数据生成的定制化内容,现有的工具根本无法识别。但是需要明确的是,这并不意味着所谓的AI反查重技巧是合规的,低边界的操作本身就违反了大多数情况下原创规范的要求。
除此之外,新手接触AI查重时最容易踩的常见误区还有两个:
- 认为AI查重可以完全代替人工判断,实际上所有的正规平台的AI查重结果都只是起到一个辅助参考的作用,即使是Turnitin AI Writing Report标记为100%AI生成的内容,只要创作者能够提供完整的写作大纲、修改过程稿、初稿等人工创作痕迹,就可以提交申诉推翻检测结果,不存在AI查重结果直接作为最终判定依据的情况。
- 误判结果不能申诉:目前知网AI检测系统和Turnitin都有完整的AI查重误判申诉通道,用户只要能提供对应内容的创作过程佐证材料,就可以申请人工复核修正结果。
对刚接触AI查重的新用户来说,在开始使用之前需要了解并掌握以下几点基本注意事项:
- 优先使用高校、官方平台的合规正规AI查重工具,不要随便把自己的原创文本上传到来源不明的第三方小平台上,防止出现个人信息泄露、被他人盗用的情况。
- 不能只依靠一个工具的检测结果,不同的AI查重工具所使用的训练数据集、特征库是不一样的,同一篇文本在不同的平台上进行AI查重时,得到的结果也会存在较大的差异,因此结果出现波动是正常的现象,只要多个平台的综合结果显示疑似AI生成的比例处在合理范围之内,就没有必要对内容进行过多的调整。
- 不要相信网传的所谓“AI生成内容100%过检测”的作弊技巧,这些方法大多是通过在文本中加入乱码、特殊字符来干扰系统对特征的提取,这样会严重破坏文本的可读性,而且一旦被平台发现,就会直接判定为学术不端,得不偿失。
对于需要保证内容原创合规性的用户来说,最稳妥的规避AI查重风险的基础技巧就是平时创作时注意保留人工创作的过程痕迹,例如手写的初稿、修改过的多个版本的电子文档、与同学和导师讨论内容的聊天记录等,同时控制好AI辅助内容的比例,只把AI当作润色、资料整理的辅助工具,核心的逻辑框架、个人观点、专属数据表达全部由人工完成,这样既不会被误判,也能保证内容的原创质量。
常见问题
共 4 个问题,点击展开查看专业解答
核心检测对象不同,传统查重比对已发表公开文本库识别文字抄袭,AI查重重点甄别文本是否由大语言模型自动生成,两者的技术逻辑、检测维度存在明显的不同。即使传统的查重结果显示复制比为0%,也不能说明AI查重不会把疑似AI生成的内容标出来。
如果只使用AI进行少量的语句润色、语法修正,而整体的核心内容和逻辑都是人工原创的,那么被误判的概率就比较低,但是如果AI生成的内容占比过高,就会被标记为AI生成的文本。日常创作中只要核心观点和逻辑框架是人工搭建的,少量的AI润色内容不会引起高风险标记。
目前没有一款AI查重工具可以达到100%的准确率,不同的工具对于不同的场景、不同的生成模型所产生的文本识别效果存在波动,最终的判定还需要依靠人工复核。即使是Turnitin官方公布的GPT-4内容识别准确率基准值,也只有85%左右,并没有绝对准确的AI检测系统。
正规合规的AI查重平台会将上传的文本进行加密临时处理,检测结束后不会私自保存或者加入公开比对库,但是非正规的第三方工具存在内容泄露的风险,需要谨慎选择平台。如果是还没有公开发表的原创内容,建议只使用学校、官方机构提供的AI查重通道上传检测。