ChatGPT 在图书编校中的应用测试与分析
2023-04-18李真
李真
ChatGPT( Chat Generative Pre-trained Transformer)是由美国人工智能研究实验室OpenAI 开发的一种自然语言处理模型,它是基于GPT(generative pre-trained transformer)模型改进而来的。GPT 是一种基于深度神经网络的语言模型,通过预训练和微调的方式,基于大量语言训练,能够生成与输入文本相关的连贯、流畅的文本。目前,ChatGPT 的应用场景十分广泛,包括客户服务、内容创作、教育辅助、语言学习、社交互动等,引起了社会各界的广泛关注和讨论。
在出版领域,虽然大多数研究者认为人工智能只是工具,并不能替代编辑工作,但也有极少数研究者认为引入人工智能技术后的编辑工作将对从业人员提出更高要求,甚至引起相关岗位的功能迁移,导致出版业从业人员面临减薪乃至失业的风险。[1]当前,一些学者围绕ChatGPT 在出版行业中应用的可能性展开了分析。例如,李博等[2]认为ChatGPT可以帮助编辑人员高效处理文本,识别文本存在的语法、拼写、标点符号等错误,辅助修改和润色,进而提高编辑和校对工作的效率。任宇等[3]认为ChatGPT 在检索、翻译和写作方面表现突出,能够提高编辑工作效率。周青[4]认为可将ChatGPT 应用于纠正错别字、统一标点符号、修改敏感词语等校对工作,以节省时间、提高效率。关于ChatGPT 在编校工作中的适用范围,张重毅等[5]指出大语言模型擅于发现文本、语言逻辑、语法等方面的错误。崔玉洁[6]认为ChatGPT 尤其适用于修改拼写错误和语法错误。徐敬宏等[7]提出ChatGPT 可以识别并修改文字表达、语法、标点符号等错误,为编辑工作减负。陈帅等[8]认为ChatGPT 可以对学术论文进行文本编辑和校对润色,有效减轻编校人员的工作量。李侗侗等[9]认为ChatGPT 可以帮助编辑“校正语法错误、简化复杂的语言表述、使用规范的学术语言,进而优化文章的表述效果”。田在儒[10]认为ChatGPT 等聊天机器人可以胜任重复性工作,如对文章进行编辑加工、校对等,进而节省编辑人员的时间和精力。
通过梳理文献可以发现,研究者们普遍认为ChatGPT 可以在语法检查、文本纠错、标点符号校正、知识核查和语言翻译等方面有效帮助编校人员提高工作效率。由于当前这类研究大多数是基于经验的解析,缺乏实证数据的支持,为探讨ChatGPT 在图书编校中的实际应用效果,本研究拟通过测试和分析ChatGPT 对语法类错误、字词类错误、标点符号类错误和知识性错误的编校处理情况,评估其对提高编校工作效率所能发挥的作用,为图书编校人员迎接人工智能的挑战提供参考。
一、研究方法
1.研究对象与文本来源
研究对象为美国人工智能研究实验室OpenAI 开发的ChatGPT 3.5 版。测试文本选自商务印书馆2019 年出版的《图书编校质量差错案例》中的200 条编校差错典型案例及其修改后的正确文本,具体包括文字差错案例、词语差错案例、科技名词差错案例、语法差错案例、标点符号差错案例、知识性差错案例等。将包含200 条编校差错典型案例的测试文本进一步划分为语法类差错案例、字词类差错案例、标点符号类差错案例和知识性差错案例4 类。每个类别包含50 条差错案例及其修改后的正确文本,涵盖了图书编校中最常见的问题,故研究样本具有代表性。
2.测试方法
借助200 条典型差错案例文本信息进行ChatGPT 编校能力测试。为了保证测试结果符合要求,在输入语法类差错案例测试文本时添加任务命令性语句“请修改以下病句”;在输入字词类差错案例测试文本时添加任务命令性语句“请校对以下句子中的字词”;在输入标点符号类差错案例测试文本时添加任务命令性语句“请校对以下句子中的标点符号”;在输入知识性差错案例测试文本时添加任务命令性语句“请核查并修改以下句子中的知识性错误”。然后,将ChatGPT 输出的文本与测试文本逐一对应,形成200 组对照文本。通过比对使用ChatGPT 编校后的文本是否改正了典型差错案例中存在的问题,分析ChatGPT 在编校中的实际应用效果。
二、研究结果
测试结果显示,ChatGPT 在图书编校中的应用表现一般,整体上未能识别和修改错误的比例较高。在对200 条差错案例文本的测试中,能正确识别错误并准确修改的数量为57 条,占比28.5%;未能识别错误并进行修改的数量为127 条,占比63.5%;能正确识别并修改错误,但同时修改了原句中其他正确表达的数量为16 条,占比8.0%。ChatGPT在对语法类错误、字词类错误、标点符号类错误和知识性错误的编校处理上表现存在差异,具体情况如下。
1.ChatGPT 在对语法类错误的编校处理上表现一般
在50 组语法类差错案例对照文本中,ChatGPT 自动识别和准确修改了14 条(28.0%)文本的语法错误;未能准确识别和修改的文本为31 条(62.0%);在对5 条(10.0%)文本的语法错误进行识别和修改的同时,还修改了原句中其他正确的表达。例如,ChatGPT成功识别出“通过努力,我们的发行数量提高了一倍。”中错误使用“提高”一词,并将其改为“增加”;ChatGPT 没有识别出“对于这种浪费人才的现象,至今没有引起有关部门的重视。”中主语残缺的语法错误,未能将差错案例中“对于”二字删除;ChatGPT 虽然识别出了“他多么渴望一个学习的机会!”中的谓语残缺的语法错误,将句子修改为“他非常渴望获得一个学习的机会!”,但将没有差错的“多么”同义替换为“非常”。
2.ChatGPT 在对字词类错误的编校处理上表现较好
在50 组字词类差错案例对照文本中,ChatGPT 自动识别和准确修改了22 条(44.0%)文本的字词错误;未能准确识别和修改的文本为22 条(44.0%);在对6 条(12.0%)文本的字词错误进行识别和修改的同时,还修改了原句中其他正确表达用词。例如,ChatGPT成功识别出“他当了二十多年的帐房。”中的错别字“帐”,并正确修改为“账”;ChatGPT没有识别出“张总最近很累,有点儿心率不齐。”中“率”字的错用,反而把“有点儿”改成了“有些”。
3.ChatGPT 在对标点符号类错误的编校处理上表现较差
在50 组标点符号类差错案例对照文本中,ChatGPT 自动识别和准确修改了11 条(22.0%)文本的标点符号错误;未能准确识别和修改的文本为39 条(78.0%)。例如,ChatGPT成功识别出了“人如果发热(体温超过37.5℃,)通常就会感觉不舒服。”中逗号位置错误,将其改为“人如果发热(体温超过37.5℃),通常就会感觉不舒服。”;ChatGPT认为“《读者杂志》深受读者喜爱。”中不存在标点符号错误,说明其较难准确判断常识问题,没有判断出《读者》是杂志的名称;ChatGPT 不仅未能识别出“因此,正确答案为personal touch.”中句号使用错误,还错误地将英文词组personal touch 加上了双引号,不符合《中文出版物夹用英文的编辑规范》(CY/T 154—2017)中的规定。
4.ChatGPT 在知识核查上表现欠佳
在50 组知识性差错案例对照文本中,ChatGPT 自动识别和准确修改了10 条(20.0%)文本的知识性错误;未能准确识别和修改的文本为35 条(70.0%);在对5 条(10.0%)文本的知识性错误进行识别和修改的同时,还修改了原句中其他正确的表达。例如,ChatGPT 正确识别出“公元220 年,曹丕称帝,即魏文帝,国号黄初。”中混淆了国号和年号,将“国号黄初”改为“国号曹魏”;ChatGPT 认为“孟子曰:‘食色,性也。仁,内也,非外也。义,外也,非内也。’”中没有知识性错误,但事实上这句话并非孟子所说,乃是出自告子之口;ChatGPT 虽然正确识别并修改了“预防矽肺病的关键是要改善生产环境,减少粉尘吸入。”中的知识性错误,将“矽肺病”改为“硅肺病”,但是在修改过程中却增加了“控制粉尘的生成和扩散”这一原句没有的内容。
三、人工智能在图书编校中应用的讨论
1.ChatGPT 目前在图书编校上的实际应用效果欠佳
ChatGPT 在差错案例文本的测试中表现出28.5% 的纠错率,说明其确实能够在图书编校上对编辑工作有所助益,特别是在错误字词的纠正上,纠错率可达44.0%。然而,由于使用上的各种限制,目前ChatGPT 在图书编校中的应用效果并不理想,存在较多局限。首先,ChatGPT 的使用权限尚未对我国开放,网络获取存在限制,不少编校人员仅闻其名,却没有真正接触过,更别说是主动将其应用在图书编校工作中。其次,ChatGPT 作为聊天机器人,其输入和输出的字符都有限制,不可能做到对整本书进行编校,因此无法准确认识一本书的整体逻辑框架。即便是采用人机结合方式,编校人员手动将存在问题的语句输入ChatGPT 对话框内以获得结果,仍然发现其给出的结果良莠不齐,需要编校人员再次核实和修改,远远达不到提高工作效率的目的。而手工输入对话框会使文本会失去原本的格式,导致无法对体例和格式进行编校。最后,由于ChatGPT 是基于英语语料库训练的模型,这意味着它能够理解和处理英语的文本信息,生成符合英语语言的回复。虽然它可以尝试理解和处理中文的文本信息,但是由于语言和文化的差异,其可靠性和准确性相对较低,甚至可能产生一些错误的回复。例如,在对标点符号的编校上,ChatGPT作出的很多修改与中文标点符号的使用规范有悖,说明ChatGPT 对中文使用的标准规范并没有准确掌握。而在对原文语句的润色修改上,ChatGPT 常常表现出不符合作者写作风格、用词习惯的问题。在测试过程中发现,尽管已经添加了明确的“校对字词”指令,但ChatGPT 仍然会对文字加以润色修改,同义替换原句的字词,甚至增加原文没有的内容。在图书编校中,应警惕过度改稿,坚持“可改可不改的不改”。使用ChatGPT 辅助编校,编辑人员还需要核对原稿,将经润色修改但没有实质错误的内容还原,徒增了工作负担。
2.人工智能在图书编校上的应用未来可期
虽然,ChatGPT 目前在图书编校上的应用表现欠佳,但人工智能的发展日新月异,可以期待经过多次升级换代、扩展应用场景,ChatGPT 将能成为图书编校工作的有力辅助工具。
我国应加快研发基于中文语料的智能编校工具并不断扩展其应用场景。图书编辑日常需要处理大量的知识核查工作,包括核查引文、注释、参考文献、专业性名词等。相信凭借人工智能强大的学习能力以及庞大的学习语料数据库,基于中文语料的智能工具可以更好地帮助解决编校中的难题,助力中文图书编校提质增效。目前,图书编校人员在工作中较常使用的智能审校系统(如方正智能辅助审校系统)可以审校整本图书,提供包括字词检查、知识性检查、重点内容检查和体例格式检查等功能。倘若ChatGPT 等人工智能工具在性能上能结合这类审校系统的优势,则其功能会更为强大,真正助力图书编校工作,提升工作效率。
3.编校人员要主动拥抱技术迎接挑战
和众多研究者一样,本研究也认同ChatGPT 等人工智能工具不会取代人工编辑,但确实会给编校人员带来新的挑战。作为图书编校人员,需要主动拥抱技术、迎接挑战。通过对ChatGPT 编校能力的测试结果不难看出ChatGPT 在理解文化内涵上存在困难,这正是人工编辑难以被取代之处,也是编校人员所擅长和应该继续精进的技能。图书编校人员需要通过不断提升专业技能、职业素养和工作能力,以适应新挑战和新要求,不能埋头于案头工作不顾世界的变化,要接触新领域、了解新技术、掌握新技能,主动拥抱技术使其为我所用,借助ChatGPT 等人工智能工具处理繁杂的事务性工作,从而集中精力打造精品图书。
四、结语
作为一种新兴的人工智能技术,ChatGPT强大的功能已经引起社会各界的广泛关注,其应用领域也在不断拓展。在图书编校上,ChatGPT 确实可以辅助纠正语法、字词、标点符号和部分知识性错误,但目前其应用表现一般。ChatGPT 应用于图书编校上存在局限,具体包括:使用受限;不能整本编校;编校质量良莠不齐且无法识别体例和格式问题;限于语言和文化的差异,可靠性和准确性低;润色修改过度。鉴于此,人工编辑的重要性不言而喻。图书编校人员应不断提升自身的文化素养和专业能力,更好地利用不断优化升级的人工智能工具辅助图书编校,以提高图书编校质量和效率。