
- 收藏
- 加入书签
能源电力工程领域中基于BLEU指标的ChatGPT和DeepL翻译的机器翻译质量对比分析
摘要:本论文旨在比较能源电力工程领域中基于BLEU指标的ChatGPT和DeepL翻译的机器翻译质量差异。随着全球化的加速和跨文化交流的需求不断增长,机器翻译作为一种重要的语言处理技术引起了广泛关注。传统的基于规则和统计的机器翻译方法在处理复杂语言现象和长文本时存在一定的局限性。然而,近年来深度学习的快速发展为机器翻译领域带来了新的突破。ChatGPT和DeepL都是当前流行的机器翻译模型,但它们在翻译质量、速度和专业术语等方面可能存在差异。在电力工程领域中,准确、流畅的翻译对于各种技术文档、合同和专业领域的协作至关重要。本文通过收集针对能源电力工程领域的平行语料库,评估了ChatGPT和DeepL在翻译效果上的差异。采用BLEU指标作为评价标准,对两种模型在能源电力工程领域的翻译任务中的准确性和流畅性进行了评估。最后,本文总结了ChatGPT和DeepL模型的研究意义和应用前景,并提出了未来进一步改进和优化的方向。通过本文的研究和探讨,希望为机器翻译领域的深度学习方法提供一定的启示和指导,进一步推动该领域的发展和创新。
Abstract: This paper aims to compare the quality difference in machine translation between ChatGPT and DeepL based on the BLEU metric in the field of energy power engineering. With the acceleration of globalization and the increasing demand for cross-cultural communication, machine translation has gained significant attention as an important language processing technology. Traditional rule-based and statistical machine translation approaches have limitations in handling complex language phenomena and long texts. However, in recent years, the rapid development of deep learning has brought new breakthroughs to the field of machine translation. ChatGPT and DeepL are both popular machine translation models, but they may exhibit differences in translation quality, speed, and domain-specific terminology. In the field of power engineering, accurate and fluent translation is crucial for various technical documents, contracts, and collaborative efforts. This paper evaluates the differences in translation performance between ChatGPT and DeepL by collecting parallel corpora specifically tailored to the energy power engineering domain. The BLEU metric is employed as the evaluation criterion to assess the accuracy and fluency of both models in energy power engineering translation tasks. Finally, this paper summarizes the research significance and application prospects of ChatGPT and DeepL models, and suggests future directions for further improvement and optimization. Through the research and discussion presented in this paper, it is hoped to provide insights and guidance for deep learning approaches in the field of machine translation, further promoting its development and innovation.
关键词:ChatGPT;DeepL;机器翻译;能源电力工程翻译
Keywords: ChatGPT, DeepL, machine translation, energy power engineering translation
研究背景和动机:
随着全球化的加速和跨文化交流的需求不断增长,机器翻译作为一种重要的语言处理技术引起了广泛关注。(贺承浩,2023:31)传统的基于规则和统计的机器翻译方法在处理复杂语言现象和长文本时存在一定的局限性。然而,近年来深度学习的快速发展为机器翻译领域带来了新的突破。机器翻译在多个领域都有广泛的应用,包括科技、商务、医疗等。通过研究如何将机器翻译技术应用于具体领域,将能提高翻译质量和效率,从而推动行业发展。本文从研究机器翻译在电力工程领域翻译方面的应用方向出发,通过比较用ChatGPT和DeepL两个主流翻译工具的翻译性能比较,探索机器翻译可进一步研究和应用的方向。
DeepL是一种基于深度学习的机器翻译模型,它通过神经网络技术实现高质量的自动翻译。与传统的基于概率模型和统计语言模型的统计机器翻译(SMT)方法不同,DeepL利用神经网络模型直接学习源语言和目标语言之间的映射关系,从而实现更准确和自然的翻译结果。引入注意力机制是DeepL模型的一个关键创新。注意力机制允许解码器在生成每个译文词时对输入语句不同位置的信息进行加权考虑。(贺承浩,2023:31)这意味着翻译过程中,模型能够更加关注源语言句子中与当前输出词对应的部分,从而改进翻译的准确性和流畅性。在实践中,DeepL模型已经展示了出色的翻译效果,成为广泛使用的自动翻译工具之一。
ChatGPT 并不是专门用于机器翻译的模型,它是一种基于生成式模型的对话系统,相比于传统的 SMT 和 NMT 方法,ChatGPT 使用了大型的语言模型(GPT)来生成文本,它通过分析和理解上下文,以及自动流畅地生成回答。因此,可以将 ChatGPT 视为一种基于生成式模型的智能对话系统,而不是传统意义上的机器翻译模型。ChatGPT 可以在某种程度上用于“转换”或帮助翻译方面的任务。它可以解析和理解输入的文本,并尝试生成相应的翻译结果。
电力科技作为国家重点发展工程,需要引入大量新技术与新产品,同时与国外的成果技术交流也日益频繁,广大能源电力专业学子及能源电力行业的技术研究人员为了更好地进行国际化学习交流,能源电力日语翻译学习的重要性不言而喻。由于在我国,“能源电力日语”属于“冷门绝学”的领域,其研究成果寥寥无几(文钟莲,2020:2),且兼备能源电力专业技能与外语翻译综合能力的人员相对稀缺,因此在能源电力领域引入机器翻译技术具备迫切必要性。
邹静宜曾对于机器翻译的译文进行了人工评估,比较人工翻译和机器翻译在精准性、可读性、人性化等方面的差异。(邹静宜,2023:7)而本文则采用BLEU指标,量化和比较不同机器翻译系统的译文质量。BLEU值一般用于自动评价翻译系统的性能,直观上通过衡量参考译文和候选译文的n-gram的匹配程度(叶绍林、郭武,2017:939),比对分析译文翻译质量。当使用BLEU(Bilingual Evaluation Understudy)进行数据分析时,可以按照以下步骤进行:准备原文档和相应的翻译文档。对原文档和翻译文档进行分词,将其拆分成一个个单词或者n-gram ,在两文档之间建立n-gram匹配,计算翻译文档中的每个n-gram在原文档中的匹配情况。通过比较两文档的匹配n-gram数量,计算出匹配率。其中,BLEU将匹配率考虑了不同n-gram的权重分配,以避免较长的n-gram对匹配结果的主导性影响。接着对匹配率进行加权平均,通常是取对数,然后用几何平均进行求和。根据计算得到的BLEU得分,评估翻译质量。BLEU得分范围为0到1之间,接近1表示翻译质量较高。
在计算BLEU分数时,参考译文的标准是一组人工编写的参考译文,通常由专业翻译人员或标注者提供。这组参考译文用于作为机器翻译系统输出的参考标准,以计算系统的翻译质量。本研究中所使用的参考译文源自苏州大学出版社2020年12月第一版《能源电力日语》,该书的特点是具有高度的翻译一致性和专业性,用于能源电力企业工程技术人员和管理人员学习专业英语的培训教材。这些参考译文经过专业翻译人员或标注者的精心编写,确保了其与机器翻译系统的输出在语义、语法以及句法方面的准确对应和一致性。这样的参考译文能够作为系统翻译质量的可靠基准,在计算BLEU分数时发挥重要作用。通过这种方法,我们可以有效评估机器翻译系统的性能,从而为其进一步的改进和优化提供有力参考。
实验设计:
例1:聚合器是指在负瓦特交易中,汇总能够满足需求的消费者,作为电力公司和消费者的中介人,对电力供需调整提供建议和各种服务的经营者和团体。
教材译:「アグリゲーター」とはネガワット取引において、需要応答できる消費者を取りまとめ、電力会社と消費者との仲介役として、電力の需給調整に係るアドバイスや各種サービスを行う事業者や団体を指す言葉です。
DeepL译:アグリゲーターとは、マイナス·ワット取引で需要を満たすことができる消費者を集約し、電力会社と消費者の仲介役として、電力需給調整のためのアドバイスやさまざまなサービスを提供する事業者やグループのことである。
通过参考答案的1、2、3、4-gram准确率对其进行BLEU分数计算可知:
BLEU = BP * GM ≈1×0.54=0.54。
对ChatGPT作出“帮我翻译成日语”指令时译:アグリゲーターとは、負荷調整取引において需要を満たす消費者を集め、電力会社と消費者の仲介を行い、電力の供給と需要の調整に関する提案や各種サービスを提供する事業者や団体を指す。
通过参考答案的1、2、3、4-gram准确率对其进行BLEU分数计算可知:
BLEU = BP * GM ≈1×0.63=0.63。
根据BLEU分数的比较,ChatGPT的译文在整体上相对于参考答案的匹配度更高,相比之下DeepL的译文的匹配度稍低。且DeepL的译文使用了“電力需給調整のためのアドバイスやさまざまなサービス”(为了电力供需调整的建议和各种服务),表达简洁流畅,但使用了“さまざまなサービス”,这可能略显口语化,相较于标准译文的“各種サービス”略显不正式。
例2:主开闭器合同是指根据电力使用设施的配电盘上的主断路器的容量来决定合同容量的合同。
教材译:「主開閉器契約」は、電気使用施設の分電盤にあるメインブレーカーの容量に基づいて契約容量を決めるものを言います。
DeepL译:主開栓契約とは、電気使用設備の分電盤にある主幹ブレーカーの容量によって契約容量を決定する契約である。
通过参考答案的1、2、3、4-gram准确率对其进行BLEU分数计算可知:
BLEU = BP * GM ≈1 * 0.4498 = 0.4498
对ChatGPT作出“帮我翻译成日语”指令时译:「主開閉器契約」とは、電力使用施設の分電盤にある主開閉器の容量に基づいて契約容量を決定する契約を指します。
通过参考答案的1、2、3、4-gram准确率对其进行BLEU分数计算可知:BLEU = BP * GM ≈ 1 * 0.5723 ≈0.5723
根据BLEU分数的比较,ChatGPT的译文在整体上相对于参考答案的匹配度更高,相比之下DeepL的译文的匹配度稍低。值得注意的是,根据教材提供的专业词汇翻译表可知,“主开闭器合同”的正确译法应该为“主開閉器契約”,但DeepL在翻译时将其译成了“主開栓契約”,而ChatGPT的译文与教材保持一致。这表明DeepL在处理专业词汇的能力不及ChatGPT。从中可见,ChatGPT在翻译专业术语时表现出更高的准确性与可靠性。为了准确传达原文的意思,需要使用专业术语及相应的译法。
例3:日常备份(日常备用电源)是指新加入的零售电器经营者为了稳定的电力供应,从原一般电力经营者的发电部门的发电经营者那里持续购买一定量的电力。
教材译:常時バックアップ(常時バックアップ電源)とは、新規参入の小売電気事業者が安定的な電力調達をするために、旧一般電気事業者の発電部門になる発電事業者から一定量の電力を継続的に購入することを指します。
DeepL译:日次バックアップ(日次待機電力)とは、新規参入の小売電気事業者が、旧一般電気事業者の発電部門に属する発電事業者から電力の安定供給を目的として、継続的に一定量の電力を購入すること。
通过参考答案的1、2、3、4-gram准确率对其进行BLEU分数计算可知:
BLEU = BP * GM ≈0.872 * 0.546 ≈ 0.476
对ChatGPT作出“帮我翻译成日语”指令时译:「日常バックアップ(日常備蓄電源)」とは、新規参入の小売電気事業者が安定的な電力供給を確保するために、旧一般電気事業者の発電部門に属する発電事業者から一定量の電力を継続的に購入することを指します。
通过参考答案的1、2、3、4-gram准确率对其进行BLEU分数计算可知:
BLEU = BP * GM ≈1.000 * 0.693 ≈ 0.693
根据BLEU分数的比较,ChatGPT的译文在整体上相对于参考答案的匹配度更高,相比之下DeepL的译文的匹配度稍低。值得注意的是,根据教材提供的标准译文中 “日常备份(日常备用电源)”的正确译法应该为“常時バックアップ(常時バックアップ電源)”,但DeepL在翻译时将其译成了 “日次バックアップ(日次待機電力)”,这会影响理解,可能让人误认为备份是按日进行的,而不是常时的。因此,可以看出,就准确性而言,ChatGPT的翻译结果更加可靠和符合专业术语的要求。
实验结论:
通过对能源电气工程领域专业术语进行翻译的实验结果可以得出以下结论。在该实验中,我们使用了两种机器翻译模型,分别是ChatGPT和DeepL。对比研究发现,ChatGPT在翻译专业术语时能够与原文保持一致,确保翻译的准确性。然而,DeepL在这方面则表现出各种误译现象,多采用直译,缺少对原文逻辑关系的梳理。为了更全面评估这两种机器翻译模型的表现,我们采用了BLEU分数指标进行比较。结果显示,ChatGPT的翻译结果普遍得分比DeepL更高,这意味着ChatGPT在语义表达和句子结构方面更接近原文,更符合专业术语的要求。综上所述,根据实验结果,我们可以得出结论:在能源电气工程领域专业术语的翻译方面,ChatGPT相较于DeepL具有更高的准确性和可靠性。这一发现对于进一步提升机器翻译质量以满足专业需求具有重要的指导意义。
可进一步研究和应用的方向:
在使用传统机器翻译进行能源电气工程领域翻译的基础上,DeepL和ChatGPT无疑提供了一种增强翻译质量和效率的创新方法。以下是针对上述实验结果可以提出的机器翻译的一些可能的创新点:
1、领域自适应:通过利用ChatGPT的预设提示词功能,我们可以引入领域特定的训练数据或领域知识,从而培养其术语识别和翻译机制。这种自适应能力使得ChatGPT能够对特定领域的术语和上下文进行更准确的理解和翻译,从而显著提高技术文档翻译的准确性和一致性。
2、上下文感知:通过机器能够很好地应对技术文档中的长句、复杂句子结构以及上下文相关的术语的能力,准确地把握句子的语义和语法信息,进而生成更流畅、准确的翻译结果。
3、交互式翻译:ChatGPT的交互式特性使其在专业领域翻译中具备了更强大的能力。用户能够与ChatGPT进行交流和互动,使得ChatGPT能够进一步理解和解决用户在翻译过程中提出的问题、诉求和不确定性。通过主动与用户进行交互,ChatGPT能够针对翻译过程中的歧义、错误或者复杂场景进行迭代和修正,从而提供更准确、更精确的翻译结果。
4、多模态翻译:今后可以探索将翻译模型与其他模态,如图像、声音等结合的可能性,探索技术文档的多模态翻译也是一个具有前景的研究方向。通过整合多种形式的输入信息,翻译模型能够利用这些信息共同进行翻译,并提供更丰富、准确的翻译结果。这种多模态的翻译方法为技术文档翻译带来了更多的可能性,同时也促进了不同类型信息之间的交互和融合。
参考文献:
[1]郭羽宁.电力科技英语翻译特点及翻译技巧探讨[J].电气传动,2019,49(12):118.
[2]马迪.电力科技英语翻译中常见问题分析及翻译技巧探讨[J].内蒙古电力技术,2019,37(03):98-100.
[3]贺承浩,王泽辉,滕俊哲等.机器翻译综述[J].电脑知识与技术,2023,19(21):31-34.DOI:10.14004/j.cnki.ckt.2023.1136.
[4]邹静宜,陶李春,殷健.浅析DeepL翻译和百度翻译的质量——以《了不起的盖茨比》为例[J].英语广场,2023(16):7-10.DOI:10.16723/j.cnki.yygc.2023.16.013.
[5]文钟莲,关豪.能源电力日语[M].苏州:苏州大学出版社,2020.