編者按：現(xiàn)有的神經(jīng)機(jī)器翻譯模型大多直接從源文本中逐字翻譯，翻譯后的文本略有機(jī)器翻譯的感覺。受人工翻譯過程等領(lǐng)域基于模板和基于語法的方法的啟發(fā)，微軟亞洲研究院提出了一種方法ST-NMT，以從語法樹結(jié)構(gòu)中提取的模板作為軟目標(biāo)模板來指導(dǎo)翻譯過程。實(shí)驗(yàn)表明，ST-NMT模型在漢英、英德、日媒的多個翻譯任務(wù)上明顯優(yōu)于基線模型，證明了軟目標(biāo)模板的有效性。

盡管近年來神經(jīng)機(jī)器翻譯 (NMT) 取得了很大進(jìn)展，但大多數(shù)神經(jīng)機(jī)器翻譯模型直接從源文本生成翻譯。受基于模板和基于語法的方法在人工翻譯過程等領(lǐng)域的成功啟發(fā)，我們提出了一種方法，使用從語法樹結(jié)構(gòu)中提取的模板作為軟目標(biāo)模板來指導(dǎo)翻譯過程。為了學(xué)習(xí)目標(biāo)句的句法結(jié)構(gòu)，我們使用語法分析樹生成候選模板，將模板信息合并到編碼器-解碼器框架中，并使用模板和源文本生成翻譯。實(shí)驗(yàn)表明，我們的模型在四個數(shù)據(jù)集上明顯優(yōu)于基線模型，

軟模板預(yù)測

近年來，神經(jīng)機(jī)器翻譯取得了很大進(jìn)展，但傳統(tǒng)的神經(jīng)機(jī)器翻譯模型一般直接將源語言文本翻譯成目標(biāo)語言文本。但實(shí)際上我們知道，在翻譯一個句子時，人類通常首先對目標(biāo)文本的句型或結(jié)構(gòu)有一個大概的了解，然后將源語言文本翻譯成目標(biāo)語言文本，而不是直接翻譯它逐詞地。

通常我們在做造句訓(xùn)練的時候，老師會先教我們一些句型，比如“sb. like do sth; There be...”等等，然后讓我們做練習(xí)。下圖為漢英翻譯培訓(xùn)教材內(nèi)容。需要按照以下句型將中文翻譯成英文。

圖一：漢英翻譯培訓(xùn)教材內(nèi)容

受人工翻譯過程的啟發(fā)，我們提出了一種方法，使用從句法分析樹中提取的模板作為軟目標(biāo)語言模板來指導(dǎo)翻譯過程。為了學(xué)習(xí)目標(biāo)句的句法結(jié)構(gòu)，我們使用句法分析樹來生成候選模板。如圖 2 所示，我們首先根據(jù)源語言文本預(yù)測要使用的目標(biāo)語言的模板。在這里，“我喜歡打籃球”，很容易想到句型“sb. like doing sth”，然后我們使用源語言和模板生成翻譯。

圖 2：使用軟目標(biāo)模板指導(dǎo)翻譯過程的示例

基于這個核心思想以及模板方法在機(jī)器文摘、問答等文本中的成功。我們假設(shè)目標(biāo)句子的候選模板可以指導(dǎo)句子翻譯過程。我們使用這些從句法分析樹中提取的模板作為軟模板，由帶有句子結(jié)構(gòu)信息的 S、NP、VP 和目標(biāo)語言組成。這里的模板是“軟”的，因?yàn)槲覀儾粡?qiáng)制完全根據(jù)模板生成目標(biāo)語言翻譯。這里的模板僅提供參考，為翻譯提供一些幫助。

為了更有效地使用軟模板，我們在目標(biāo)語言中引入了基于軟模板的神經(jīng)機(jī)器翻譯模型（Soft Template-based NMT在讀證明德語翻譯 模板，ST-NMT），可以使用源文本和軟模板來預(yù)測*終翻譯. 我們的方法可以分為兩個階段。第一階段，利用源文本和從句法分析樹中提取的模板，訓(xùn)練一個標(biāo)準(zhǔn)的Transformer模型在讀證明德語翻譯 模板，專門預(yù)測軟目標(biāo)模板。在第二階段，我們使用兩種編碼器，包括軟目標(biāo)模板編碼器和源語言編碼器，對源文本和模板進(jìn)行編碼并生成*終翻譯。

目標(biāo)軟模板預(yù)測

圖 3：從分析樹中提取模板

在這個過程中，通過使用源語言 S 和模板 T 數(shù)據(jù)，我們對 P(T|X) 進(jìn)行建模，以便我們可以根據(jù)源語言預(yù)測模板。為了構(gòu)建源語言-模板數(shù)據(jù)集，我們使用句法分析樹來解析目標(biāo)語言文本并獲得樹結(jié)構(gòu)。然后，我們對超過一定深度的節(jié)點(diǎn)進(jìn)行裁剪，將裁剪后的子樹按照原來的順序恢復(fù)，得到模板數(shù)據(jù)。通過這些操作，我們得到了源語言-模板并行訓(xùn)練數(shù)據(jù)，訓(xùn)練了Transformer模型P(T|X)來預(yù)測軟目標(biāo)模板。

語法分析樹可以顯示整個句子的結(jié)構(gòu)和語法信息，并使用語法來區(qū)分終端節(jié)點(diǎn)和非終端節(jié)點(diǎn)。更準(zhǔn)確地說，非終端節(jié)點(diǎn)屬于非終端節(jié)點(diǎn)集S，終端節(jié)點(diǎn)屬于目標(biāo)語言節(jié)點(diǎn)集V。 S={V, VP, NP, ..., ASBR} 等記號表示語法成分和 V={There, are, ..., people} 包含目標(biāo)語言單詞。如圖2所示，句子“Someone is running”通過語法解析樹生成樹結(jié)構(gòu)。在這種情況下，非終端節(jié)點(diǎn)集S0={S, NP, VP, EX, VBP, NP, DT, NNS, VBG}，終端節(jié)點(diǎn)集V0={There, are, some, people, running}。我們的模板 T={t1, t2, t3, t4} 是一個由終端節(jié)點(diǎn)和非終端節(jié)點(diǎn)組成的有序序列。在這種情況下，t1=那里，t2=是，t3=VP，t4=NP。我們的模板就是提取一個特定深度的子樹，利用子樹葉子節(jié)點(diǎn)上的終端節(jié)點(diǎn)和非終端節(jié)點(diǎn)來生成模板。

為了預(yù)測軟目標(biāo)模板，我們根據(jù)源文本和提取模板的訓(xùn)練數(shù)據(jù)訓(xùn)練一個 Transformer 模型。Transformer 模型讀取源文本并使用波束搜索來預(yù)測軟目標(biāo)模板。然后，我們選擇捆綁搜索的前 K 個結(jié)果作為模板。

選擇子樹的深度是一種權(quán)衡。圖3中，當(dāng)深度等于1時，屬于特例，此時模板只有一個符號S。模板 S 不能提供任何有用的信息。另一個特殊情況是當(dāng)深度大于6時，“有人在跑”，此時模板只有終端節(jié)點(diǎn)。模板僅包含目標(biāo)語言的單詞，不能提供任何其他信息。當(dāng)深度等于4時，模板為“有VP NP”。該模板包含句子句法和結(jié)構(gòu)信息，適用于我們的方法。

使用Transformer模型P(T|X)，我們需要構(gòu)造偽訓(xùn)練數(shù)據(jù)（源語言文本、目標(biāo)語言文本、目標(biāo)軟模板），而不是直接通過解析樹提取的模板。給定源文本 X，我們使用 P(T|X) 通過波束搜索生成排名靠前的目標(biāo)語言軟模板 T。*后，我們得到三元組訓(xùn)練數(shù)據(jù)（源語言文本、目標(biāo)語言文本、軟模板），為下一階段做準(zhǔn)備。

ST-NMT模型

我們的模型首先使用源語言 Transformer 編碼器讀取源語言序列 X=(x1, x2, x3, ..., xn) 并生成模板序列 T=(t1, t2, t3, ..., tm)由模板 Transformer 解碼器提供。如圖 3 所示，我們的模型使用源語言 Transformer 編碼器和模板 Transformer 編碼器分別對源語言序列 X 和模板序列 T 進(jìn)行編碼，*終解碼器生成*終翻譯。我們的方法主要包括兩個階段：（1）訓(xùn)練數(shù)據(jù)由基于選擇的解析樹構(gòu)建。然后，我們使用標(biāo)準(zhǔn)的Transformer將源文本轉(zhuǎn)換為下一代軟目標(biāo)模板。（2）基于對于源文本和預(yù)測的軟目標(biāo)模板，我們使用兩個編碼器將兩個序列編碼成一個隱藏狀態(tài)，

圖 4：ST-NMT 模型

給定三元組訓(xùn)練數(shù)據(jù)（源語言文本、目標(biāo)語言文本、軟模板），我們使用源語言文本和軟模板為目標(biāo)語言文本生成以下公式。源語言 Transformer 編碼器和軟模板 Transformer 編碼器將輸入序列 X 和由目標(biāo)語言單詞和非終端節(jié)點(diǎn)組成的模板 T 映射到隱藏層向量。然后，Transformer 解碼器與兩個編碼器交互生成*終的翻譯 Y，即：

基于源語言編碼器的隱藏層狀態(tài)和軟模板編碼器的隱藏層狀態(tài)，目標(biāo)語言Transformer解碼器使用編碼器-解碼器多頭注意力聯(lián)合使用源語言和模板信息生成*終翻譯Y. 另外，目標(biāo)序列解碼器針對不同的編碼器使用了兩組注意力機(jī)制參數(shù)。解碼器分別使用源句上下文 X=(x1, ..., xm) 和目標(biāo)模板上下文 T=(t1, ..., tn) ，然后我們的模型通過關(guān)注源上下文獲得兩個隱藏狀態(tài)和模板上下文，這里我們使用門控單元將包含源語言信息的隱藏層狀態(tài)和包含模板信息的隱藏層狀態(tài)融合，如下圖：

與傳統(tǒng)的 NMT 類似，為了使模型能夠預(yù)測目標(biāo)序列，我們使用*大似然估計(jì)來更新模型參數(shù)。當(dāng)我們在不使用模板 Transformer 編碼器的情況下訓(xùn)練 P(Y|X) 時，我們只需要優(yōu)化以下?lián)p失函數(shù)：

當(dāng)我們使用模板 Transformer 編碼器訓(xùn)練 P(Y|X,T) 時，可以通過以下公式計(jì)算損失函數(shù)：

在實(shí)踐中，我們發(fā)現(xiàn)優(yōu)化這兩個目標(biāo)可以讓模型更容易訓(xùn)練，避免模板中噪聲的干擾，獲得更高的BLEU分?jǐn)?shù)，因?yàn)榇嬖谝恍┑唾|(zhì)量的模板影響翻譯質(zhì)量. 通過同時優(yōu)化兩個目標(biāo)，我們可以減少一些低質(zhì)量模板的影響，提高模型的穩(wěn)定性。為了平衡這兩個目標(biāo)，我們的模型同時對這兩個目標(biāo)進(jìn)行迭代訓(xùn)練，如下所示：

實(shí)驗(yàn)與分析

為了證明該方法的有效性，我們在多數(shù)據(jù)集、多語言上進(jìn)行了實(shí)驗(yàn)，包括IWSLT14德英翻譯任務(wù)、WMT14英德翻譯任務(wù)、LDC漢英翻譯任務(wù)和ASPEC日漢翻譯任務(wù)。實(shí)驗(yàn)表明，與基線模型相比，我們的方法取得了更好的結(jié)果，這表明軟目標(biāo)模板可以有效地指導(dǎo)翻譯過程并產(chǎn)生積極的影響。同時，我們的方法可以用于不同規(guī)模、語言和領(lǐng)域的數(shù)據(jù)集。

表 1：LDC 漢英翻譯任務(wù)結(jié)果

表 2：WMT14 英德翻譯任務(wù)結(jié)果

表 3：IWSLT14 德英翻譯任務(wù)結(jié)果

表 4：ASPEC 日中翻譯任務(wù)結(jié)果

總結(jié)

在這項(xiàng)工作中，我們提出了一種機(jī)器翻譯模型，該模型使用源文本和軟模板來生成翻譯。我們的方法可以從子樹中提取模板，子樹是從解析樹的特定深度獲得的。然后，我們使用 Transformer 模型來預(yù)測源文本的軟目標(biāo)模板。此外，我們結(jié)合源文本和模板信息來指導(dǎo)翻譯過程。我們在多個數(shù)據(jù)集上比較了軟模板神經(jīng)機(jī)器翻譯模型 (ST-NMT) 與其他基線模型。實(shí)驗(yàn)結(jié)果表明，ST-NMT 可以顯著提高翻譯性能。