編者按：現(xiàn)有的神經機器翻譯模型大多直接從源文本中逐字翻譯，翻譯后的文本略有機器翻譯的感覺。受人工翻譯過程等領域基于模板和基于語法的方法的啟發(fā)，微軟亞洲研究院提出了一種方法ST-NMT，以從語法樹結構中提取的模板作為軟目標模板來指導翻譯過程。實驗表明，ST-NMT模型在漢英、英德、日媒的多個翻譯任務上明顯優(yōu)于基線模型，證明了軟目標模板的有效性。

盡管近年來神經機器翻譯 (NMT) 取得了很大進展，但大多數(shù)神經機器翻譯模型直接從源文本生成翻譯。受基于模板和基于語法的方法在人工翻譯過程等領域的成功啟發(fā)，我們提出了一種方法，使用從語法樹結構中提取的模板作為軟目標模板來指導翻譯過程。為了學習目標句的句法結構，我們使用語法分析樹生成候選模板，將模板信息合并到編碼器-解碼器框架中，并使用模板和源文本生成翻譯。實驗表明，我們的模型在四個數(shù)據(jù)集上明顯優(yōu)于基線模型，

軟模板預測

近年來，神經機器翻譯取得了很大進展，但傳統(tǒng)的神經機器翻譯模型一般直接將源語言文本翻譯成目標語言文本。但實際上我們知道，在翻譯一個句子時，人類通常首先對目標文本的句型或結構有一個大概的了解，然后將源語言文本翻譯成目標語言文本，而不是直接翻譯它逐詞地。

通常我們在做造句訓練的時候，老師會先教我們一些句型，比如“sb. like do sth; There be...”等等，然后讓我們做練習。下圖為漢英翻譯培訓教材內容。需要按照以下句型將中文翻譯成英文。

圖一：漢英翻譯培訓教材內容

受人工翻譯過程的啟發(fā)，我們提出了一種方法，使用從句法分析樹中提取的模板作為軟目標語言模板來指導翻譯過程。為了學習目標句的句法結構，我們使用句法分析樹來生成候選模板。如圖 2 所示，我們首先根據(jù)源語言文本預測要使用的目標語言的模板。在這里，“我喜歡打籃球”，很容易想到句型“sb. like doing sth”，然后我們使用源語言和模板生成翻譯。

圖 2：使用軟目標模板指導翻譯過程的示例

基于這個核心思想以及模板方法在機器文摘、問答等文本中的成功。我們假設目標句子的候選模板可以指導句子翻譯過程。我們使用這些從句法分析樹中提取的模板作為軟模板，由帶有句子結構信息的 S、NP、VP 和目標語言組成。這里的模板是“軟”的，因為我們不強制完全根據(jù)模板生成目標語言翻譯。這里的模板僅提供參考，為翻譯提供一些幫助。

為了更有效地使用軟模板，我們在目標語言中引入了基于軟模板的神經機器翻譯模型（Soft Template-based NMT在讀證明德語翻譯 模板，ST-NMT），可以使用源文本和軟模板來預測*終翻譯. 我們的方法可以分為兩個階段。第一階段，利用源文本和從句法分析樹中提取的模板，訓練一個標準的Transformer模型在讀證明德語翻譯 模板，專門預測軟目標模板。在第二階段，我們使用兩種編碼器，包括軟目標模板編碼器和源語言編碼器，對源文本和模板進行編碼并生成*終翻譯。

目標軟模板預測

圖 3：從分析樹中提取模板

在這個過程中，通過使用源語言 S 和模板 T 數(shù)據(jù)，我們對 P(T|X) 進行建模，以便我們可以根據(jù)源語言預測模板。為了構建源語言-模板數(shù)據(jù)集，我們使用句法分析樹來解析目標語言文本并獲得樹結構。然后，我們對超過一定深度的節(jié)點進行裁剪，將裁剪后的子樹按照原來的順序恢復，得到模板數(shù)據(jù)。通過這些操作，我們得到了源語言-模板并行訓練數(shù)據(jù)，訓練了Transformer模型P(T|X)來預測軟目標模板。

語法分析樹可以顯示整個句子的結構和語法信息，并使用語法來區(qū)分終端節(jié)點和非終端節(jié)點。更準確地說，非終端節(jié)點屬于非終端節(jié)點集S，終端節(jié)點屬于目標語言節(jié)點集V。 S={V, VP, NP, ..., ASBR} 等記號表示語法成分和 V={There, are, ..., people} 包含目標語言單詞。如圖2所示，句子“Someone is running”通過語法解析樹生成樹結構。在這種情況下，非終端節(jié)點集S0={S, NP, VP, EX, VBP, NP, DT, NNS, VBG}，終端節(jié)點集V0={There, are, some, people, running}。我們的模板 T={t1, t2, t3, t4} 是一個由終端節(jié)點和非終端節(jié)點組成的有序序列。在這種情況下，t1=那里，t2=是，t3=VP，t4=NP。我們的模板就是提取一個特定深度的子樹，利用子樹葉子節(jié)點上的終端節(jié)點和非終端節(jié)點來生成模板。

為了預測軟目標模板，我們根據(jù)源文本和提取模板的訓練數(shù)據(jù)訓練一個 Transformer 模型。Transformer 模型讀取源文本并使用波束搜索來預測軟目標模板。然后，我們選擇捆綁搜索的前 K 個結果作為模板。

選擇子樹的深度是一種權衡。圖3中，當深度等于1時，屬于特例，此時模板只有一個符號S。模板 S 不能提供任何有用的信息。另一個特殊情況是當深度大于6時，“有人在跑”，此時模板只有終端節(jié)點。模板僅包含目標語言的單詞，不能提供任何其他信息。當深度等于4時，模板為“有VP NP”。該模板包含句子句法和結構信息，適用于我們的方法。

使用Transformer模型P(T|X)，我們需要構造偽訓練數(shù)據(jù)（源語言文本、目標語言文本、目標軟模板），而不是直接通過解析樹提取的模板。給定源文本 X，我們使用 P(T|X) 通過波束搜索生成排名靠前的目標語言軟模板 T。*后，我們得到三元組訓練數(shù)據(jù)（源語言文本、目標語言文本、軟模板），為下一階段做準備。

ST-NMT模型

我們的模型首先使用源語言 Transformer 編碼器讀取源語言序列 X=(x1, x2, x3, ..., xn) 并生成模板序列 T=(t1, t2, t3, ..., tm)由模板 Transformer 解碼器提供。如圖 3 所示，我們的模型使用源語言 Transformer 編碼器和模板 Transformer 編碼器分別對源語言序列 X 和模板序列 T 進行編碼，*終解碼器生成*終翻譯。我們的方法主要包括兩個階段：（1）訓練數(shù)據(jù)由基于選擇的解析樹構建。然后，我們使用標準的Transformer將源文本轉換為下一代軟目標模板。（2）基于對于源文本和預測的軟目標模板，我們使用兩個編碼器將兩個序列編碼成一個隱藏狀態(tài)，

圖 4：ST-NMT 模型

給定三元組訓練數(shù)據(jù)（源語言文本、目標語言文本、軟模板），我們使用源語言文本和軟模板為目標語言文本生成以下公式。源語言 Transformer 編碼器和軟模板 Transformer 編碼器將輸入序列 X 和由目標語言單詞和非終端節(jié)點組成的模板 T 映射到隱藏層向量。然后，Transformer 解碼器與兩個編碼器交互生成*終的翻譯 Y，即：

基于源語言編碼器的隱藏層狀態(tài)和軟模板編碼器的隱藏層狀態(tài)，目標語言Transformer解碼器使用編碼器-解碼器多頭注意力聯(lián)合使用源語言和模板信息生成*終翻譯Y. 另外，目標序列解碼器針對不同的編碼器使用了兩組注意力機制參數(shù)。解碼器分別使用源句上下文 X=(x1, ..., xm) 和目標模板上下文 T=(t1, ..., tn) ，然后我們的模型通過關注源上下文獲得兩個隱藏狀態(tài)和模板上下文，這里我們使用門控單元將包含源語言信息的隱藏層狀態(tài)和包含模板信息的隱藏層狀態(tài)融合，如下圖：

與傳統(tǒng)的 NMT 類似，為了使模型能夠預測目標序列，我們使用*大似然估計來更新模型參數(shù)。當我們在不使用模板 Transformer 編碼器的情況下訓練 P(Y|X) 時，我們只需要優(yōu)化以下?lián)p失函數(shù)：

當我們使用模板 Transformer 編碼器訓練 P(Y|X,T) 時，可以通過以下公式計算損失函數(shù)：

在實踐中，我們發(fā)現(xiàn)優(yōu)化這兩個目標可以讓模型更容易訓練，避免模板中噪聲的干擾，獲得更高的BLEU分數(shù)，因為存在一些低質量的模板影響翻譯質量. 通過同時優(yōu)化兩個目標，我們可以減少一些低質量模板的影響，提高模型的穩(wěn)定性。為了平衡這兩個目標，我們的模型同時對這兩個目標進行迭代訓練，如下所示：

實驗與分析

為了證明該方法的有效性，我們在多數(shù)據(jù)集、多語言上進行了實驗，包括IWSLT14德英翻譯任務、WMT14英德翻譯任務、LDC漢英翻譯任務和ASPEC日漢翻譯任務。實驗表明，與基線模型相比，我們的方法取得了更好的結果，這表明軟目標模板可以有效地指導翻譯過程并產生積極的影響。同時，我們的方法可以用于不同規(guī)模、語言和領域的數(shù)據(jù)集。

表 1：LDC 漢英翻譯任務結果

表 2：WMT14 英德翻譯任務結果

表 3：IWSLT14 德英翻譯任務結果

表 4：ASPEC 日中翻譯任務結果

總結

在這項工作中，我們提出了一種機器翻譯模型，該模型使用源文本和軟模板來生成翻譯。我們的方法可以從子樹中提取模板，子樹是從解析樹的特定深度獲得的。然后，我們使用 Transformer 模型來預測源文本的軟目標模板。此外，我們結合源文本和模板信息來指導翻譯過程。我們在多個數(shù)據(jù)集上比較了軟模板神經機器翻譯模型 (ST-NMT) 與其他基線模型。實驗結果表明，ST-NMT 可以顯著提高翻譯性能。