cloudyskyy/Guwen-UNILM

本仓库是基于bert4keras实现的古文-现代文翻译模型。具体使用了基于掩码自注意力机制的UNILM(Li al., 2019)预训练模型作为翻译系统的backbone。我们首先使用了普通的中文（现代文）BERT、Roberta权重作为UNILM的初始权重以训练UNILM模型（具体在文中分别为B-UNILM以及R-UNILM）。为了更好的使UNILM模型适应古文的特性，我们尝试使用了在古文预训练模型Guwen-BERT，作为UNILM的初始权重，并且获得了最优的效果。