Bert解析,state of the art的语言模型

AI公园 2019-08-14 07:30

BERT是最近由研究人员在谷歌AI语言上发表的论文。它通过在各种NLP任务(包括问答(SQuAD v1.1)、自然语言推理(MNLI)等)中展示最先进的结果,在机器学习社区中引起了轰动。BERT的关键技术创新是将目前流行的注意力模型Transformer的双向训练应用到语言模型中。这与之前的研究形成了对比,之前的研究着眼于从左到右的文本序列,或者结合从左到右和从右到左的训练。研究结果表明,双向训练的语言模型比单向训练的语言模型具有更强的语言语境感。在这篇论文中,研究人员详细介绍了一种新技术Masked LM (MLM),它允许在模型中进行双向训练,这在以... 阅读全文