SimBERTv2来了！融合检索和生成的RoFormer-Sim模型
©PaperWeekly 原创 · 作者｜苏剑林
单位｜追一科技
研究方向｜NLP、神经网络
去年我们放出了 SimBERT [1] 模型，它算是我们开源的比较成功的模型之一，获得了不少读者的认可。简单来说，SimBERT 是一个融生成和检索于一体的模型，可以用来作为句向量的一个比较高的 baseline，也可以用来实现相似问句的自动生成，可以作为辅助数据扩增工具使用，这一功能是开创性的。
简介
https://github.com/ZhuiyiTechnology/roformer-sim
语料
SimBERT 和 RoFormer-Sim 的关键之处，都是在于训练语料的构建。RoFormer-Sim 的训练语料包括两部分：1）疑问类型相似句；2）通用类型相似句。对于疑问类相似句，我们还是像 SimBERT 一样，通过收集百度知道的相似问句，然后通过规则进一步清洗，这部分对我们来说已经很成熟了；对于通用类相似句，我们没有现成的地方可以搜集，于是我们提出了两种方案，一定程度上可以无监督地构建（伪）相似句对。
第一个方案是基于“同一个问题的答案是相似的”思想，假如我们有现成的问答语料，该语料对于同一个问题有多个答案，那么我们可以将每个答案分句，然后用一个现成的相似度函数来比较答案之间的相似度，挑出相似度超过某个阈值的句对作为相似句对使用；
第二个方案则是基于“同一篇章的句子是相似的”思想，它更加简单直接一点，就是将每个篇章分句，然后用一个现成的相似度函数两两计算相似度，挑出相似度超过某个阈值的句对作为相似句对使用，显然该方案的合理性更弱，所以它的阈值也更高。
这里涉及到一个“现成的相似度函数”，我们是直接使用 Jaccard 相似度的一个变体，换言之只需要一个规则的、字符级别的相似度就好了，语义上的关联，则通过篇章内部的关联以及预训练模型本身的泛化能力来获得。
生成
RoFormer-Sim 的训练方式跟 SimBERT 基本一样，如下图所示。稍微不同的是，为了增强模型的生成能力，在构造训练语料的时候，我们还随机地将输入句子的部分 token 替换为[MASK]，这种预训练方法首先由 BART 提出。而我们跟 BART 的区别在于：BART 是“输入带噪声的句子，输出原句子”，我们是“输入带噪声的句子，输出原句子的一个相似句”，理论上我们的任务还更难。
gen_synonyms(u'广州和深圳哪个好？')
[
'深圳和广州哪个好？',
'广州和深圳哪个好',
'广州和深圳哪个更好？',
'深圳和广州哪个更好？',
'深圳和广州，那个更好？',
'深圳和广州哪个好一些呢？',
'深圳好还是广州好？',
'广州和深圳哪个地方好点？',
'广州好还是深圳好？',
'广州和深圳哪个好一点',
'广州和深圳哪个发展好？',
'深圳好还是广州好',
'深圳和广州哪个城市更好些',
'深圳比广州好吗？',
'到底深圳和广州哪个好？为什么呢？',
'深圳究竟好还是广州好',
'一般是深圳好还是广州好',
'广州和深圳那个发展好点',
'好一点的深圳和广州那边好？',
'深圳比广州好在哪里？'
]
gen_synonyms(u'科学技术是第一生产力。')
[
'科学技术是第一生产力！',
'科学技术是第一生产力',
'一、科学技术是第一生产力。',
'一是科学技术是第一生产力。',
'第一，科学技术是第一生产力。',
'第一生产力是科学技术。',
'因为科学技术是第一生产力。',
'科学技术是第一生产力知。',
'也即科学技术是第一生产力。',
'科学技术是第一生产力吗',
'科技是第一生产力。',
'因此，科学技术是第一生产力。',
'其次，科学技术是第一生产力。',
'科学技术才是第一生产力。',
'科学技术是第一生产力吗？',
'第二，科学技术是第一生产力。',
'所以说科学技术是第一生产力。',
'科学技术确实是第一生产力。',
'科学技术还是第一生产力',
'科学技术是第一生产力对吗？'
]总的来说，初步实现了任意句式的相似扩增，但问句的扩增效果优于一般句型，这是因为训练语料中问句的质量就明显高于一般句型。由于进行了仿 BART 式训练，所以除了直接进行相似句生成外，我们还可以自行把某些部分 mask 掉，让模型自行发散扩充，比如：
gen_synonyms(u'科学技术是第一生产力。', mask_idxs=[6, 7]) # mask掉“第一”
[
"科学技术是第一生产力",
"2、科学技术是第一生产力。",
"科学技术是第一生产力，也是第二生产力。",
"科学技术是第一生产力，科学发展是第二生产力。",
"9、科学技术是第一生产力。",
"第一，科学技术是一种生产力。",
"科学技术是生产力。",
"科学技术是第二生产力。",
"科学技术是第一生产力”现在提出来的。",
"一、科学技术是一种生产力。",
"科学技术是第一生产力是什么意思",
"科学技术是一种主要生产力。",
"一：科学技术是最高生产力。",
"指科学技术不是第一生产力。",
"科学技术是第二生产力，第一生产力又是第二生产力。",
"二、科学技术是一种生产力。",
"世界上第一种生产力是科学技术。",
"科学技术是社会主义生产力之一。",
"第二，科学技术也是第二生产力。",
"科技是一切生产力。"
]
检索
增加一般句式的语料、引入仿 BART 式训练，这些改动都相对来说提升了生成模型的效果。然而，我们意外地发现，检索模型（即句子编码模型）的效果却降低了。估计的原因，可能是更多的语料、更大的噪声虽然加大了生成模型的难度，但对于对比学习来说，这些不同句式的或者带噪声的样本作为负样本，反而是难度降低了。比如，如果一个 batch 同时有疑问句和陈述句，那么模型可以简单地通过句式（而不是语义）就可以识别出不少负样本，从而降低了对语义的理解能力。
总结
参考文献
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。