查看原文
其他

亚马逊提出无监督虚拟增强句子表征学习框架,效果超越SimCSE

林亿 PaperWeekly 2022-07-04


©作者 | 林亿
单位 | 科大讯飞AI研究院
研究方向 | 对话系统




前言 


半年前 SimCSE 两次 dropout 的操作刷爆朋友圈,对比学习相关论文也席卷各大顶会顶刊;上次也总结了 ACL 2021 的一些对比学习文章。最近组内论文分享有同事分享了一篇亚马逊的工作,觉得还蛮有意思,效果也甚好。



论文标题:

Virtual Augmentation Supported Contrastive Learning of Sentence Representations

论文链接:

https://arxiv.org/abs/2110.08552



进入正题


首先思考一下,SimCSE 虽然操作简单,这其实意味着它还有很多的可操作空间,比如——如何进一步加大对困难样本信息的挖掘,从而进一步提升网络的性能。

这个道理就像考试,简单的题目大家都会,所以所有大家随便考考都可以考到 90 分,但是 90-100 分这个区间,就要考验大家对困难题目的理解了;如果我们平时学习一直反复写简单题目,忽略了难题的练习,那肯定是没办法在 90 分的基础上再多考几分的。

想让模型多见一些困难样本,有两种方式:

第一种方式就是充分挖掘现在的数据集,找出现在数据集内的困难样本,然后通过加大这些样本的权重或者出现的比例,强迫模型多关注这些难题,比如 SimCSE 内利用温度 τ 来控制对困难样本的关注度:


1. 分子是原始 case 两次 dropout 输出,其相似度一定较大,无太大随机性,即熵值较为固定;

2. 分母中包含一堆负样本,包括简单样本,困难样本等,不确定性高,熵值大;

3. 分母中困难样本定义为:其明明是负样本,其和原始 case 相似度却很大;那么分母一定是更关注困难样本,因为简单样本 loss 低;

4. 所以当 τ>1,相当于降低对困难样本的关注度,当 τ<1,则进一步扩大困难样本比重,更加关注困难样本。

比如简单负样本和原句相似度 0.1,困难样本和原句相似度 0.6,除以 τ=0.2 后,差距进一步扩大,模型会更关注困难样本;


或者利用方差等方式手动挑出来比较困难的样本,反复多加入几次迭代过程,具体在这里就不赘述了。

另一种方式就是创造更多的困难样本,常见的方式一般是人为分析数据后进行手工添加,可以配合一些仿射变换,如同义词替换、回译等;那么能不能像第一种方式那样,在训练过程中,让网络自己想办法去创建一些困难样本呢?

好了,本文的主角终于来了—— VaSCL,其会在网络训练的过程中自动创造一些虚拟的困难样本,为什么说是虚拟的,自然也是和 SimCSE 那样直接 dropout 出来的一堆“数据分布”一样,毫无章法且不讲道理但... 有效!



VaSCL 是怎么做的?


首先还是和 SimCSE 一样,一个 case 两次 dropout,然后最小化自身两次 dropout 的距离,并推远与其它样本的距离;即,SimCSE 原 loss 全部保留。

剩下就是怎么找出来困难样本。

1. 假设 batch 为 32,我们需要找出第一句话的困难样本,因为是无监督模型,除了第一句话自身,其余所有 case 都是负样本,那么模型输出特征向量和第一句话越相似的,其就越可能是第一句话的困难样本是吧?我们首先定义一个 k,在每个 batch 中找到每句话输出特征向量最近的 k 句话,后文称为这句话的 k 领域,后面就用这 k 句话创建第一句话的虚拟困难样本。

2. 假设第一句话经过模型输出的特征向量是 e,随便搞一个高斯白噪声 α,加上去,得到一个新的特征向量 e+α,理论上来说,这个新的特征向量和第一句话的意思应该还是相近的,因为是高斯白噪声,其不会对原始向量数据分布产生太大影响,这个过程大概可以模拟成这样:


e = e + np.random.standard_normal(y.shape) * 0.01

如果是给一张图片加上高斯白噪声,基本是看不出什么变化的。仔细看一下这个高斯白噪声的代码,好好想想,理论上按照这个公式,高斯白噪声一定不应该对原句的语义产生太大影响。

当然,实际上我们不是随便乱加一个高斯白噪声,我们期待我们有很多的高斯白噪声,然后再其中选取一个最优的高斯白噪声,可以使得第一句话加上这个噪声以后,即 e+α 和原来的特征向量 e,最远,但是第一句话 k 领域内的所有负样本加上这个噪声 α 后都和原句 e 更靠近了,这样的一个高斯白噪声可谓是坏事干尽了,迷惑性贼大!

所以当原句 e 加上这个最优的噪声 α,就得到了一个很强的困难样本!


这里有个问题,这个候选高斯白噪声集合哪里来,文章没有交代,理论上我们随机生成若干个作为备选,或者预设一个数值,每次训练过程中随机生成这么多个,再或者直接把这个噪声当成可训练参数或许也可以(但是按照原文的意思,似乎没有把这个 α 当成可训练参数);不过都是小问题,个人比较倾向在训练前指定数值 n。


3. 训练过程中 batch 中每句话的 loss:

首先保持 SimCSE 的损失:
  • 每句话的两次 dropout 靠近
  • 每句话和别的句子 dropout 拉远


然后是虚拟困难样本损失:按 2 的规则在高斯白噪声集里面找到一个最优的噪声 α,每句话加上其最优噪声得到这句话的虚拟困难样本,这句话的 k 领域内负样本也加上这句话的最优噪声,得到这句话 k 领域的虚拟困难负样本


  • 原句和其虚拟困难样本拉近

  • 原句/原句虚拟困难强样本分别与 k 领域内负样本 /k 领域虚拟困难负样本拉远

作者没有开源,但是其实按照 SimCSE 实际实现起来应该差不多,难度不大。



效果



更多阅读




#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编




🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧



·

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存