<返回更多

用膨胀卷积进行命名实体识别 NER

2020-07-23    
加入收藏

BiLSTM+CRF 是命名实体识别中最为流行的模型,但是 LSTM 需要按顺序处理输入的序列,速度比较慢。而采用 CNN 可以更高效的处理输入序列,本文介绍一种使用膨胀卷积进行命名实体识别的方法 IDCNN,通过膨胀卷积可以使模型接收更长的上下文信息。

1.膨胀卷积

膨胀卷积 (Dilated Convolution) 是指卷积核中存在空洞,下图展示了膨胀卷积和传统卷积的区别。之前的文章《膨胀卷积 dilated convolution》 有关于膨胀卷积的介绍,不熟悉的童鞋可以参考一下。

用膨胀卷积进行命名实体识别 NER

膨胀卷积和传统卷积的区别

膨胀卷积通过在卷积核中增加空洞,可以扩大模型的感受野 (即句子中的上下文),从下图可以看到,同样是尺寸为 3 的卷积核,同样是两层卷积层,膨胀卷积的上下文大小为 7,而传统卷积上下文大小为 5。

用膨胀卷积进行命名实体识别 NER

膨胀卷积和传统卷积上下文大小

卷积核的膨胀系数 (即空洞的大小) 每一层是不同的,一般可以取 (1, 2, 4, 8, ...),即前一层的两倍。

对于尺寸为 3 的传统卷积核,第 L 层的上下文大小为 2L+1;而对于尺寸为 3 的膨胀卷积核,第 L 层上下文的大小是 2^(L+1) -1。因此膨胀卷积的上下文大小和层数是指数相关的,可以通过比较少的卷积层得到更大的上下文。

2.用膨胀卷积进行命名实体识别

论文《Fast and Accurate Entity Recognition with Iterated Dilated Convolutions》中提出了一种使用膨胀卷积的方法进行命名实体识别,IDCNN (Iterated Dilated Convolutions)

作者认为直接堆叠膨胀卷积层,可以获得很长距离的上下文信息,例如有 9 层膨胀卷积层,则上下文的宽度超过 1000。但是简单的堆叠多层膨胀卷积,容易导致过拟合。

为了避免过拟合,作者先构造一个层数不多的膨胀 block,block 包含几个膨胀卷积层,例如 4 个。然后把数据重复传到同一个 block 中,即 block 输出的结果又重复传入 block 中,作者称为 Iterated Dilated Convolutions,IDCNN。通过重复使用相同的 block,可以让模型接收更宽的上下文信息,同时有比较好的泛化能力。

IDCNN 的膨胀卷积 block 包含多个膨胀卷积层,用 D 表示膨胀卷积层,如下面公式所示:

用膨胀卷积进行命名实体识别 NER

膨胀卷积层表示

IDCNN 网络的第一层对输入数据进行转换,使用标准的卷积:

用膨胀卷积进行命名实体识别 NER

IDCNN 第一层对输入进行转换

后 IDCNN 会使用 Lc 个膨胀卷积层构造出 block,block 用 B() 表示,block 包含的膨胀卷积如下:

用膨胀卷积进行命名实体识别 NER

block 中包含 Lc 个膨胀卷积

IDCNN 会重复使用 Lb 次相同的 block,对数据进行处理,如下:

用膨胀卷积进行命名实体识别 NER

IDCNN 重复使用 Lb 次 block

最后一层的输出再经过线性变换,可以得到序列每一个时刻 t 属于不同类别的分数:

用膨胀卷积进行命名实体识别 NER

最后一层输出线性变换

3.IDCNN 训练

IDCNN 可以使用两种训练方式,第一种是利用最后一次 block 的输出,预测每一时刻的类别,如下:

用膨胀卷积进行命名实体识别 NER

IDCNN 用最后一层 block 输出进行预测

这种方法可以结合 CRF 进行训练,类似 BiLSTM+CRF,因为 IDCNN 也可以输出每一时刻属于不同类别的概率。

第二种训练方法是对于每一次 block 的输出都预测序列的类标,作者认为这种方式可以起到类似 CRF 的效果,能够把输出结果之间的关系编码到 IDCNN 中。例如假设执行两次 block,则第一次 block 可以预测每一时刻对应不同类别的概率。而第二次 block 接收第一次 block 的输出,可以预测每一时刻输出之间的关系,类似 CRF。公式如下:

用膨胀卷积进行命名实体识别 NER

IDCNN 使用每一层 block 输出进行预测

4.参考文献

Fast and Accurate Entity Recognition with Iterated Dilated Convolutions

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍最近更新
更多资讯 >>>