在Keras中自定义Attention层

wuchangjian2021-11-16 18:52:36编程学习

具体的公式随处可见,就不展开了讨论了,在build中定义了WQ,WK,WV三个可训练的权值矩阵(batch_size,len,embedding_size),通过对input相乘后将WQ与WK的转置矩阵相乘((batch_size,len,embedding_size)(batch_size,embedding_size,len)=(batch_size,len,len)),并对该结果进行softmax运算,再对WV进行扩维,扩维至(batch_size,len,len,embedding_size),扩维后将上一步运算结果与WV相乘得到((batch_size,len,len,1)(batch_size,len,len,embedding_size)=(batch_size,len,len,embedding_size)),再对第2维进行求和,即可得到最后的输出。

class MyAttention(Layer):
    """注意力机制
    """
    def __init__(self, out_dim,key_size=8, **kwargs):
        super(MyAttention, self).__init__(**kwargs)
        self.out_dim = out_dim
        self.key_size=key_size
    def build(self, input_shape):
        super(MyAttention, self).build(input_shape)
        input_shape = list(input_shape)
        if input_shape[1]==None:
            input_shape[1]=1
        kernel_initializer = 'glorot_uniform'
        kernel_regularizer = None
        kernel_constraint = None
        self.qw = self.add_weight(name='qw',
                                  shape=(input_shape[1], self.out_dim),
                                  # shape=(1, self.out_dim),
                                  initializer=kernel_initializer,
                                  regularizer=kernel_regularizer,
                                  constraint=kernel_constraint,
                                      trainable=True)
        self.kw = self.add_weight(name='kw',
                                  shape=(input_shape[1], self.out_dim),
                                  # shape=(1, self.out_dim),
                                  initializer=kernel_initializer,
                                  regularizer=kernel_regularizer,
                                  constraint=kernel_constraint,
                                  trainable=True)
        self.vw = self.add_weight(name='vw',
                                  shape=(input_shape[1], self.out_dim),
                                  # shape=(1, self.out_dim),
                                  initializer=kernel_initializer,
                                  regularizer=kernel_regularizer,
                                  constraint=kernel_constraint,
                                  trainable=True)
    def call(self, inputs):
        input_size = tf.shape(inputs)
        q = tf.multiply(inputs, self.qw)
        k = K.permute_dimensions(tf.multiply(inputs, self.kw),(0,2,1))
        v = tf.multiply(inputs, self.vw)
        v = tf.reshape(tf.tile(v,[1,input_size[1],1]),(input_size[0],input_size[1],input_size[1],self.out_dim))
        p=tf.matmul(q,k)
        p=tf.reshape(K.softmax(p/np.sqrt(self.key_size)),(input_size[0],input_size[1],input_size[1],1))
        v=tf.reduce_sum(tf.multiply(v, p), 2)
        return v
    def compute_output_shape(self, input_shape):
        return (input_shape[0],input_shape[1], self.out_dim)

将编写的Attention放置在Keras自带的IMBD数据集上进行实验,结果如下:
在这里插入图片描述
有些参数还可以再调整,调整后说不定会好一点点。

实验代码基于苏神的评测代码(https://spaces.ac.cn/archives/4765),随便也把苏神的结果放上来仅供参考。
在这里插入图片描述
苏神的代码时间复杂度更低一些,但最后似乎有点过拟合了,苏神的代码没有通过可训练的权值矩阵来操作,而是运用 了不带偏置的全连接层,感兴趣的话可以去苏神的文章中详细查看。

返回列表

上一篇:测试

下一篇:剑指offer-替换空格

相关文章

有哪些常用的安全算法?

关于安全算法分为对称和非对称,涉及加密、解密、认证、访问控制等。 比如最...

EN 13101: 地下人行通道入口阶梯CE认证

地下人行通道入口阶梯CE认证(欧盟强制认证)-...

日常开发记录(2021-11-08)

目录 1.Css样式问题 2.页面加载样式错乱,刷新正常的情况...

创领新能源越野,坦克品牌进阶混动时代

创领新能源越野,坦克品牌进阶混动时代

2022-08-27 21:10:10 8月26日,坦克品牌以“创领新...

究竟是谁在蓄意挑衅制造危机

2022-08-16 10:52:48 佩洛西窜台是美方一手策划和挑起...

LeetCode猜数字大小

题目要求: 猜数字游戏的规则如下: 每轮游戏࿰...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。