欢迎光临 x-algo
关注算法在工业界应用
Hi, 这是一个关注大数据算法在工业界应用的网站

Chinese Poetry Generation with Recurrent Neural Networks

最近研究一下文本生成,记录一下

整体结构

本文结构算是比较复杂的,结构如下图:

13.2.59

具体为:

  1. 选择关键词列表
  2. 根据关键词得到相似的phrase集合
  3. 根据phrase进行组合,得到很多候选诗句
  4. 从候选里面选择一个得分最高的,作为第一句
  5. 根据以前的句子生成下一句,这个生成过程有三个网络

三个模型

第一个CNN

三个模型为一个CNN,两个RNN,第一个CNN负责对已经生成的句子做embedding,根据诗句是七言还是五言,后决定是否去掉后两层(搞这么复杂,为啥不直接用GAP层?),如下图:

13.2.61

如果是五言的话,没有红色的最上面两层.

CNN的输出作为下面两个RNN的输入, \(v_i\) 为第i句embedding的结果,下图是计算第i+1句第j+1个字概率分布,两个RNN的结构为:

 

13.2.60

第一个RNN

左下角为第一个RNN,目标是对context建模,称为RCM(recurrent context model),针对当前要生成的字符,通过这个网络,得到他的context.具体为:

13.2.62

这个RNN很简单,对五言来说,参数是一个M和5个U,生成对应位置的context的时候,需要通过各自的U得到.但是实际编程的时候,也可以直接通过卷积操作,设置5个卷积核就可以了.

第三个RNN

通过这个RNN计算当前生成字符的分布,计算逻辑:

13.2.63

其中 \(X e(w_j)\) 可以看做是embedding的过程.

未经允许不得转载:大数据算法 » Chinese Poetry Generation with Recurrent Neural Networks

分享到:更多 ()

评论 抢沙发

*

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

关注大数据算法在工业界应用

本站的GitHub关于本站