2019-07-05 16:52 VincentWei
首先介绍大家熟悉的Seq2Seq模型。 接下来介绍Beam Search。预测的时候使用，训练的时候不使用。 引入Attention的初衷，越长的距离关系，LSTM的能力在下降。 核心代码如下：（注释的很清楚了） """ Sequence To Sequence模型 定义了模型编码器、解码器、优化器、训练、预测 """ import tensorflow as tf from tensorflow.contrib.rnn import LSTMCell, GRUCell, MultiRNNCell, LS...
继续阅读 »2019-05-26 16:35 VincentWei
--------------------------------------------------------------------------------------------------------------------------------------------------
继续阅读 »2019-05-24 22:42 VincentWei
首先看下dynamic的概念，即不需要确定的输入长度，以及batch 大小， 都可以动态。但是注意首先每个batch对应所有样本的输入长度还是需要一样的，作为dense数据，否则，不可处理。 dynamic_rnn替代了原来的bucket。 为什么在任务型聊天机器人，加入生成式闲聊端对端聊天机器人的元素呢，因为，当用户输入的message无法识别到具体的高置信度的意图时候，往往这些用户的输入都是无意义的，如果只是吐出不知道您在说什么之类的回复，未免显得不够友好。所以，此时类似这种情况的输入，进入闲聊模式，...
继续阅读 »
