blaire
👩🏻💻星洲小课堂 SinClass
对话系统之所以没有取得突破性的进展,很大程度是因为没有一个可以准确表示回答效果好坏的评价标准。对话系统中大都使用机器翻译、摘要生成领域提出来的评价指标,但是很明显对话系统的场景和需求与他们是存在差别的.
sequence_loss 是 nlp算法 中非常重要的一个函数. rnn,lstm,attention都要用到这个函数.看下面代码:
我们使用 tf.contrib.legacy_seq2seq 下的 API 构建了一个简单的 chatbot 对话系统. 代码是1.0之前旧版.
本篇我们学习新版本灵活的的API,这里先来说一下二者的不同:
从具体的模型细节、公式推导、结构图以及变形等几个方向详细介绍一下 Seq-to-Seq 模型。
LSTM 可以学习到距离很远的信息,解决了RNN无法长期依赖的问题。
Bidirectional RNN 解决的是 当前时刻的输出不仅和之前的状态有关系,也和之后的状态相关。
Deep RNNs 是 为了增强模型的表达能力,可以在网络中设置多个循环层,将每层 RNN 的输出传给下一层处理。
实战Google深度学习框架 笔记-第8章 循环神经网络-1-前向传播。 Github: RNN-1-Forward_Propagation.ipynb
官方给出的例子,用多层 LSTM 来实现 PTBModel 语言模型,比如: tensorflow笔记:多层LSTM代码分析 感觉这些例子还是太复杂了,所以这里写了个比较简单的版本
我们来实现一个非常简单的两层 FC 全连接网络来完成 MNIST数据 的分类
上篇 PTB
数据集 batching 中我们介绍了如何对 PTB
数据集进行 连接、切割 成多个 batch,作为 NNLM 的输入。
本文将介绍如何采用 TensorFlow 实现 RNN-based NNLM。
PTB
数据集 batching 介绍, 如何对 PTB
数据集进行 连接、切割 成多个 batch。
重点了解 batch_size、num_batch、num_step 这三个概念。
实战Google深度学习框架 笔记-第6章 图片识别 与 CNN
介绍 CNN 在图片识别的应用 和 CNN 基本原理 以及 如何使用 TensorFlow 来实现 CNN .
一些用于 Dialog 对话系统的数据集资料汇总
学会用 Tensorflow 自带的 tensorboard 去可视化我们所建造出来的神经网络是一个很好的学习理解方式.
用最直观的流程图告诉你, 你的神经网络是长怎样,有助于你发现编程中间的问题和疑问.
这次提到了怎样建造一个完整的神经网络, 包括添加 神经层, 计算误差, 训练步骤, 判断是否在学习.