![]()
内容推荐 “PyTorch深度学习指南”丛书循序渐进地详细讲解了与深度学习相关的重要概念、算法和模型,并着重展示了PyTorch是如何实现这些算法和模型的。其共分三卷:编程基础、计算机视觉、序列与自然语言处理。 本书为该套丛书的第三卷:序列与自然语言处理。本书主要介绍了循环神经网络(RNN、GRU和LSTM)和一维卷积;Seq2Seq模型、注意力、自注意力、掩码和位置编码;Transformer、层归一化和视觉Transformer(ViT);BERT、GPT-2、单词嵌入和HuggingFace库等内容。 本书适用于对深度学习感兴趣,并希望使用PyTorch实现深度学习的Python程序员阅读学习。 作者简介 赵春江,博士,毕业于上海交通大学。在信息处理领域有着十余年丰富的教学和科研经验。在科研方面,主持过3项省级教科研项目,在国内外期刊和会议中共发表20余篇学术论文,其中被SCl或EI检索共计12篇。 目录 前言 致谢 关于作者 译者序 常见问题 为什么选择PyTorch? 为什么选择这套书? 谁应该读这套书? 我需要知道什么? 如何阅读这套书? 下一步是什么? 设置指南 官方资料库 环境 谷歌Colab Binder 本地安装 继续 第8章 序列 剧透 Jupyter Notebook 导入 序列 数据生成 循环神经网络(RNN) RNN单元 RNN层 形状 堆叠RNN 双向RNN 正方形模型 可视化模型 我们能做得更好吗? 门控循环单元(GRU) GRU单元 GRU层 正方形模型Ⅱ——速成 模型配置和训练 可视化模型 我们能做得更好吗? 长短期记忆(LSTM) LSTM单元 LSTM层 正方形模型Ⅲ——巫师 模型配置和训练 可视化隐藏状态 可变长度序列 填充 打包 解包(至填充) 打包(从填充) 可变长度数据集 数据准备 正方形模型Ⅳ——打包 模型配置和训练 一维卷积 形状 多特征或通道 膨胀 数据准备 模型配置和训练 可视化模型 归纳总结 固定长度数据集 可变长度数据集 选择一个合适的模型 模型配置和训练 回顾 第9章(上):序列到序列 剧透 Jupyter Notebook 导入 序列到序列 数据生成 编码器-解码器架构 编码器 解码器 编码器+解码器 数据准备 模型配置和训练 可视化预测 我们能做得更好吗? 注意力 “值” “键”和“查询” 计算上下文向量 评分方法 注意力分数 缩放点积 注意力机制 源掩码 解码器 编码器+解码器+注意力机制 模型配置和训练 可视化预测 可视化注意力 多头注意力 第9章(下):序列到序列 剧透 自注意力 编码器 交叉注意力 解码器 编码器+解码器+自注意力机制 模型配置和训练 可视化预测 不再有序 位置编码(PE) 编码器+解码器+位置编码 模型配置和训练 可视化预测 可视化注意力 归纳总结 数据准备 模型组装 编码器+解码器+位置编码 自注意力的“层” 注意力头 模型配置和训练 回顾 第10章 转换和转出 剧透 Jupyter Notebook 导入 转换和转出 狭义注意力 分块 多头注意力 堆叠编码器和解码器 包裹“子层” Transformer编码器 Transformer解码器 层归一化 批量与层 我们的Seq2Seq问题 投影或嵌入 Transformer 数据准备 模型配置和训练 可视化预测 PyTorch的Transformer 模型配置和训练 可视化预测 视觉Transformer 数据生成和准备 补丁 特殊分类器词元 模型 模型配置和训练 归纳总结 数据准备 模型组装 模型配置和训练 回顾 第11章 Down the Yellow Brick Rabbit Hole 剧透 Jupyter Notebook 附加设置 导入 “掉进黄砖兔子洞(Down the Yellow Brick Rabbit Hole)” 构建数据集 句子词元化 HuggingFace的数据集 加载数据集 单词词元化 词汇表 HuggingFace的词元化器 单词嵌入之前 独热(One-Hot)编码(OHE) 词袋(BoW) 语言模型 N元(N-gram) 连续词袋(CBoW) 单词嵌入 Word2Vec 什么是嵌入? 预训练的Word2Vec 全局向量(GloVe) 使用单词嵌入 模型Ⅰ——GloVE+分类器 模型Ⅱ——GloVe+Transformer 上下文单词嵌入 ELMo BERT 文档嵌入 模型Ⅲ——预处理嵌入 BERT 词元化 输入嵌入 预训练任务 输出 模型Ⅳ——使用BERT进行分类 使用HuggingFace进行微调 序列分类(或回归) 词元化数据集 训练器 预测 管道 更多管道 GPT-2 归纳总结 数据准备 模型配置和训练 生成文本 回顾 谢谢您! |