内容推荐 本书在介绍如何利用前端技术来实现深度学习的模型部署和预测的基础上,重点介绍了若干运用前端AI技术的典型场景。本书内容包括三大部分:前端与AI、引入新模型和WebAI进阶。本书重点讲解模型开发的“全链路”,从模型供给到业务实现,串联起前端AI开发的整个流程。读者可以根据定制化的需求利用Paddle.js前端推理引擎完成算子开发、精度对齐、业务场景接入等具体的研发工作。本书不仅可以使读者对前端AI的理论和技术体系有深入的了解,还能通过指导实现推理效果的验证,让前端开发和AI技术深入结合,实现理论和实践的统一。 本书适合对AI、深度学习和前端AI感兴趣的学生和从业者使用。 作者简介 张静媛,毕业于西安电子科技大学,Paddle.js核心研发人员。2016年毕业后就职于百度,先后参与了多模搜索、搜索阿拉丁、无极低代码平台、百度App可交互型数字人、生成式搜索等多个产品的研发工作,目前致力于AI-Native和前端推理、渲染方向的开发与探索。 目录 第1部分 前端与AI 第1章 Web AI 1.1 Web AI的特点 1.2 Web AI的发展历程 1.3 总结 第2章 神经网络和前端推理引擎 2.1 感知机 2.2 从感知机到神经网络 2.3 前端推理引擎 2.4 总结 第3章 Paddle.js初探 3.1 AI全链路 3.1.1 AI全链路基本介绍 3.1.2 前端推理引擎Paddle.js 3.2 模型和神经网络拓扑结构 3.2.1 模型结构文件与参数文件 3.2.2 神经网络拓扑结构 3.3 推理过程与运行环境 3.3.1 推理过程 3.3.2 运行环境 3.4 使用Paddle.js 3.5 总结 第4章 CV项目实战 4.1 paddlejs-models模型库 4.1.1 backend选择 4.1.2 引入模型library 4.2 经典CV模型实战 4.2.1 图像分类 4.2.2 图像分割 4.2.3 目标检测 4.3 小程序CV项目 4.3.1 微信小程序插件paddlejsPlugin 4.3.2 百度智能小程序动态库paddlejs 4.4 总结 第2部分 引入新模型 第5章 模型准备 5.1 模型转换 5.1.1 转换工具使用 5.1.2 转换过程 5.2 模型算子 5.2.1 算子基本信息 5.2.2 算子计算规则 5.3 算子开发与测试 5.3.1 算子开发 5.3.2 算子测试 5.4 总结 第6章 模型前后处理 6.1 模型前处理 6.1.1 媒体资源获取 6.1.2 输入数据处理 6.2 模型后处理 6.2.1 目标分类 6.2.2 目标框选 6.2.3 目标分割 6.3 总结 第7章 图像处理 7.1 简单滤镜 7.1.1 灰度 7.1.2 色相旋转 7.2 美颜效果 7.2.1 美白滤镜 7.2.2 磨皮滤镜 7.2.3 瘦脸滤镜 7.2.4 大眼滤镜 7.3 总结 第3部分 Web AI进阶 第8章 计算方案 8.1 基本概念 8.1.1 多线程 8.1.2 SIMD 8.1.3 CPU与GPU 8.2 计算方案介绍 8.2.1 PlainJS计算方案 8.2.2 WebGL计算方案 8.2.3 WebGPU计算方案 8.2.4 WebAssembly计算方案 8.2.5 NodeGL计算方案 8.2.6 Web Worker在Paddle.js上的应用 8.3 计算方案对比 8.4 总结 第9章 性能优化 9.1 算子融合 9.2 向量化计算 9.3 多线程 9.4 总结 第10章 Web AI应用安全 10.1 安全问题与安全目标 10.1.1 安全问题 10.1.2 安全目标 10.2 前端安全技术 10.2.1 加解密方案 10.2.2 代码安全 10.2.3 安全加固方案 10.3 安全方案 10.3.1 安全中心 10.3.2 离线部署 10.3.3 在线推理 10.4 总结 第11章 Web AI的发展趋势 11.1 Web AI的六大能力 11.2 技术展望 11.2.1 Web AI的标准 11.2.2 Web AI中的端云协同 11.3 总结 第12章 未来已来 12.1 大语言模型简介 12.1.1 什么是GPT 12.1.2 超大语言模型带来的能力跃升 12.1.3 GPT-4的又一次生长 12.1.4 回答准确性和可解释性 12.2 前端和大语言模型 12.2.1 提示语是一切的核心 12.2.2 学会如何与GPT交流 12.2.3 用GPT优化工作流 12.3 关于未来的畅想 12.4 给前端工程师的建议 |