跳转至
AiBook
概念词汇表:U
한국어
English
简体中文
正在初始化搜索引擎
devchan64/AiBook
AiBook
devchan64/AiBook
开始
开始
介绍
目录
Part 1. AI 导论与地形图
Part 1. AI 导论与地形图
概览
Module 1. AI 的范围与历史
Module 1. AI 的范围与历史
Chapter 1. 什么是 AI
Chapter 1. 什么是 AI
P1-1.1 AI 这个词的范围
P1-1.2 AI 处理的问题
P1-1.3 AI、机器学习、深度学习与生成式 AI 的关系
Chapter 2. AI 的历史与范式变化
Chapter 2. AI 的历史与范式变化
P1-2.1 符号主义 AI 与规则式方法
P1-2.2 搜索、知识表示与概率推理
P1-2.3 走向机器学习、深度学习与生成式 AI 的脉络
Module 2. 规则、模型与学习
Module 2. 规则、模型与学习
Chapter 3. 从规则走向学习
Chapter 3. 从规则走向学习
P1-3.1 规则式系统的优势与限制
P1-3.2 从数据中学习模式意味着什么
P1-3.3 规则方法与表征学习
Chapter 4. 把问题变成模型
Chapter 4. 把问题变成模型
P1-4.1 先熟悉 model 这个词
P1-4.2 输入(input)、输出(output)与数据(data)
P1-4.3 特征、表征与参数
P1-4.4 问题定义如何决定模型
Chapter 5. 学习与模型执行
Chapter 5. 学习与模型执行
P1-5.1 学习(learning)会改变什么
P1-5.2 模型执行(inference)在运行什么
P1-5.3 区分与 inference 相关的术语
Module 3. 不确定性与问题求解
Module 3. 不确定性与问题求解
Chapter 6. 不确定性与概率判断
Chapter 6. 不确定性与概率判断
P1-6.1 信息不完整且例外很多的问题
P1-6.2 区分概率、不确定性与随机过程
P1-6.3 AI 在哪些地方使用概率性判断
Chapter 7. 搜索与启发式
Chapter 7. 搜索与启发式
P1-7.1 搜索空间与计算极限
P1-7.2 启发式到底减少了什么
P1-7.3 启发式与概率模型的区别
P1-7.4 补充学习:从路径寻找走向自动驾驶路径规划
Chapter 8. 学习类型的基本区分
Chapter 8. 学习类型的基本区分
P1-8.1 监督学习:输入与标签
P1-8.2 无监督学习:结构与表征
P1-8.3 强化学习:动作与奖励
Module 4. 走向深度学习与生成式 AI
Module 4. 走向深度学习与生成式 AI
Chapter 9. 深度学习范式的扩散
Chapter 9. 深度学习范式的扩散
P1-9.1 图像识别与表征学习
P1-9.2 目标检测与语音生成案例
P1-9.3 区分 LLM 的直接谱系与外围证据
Chapter 10. 生成式 AI 导论
Chapter 10. 生成式 AI 导论
P1-10.1 分类、预测与生成的区别
P1-10.2 生成下一个输出(next-output generation)的直觉
P1-10.3 生成结果(output)的质量(quality)与风险(risk)
Chapter 11. LLM 从哪里来
Chapter 11. LLM 从哪里来
P1-11.1 统计语言模型与嵌入
P1-11.2 RNN、Seq2Seq 与 Attention
P1-11.3 Transformer 与预训练 LLM(pretrained LLM)
Module 5. LLM 使用体验的核心元素
Module 5. LLM 使用体验的核心元素
Chapter 12. Prompt 基础与使用 LLM 的手感
Chapter 12. Prompt 基础与使用 LLM 的手感
P1-12.1 提示词(prompt)指定了什么
P1-12.2 指示(instruction)、上下文(context)、示例(example)
P1-12.3 提示词(prompt)的限制(limit)与评估(evaluation)
Chapter 13. 嵌入与向量检索
Chapter 13. 嵌入与向量检索
P1-13.1 把文本(text)表示为向量(vector)意味着什么
P1-13.2 相似度搜索(similarity search)的直觉
P1-13.3 通向 RAG(retrieval-augmented generation)的流程
P1-13.4 向量搜索(vector search)实现的直觉
Chapter 14. AI 服务架构与执行环境
Chapter 14. AI 服务架构与执行环境
P1-14.1 模型、应用、数据与工具
P1-14.2 RAG 与工具使用的位置
P1-14.3 agent:把目标(goal)连接成工作流(workflow)的结构
P1-14.4 MCP(Model Context Protocol)与工具连接标准化
P1-14.5 harness 与评估执行环境
P1-14.6 AI 服务在现实中遇到的约束
Module 6. 社会议题与应用
Module 6. 社会议题与应用
Chapter 15. AI 伦理、版权与安全
Chapter 15. AI 伦理、版权与安全
P1-15.1 偏见(bias)、安全性(safety)、责任(accountability)
P1-15.2 版权(copyright)与训练数据(training data)
P1-15.3 安全(security)与隐私(privacy)
Chapter 16. 实际应用案例
Chapter 16. 实际应用案例
P1-16.1 个人学习(personal learning)与文档化(documentation)
P1-16.2 工作自动化(work automation)与搜索(search)
P1-16.3 如何通过项目(project)来验证
Chapter 17. AI 的未来
Chapter 17. AI 的未来
P1-17.1 应该依据什么来讨论预测
P1-17.2 阅读新闻(news)、专栏(column)、报告(report)
P1-17.3 区分预测(prediction)与工作假设(working hypothesis)
总结
Part 2. 基础恢复
Part 2. 基础恢复
概览
Module 1. 把数学重新读成计算语言
Module 1. 把数学重新读成计算语言
Chapter 1. 为什么 AI 需要数学
Chapter 1. 为什么 AI 需要数学
P2-1.1 数学在 AI 计算中扮演什么角色
P2-1.2 把公式转成代码,计算数据
Chapter 2. 重新阅读公式记号
Chapter 2. 重新阅读公式记号
P2-2.1 重新阅读变量(variable)、函数(function)、表达式(expression)
P2-2.2 Sigma(Σ)与重复计算
P2-2.3 极限(limit)与变化的直觉
P2-2.4 为什么 log 与 exp 会反复出现
Module 2. 阅读模型计算所需的核心数学
Module 2. 阅读模型计算所需的核心数学
Chapter 3. 线性代数在建模什么
Chapter 3. 线性代数在建模什么
P2-3.1 标量(scalar)、向量(vector)、矩阵(matrix)
P2-3.2 向量空间(vector space)与位置的直觉
P2-3.3 矩阵乘法(matrix multiplication)到底在复用什么
P2-3.4 内积(dot product)、长度(norm)、距离(distance)、相似度(similarity)
P2-3.5 Python 运行环境:Colab 与本地 PC
P2-3.6 用 NumPy 确认线性代数
Chapter 4. 微分是为了找到什么的工具
Chapter 4. 微分是为了找到什么的工具
P2-4.1 回顾我们怎样学习微分
P2-4.2 变化率(rate of change)与斜率(slope)
P2-4.3 微分(derivative)与梯度(gradient)
P2-4.4 为什么学习里需要微分
P2-4.5 梯度补充学习:从高中微分到多变量微分
P2-4.6 复合函数与链式法则
Chapter 5. 为什么需要概率与统计
Chapter 5. 为什么需要概率与统计
P2-5.1 概率(probability)如何把不确定性表示成数字
P2-5.2 分布(distribution)、均值(mean)、方差(variance)
P2-5.3 样本(sample)、估计(estimation)、误差(error)
P2-5.4 用小数据确认概率与统计
P2-5.5 补充学习:初读标准差、相关与置信区间
Chapter 6. 优化在解什么问题
Chapter 6. 优化在解什么问题
P2-6.1 最优化(optimization)到底在寻找什么
P2-6.2 损失函数与目标函数
P2-6.3 梯度下降的直觉
Module 3. 运行环境与 Python 基础
Module 3. 运行环境与 Python 基础
Chapter 7. 学习环境设置
Chapter 7. 学习环境设置
P2-7.1 本地环境(local environment)与运行时(runtime)
P2-7.2 终端(terminal)、shell、工作目录(working directory)
P2-7.3 Python 解释器(interpreter)与脚本(script)
P2-7.4 虚拟环境(virtual environment)与包(package)
P2-7.5 依赖(dependency)与可复现性(reproducibility)
P2-7.6 补充学习:不同操作系统中的终端入口
P2-7.7 补充学习:什么时候需要安装 Python
P2-7.8 补充学习:阅读 shell 执行流程
P2-7.9 补充学习:检查本地 Python 环境问题
Chapter 8. 复习 Python 核心语法
Chapter 8. 复习 Python 核心语法
P2-8.1 值、变量与类型
P2-8.2 列表(list):有顺序的值集合
P2-8.3 字典(dictionary):按键(key)查找值的结构
P2-8.4 循环(loop):逐个处理 iterable
P2-8.5 函数(function)与小规模复用
P2-8.6 补充学习:第一次遇到类(class)与对象(object)
P2-8.7 补充学习:区分引用与拷贝
Chapter 9. 数据结构与图(graph)的直觉
Chapter 9. 数据结构与图(graph)的直觉
P2-9.1 为什么需要数据结构
P2-9.2 数组(array)、表(table)、树(tree)、图(graph)的直觉
P2-9.3 图(graph)如何表达关系
P2-9.4 补充学习:第一次阅读传统数据结构的方法
Chapter 10. Jupyter 与 Colab Notebook
Chapter 10. Jupyter 与 Colab Notebook
P2-10.1 为什么笔记本(notebook)对学习有用
P2-10.2 Jupyter、Colab 与本地执行的区别
P2-10.3 把笔记本整理成可重新执行的记录
Module 4. 数据计算与可视化工具
Module 4. 数据计算与可视化工具
Chapter 11. 用 NumPy 复用向量与矩阵
Chapter 11. 用 NumPy 复用向量与矩阵
P2-11.1 用 NumPy 数组构建向量与矩阵
P2-11.2 索引、切片与轴
P2-11.3 广播与向量化
P2-11.4 补充学习:在 NumPy 中一起读取 shape 与原数组共享
Chapter 12. 用 Pandas 处理数据结构
Chapter 12. 用 Pandas 处理数据结构
P2-12.1 Pandas DataFrame 表达什么
P2-12.2 选择、过滤与聚合
P2-12.3 准备学习数据集(dataset)的直觉
Chapter 13. 用 Matplotlib 可视化概念
Chapter 13. 用 Matplotlib 可视化概念
P2-13.1 图表(plot)会揭示什么
P2-13.2 基础图表与公式形状的确认
P2-13.3 比较多个图表并保存
Module 5. 可复现性与综合复习
Module 5. 可复现性与综合复习
Chapter 14. Git 与文档管理
Chapter 14. Git 与文档管理
P2-14.1 Git 是管理变更历史的工具
P2-14.2 分支(branch)、提交(commit)与文档可复现性
Chapter 15. 用软件再看数学
Chapter 15. 用软件再看数学
P2-15.1 把公式翻译成代码的小步骤
P2-15.2 进入 Part 3 之前的检查
总结
Part 3. 数据建模
Part 3. 数据建模
概览
Module 1. 角色与问题场景
Module 1. 角色与问题场景
Chapter 1. 数据建模想达成什么,又按什么顺序进行
Chapter 1. 数据建模想达成什么,又按什么顺序进行
P3-1.1 数据建模想要达成什么
P3-1.2 数据建模按什么顺序推进
P3-1.3 数据问题要怎么写,问题结构才会先于模型显现出来
Chapter 2. 先读取存储结构与设计轴
Chapter 2. 先读取存储结构与设计轴
P3-2.1 为什么要按照分析目的重新组织存储记录
P3-2.2 数据集候选里要放进哪些结构
P3-2.3 第一次拿到新表时,应该先写下什么
Chapter 3. 数据集不是一开始就给好的
Chapter 3. 数据集不是一开始就给好的
P3-3.1 为什么不能把原始数据立刻读成学习问题
P3-3.2 怎样按照问题重新设计数据集
P3-3.3 要把问题搬到第一张表草案里,应该先草拟哪些列
Module 2. 样本与表结构
Module 2. 样本与表结构
Chapter 4. 怎样确定样本单位
Chapter 4. 怎样确定样本单位
P3-4.1 怎样决定一条可比较的样本
P3-4.2 一旦样本单位摇摆,哪些东西会一起摇摆
P3-4.3 时点记录、动作样本和区间汇总有什么不同
P3-4.4 哪些信号说明样本单位抓错了
P3-4.5 现在收集到的样本,在多大程度上代表了整体运行情况
Chapter 5. 怎样把原始日志变成汇总表
Chapter 5. 怎样把原始日志变成汇总表
P3-5.1 如何把原始日志转换成可比较的表
P3-5.2 汇总表如何保留平均值之外的模式
P3-5.3 即使有原始时间序列,为什么也不能立刻称它为学习输入
P3-5.4 输入窗口(window)应该从哪里切,长度又该如何对齐
P3-5.5 数值缺失或区间为空的样本应该怎样处理
P3-5.6 重叠输入窗口与样本数
P3-5.7 折叠多个后续事件的规则
Module 3. 特征与比较结构
Module 3. 特征与比较结构
Chapter 6. 怎样设计特征与中间表征
Chapter 6. 怎样设计特征与中间表征
P3-6.1 应该用什么特征把可比较的结构留下来
P3-6.2 当特征本身还不够时,还可以加入什么中间表示
P3-6.3 人工设计的特征,与模型学习到的表示,应该怎样区分
P3-6.4 为什么汇总表里的所有列都不一定是特征
P3-6.5 当特征的单位和尺度不同的时候,应该怎样一起读取和保留
P3-6.6 相同列名与不同特征
Chapter 7. 怎样阅读基准线比较结构
Chapter 7. 怎样阅读基准线比较结构
P3-7.1 应该把留下来的结构拿去和什么比较,变化才会显现
P3-7.2 应该怎样把比较表读成人工复核句子
P3-7.3 基准线到底是拿来和什么比较的标准
P3-7.4 基准线应该用什么区间、什么条件来设定
P3-7.5 基准线应该固定不动,还是应该按“最近的平时”一起更新
Module 4. 解释边界
Module 4. 解释边界
Chapter 8. 怎样阅读样本数与重复性
Chapter 8. 怎样阅读样本数与重复性
P3-8.1 解读强度由什么来调节
P3-8.2 变化信号能说到哪里,原因又该停在哪里
P3-8.3 保守解读句子应当按什么顺序、用什么词来写
P3-8.4 保守解读与运营列
P3-8.5 多个比较列如何归并成一个复核优先级候选
P3-8.6 只留在部分案例上的确认标签
P3-8.7 运营介入改变的数据解读
Module 5. 问题类型与后续 Part 连接
Module 5. 问题类型与后续 Part 连接
Chapter 9. 怎样把某个问题做成预测问题
Chapter 9. 怎样把某个问题做成预测问题
P3-9.1 现在的问题应该提升到哪一层
P3-9.2 为什么有些问题应该一直保留为比较报告
P3-9.3 三种运营表的差异
P3-9.4 复核备忘录如何变成候选目标标签
P3-9.5 同一个事件在多个产物之间靠什么持续追踪
P3-9.6 检查标签一致性
P3-9.7 如何区分预测时可用的输入与之后的结果
P3-9.8 预测分数通过什么规则转化为行动
P3-9.9 如何区分实际目标与代理目标
P3-9.10 如何区分标签确认延迟与观察未完成
P3-9.11 候选目标与变化的标准
P3-9.12 误报与漏报的成本如何改变判断标准
P3-9.13 交给 Part 4 之前的问题边界
总结
Part 4. 机器学习
Part 4. 机器学习
概览
Module 1. 机器学习的位置
Module 1. 机器学习的位置
Chapter 1. 区分 AI、机器学习、深度学习
Chapter 1. 区分 AI、机器学习、深度学习
P4-1.1 AI、机器学习、深度学习之间的关系
P4-1.2 从数据中学习规则这句话是什么意思
Chapter 2. 监督学习、无监督学习、强化学习
Chapter 2. 监督学习、无监督学习、强化学习
P4-2.1 监督学习
P4-2.2 无监督学习
P4-2.3 强化学习
Chapter 3. 为什么需要启发式
Chapter 3. 为什么需要启发式
P4-3.1 为什么需要启发式
P4-3.2 启发式与模型选择
Module 2. 数据与评估
Module 2. 数据与评估
Chapter 4. 数据切分与验证
Chapter 4. 数据切分与验证
P4-4.1 训练数据与评估数据
P4-4.2 验证(validation)与测试(test)
Chapter 5. 过拟合与泛化
Chapter 5. 过拟合与泛化
P4-5.1 过拟合(overfitting)与欠拟合(underfitting)
P4-5.2 泛化(generalization)
Chapter 6. 评估指标
Chapter 6. 评估指标
P4-6.1 评价指标(metric)的作用
P4-6.2 按问题类型区分的评价标准
P4-6.3 补充学习:在站点可靠性工程里如何读指标(metrics)
P4-6.4 补充学习:评估指标的问题地图
Module 3. 实务启发式
Module 3. 实务启发式
Chapter 7. 特征选择与预处理启发式
Chapter 7. 特征选择与预处理启发式
P4-7.1 特征选择(feature selection)
P4-7.2 预处理(preprocessing)
P4-7.3 补充学习:区分预处理中的输入问题
P4-7.4 补充学习:区分特征选择方式
Chapter 8. 模型选择启发式
Chapter 8. 模型选择启发式
P4-8.1 模型选择(model selection)
P4-8.2 基准模型(baseline)
P4-8.3 补充学习: 按问题类型第一次建立 baseline 的方法
Chapter 9. 超参数调优
Chapter 9. 超参数调优
P4-9.1 超参数(hyperparameter)
P4-9.2 调优(tuning)与验证成本
P4-9.3 补充学习:模型选择之后的工具地图
Module 4. 基础算法
Module 4. 基础算法
Chapter 10. 线性回归
Chapter 10. 线性回归
P4-10.1 线性回归(linear regression)的直觉
P4-10.2 线性回归(linear regression)的评价与局限
P4-10.3 补充学习:第一次该怎样读回归诊断(regression diagnostics)
Chapter 11. 逻辑回归
Chapter 11. 逻辑回归
P4-11.1 逻辑回归(logistic regression)的直觉
P4-11.2 决策边界(decision boundary)
P4-11.3 补充学习:第一次如何读 log-odds 与 MLE
P4-11.4 补充学习:如何读取多类别(multinomial)逻辑回归
P4-11.5 补充学习:第一次如何读 solver 与 regularization
Chapter 12. k-NN
Chapter 12. k-NN
P4-12.1 k-NN 的直觉
P4-12.2 距离(distance)与尺度(scale)
P4-12.3 使用 k-NN 时,应该先检查什么?
Chapter 13. SVM
Chapter 13. SVM
P4-13.1 SVM 的直觉
P4-13.2 kernel 的入门含义
Module 5. 树与集成
Module 5. 树与集成
Chapter 14. 决策树
Chapter 14. 决策树
P4-14.1 决策树(decision tree)
P4-14.2 树的过拟合
Chapter 15. 随机森林
Chapter 15. 随机森林
P4-15.1 随机森林(random forest)
P4-15.2 特征重要度(feature importance)
P4-15.3 OOB(out-of-bag)与随机森林检查
P4-15.4 补充学习:比较 Extra Trees 与随机森林
Chapter 16. 梯度提升
Chapter 16. 梯度提升
P4-16.1 梯度提升(gradient boosting)
P4-16.2 提升模型的性能与风险
P4-16.3 补充学习:提升库与运营感
Module 6. 发现结构
Module 6. 发现结构
Chapter 17. 聚类
Chapter 17. 聚类
P4-17.1 聚类(clustering)的直觉
P4-17.2 解释聚类结果时的注意点
P4-17.3 补充学习:层次聚类与谱聚类
P4-17.4 补充学习:如何第一次把聚类和半监督学习连接起来
Chapter 18. 降维
Chapter 18. 降维
P4-18.1 降维(dimensionality reduction)
P4-18.2 可视化与信息损失
Chapter 19. 强化学习算法
Chapter 19. 强化学习算法
P4-19.1 价值型强化学习
P4-19.2 策略型强化学习
P4-19.3 应用强化学习时的注意点
P4-19.4 补充学习:强化学习后续分支地图
P4-19.5 补充学习:第一次读强化学习中的公式名称
P4-19.6 补充学习:第一次读 policy gradient
总结
Part 5. 深度学习
Part 5. 深度学习
概览
Module 1. 神经网络的起点
Module 1. 神经网络的起点
Chapter 1. 感知机
Chapter 1. 感知机
P5-1.1 感知机(perceptron)的直觉
P5-1.2 线性组合与激活
Chapter 2. 多层神经网络
Chapter 2. 多层神经网络
P5-2.1 多层神经网络(multilayer neural network)
P5-2.2 隐藏层(hidden layer)与表征
Module 2. 输出、损失与反向传播
Module 2. 输出、损失与反向传播
Chapter 3. 激活函数
Chapter 3. 激活函数
P5-3.1 激活函数(activation function)
P5-3.2 sigmoid
P5-3.3 tanh
P5-3.4 ReLU
P5-3.5 代表性激活函数公式比较
P5-3.6 输出层(output layer)与激活的选择
Chapter 4. 损失函数
Chapter 4. 损失函数
P5-4.1 损失函数(loss function)
P5-4.2 按问题类型区分的损失
Chapter 5. 反向传播
Chapter 5. 反向传播
P5-5.1 损失如何变成梯度(gradient)信号
P5-5.2 计算图(computation graph)
Module 3. 学习循环与稳定化
Module 3. 学习循环与稳定化
Chapter 6. 分开学习(learning)与模型执行(inference)
Chapter 6. 分开学习(learning)与模型执行(inference)
P5-6.1 学习循环的四个步骤
P5-6.2 学习 step、batch、epoch
P5-6.3 学习(learning)与模型执行(inference)
P5-6.4 训练模式(training mode)与评估模式(evaluation mode)
Chapter 7. 优化器
Chapter 7. 优化器
P5-7.1 optimizer 的角色
P5-7.2 学习率(learning rate)与 update 步幅
P5-7.3 自适应 update 的直觉:以 Adam 为例
P5-7.4 补充学习:区分 adaptive optimization 的主张
P5-7.5 补充学习:代表性 optimizer 系列
P5-7.6 补充学习:学习率调节策略
P5-7.7 补充学习:optimizer state 与逐参数 update
P5-7.8 补充学习:gradient clipping 与不稳定的 update
Chapter 8. 正则化与 dropout
Chapter 8. 正则化与 dropout
P5-8.1 如何给目标函数加约束:正则化(regularization)
P5-8.2 如何减少路径依赖:dropout
P5-8.3 补充学习:深层计算的稳定条件
P5-8.4 补充学习:较大的初始化尺度会怎样摇晃计算范围
Module 4. 计算环境与表示学习
Module 4. 计算环境与表示学习
Chapter 9. GPU 与并行处理
Chapter 9. GPU 与并行处理
P5-9.1 GPU 与并行处理(parallel processing)
P5-9.2 batch 与 tensor 计算
Chapter 10. 表示学习
Chapter 10. 表示学习
P5-10.1 表征学习(representation learning)
P5-10.2 深层中的表征
Module 5. 空间结构与 CNN
Module 5. 空间结构与 CNN
Chapter 11. CNN
Chapter 11. CNN
P5-11.1 卷积神经网络(CNN)的直觉
P5-11.2 卷积(convolution)与池化(pooling)
P5-11.3 补充学习:比较 CNN 与 Vision Transformer
Module 6. 序列结构与 RNN 系列
Module 6. 序列结构与 RNN 系列
Chapter 12. RNN、LSTM、GRU
Chapter 12. RNN、LSTM、GRU
P5-12.1 RNN、LSTM、GRU 的必要性
P5-12.2 长期依赖(long-term dependency)
Module 7. 从 Attention 到 Transformer
Module 7. 从 Attention 到 Transformer
Chapter 13. Attention
Chapter 13. Attention
P5-13.1 注意力(Attention)的直觉
P5-13.2 通向 self-attention 的流程
P5-13.3 补充学习:QKV 与 multi-head attention
Chapter 14. Transformer
Chapter 14. Transformer
P5-14.1 不能只靠 attention 解释的 Transformer
P5-14.2 Transformer block 的四个部件分别负责什么?
P5-14.3 稳定深层重复的两个装置
P5-14.4 RNN 状态传递与 Transformer 并行计算
P5-14.5 长上下文中顺序状态和直接重参考怎样分开?
P5-14.6 补充学习:按位置加工表示
P5-14.7 补充学习:保留原始表示的路径
P5-14.8 补充学习:对齐数值基准线的归一化
Module 8. 生成模型与采样
Module 8. 生成模型与采样
Chapter 15. 生成模型的直觉
Chapter 15. 生成模型的直觉
P5-15.1 从深度学习视角看生成式 AI 时,什么会改变
P5-15.2 生成模型的候选分布
P5-15.3 采样(sampling)怎样从候选分布中取出实际输出
P5-15.4 扩散模型怎样学习并复原噪声?
P5-15.5 注意力和 Transformer 在扩散模型中负责什么?
P5-15.6 VAE 怎样把图像变成 latent 表示?
总结
Part 6. LLM 与生成式 AI
Part 6. LLM 与生成式 AI
概览
Module 1. 从 LLM 进入生成式 AI
Module 1. 从 LLM 进入生成式 AI
Chapter 1. 生成式 AI 与 LLM 的位置
Chapter 1. 生成式 AI 与 LLM 的位置
P6-1.1 把生成式 AI 输出看成需要检查的产出物
P6-1.2 作为阅读生成式 AI 中心案例的 LLM
P6-1.3 生成是候选分布与选择的反复
P6-1.4 生成并不只有一种迭代方式
Module 2. 文本生成的输入单位与表示
Module 2. 文本生成的输入单位与表示
Chapter 2. token 与分词
Chapter 2. token 与分词
P6-2.1 限制输入和输出的 token 单位
P6-2.2 从字符串、token 到 token ID 的模型输入
P6-2.3 改变长度、成本与 chunk 的 tokenization
P6-2.4 连接到 prompt 长度、RAG chunk 与成本的 token 视角
P6-2.5 补充学习:从运营观察值看见 tokenizer 家族差异
Chapter 3. embedding
Chapter 3. embedding
P6-3.1 把 token ID 变成可比较坐标的 embedding
P6-3.2 不是答案,而是生成候选的邻近向量
P6-3.3 补充学习:学习近表达与远表达的 embedding 学习
P6-3.4 补充学习:ANN 检索的速度与候选遗漏折中
Module 3. 制造下一个候选的 LLM 结构
Module 3. 制造下一个候选的 LLM 结构
Chapter 4. 复习 Transformer 结构
Chapter 4. 复习 Transformer 结构
P6-4.1 LLM 内部的 Transformer 计算流程
P6-4.2 attention 的参照范围
P6-4.3 补充学习:attention head 与位置表示
P6-4.4 补充学习:KV cache 与重复生成
P6-4.5 补充学习:长上下文与稀疏 attention
Chapter 5. GPT 系列
Chapter 5. GPT 系列
P6-5.1 从 decoder 基础的累积生成结构看 GPT 系列
P6-5.2 加在生成结构之上的指令遵循与对话界面
Chapter 6. BERT 系列
Chapter 6. BERT 系列
P6-6.1 作为阅读中心 Transformer 比较轴的 BERT
P6-6.2 在长回答前输出判断值的理解中心任务
Chapter 7. 下一个 token 预测与生成
Chapter 7. 下一个 token 预测与生成
P6-7.1 成为长生成出发点的下一个 token 预测
P6-7.2 改变回答稳定性与多样性的输出选择规则
Module 4. 形成回答习惯的学习与调节
Module 4. 形成回答习惯的学习与调节
Chapter 8. 预训练
Chapter 8. 预训练
P6-8.1 先建立宽广语言基础的预训练
P6-8.2 同时扩大能力和运营负担的规模
Chapter 9. 微调
Chapter 9. 微调
P6-9.1 需要按目的定制调整的微调
P6-9.2 减轻全量微调负担的 LoRA
Chapter 10. 指令微调与对齐
Chapter 10. 指令微调与对齐
P6-10.1 建立符合请求格式回应习惯的指令调优
P6-10.2 区分很好遵循的回答和可接受回答的对齐
P6-10.3 按格式、依据、执行不足来拆分 LLM 失败
P6-10.4 补充学习:LoRA 的 low-rank 所小幅表示的调整分
P6-10.5 补充学习:高效调整方式的约束
Module 5. prompt 与证据补强
Module 5. prompt 与证据补强
Chapter 11. Prompt 工程
Chapter 11. Prompt 工程
P6-11.1 调整输入指令、上下文、示例的提示工程
P6-11.2 把最新性、依据性、执行移到提示之外的限制
P6-11.3 补充学习:观察和比较回答路径
P6-11.4 补充学习:提示候选的反复改进
Chapter 12. RAG
Chapter 12. RAG
P6-12.1 用外部依据代替模型记忆的 RAG
P6-12.2 区分检索失败和生成失败的 RAG 流程
Chapter 13. 向量数据库
Chapter 13. 向量数据库
P6-13.1 同时保存嵌入、原文和元数据的向量数据库
P6-13.2 在搜索速度和候选质量之间取舍的索引
Module 6. 工具与 AI agent 执行结构
Module 6. 工具与 AI agent 执行结构
Chapter 14. 工具使用(tool use)
Chapter 14. 工具使用(tool use)
P6-14.1 把查询、计算、执行交给模型外部的工具使用
P6-14.2 把自然语言请求分成名称和参数的函数调用
Chapter 15. AI agent
Chapter 15. AI agent
P6-15.1 根据中间结果改变下一项工作的 Agent
P6-15.2 分裂为继续、停止和人工审查的 Agent 循环
Chapter 16. MCP 与 harness
Chapter 16. MCP 与 harness
P6-16.1 用共享格式连接工具和资源的 MCP
P6-16.2 包裹执行记录和可复现环境的 Harness
P6-16.3 补充学习:Agent 工作流与图像生成工作流有什么不同?
Module 7. 可检查的服务状态
Module 7. 可检查的服务状态
Chapter 17. LLM 评价
Chapter 17. LLM 评价
P6-17.1 区分自然回答和质量标准的 LLM 评估
P6-17.2 自动评估和人工评估的分工
Chapter 18. 服务运营约束
Chapter 18. 服务运营约束
P6-18.1 按成本、延迟和使用量再次过滤的运营约束
P6-18.2 把错误分到恢复路径的运营失败处理
Chapter 19. 把一个小型生成式 AI 功能绑成一条流程
Chapter 19. 把一个小型生成式 AI 功能绑成一条流程
P6-19.1 连接问题、依据、回答和记录的小型生成式 AI 功能
P6-19.2 在响应前记录依据、状态和审查的最小实现
Module 8. 背景地图与比较
Module 8. 背景地图与比较
Chapter 20. LLM 发展史
Chapter 20. LLM 发展史
P6-20.1 以限制和结构转换的流程阅读 LLM 发展史
P6-20.2 区分直接谱系和周边证据的标准
Chapter 21. 开放权重模型
Chapter 21. 开放权重模型
P6-21.1 开放权重模型公开了什么?
P6-21.2 本地执行环境与内存放置
P6-21.3 每次改变一个条件来评估公开扩散模型
总结
Part 7. 项目
Part 7. 项目
概览
模块 1. 问题与基线
模块 1. 问题与基线
第 1 章 分析起点与基线设计
第 1 章 分析起点与基线设计
P7-1.1 定义项目问题与输入
P7-1.2 基线与首次比较
P7-1.3 重新设计基线的练习
第 2 章 经典机器学习比较与改进
第 2 章 经典机器学习比较与改进
P7-2.1 阅读比较表和错误案例
P7-2.2 构建回顾与下一问题
P7-2.3 比较实验练习
模块 2. 输入结构与学习解释
模块 2. 输入结构与学习解释
第 3 章 输入结构与模型选择
第 3 章 输入结构与模型选择
P7-3.1 输入结构如何改变项目
P7-3.2 比较 CNN、序列与注意力模型族
P7-3.3 用实际分类器重新比较输入表示
第 4 章 学习结果与表示检查
第 4 章 学习结果与表示检查
P7-4.1 一起阅读损失、指标与错误案例
P7-4.2 再次拆分失败结果
P7-4.3 表示标准化练习
P7-4.4 比较相同平均值的不同模式
总结
附录
附录
概念词汇表
概念词汇表:U
¶
本页用于整理拼音首字母为
U
的中文概念索引。具体词条内容将在后续补充。
中文索引词
韩文代表词条
English Base Term
Core Section
Link
回到页面顶部