在线 Demo · 节选 8 页
Logistic Regression
逻辑回归 · 逐页精解
由 pdf-slides-annotated-html 生成的真实产物节选
关于这份 demo:它是节选,不是完整文档
这份 demo 从《逻辑回归 · 逐页精解》里节选了开头 8 页,目的是让你在不装任何依赖的前提下,先看清这套工具做出来的东西长什么样、能不能用。左侧目录里的每一项都对应真实存在的一页。
保留下来的部分
- 封面与这份说明
- 「前置知识」的五张折叠卡(前置知识,演示
details折叠样式) - 第一节的本节概述卡(核心问题 / 读完应能 / 与前后节关系)
- P1–P8 逐页讲解:左侧是中文讲解、右侧贴着原页缩略图,含公式、表格与四类提示卡
- 结尾的一页纸速查表与术语表
为了控制体积与版权而移除的部分
- 其余 55 页(完整版共 63 页)
- 内嵌的原课件 PDF —— 原课件版权不属于本项目,因此 demo 里每页的「打开原 PDF 该页」按钮已被移除;完整版会把它整份内嵌,换设备也能点开对照
- 指向未包含页面的跳转链接(已降级为纯文本,避免点了没反应)
前置知识:概率论零基础速成(补充)
原课件默认读者已学过概率论与微积分,所以第 5 页一上来就用 这样的写法。如果你没学过,先花十分钟把下面九张卡片过一遍,后面就不会卡壳。已经学过的可以直接跳到正文。每张卡片都可以点开/收起。
① 随机变量、概率:概率到底是个什么东西
随机变量就是把一次随机试验的结果记成一个数。比如「掷一枚硬币」的结果记成 ,正面记 、反面记 ——这个 就是随机变量。注意它必须大写,因为它是「还没定下来的量」;而 (小写)表示它已经取到的某个具体值。
概率 (简写 )就是这个取值出现的可能性大小,取值一定在 0 到 1 之间,而且所有可能取值的概率加起来必须是 1:
如果取值是连续的(比如身高、温度),「恰好等于某个值」的概率是 0,这时改叫概率密度,求和就换成积分 。密度本身可以大于 1(例如第 45 页那张图里,条件密度的峰值到了 8 左右),只有「积分出来的面积」才是概率。这一点初学时最容易弄混。
② 联合概率、边缘概率、条件概率:三个最核心的概念
原文件第 5 页只用了三行字带过这三个概念,但它们后面全程都在用。
| 写法 | 读作 | 含义 |
|---|---|---|
| X 的概率 | X 取某个值的可能性 | |
| 给定 M 时 X 的条件概率 | 在「已知 M 成立」这个前提下,X 取某个值的可能性 | |
| X 与 M 的联合概率 | X 和 M 同时取到各自某个值的可能性 |
乘法法则(product rule)把三者串起来:
用「先发生 M,再在 M 的条件下发生 X」来理解最顺:两件事同时发生,等于先让 M 发生、再让 X 在 M 之下发生。
加法(求和)法则反过来把联合概率「压」成边缘概率——把不关心的那个变量所有可能取值都加起来(连续情形就是积分):
③ 独立与条件独立:朴素贝叶斯那一页在赌什么
两件事 独立,意思是「知道一件事发生与否,对另一件事的可能性毫无影响」。数学上写成 ,等价于 。
条件独立稍微绕一点:。意思是——本来 和 是有关联的,但一旦知道了 Y,这种关联就消失了。
第 17 页的朴素贝叶斯假设,正是假设所有特征在「已知类别」的条件下互相独立。这个假设通常并不成立(第 31 页专门吐槽了这一点),但换来的好处极其可观——第 26 页会算给你看。
④ 似然:为什么同一个乘积,换个角度看就变了名字
这是全篇出现频率最高、也最容易懵的一个词。
我们已经拿到了数据 (这是既成事实)。现在问:「参数 取多少时,最能让 我手上这份数据 显得不意外?」这个 作为 的函数,就叫 似然(likelihood)。
注意:同一个数学表达式 ,当 固定、看成 的函数时,它叫「似然」;当 固定、看成 的函数时,它叫「条件概率」。换的是视角,不是公式。
还有一个关键前提:数据点之间是独立同分布的(i.i.d.)。于是整份数据的似然就是每个样本似然的连乘——这正是第 25 页那个 的来历:
连乘容易数字下溢(几十个小于 1 的数相乘很快就变成 0),所以大家统一改取对数,把连乘变连加——这就是第 29、52 页「等价的取对数」一步的原因。
⑤ 四个必须认识的分布:伯努利、类别、高斯、贝塔
伯努利分布(Bernoulli)——只有两种结果(成功/失败、1/0)。用参数 表示「取 1」的概率:
这个写法很妙: 时 ; 时 。一个式子把两种情况都写了。第 29 页把它推广成 ,其中 就是把数据里 1 和 0 出现的次数数出来。
高斯分布(正态分布)——钟形曲线,第 41、43 页的主角。两个参数:(中心在哪)和 (胖瘦)。
贝塔分布(Beta)——专门用来描述「一个 0 到 1 之间的概率参数 本身该是多少」,所以它天然适合当伯努利的先验。第 33 页那张彩色曲线图就是它的不同形态。
类别分布——伯努利推广到 类,用在第 16、17 页的「鸟/哺乳动物」和多分类逻辑回归上。
⑥ 导数、偏导与梯度:为什么求极值要「求导等于零」
一元函数 的导数 表示曲线在某点的陡峭程度,也即「 稍微变大一点, 会变多少」。在山的最高点,坡是平的,所以:
第 30 页求 MLE,第 59 页求逻辑回归的最优点,用的都是这一条。
参数变多(比如 )以后,「对某一个变量求导而把其余当常数」就叫偏导 ;把所有这些偏导竖着排成一个向量,就叫梯度:
梯度指的方向是「函数上升最快的方向」,所以想变大就顺着它走(梯度上升),想变小就反着走(梯度下降)。第 54 页的更新公式就是这么来的。
再往上还有二阶导数(Hessian 矩阵),它描述坡度的变化快慢,牛顿法(第 58–60 页)用它算出一整步该迈多大。
⑦ 向量、点积和转置:那个 到底在算什么
逻辑回归全程围绕一个量打转:
这就是两个向量的点积(内积),结果是一个数。可以这样读它:把每个特征 乘上对应的权重 ,再全部加起来。权重是正的,说明这个特征变大就倾向于让结果变大;权重接近 0,说明这个特征无关紧要。
上标 是转置,作用是把竖着的列向量躺下来变成横着的行向量,这样一个行向量乘一个列向量,维度才对得上,结果才是一个数(而不是一个矩阵)。
所以 本质上就是中学学的「加权求和再加偏置」,只不过写在向量记号里显得吓人。当它等于 0 时,就是分类的分界线——第 47 页的结论。
⑧ 凸函数与凹函数:为什么「凹」是好消息
凸函数长得像碗(开口朝上),碗里放个球一定会滚到唯一的最低点;凹函数长得像倒扣的碗,球一定会滚到唯一的最高点。
这个形状的意义在于:没有「假的」局部最优。你随便从哪一点出发往上爬,只要一直往上走,最后一定到全局最高点,不会卡在某个小坑里出不来。
第 53 页说「坏消息:没有闭式解;好消息: 是凹函数」——正是在说:虽然算不出一个公式直接得到答案,但用迭代法一定收敛到唯一最优解,这件事是有保证的。
第 54 页那张三维曲面图画的是 (凹函数取负就变成碗状的凸函数),红点就是迭代过程中一步步往下滚的位置。
⑨ 指数与对数:几个马上要用的性质
- (把连乘变连加,所以处处取对数)
- ,以及 (第 30 页就靠这两条)
- ,且 恒大于 0——所以 永远落在 0 和 1 之间,天生就是个概率(第 46 页)
概率的语言Probabilistic Foundations — 先学会怎么说话,再谈怎么建模
覆盖原文件 P1–P8 | 8 页 | 建议 15 分钟
这一节不教任何模型,它只做一件事:把「不确定性」变成可以计算的符号。后面的朴素贝叶斯和逻辑回归,全部建立在这一节定义的几个记号和两条法则上——所以这 8 页值得慢读。如果跳过它,后面会在 这类写法上反复卡壳。
这 8 页的主线
- 给任务下定义(P2–P3):监督学习就是「从输入 预测输出 」, 连续叫回归,离散叫分类。
- 给语言下定义(P5–P6):联合概率、边缘概率、条件概率三种量,配上乘法法则与求和法则。
- 合成一件工具(P6–P7):贝叶斯定理——「先验 × 似然 ∝ 后验」,这是用证据更新信念的全部机制。
- 给出一张地图(P8):任何概率模型都必须回答表示 / 推断 / 学习三个问题。
必须记住的记号
- 概率、 条件概率、 联合概率
- 乘法法则:
- 求和法则:(连续则换成积分)
- 贝叶斯定理:
- 大写 是随机变量,小写 是它取到的具体值
两个最容易混的点
① 不是「X 导致 M」。竖线左边是「被解释的」,右边是「已知的前提」。读成「在 M 成立的前提下,X 的可能性」就不会错。
② 「似然」与「条件概率」不是两个东西。同一个式子 ,固定 看 就叫似然,固定 看 就叫条件概率——换的是视角,不是公式。
读完自检
- 已知 、 和 ,怎么算出 ?
- 「先验」「似然」「后验」分别对应贝叶斯公式里的哪一项?哪个是我们真正想知道的?
- 第 8 页的「表示 / 推断 / 学习」三问中,哪一问是在问「怎么回答一个具体查询」?
与后面几节的衔接:这一节给出的贝叶斯定理,在第二节被直接用作分类器(朴素贝叶斯);而 P8 的「学习」一问——「哪个模型才是对的」——会在第二节的后半段变成 MLE 与 MAP 两条路线的分岔口。
Introduction to Artificial Intelligence — Logistic Regression 封面页
打开原 PDF 该页(demo 已停用)这是整套课件的封面:课程《人工智能导论》,本次主题「逻辑回归(Logistic Regression)」,授课人 苏航(清华大学)。
这一页没有知识点,但它定了调子——接下来 62 页要讲的,是机器学习中最基础、也最经得起考验的分类模型之一。逻辑回归到今天仍然广泛用在垃圾邮件过滤、点击率预估、信用评分、疾病风险预测这些场景里;而它背后的推导方式(最大似然 + 梯度法)几乎是所有现代神经网络训练方法的雏形。
Supervised Learning 监督学习
打开原 PDF 该页(demo 已停用)这一页要把「监督学习」这四个字翻译成人话:给定一批「题目 + 标准答案」,让机器自己总结出一套解题规律。
原文写「Task: learn a predictive function」,即学一个预测函数:
这里出现了两个集合:特征空间 (模型看到的输入)和标签空间 (我们想预测的东西)。
幻灯片用两组例子对照说明:
- 文本分类:特征 是「文档里出现的词」,标签 是
Sports/News/Politics这样的类别。这里 是一堆离散的类别。 - 股价预测:特征 是「截至时刻 的市场信息」,标签是
$20.50这样的数值。
页面上还标了一个红字 knowledge(知识):它的意思是, 和 之间存在的那层对应关系,正是我们希望机器学到的「知识」——它不是写在代码里的规则,而是从数据里估出来的。
底部给出训练数据的记号:
意思很直白:有 条样本,第 条由输入 (加粗表示它是一个向量,包含多个特征)和答案 组成。这个记号后面会反复出现。
Supervised Learning — regression 监督学习的一种:回归
打开原 PDF 该页(demo 已停用)同样画了「特征空间 → 标签空间」的箭头,但这一页在强调标签的性质:标签是连续数值。幻灯片右下角专门加了一个红框 Continuous Labels。
- 输入是截至 时刻的市场信息 → 输出是股价
$20.50; - 输入是「时段、地点、时间」 → 输出是气温
42°F。
这一页真正的作用是给「回归」和「分类」划界。两者的输入都是特征向量,区别只在输出:
| 标签 的类型 | 任务名 | 本课件的例子 | |
|---|---|---|---|
| 输出连续值 | 实数,如 、 | 回归(regression) | 股价、气温、第 40 页的贝叶斯回归 |
| 输出离散类别 | 如 Sports/News、鸟/哺乳动物 | 分类(classification) | 朴素贝叶斯、逻辑回归 |
Outline 大纲
打开原 PDF 该页(demo 已停用)大纲列了五个主题,构成了这次课的知识阶梯:
- Probabilistic methods for supervised learning——监督学习的概率方法(第 5–15 页)
- Naive Bayes classifier——朴素贝叶斯分类器(第 16–39 页)
- Logistic regression——逻辑回归(第 40–63 页)
- Exponential family distributions——指数族分布
- Generalized linear models——广义线性模型
另外注意大纲的排序本身就是一个叙事:先讲概率方法(这是地基),再讲朴素贝叶斯(第一个完整可用的模型),再讲逻辑回归(把生成式换成判别式)。第 63 页的总结会回扣这个结构。
Basic Rules of Probability 概率的基本法则
打开原 PDF 该页(demo 已停用)这一页只写了三个概念和两条法则,但它们是后面 58 页的全部工具。原文里的 是一个花体字母(读作 "M"),在这里代表一个模型假设;先把它当成一个普通的随机变量就行。
三个概念:
| 符号 | 读法 | 原页面的英文注解 |
|---|---|---|
| X 的概率 | probability of | |
| 给定 M 时 X 的条件概率 | conditional probability of given | |
| X 与 M 的联合概率 | joint probability of and |
两条法则(幻灯片用蓝色高亮标出了它们的名字):
第二条里用积分而不是求和,是因为 被当作连续量处理;如果它只取有限几个值,就该换成 。两种写法意思一样:把不关心的那个变量「积分掉/求和掉」,就得到剩下的那个变量的分布。
Bayes' Rule 贝叶斯法则
打开原 PDF 该页(demo 已停用)一句话概括贝叶斯定理:它告诉你「如何用新证据更新旧看法」。
推导只有一步。把乘法法则 对称地写另一遍,得到 ——注意联合概率是对称的,两种分解方式必然相等(原文标题下面那句「Combining the definition of conditional prob. with the product and sum rules」说的就是这个)。于是:
这正是原页面上的两行公式。四行字里其实有四个角色,第 7 页会给它们正式命名。这里先用直觉记住每一块的含义:
- 左边 :看到数据 X 之后,我对假设 M 的新看法(后验)。
- :看数据之前,我对 M 的旧看法(先验)。
- :如果 M 成立,看到这份 X 有多合理(似然)。
- 分母:数据 X 本身出现的总可能性,起归一化作用,保证右边算出来是合法概率。
页面右侧是 Thomas Bayes(1702–1761)的画像,并注明这一结果最初发表于 1763 年《论机会学说中一个问题的解》(An Essay towards Solving a Problem in the Doctrine of Chances),刊登在伦敦皇家学会的《哲学汇刊》上——是他去世后才由朋友整理发表的。
Bayes' Rule Applied to Machine Learning 贝叶斯法则在机器学习中的应用
打开原 PDF 该页(demo 已停用)这一页把上一页的抽象公式落到机器学习的具体场景:让 表示手上的数据集,让 表示一个模型。于是:
原页面右侧把这四项逐一命名,这是全篇最该背下来的对照表:
| 符号 | 名称 | 中文含义 |
|---|---|---|
| prior probability of | 先验:还没看数据时,你认为哪个模型更可信 | |
| likelihood of on data | 似然:这个模型生成出当前这份数据的可能性 | |
| posterior probability of given | 后验:看过数据之后,模型的可信度 | |
| marginal likelihood or evidence | 边缘似然/证据:归一化常数 |
接着是模型比较(Model Comparison)。这里引入了一个「模型空间」,并写出:
它的意思:如果模型本身也不确定(是一族模型 里的哪一个),那就把 积分掉,对整个模型族算一个总的后验。这一步用到的正是第 5 页那条求和法则。
最后是预测(Prediction):
公式在说:要对新样本 做预测,严格做法是把「所有可能模型各自给出的预测」按它们的后验概率加权平均。但那个积分通常算不出来,所以在一些常见假设下,直接用一个模型(比如最可能的那个)代替整个积分——这就是第 35–38 页 MAP 估计的思想来源。
Three Fundamental Questions 三个基本问题
打开原 PDF 该页(demo 已停用)这一页是一张「地图」,给出了任何概率模型都必须回答的三个问题。它不涉及公式,但值得记住,因为后续每一页其实都在回答其中之一。
1. 表示(Representation)
「How to capture/model uncertainty in possible worlds?」「How to encode our domain knowledge / assumptions / constraints?」——如何把「不确定性」写成数学对象,又如何把我们的先验知识塞进去?本课件的回答是:用概率分布(联合分布、条件分布)来表示不确定性;用朴素贝叶斯假设、Beta 先验来注入假设。
2. 推断(Inference)
「How do I answer questions/queries according to my model and/or based on given data?」——给定模型和数据,怎么回答具体的问题?页面给了一个例子:,即在看到数据后,某个变量的分布是什么。第 19 页的贝叶斯决策规则就属于这一类。
3. 学习(Learning)
「What model is 'right' for my data?」——哪个模型才是对的?页面给出的公式是:
读法:在所有候选模型里,挑出让某个评分函数 最大的那个。这个 取什么,正是后面 MLE 与 MAP 的分歧所在——MLE 取 ,MAP 取 。
本讲要点
这一讲里最值得记住的判断。每条都指回原文出处,点页码可跳回讲解。
- 监督学习学的是从输入到输出的预测函数——「学习」的全部信息来自带正确答案的样本,而不是写死的规则。
- 回归与分类的差别只在标签:连续值学回归,离散类别学分类;模型形式可以完全相同。
- 概率推理的全部计算都从两条法则出发:乘法法则把联合概率拆开,求和法则做边缘化。
- 贝叶斯法则把「模型生成数据的概率」反过来求「数据支持下模型的概率」——先验 × 似然 ∝ 后验。
- 任何概率模型都必须回答三个问题:怎么表示、怎么推断、怎么学习——本课后续全部内容都挂在这三问上。
一页纸速查:公式与要点
把全文的公式集中在这里,方便复习或直接对照原文件查。左侧是公式,右侧是它出自哪一页。
概率基础
| 公式 | 含义 | 页码 |
|---|---|---|
| 乘法法则(联合 = 条件 × 边缘) | P5 | |
| 求和/积分法则 | P5 | |
| 贝叶斯定理 | P6 |
朴素贝叶斯
| 公式 | 含义 | 页码 |
|---|---|---|
| 「朴素」的独立假设 | P26 | |
| 朴素贝叶斯分类器(实用形式) | P19/P26 | |
| MLE:数频率 | P27 | |
| 拉普拉斯平滑(对付零计数) | P32 | |
| MAP(Beta 先验下的结果) | P34 | |
| MAP 就是「似然 × 先验」 | P35 |
高斯分布
| 公式 | 含义 | 页码 |
|---|---|---|
| 一元高斯 | P41 | |
| 多元高斯 | P43 | |
| 高斯的 MLE = 样本均值/方差 | P42 |
逻辑回归(核心)
| 公式 | 含义 | 页码 |
|---|---|---|
| Sigmoid(把实数压成概率) | P46 | |
| 逻辑回归模型( 已增广) | P48 | |
| 对数几率 = 线性函数 | P47 | |
| 决策边界:超平面(线性分类器) | P47 | |
| 对数条件似然(要最大化的目标) | P52 | |
| 梯度() | P55/P60 | |
| 梯度上升更新式 | P55 | |
| Hessian 矩阵 | P60 | |
| IRLS 更新式(牛顿法的等价形式) | P61 |
三个必须记住的「一句话」
- 逻辑回归是线性分类器——决策边界是超平面(P63)。
- 它用最大条件似然学参数——没有闭式解,但目标函数是凹的,梯度法必得全局最优(P63)。
- NB 与 LR 的假设不同——NB 假设 ,LR 假设 的函数形式,对 不作任何假设(P63)。
术语速查表
按首次出现顺序排列,中文名后附英文原文(便于对照原课件)。点页码可跳回讲解。
| 术语 | 英文 | 一句话解释 | 首次出现 |
|---|---|---|---|
| 监督学习 | supervised learning | 从「输入 + 正确答案」的数据里学预测函数 | P2 |
| 特征空间 / 标签空间 | feature space / label space | 模型看到的输入集合 / 想预测的答案集合 | P2 |
| 回归 / 分类 | regression / classification | 标签是连续数值 / 离散类别 | P3 |
| 条件概率 | conditional probability | 已知某事件成立时,另一事件的可能性 | P5 |
| 联合概率 | joint probability | 两件事同时发生的可能性 | P5 |
| 乘法法则 / 求和法则 | product / sum rule | 联合与边缘、条件之间的两个基本关系 | P5 |
| 贝叶斯定理 | Bayes' theorem | 用证据更新信念:后验 ∝ 先验 × 似然 | P6 |
| 先验 / 似然 / 后验 | prior / likelihood / posterior | 看数据前的信念 / 数据在该参数下的可能性 / 看数据后的信念 | P7 |
| 似然 | likelihood | 把数据固定、参数当变量时的 | P7 |
| 经验分布 | empirical distribution | 直接由数据数出来的分布(即直方图) | P11 |
| 核密度估计 | kernel density estimation (KDE) | 把直方图磨成光滑曲线的技巧 | P11 |
| 决策边界 | decision boundary | 两类概率相等的位置;越过它预测就翻转 | P15 |
| 生成式模型 | generative model | 建模 与 ,能「生成」数据 | P16 |
| 判别式模型 | discriminative model | 只建模 ,不关心输入怎么来的 | P51 |
| 条件独立 | conditional independence | 已知类别后,特征之间互不影响 | P17 |
| 朴素贝叶斯假设 | naïve Bayes assumption | 特征在给定类别下条件独立(通常不成立,但好用) | P17 |
| 贝叶斯决策规则 | Bayes' decision rule | 选后验概率最大的类别 | P19 |
| 贝叶斯误差 | Bayes error | 任何分类器都无法突破的最低错误率 | P20 |
| 维度灾难 | curse of dimensionality | 特征一多,需要的数据量指数级暴涨 | P23 |
| 最大似然估计 | maximum likelihood estimation (MLE) | 选让数据最可能的参数;结果就是数频率 | P28 |
| 最大后验估计 | maximum a posteriori (MAP) | 选最可能的参数,综合先验与数据 | P35 |
| 零计数问题 | zero-counts problem | 某特征在某类里没出现过,导致概率被估成 0 | P32 |
| 拉普拉斯平滑 | Laplace / additive smoothing | 给每个计数都加一个小正数,避免 0 | P32 |
| 贝塔分布 | Beta distribution | 定义在 [0,1] 上、用来当概率参数先验的分布 | P33 |
| 无信息先验 | non-informative prior | 均匀先验;此时 MAP 退化为 MLE | P37 |
| 高斯(正态)分布 | Gaussian / normal distribution | 钟形曲线,由均值与方差决定 | P41 |
| 协方差矩阵 | covariance matrix | 描述各维分散程度与维度间相关性的矩阵 | P43 |
| 各向同性 / 对角 / 一般 | isotropic / diagonal / general | 协方差矩阵的三种简化程度 | P43 |
| 边缘分布仍为高斯 | marginal is Gaussian | 多元高斯积分掉某些维度,结果还是高斯 | P45 |
| 逻辑函数 / Sigmoid | logistic function / sigmoid | ,把实数压成 (0,1) 的概率 | P46 |
| 对数几率 | log-odds / logit | ;在逻辑回归里等于线性得分 | P47 |
| 增广向量 | augmented vector | 给输入补一个恒为 1 的分量,把偏置并入权重 | P48 |
| 参照类 | reference class | 多分类里得分为 0 的那一类;因此只需 K−1 组权重 | P49 |
| 最大条件似然 | maximum conditional likelihood | 只对 求似然,避开 | P51 |
| 闭式解 | closed-form solution | 能用显式公式直接算出的解;逻辑回归没有 | P53 |
| 凹函数 / 凸函数 | concave / convex function | 倒扣的碗 / 正放的碗;保证没有假的局部最优 | P53 |
| 梯度上升 / 下降 | gradient ascent / descent | 沿坡度方向走,让函数变大 / 变小 | P54 |
| 步长 / 学习率 | step-size / learning rate | 每一步迈多大;大了震荡,小了慢 | P54 |
| 过拟合 | over-fitting | 把训练数据的噪声也学进去了,泛化变差 | P56 |
| 正则化 | regularization | 惩罚过大的权重,抑制过拟合 | P56 |
| 牛顿法 | Newton / Newton-Raphson method | 用切线找零点;用于优化时收敛远快于梯度法 | P58 |
| Hessian 矩阵 | Hessian matrix | 二阶偏导排成的方阵,描述曲率 | P59 |
| IRLS | iteratively reweighted least squares | 反复解加权最小二乘;等价于牛顿法 | P61 |
| 指数族分布 | exponential family | 一大批分布的共同格式;伯努利、高斯、贝塔都是成员 | 补充 A |
| 广义线性模型 | generalized linear model (GLM) | 响应分布 + 线性预测器 + 连接函数的三件套 | 补充 B |
| 典型连接 | canonical link | 连接函数取自然参数本身;伯努利对应 logit | 补充 B |
参考文献
本讲正文里引到的资料,按年份排。编号只在本讲内有效——课程主页会把各讲的文献按 id 去重、合成一张总表。
| 编号 | 作者 | 年份 | 标题 | 出处 | 链接 |
|---|---|---|---|---|---|
| [1] | Bishop | 2006 | Pattern Recognition and Machine Learning | Springer | 打开 |
| [2] | Murphy | 2012 | Machine Learning: A Probabilistic Perspective | MIT Press | 无链接 |
关于本文档
原文件信息
- 文件名:1-Logistic Regression(1).pdf
- 路径:(本 demo 隐去了原文件的本机路径)
- 标题:Introduction to Artificial Intelligence — Logistic Regression
- 作者:苏航(清华大学)
- 页数:63 页(由 PowerPoint 导出,创建于 2026-09-22)
覆盖范围
- 正文:严格按原文件页序逐页讲解,每页都配有原页缩略图与页码链接。本 demo 只节选了 P1–P8(完整版覆盖 1–63 页)。
- 前置知识:「前置知识」九张速成卡为本文档新增内容,原文件没有。
- 补充篇 A / B:指数族分布与广义线性模型——原文件第 4 页大纲提及但正文未展开,本文档单独补充,不占用原页码。
- 速查部分:公式速查、术语表均为本文档新增的检索工具。
阅读时需要注意的三处原文件细节
- 第 55 页有一处蓝色色块遮挡。原文中 Sigmoid 的定义式 被一个蓝色方块盖住了——这是原 PPT 里动画/图片对象被导出后留下的痕迹。本文档已根据 PDF 文字层还原了被遮内容(详见该页讲解)。
- 第 11–15 页的红/蓝配色不一致。这几页的示意图沿用自旧讲义,红色曲线有时画在左边、有时在右边,与第 10 页图例(红=Katydids、蓝=Grasshoppers)并不总是对应。本文档以原页标注的数字(10:2、3:9、6:6)为准进行讲解,不依赖颜色位置。
- 第 20 页积分上下限为 −1 到 1。原文写作 (课件中特征已归一化到该区间);更一般的写法是对 的整个取值范围积分。本文档保留原样并加了说明。
技术说明
- 公式使用 KaTeX 离线渲染,字体已内嵌为 data URI——断网状态下打开本文件,公式依然正常显示,无需联网加载任何资源。
- 页面缩略图为原 PDF 渲染后压缩所得,仅用于对照阅读;如需看清细节,请点击缩略图放大,或直接打开原 PDF 对应页。
- 本文件为单文件 HTML,可自由移动、复制、离线分享(不要单独把图片或字体抽出来)。
- 完整版会把原课件 PDF 整个内嵌进 HTML,因此拷到任何设备都能直接打开原文件对照,顶栏另有一个「另存原 PDF」按钮。本 demo 不包含原课件(版权不属于本项目),所以每页的「打开原 PDF 该页」按钮显示为停用态。