100%

在线 Demo · 节选 8 页

Logistic Regression
逻辑回归 · 逐页精解

由 pdf-slides-annotated-html 生成的真实产物节选

  • 完整版63 页逐页讲解;本 demo 节选开头 8 页(P1–P8)
  • 本页可交互目录折叠 · 划词标记 · 笔记导出 · 快捷键
  • 形态单文件 HTML,公式离线渲染,断网可开
  • 素材版权原课件版权归原作者所有,此处仅用于演示输出效果

关于这份 demo:它是节选,不是完整文档

这份 demo 从《逻辑回归 · 逐页精解》里节选了开头 8 页,目的是让你在不装任何依赖的前提下,先看清这套工具做出来的东西长什么样、能不能用。左侧目录里的每一项都对应真实存在的一页。

保留下来的部分

  • 封面与这份说明
  • 「前置知识」的五张折叠卡(前置知识,演示 details 折叠样式)
  • 第一节的本节概述卡(核心问题 / 读完应能 / 与前后节关系)
  • P1–P8 逐页讲解:左侧是中文讲解、右侧贴着原页缩略图,含公式、表格与四类提示卡
  • 结尾的一页纸速查表与术语表

为了控制体积与版权而移除的部分

  • 其余 55 页(完整版共 63 页)
  • 内嵌的原课件 PDF —— 原课件版权不属于本项目,因此 demo 里每页的「打开原 PDF 该页」按钮已被移除;完整版会把它整份内嵌,换设备也能点开对照
  • 指向未包含页面的跳转链接(已降级为纯文本,避免点了没反应)
建议试这三件事(各 10 秒): ① 点左侧目录里任一标题 → 目录可逐级折叠,折叠状态会被记住; ② 在正文里划选一句话 → 选好后点浮出的「标记」,或直接按 M 键 → 右侧弹出笔记抽屉,可以写备注、跳回原文、导出 Markdown; ③ 按 B 收起左侧目录 → 正文拉宽,右侧的原页缩略图会自动从 268 px 放大到 400 px。
快捷键:J/K 翻页 · M 标记选中 · B 侧栏 · T 缩略图 · N 笔记 · Esc 关闭。 标记与笔记存在你自己的浏览器里,不会上传。
版权声明:本 demo 用于演示的原始课件为《Introduction to Artificial Intelligence · Logistic Regression》(苏航,清华大学,63 页),版权归原作者与所属机构所有; 此处仅作为「工具输出效果」的示例引用,并未重新分发完整课件。若权利人希望移除,请联系仓库作者,会立即处理。

前置知识:概率论零基础速成(补充)

原课件默认读者已学过概率论与微积分,所以第 5 页一上来就用 这样的写法。如果你没学过,先花十分钟把下面九张卡片过一遍,后面就不会卡壳。已经学过的可以直接跳到正文。每张卡片都可以点开/收起。

① 随机变量、概率:概率到底是个什么东西

随机变量就是把一次随机试验的结果记成一个数。比如「掷一枚硬币」的结果记成 ,正面记 、反面记 ——这个 就是随机变量。注意它必须大写,因为它是「还没定下来的量」;而 (小写)表示它已经取到的某个具体值。

概率 (简写 )就是这个取值出现的可能性大小,取值一定在 0 到 1 之间,而且所有可能取值的概率加起来必须是 1:

如果取值是连续的(比如身高、温度),「恰好等于某个值」的概率是 0,这时改叫概率密度,求和就换成积分 。密度本身可以大于 1(例如第 45 页那张图里,条件密度的峰值到了 8 左右),只有「积分出来的面积」才是概率。这一点初学时最容易弄混。

② 联合概率、边缘概率、条件概率:三个最核心的概念

原文件第 5 页只用了三行字带过这三个概念,但它们后面全程都在用。

写法读作含义
X 的概率X 取某个值的可能性
给定 M 时 X 的条件概率在「已知 M 成立」这个前提下,X 取某个值的可能性
X 与 M 的联合概率X 和 M 同时取到各自某个值的可能性

乘法法则(product rule)把三者串起来:

用「先发生 M,再在 M 的条件下发生 X」来理解最顺:两件事同时发生,等于先让 M 发生、再让 X 在 M 之下发生。

加法(求和)法则反过来把联合概率「压」成边缘概率——把不关心的那个变量所有可能取值都加起来(连续情形就是积分):

③ 独立与条件独立:朴素贝叶斯那一页在赌什么

两件事 独立,意思是「知道一件事发生与否,对另一件事的可能性毫无影响」。数学上写成 ,等价于 。

条件独立稍微绕一点:。意思是——本来 和 是有关联的,但一旦知道了 Y,这种关联就消失了。

打个比方:「地面湿」和「有人撑伞」高度相关(看到其中一个,另一个的可能性就变大)。但它们并不互相导致,真正的共同原因是「下雨了」。所以在已知「下雨」的条件下,这两件事就互相独立了——这就是条件独立。

第 17 页的朴素贝叶斯假设,正是假设所有特征在「已知类别」的条件下互相独立。这个假设通常并不成立(第 31 页专门吐槽了这一点),但换来的好处极其可观——第 26 页会算给你看。

④ 似然:为什么同一个乘积,换个角度看就变了名字

这是全篇出现频率最高、也最容易懵的一个词。

我们已经拿到了数据 (这是既成事实)。现在问:「参数 取多少时,最能让 我手上这份数据 显得不意外?」这个 作为 的函数,就叫 似然(likelihood)。

注意:同一个数学表达式 ,当 固定、看成 的函数时,它叫「似然」;当 固定、看成 的函数时,它叫「条件概率」。换的是视角,不是公式。

还有一个关键前提:数据点之间是独立同分布的(i.i.d.)。于是整份数据的似然就是每个样本似然的连乘——这正是第 25 页那个 的来历:

连乘容易数字下溢(几十个小于 1 的数相乘很快就变成 0),所以大家统一改取对数,把连乘变连加——这就是第 29、52 页「等价的取对数」一步的原因。

⑤ 四个必须认识的分布:伯努利、类别、高斯、贝塔

伯努利分布(Bernoulli)——只有两种结果(成功/失败、1/0)。用参数 表示「取 1」的概率:

这个写法很妙: 时 ; 时 。一个式子把两种情况都写了。第 29 页把它推广成 ,其中 就是把数据里 1 和 0 出现的次数数出来。

高斯分布(正态分布)——钟形曲线,第 41、43 页的主角。两个参数:(中心在哪)和 (胖瘦)。

贝塔分布(Beta)——专门用来描述「一个 0 到 1 之间的概率参数 本身该是多少」,所以它天然适合当伯努利的先验。第 33 页那张彩色曲线图就是它的不同形态。

类别分布——伯努利推广到 类,用在第 16、17 页的「鸟/哺乳动物」和多分类逻辑回归上。

⑥ 导数、偏导与梯度:为什么求极值要「求导等于零」

一元函数 的导数 表示曲线在某点的陡峭程度,也即「 稍微变大一点, 会变多少」。在山的最高点,坡是平的,所以:

第 30 页求 MLE,第 59 页求逻辑回归的最优点,用的都是这一条。

参数变多(比如 )以后,「对某一个变量求导而把其余当常数」就叫偏导 ;把所有这些偏导竖着排成一个向量,就叫梯度:

梯度指的方向是「函数上升最快的方向」,所以想变大就顺着它走(梯度上升),想变小就反着走(梯度下降)。第 54 页的更新公式就是这么来的。

再往上还有二阶导数(Hessian 矩阵),它描述坡度的变化快慢,牛顿法(第 58–60 页)用它算出一整步该迈多大。

⑦ 向量、点积和转置:那个 到底在算什么

逻辑回归全程围绕一个量打转:

这就是两个向量的点积(内积),结果是一个数。可以这样读它:把每个特征 乘上对应的权重 ,再全部加起来。权重是正的,说明这个特征变大就倾向于让结果变大;权重接近 0,说明这个特征无关紧要。

上标 是转置,作用是把竖着的列向量躺下来变成横着的行向量,这样一个行向量乘一个列向量,维度才对得上,结果才是一个数(而不是一个矩阵)。

所以 本质上就是中学学的「加权求和再加偏置」,只不过写在向量记号里显得吓人。当它等于 0 时,就是分类的分界线——第 47 页的结论。

⑧ 凸函数与凹函数:为什么「凹」是好消息

凸函数长得像碗(开口朝上),碗里放个球一定会滚到唯一的最低点;凹函数长得像倒扣的碗,球一定会滚到唯一的最高点。

这个形状的意义在于:没有「假的」局部最优。你随便从哪一点出发往上爬,只要一直往上走,最后一定到全局最高点,不会卡在某个小坑里出不来。

第 53 页说「坏消息:没有闭式解;好消息: 是凹函数」——正是在说:虽然算不出一个公式直接得到答案,但用迭代法一定收敛到唯一最优解,这件事是有保证的。

第 54 页那张三维曲面图画的是 (凹函数取负就变成碗状的凸函数),红点就是迭代过程中一步步往下滚的位置。

⑨ 指数与对数:几个马上要用的性质
  • (把连乘变连加,所以处处取对数)
  • ,以及 (第 30 页就靠这两条)
  • ,且 恒大于 0——所以 永远落在 0 和 1 之间,天生就是个概率(第 46 页)
本节概述 · 第一节

概率的语言Probabilistic Foundations — 先学会怎么说话,再谈怎么建模

覆盖原文件 P1–P8 | 8 页 | 建议 15 分钟

这一节不教任何模型,它只做一件事:把「不确定性」变成可以计算的符号。后面的朴素贝叶斯和逻辑回归,全部建立在这一节定义的几个记号和两条法则上——所以这 8 页值得慢读。如果跳过它,后面会在 这类写法上反复卡壳。

这 8 页的主线
  1. 给任务下定义(P2–P3):监督学习就是「从输入 预测输出 」, 连续叫回归,离散叫分类。
  2. 给语言下定义(P5–P6):联合概率、边缘概率、条件概率三种量,配上乘法法则与求和法则。
  3. 合成一件工具(P6–P7):贝叶斯定理——「先验 × 似然 ∝ 后验」,这是用证据更新信念的全部机制。
  4. 给出一张地图(P8):任何概率模型都必须回答表示 / 推断 / 学习三个问题。
必须记住的记号
  • 概率、 条件概率、 联合概率
  • 乘法法则:
  • 求和法则:(连续则换成积分)
  • 贝叶斯定理:
  • 大写 是随机变量,小写 是它取到的具体值
两个最容易混的点

① 不是「X 导致 M」。竖线左边是「被解释的」,右边是「已知的前提」。读成「在 M 成立的前提下,X 的可能性」就不会错。

② 「似然」与「条件概率」不是两个东西。同一个式子 ,固定 看 就叫似然,固定 看 就叫条件概率——换的是视角,不是公式。

读完自检
  1. 已知 、 和 ,怎么算出 ?
  2. 「先验」「似然」「后验」分别对应贝叶斯公式里的哪一项?哪个是我们真正想知道的?
  3. 第 8 页的「表示 / 推断 / 学习」三问中,哪一问是在问「怎么回答一个具体查询」?

与后面几节的衔接:这一节给出的贝叶斯定理,在第二节被直接用作分类器(朴素贝叶斯);而 P8 的「学习」一问——「哪个模型才是对的」——会在第二节的后半段变成 MLE 与 MAP 两条路线的分岔口。

原文件 P1

Introduction to Artificial Intelligence — Logistic Regression 封面页

打开原 PDF 该页(demo 已停用)

这是整套课件的封面:课程《人工智能导论》,本次主题「逻辑回归(Logistic Regression)」,授课人 苏航(清华大学)。

这一页没有知识点,但它定了调子——接下来 62 页要讲的,是机器学习中最基础、也最经得起考验的分类模型之一。逻辑回归到今天仍然广泛用在垃圾邮件过滤、点击率预估、信用评分、疾病风险预测这些场景里;而它背后的推导方式(最大似然 + 梯度法)几乎是所有现代神经网络训练方法的雏形。

读法建议:先记住这个标题里的两个词——logistic(指 Sigmoid 函数)和 regression(虽然名字里带「回归」,它实际做的是分类)。这个别扭的名字会在第 46 页得到解释。
原文件第 1 页
原文件 P1 · 点击放大
原文件 P2

Supervised Learning 监督学习

打开原 PDF 该页(demo 已停用)

这一页要把「监督学习」这四个字翻译成人话:给定一批「题目 + 标准答案」,让机器自己总结出一套解题规律。

原文写「Task: learn a predictive function」,即学一个预测函数:

这里出现了两个集合:特征空间 (模型看到的输入)和标签空间 (我们想预测的东西)。

幻灯片用两组例子对照说明:

  • 文本分类:特征 是「文档里出现的词」,标签 是 Sports/News/Politics 这样的类别。这里 是一堆离散的类别。
  • 股价预测:特征 是「截至时刻 的市场信息」,标签是 $20.50 这样的数值。

页面上还标了一个红字 knowledge(知识):它的意思是, 和 之间存在的那层对应关系,正是我们希望机器学到的「知识」——它不是写在代码里的规则,而是从数据里估出来的。

底部给出训练数据的记号:

意思很直白:有 条样本,第 条由输入 (加粗表示它是一个向量,包含多个特征)和答案 组成。这个记号后面会反复出现。

「监督」是什么意思?就是训练数据里每条输入都配了正确答案。反过来说,如果只有输入没有答案,那是「无监督学习」(比如聚类)。
原文件第 2 页
原文件 P2 · 点击放大
原文件 P3

Supervised Learning — regression 监督学习的一种:回归

打开原 PDF 该页(demo 已停用)

同样画了「特征空间 → 标签空间」的箭头,但这一页在强调标签的性质:标签是连续数值。幻灯片右下角专门加了一个红框 Continuous Labels。

  • 输入是截至 时刻的市场信息 → 输出是股价 $20.50;
  • 输入是「时段、地点、时间」 → 输出是气温 42°F。

这一页真正的作用是给「回归」和「分类」划界。两者的输入都是特征向量,区别只在输出:

标签 的类型任务名本课件的例子
输出连续值实数,如 、回归(regression)股价、气温、第 40 页的贝叶斯回归
输出离散类别如 Sports/News、鸟/哺乳动物分类(classification)朴素贝叶斯、逻辑回归
伏笔:名称里的 confusion 就在这儿——逻辑回归叫「回归」,但它输出的是概率(0 到 1 之间的连续值),再阈值化成类别。因为输出概率这一步确实是回归,所以名字才保留了「regression」。第 47 页会把这个逻辑补完。
原文件第 3 页
原文件 P3 · 点击放大
原文件 P4

Outline 大纲

打开原 PDF 该页(demo 已停用)

大纲列了五个主题,构成了这次课的知识阶梯:

  1. Probabilistic methods for supervised learning——监督学习的概率方法(第 5–15 页)
  2. Naive Bayes classifier——朴素贝叶斯分类器(第 16–39 页)
  3. Logistic regression——逻辑回归(第 40–63 页)
  4. Exponential family distributions——指数族分布
  5. Generalized linear models——广义线性模型
需要提醒的一点:原文 63 页里,第 4、5 两个主题(指数族分布、广义线性模型)并没有展开。课件讲完逻辑回归的收敛曲线就直接进入总结页了。本文档严格保留原顺序,不把这两节插进正文,而是在全文末尾以「补充篇 A / B」的形式单独给出简明讲解——它们是理解「逻辑回归为什么会是 Sigmoid 这个形状」的关键,值得知道。

另外注意大纲的排序本身就是一个叙事:先讲概率方法(这是地基),再讲朴素贝叶斯(第一个完整可用的模型),再讲逻辑回归(把生成式换成判别式)。第 63 页的总结会回扣这个结构。

原文件第 4 页
原文件 P4 · 点击放大
原文件 P5

Basic Rules of Probability 概率的基本法则

打开原 PDF 该页(demo 已停用)

这一页只写了三个概念和两条法则,但它们是后面 58 页的全部工具。原文里的 是一个花体字母(读作 "M"),在这里代表一个模型假设;先把它当成一个普通的随机变量就行。

三个概念:

符号读法原页面的英文注解
X 的概率probability of
给定 M 时 X 的条件概率conditional probability of given
X 与 M 的联合概率joint probability of and

两条法则(幻灯片用蓝色高亮标出了它们的名字):

第二条里用积分而不是求和,是因为 被当作连续量处理;如果它只取有限几个值,就该换成 。两种写法意思一样:把不关心的那个变量「积分掉/求和掉」,就得到剩下的那个变量的分布。

为什么这两条这么重要?因为贝叶斯定理(下一页)就是这两条法则的直接推论。而贝叶斯定理,正是朴素贝叶斯分类器的全部内容。
原文件第 5 页
原文件 P5 · 点击放大
原文件 P6

Bayes' Rule 贝叶斯法则

打开原 PDF 该页(demo 已停用)

一句话概括贝叶斯定理:它告诉你「如何用新证据更新旧看法」。

推导只有一步。把乘法法则 对称地写另一遍,得到 ——注意联合概率是对称的,两种分解方式必然相等(原文标题下面那句「Combining the definition of conditional prob. with the product and sum rules」说的就是这个)。于是:

这正是原页面上的两行公式。四行字里其实有四个角色,第 7 页会给它们正式命名。这里先用直觉记住每一块的含义:

  • 左边 :看到数据 X 之后,我对假设 M 的新看法(后验)。
  • :看数据之前,我对 M 的旧看法(先验)。
  • :如果 M 成立,看到这份 X 有多合理(似然)。
  • 分母:数据 X 本身出现的总可能性,起归一化作用,保证右边算出来是合法概率。

页面右侧是 Thomas Bayes(1702–1761)的画像,并注明这一结果最初发表于 1763 年《论机会学说中一个问题的解》(An Essay towards Solving a Problem in the Doctrine of Chances),刊登在伦敦皇家学会的《哲学汇刊》上——是他去世后才由朋友整理发表的。

注意一个细节:分母那个积分和 无关(它已经被积掉了),所以如果只是要找「哪个 最可能」,分母是个常数,可以完全不管。第 35 页正是靠这一点把 MAP 的公式化简的。
原文件第 6 页
原文件 P6 · 点击放大
原文件 P7

Bayes' Rule Applied to Machine Learning 贝叶斯法则在机器学习中的应用

打开原 PDF 该页(demo 已停用)

这一页把上一页的抽象公式落到机器学习的具体场景:让 表示手上的数据集,让 表示一个模型。于是:

原页面右侧把这四项逐一命名,这是全篇最该背下来的对照表:

符号名称中文含义
prior probability of 先验:还没看数据时,你认为哪个模型更可信
likelihood of on data似然:这个模型生成出当前这份数据的可能性
posterior probability of given 后验:看过数据之后,模型的可信度
marginal likelihood or evidence边缘似然/证据:归一化常数

接着是模型比较(Model Comparison)。这里引入了一个「模型空间」,并写出:

它的意思:如果模型本身也不确定(是一族模型 里的哪一个),那就把 积分掉,对整个模型族算一个总的后验。这一步用到的正是第 5 页那条求和法则。

最后是预测(Prediction):

公式在说:要对新样本 做预测,严格做法是把「所有可能模型各自给出的预测」按它们的后验概率加权平均。但那个积分通常算不出来,所以在一些常见假设下,直接用一个模型(比如最可能的那个)代替整个积分——这就是第 35–38 页 MAP 估计的思想来源。

记忆钩子:先验 × 似然 ∝ 后验。看见这三个词,脑子里就该浮现这个乘法关系。
原文件第 7 页
原文件 P7 · 点击放大
原文件 P8

Three Fundamental Questions 三个基本问题

打开原 PDF 该页(demo 已停用)

这一页是一张「地图」,给出了任何概率模型都必须回答的三个问题。它不涉及公式,但值得记住,因为后续每一页其实都在回答其中之一。

1. 表示(Representation)

「How to capture/model uncertainty in possible worlds?」「How to encode our domain knowledge / assumptions / constraints?」——如何把「不确定性」写成数学对象,又如何把我们的先验知识塞进去?本课件的回答是:用概率分布(联合分布、条件分布)来表示不确定性;用朴素贝叶斯假设、Beta 先验来注入假设。

2. 推断(Inference)

「How do I answer questions/queries according to my model and/or based on given data?」——给定模型和数据,怎么回答具体的问题?页面给了一个例子:,即在看到数据后,某个变量的分布是什么。第 19 页的贝叶斯决策规则就属于这一类。

3. 学习(Learning)

「What model is 'right' for my data?」——哪个模型才是对的?页面给出的公式是:

读法:在所有候选模型里,挑出让某个评分函数 最大的那个。这个 取什么,正是后面 MLE 与 MAP 的分歧所在——MLE 取 ,MAP 取 。

为什么先讲这三个问题?因为它们构成了后面评价任何模型的框架。第 63 页的总结里对逻辑回归的评价,本质上就是「它的表示是什么、怎么推断、怎么学」这三句话。
原文件第 8 页
原文件 P8 · 点击放大

本讲要点

这一讲里最值得记住的判断。每条都指回原文出处,点页码可跳回讲解。

  1. 监督学习学的是从输入到输出的预测函数——「学习」的全部信息来自带正确答案的样本,而不是写死的规则。
  2. 回归与分类的差别只在标签:连续值学回归,离散类别学分类;模型形式可以完全相同。
  3. 概率推理的全部计算都从两条法则出发:乘法法则把联合概率拆开,求和法则做边缘化。
  4. 贝叶斯法则把「模型生成数据的概率」反过来求「数据支持下模型的概率」——先验 × 似然 ∝ 后验。
  5. 任何概率模型都必须回答三个问题:怎么表示、怎么推断、怎么学习——本课后续全部内容都挂在这三问上。

一页纸速查:公式与要点

把全文的公式集中在这里,方便复习或直接对照原文件查。左侧是公式,右侧是它出自哪一页。

概率基础

公式含义页码
乘法法则(联合 = 条件 × 边缘)P5
求和/积分法则P5
贝叶斯定理P6

朴素贝叶斯

公式含义页码
「朴素」的独立假设P26
朴素贝叶斯分类器(实用形式)P19/P26
MLE:数频率P27
拉普拉斯平滑(对付零计数)P32
MAP(Beta 先验下的结果)P34
MAP 就是「似然 × 先验」P35

高斯分布

公式含义页码
一元高斯P41
多元高斯P43
高斯的 MLE = 样本均值/方差P42

逻辑回归(核心)

公式含义页码
Sigmoid(把实数压成概率)P46
逻辑回归模型( 已增广)P48
对数几率 = 线性函数P47
决策边界:超平面(线性分类器)P47
对数条件似然(要最大化的目标)P52
梯度()P55/P60
梯度上升更新式P55
Hessian 矩阵P60
IRLS 更新式(牛顿法的等价形式)P61

三个必须记住的「一句话」

  1. 逻辑回归是线性分类器——决策边界是超平面(P63)。
  2. 它用最大条件似然学参数——没有闭式解,但目标函数是凹的,梯度法必得全局最优(P63)。
  3. NB 与 LR 的假设不同——NB 假设 ,LR 假设 的函数形式,对 不作任何假设(P63)。

术语速查表

按首次出现顺序排列,中文名后附英文原文(便于对照原课件)。点页码可跳回讲解。

术语英文一句话解释首次出现
监督学习supervised learning从「输入 + 正确答案」的数据里学预测函数P2
特征空间 / 标签空间feature space / label space模型看到的输入集合 / 想预测的答案集合P2
回归 / 分类regression / classification标签是连续数值 / 离散类别P3
条件概率conditional probability已知某事件成立时,另一事件的可能性P5
联合概率joint probability两件事同时发生的可能性P5
乘法法则 / 求和法则product / sum rule联合与边缘、条件之间的两个基本关系P5
贝叶斯定理Bayes' theorem用证据更新信念:后验 ∝ 先验 × 似然P6
先验 / 似然 / 后验prior / likelihood / posterior看数据前的信念 / 数据在该参数下的可能性 / 看数据后的信念P7
似然likelihood把数据固定、参数当变量时的 P7
经验分布empirical distribution直接由数据数出来的分布(即直方图)P11
核密度估计kernel density estimation (KDE)把直方图磨成光滑曲线的技巧P11
决策边界decision boundary两类概率相等的位置;越过它预测就翻转P15
生成式模型generative model建模 与 ,能「生成」数据P16
判别式模型discriminative model只建模 ,不关心输入怎么来的P51
条件独立conditional independence已知类别后,特征之间互不影响P17
朴素贝叶斯假设naïve Bayes assumption特征在给定类别下条件独立(通常不成立,但好用)P17
贝叶斯决策规则Bayes' decision rule选后验概率最大的类别P19
贝叶斯误差Bayes error任何分类器都无法突破的最低错误率P20
维度灾难curse of dimensionality特征一多,需要的数据量指数级暴涨P23
最大似然估计maximum likelihood estimation (MLE)选让数据最可能的参数;结果就是数频率P28
最大后验估计maximum a posteriori (MAP)选最可能的参数,综合先验与数据P35
零计数问题zero-counts problem某特征在某类里没出现过,导致概率被估成 0P32
拉普拉斯平滑Laplace / additive smoothing给每个计数都加一个小正数,避免 0P32
贝塔分布Beta distribution定义在 [0,1] 上、用来当概率参数先验的分布P33
无信息先验non-informative prior均匀先验;此时 MAP 退化为 MLEP37
高斯(正态)分布Gaussian / normal distribution钟形曲线,由均值与方差决定P41
协方差矩阵covariance matrix描述各维分散程度与维度间相关性的矩阵P43
各向同性 / 对角 / 一般isotropic / diagonal / general协方差矩阵的三种简化程度P43
边缘分布仍为高斯marginal is Gaussian多元高斯积分掉某些维度,结果还是高斯P45
逻辑函数 / Sigmoidlogistic function / sigmoid,把实数压成 (0,1) 的概率P46
对数几率log-odds / logit;在逻辑回归里等于线性得分P47
增广向量augmented vector给输入补一个恒为 1 的分量,把偏置并入权重P48
参照类reference class多分类里得分为 0 的那一类;因此只需 K−1 组权重P49
最大条件似然maximum conditional likelihood只对 求似然,避开 P51
闭式解closed-form solution能用显式公式直接算出的解;逻辑回归没有P53
凹函数 / 凸函数concave / convex function倒扣的碗 / 正放的碗;保证没有假的局部最优P53
梯度上升 / 下降gradient ascent / descent沿坡度方向走,让函数变大 / 变小P54
步长 / 学习率step-size / learning rate 每一步迈多大;大了震荡,小了慢P54
过拟合over-fitting把训练数据的噪声也学进去了,泛化变差P56
正则化regularization惩罚过大的权重,抑制过拟合P56
牛顿法Newton / Newton-Raphson method用切线找零点;用于优化时收敛远快于梯度法P58
Hessian 矩阵Hessian matrix二阶偏导排成的方阵,描述曲率P59
IRLSiteratively reweighted least squares反复解加权最小二乘;等价于牛顿法P61
指数族分布exponential family一大批分布的共同格式;伯努利、高斯、贝塔都是成员补充 A
广义线性模型generalized linear model (GLM)响应分布 + 线性预测器 + 连接函数的三件套补充 B
典型连接canonical link连接函数取自然参数本身;伯努利对应 logit补充 B

参考文献

本讲正文里引到的资料,按年份排。编号只在本讲内有效——课程主页会把各讲的文献按 id 去重、合成一张总表。

编号作者年份标题出处链接
[1]Bishop2006Pattern Recognition and Machine LearningSpringer打开
[2]Murphy2012Machine Learning: A Probabilistic PerspectiveMIT Press无链接

关于本文档

原文件信息

  • 文件名:1-Logistic Regression(1).pdf
  • 路径:(本 demo 隐去了原文件的本机路径)
  • 标题:Introduction to Artificial Intelligence — Logistic Regression
  • 作者:苏航(清华大学)
  • 页数:63 页(由 PowerPoint 导出,创建于 2026-09-22)

覆盖范围

  • 正文:严格按原文件页序逐页讲解,每页都配有原页缩略图与页码链接。本 demo 只节选了 P1–P8(完整版覆盖 1–63 页)。
  • 前置知识:「前置知识」九张速成卡为本文档新增内容,原文件没有。
  • 补充篇 A / B:指数族分布与广义线性模型——原文件第 4 页大纲提及但正文未展开,本文档单独补充,不占用原页码。
  • 速查部分:公式速查、术语表均为本文档新增的检索工具。

阅读时需要注意的三处原文件细节

  1. 第 55 页有一处蓝色色块遮挡。原文中 Sigmoid 的定义式 被一个蓝色方块盖住了——这是原 PPT 里动画/图片对象被导出后留下的痕迹。本文档已根据 PDF 文字层还原了被遮内容(详见该页讲解)。
  2. 第 11–15 页的红/蓝配色不一致。这几页的示意图沿用自旧讲义,红色曲线有时画在左边、有时在右边,与第 10 页图例(红=Katydids、蓝=Grasshoppers)并不总是对应。本文档以原页标注的数字(10:2、3:9、6:6)为准进行讲解,不依赖颜色位置。
  3. 第 20 页积分上下限为 −1 到 1。原文写作 (课件中特征已归一化到该区间);更一般的写法是对 的整个取值范围积分。本文档保留原样并加了说明。

技术说明

  • 公式使用 KaTeX 离线渲染,字体已内嵌为 data URI——断网状态下打开本文件,公式依然正常显示,无需联网加载任何资源。
  • 页面缩略图为原 PDF 渲染后压缩所得,仅用于对照阅读;如需看清细节,请点击缩略图放大,或直接打开原 PDF 对应页。
  • 本文件为单文件 HTML,可自由移动、复制、离线分享(不要单独把图片或字体抽出来)。
  • 完整版会把原课件 PDF 整个内嵌进 HTML,因此拷到任何设备都能直接打开原文件对照,顶栏另有一个「另存原 PDF」按钮。本 demo 不包含原课件(版权不属于本项目),所以每页的「打开原 PDF 该页」按钮显示为停用态。