古月 - 数学
type: channel
link: http://www.guyue12306.com/tag/shuxue/
items: CS229 机器学习课程复习材料-概率论
items: CS229 机器学习课程复习材料-线性代数
items: 斯坦福大学2014机器学习教程中文笔记

CS229 机器学习课程复习材料-概率论
type: item
date: 2024-02-16T17:23:00+08:00
description: 本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载原文作者：Arian Maleki ， Tom Do翻译：石振宇审核和修改制作：黄海广备注：请关注github的更新。概率论复习和参考概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。1. 概率的基本要素为了定义集合上的概率，我们需要一些基本元素，样本空间$\Omega $：随机实验的所有结果的集合。在这里，每个结果 $w \in \Omega $ 可以被认为是实验结束时现实世界状态的完整描述。事件集（事件空间）$\mathcal{F}$：元素 $A \in \mathcal{F}$ 的集合（称为事件）是 $\Omega $ 的子集（即每个 $A \subseteq \Omega$ 是一个实验可能结果的集合）。备注：$\mathcal{F}$需要满足以下三个条件：(1) $\emptyset \in \mathcal{F}$(2) $A \in \mathcal{F} \Longrightarrow \Omega \backslash A \in \mathcal{F}$(3) $A_1,A_2,\cdots A_{i} \in \mathcal{F}\Longrightarrow\cup_{i} A_{i} \in \mathcal{F}$概率度量$P$：函数$P$是一个$ \mathcal{F} \rightarrow \mathbb{R}$的映射，满足以下性质：对于每个 $A \in \mathcal{F}$，$P(A) \geq 0$,$P(\Omega) = 1$如果$A_1 ,A_2 ,\cdots$ 是互不相交的事件 (即 当$ i \neq j$时，$A_{i} \cap A_{j}=\emptyset$ ), 那么：$$ P\left(\cup_{i} A_{i}\right)=\sum_{i} P\left(A_{i}\right) $$以上三条性质被称为概率公理。举例：考虑投掷六面骰子的事件。样本空间为$\Omega= \{1，2，3，4，5，6\}$。最简单的事件空间是平凡事件空间$\mathcal{F} = \{\emptyset,\Omega\}$.另一个事件空间是$\Omega$的所有子集的集合。对于第一个事件空间，满足上述要求的唯一概率度量由$P(\emptyset) = 0$，$p(\Omega)= 1$给出。对于第二个事件空间，一个有效的概率度量是将事件空间中每个事件的概率分配为$i/6$，这里$i$ 是这个事件集合中元素的数量；例如$P(\{1,2,3,4\}) =4/6$，$P(\{1,2,3\}) =3/6$。性质：如果$A \subseteq B$，则：$ P(A) \leq P(B)$$P(A \cap B) \leq min(P(A),P(B) )$(布尔不等式)：$P(A \cup B) \leq P(A)+P(B)$$P(\Omega |A ) =1-P(A)$(全概率定律)：如果$A_1，\cdots，A_k$是一些互不相交的事件并且它们的并集是$\Omega$，那么它们的概率之和是11.1 条件概率和独立性假设$B$是一个概率非0的事件，我们定义在给定$B$的条件下$A$ 的条件概率为：$$ P(A | B) \triangleq \frac{P(A \cap B)}{P(B)} $$换句话说，$P(A|B$)是度量已经观测到$B$事件发生的情况下$A$事件发生的概率，两个事件被称为独立事件当且仅当$P(A \cap B) = P(A)P(B)$（或等价地，$P(A|B) = P(A)$)。因此，独立性相当于是说观察到事件$B$对于事件$A$的概率没有任何影响。2. 随机变量考虑一个实验，我们翻转10枚硬币，我们想知道正面硬币的数量。这里，样本空间$\Omega$的元素是长度为10的序列。例如，我们可能有$w_0 = \{H，H，T，H，T，H，H，T，T，T\}\in\Omega$。然而，在实践中，我们通常不关心获得任何特定正反序列的概率。相反，我们通常关心结果的实值函数，比如我们10次投掷中出现的正面数，或者最长的背面长度。在某些技术条件下，这些函数被称为随机变量。更正式地说，随机变量$X$是一个的$\Omega \longrightarrow \mathbb{R}$函数。通常，我们将使用大写字母$X(\omega)$或更简单的$X$(其中隐含对随机结果$\omega$的依赖)来表示随机变…

CS229 机器学习课程复习材料-线性代数
type: item
date: 2024-02-16T17:20:26+08:00
description: 本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma翻译：黄海广备注：请关注github的更新，线性代数和概率论已经更新完毕。线性代数复习和参考1. 基础概念和符号线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组：$$ 4x_1 − 5x_2 = −13 $$$$ −2x_1 + 3x_2 = 9 $$这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $x_1$ 和 $x_2$ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。 在矩阵表示法中，我们可以更紧凑地表达：$$ Ax= b $$$$ \text { with } A=\left[\begin{array}{cc}{4} & {-5} \\ {-2} & {3}\end{array}\right], b=\left[\begin{array}{c}{-13} \\ {9}\end{array}\right] $$我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。1.1 基本符号我们使用以下符号：$A \in \mathbb{R}^{m \times n}$，表示 $A$ 为由实数组成具有$m$行和$n$列的矩阵。$x \in \mathbb{R}^{ n}$，表示具有$n$个元素的向量。 通常，向量$x$将表示列向量: 即，具有$n$行和$1$列的矩阵。 如果我们想要明确地表示行向量: 具有 $1$ 行和$n$列的矩阵 - 我们通常写$x^T$（这里$x^T$$x$的转置）。$x_i$表示向量$x$的第$i$个元素$$ x=\left[\begin{array}{c}{x_{1}} \\ {x_{2}} \\ {\vdots} \\ {x_{n}}\end{array}\right] $$我们使用符号 $a_{ij}$（或$A_{ij}$,$A_{i,j}$等）来表示第 $i$ 行和第$j$列中的 $A$ 的元素：$$ A=\left[\begin{array}{cccc}{a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\vdots} & {\vdots} & {\ddots} & {\vdots} \\ {a_{m 1}} & {a_{m 2}} & {\cdots} & {a_{m n}}\end{array}\right] $$我们用$a^j$或者$A_{:,j}$表示矩阵$A$的第$j$列：$$ A=\left[\begin{array}{llll}{ |} & { |} & {} & { |} \\ {a^{1}} & {a^{2}} & {\cdots} & {a^{n}} \\ { |} & { |} & {} & { |}\end{array}\right] $$我们用$a^T_i$或者$A_{i,:}$表示矩阵$A$的第$i$行：$$ A=\left[\begin{array}{c}{-a_{1}^{T}-} \\ {-a_{2}^{T}-} \\ {\vdots} \\ {-a_{m}^{T}-}\end{array}\right] $$在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通用约定。2.矩阵乘法两个矩阵相乘，其中 $A \in \mathbb{R}^{m \times n}$ and $B \in \mathbb{R}^{n \times p}$ ，则：$$ C = AB \in \mathbb{R}^{m \times p} $$其中：$$ C_{i j}=\sum_{k=1}^{n} A_{i k} B_{k j} $$请注意，为了使矩阵乘积存在，$A$中的列数必须等于$B$中的行数。有很多方法可以查看矩阵乘法，我们将从检查一些特殊情况开始。2.1 向量-向量乘法给定两个向量$x, y \in \mathbb{R}^{n}$,$x^T y$通常称为向量内积或者点积，结果是个实数。$$ x^{T} y \in \mathbb{R}=\left[\begin{array}{llll}{x_{1}} & {x_{2}} & {\cdots} & {x_{n}}\end{array}\right]\left[\begin{array}{c}{y_{1}} \\ {y_{2}} \\ {…

斯坦福大学2014机器学习教程中文笔记
type: item
date: 2024-02-16T16:52:00+08:00
description: 斯坦福大学2014机器学习教程中文笔记目录第一周一、 引言(Introduction) 1.1 欢迎 1.2 机器学习是什么？ 1.3 监督学习 1.4 无监督学习 二、单变量线性回归(Linear Regression with One Variable) 2.1 模型表示 2.2 代价函数 2.3 代价函数的直观理解I 2.4 代价函数的直观理解II 2.5 梯度下降 2.6 梯度下降的直观理解 2.7 梯度下降的线性回归 2.8 接下来的内容 三、线性代数回顾(Linear Algebra Review) 3.1 矩阵和向量 3.2 加法和标量乘法 3.3 矩阵向量乘法 3.4 矩阵乘法 3.5 矩阵乘法的性质 3.6 逆、转置第二周四、多变量线性回归(Linear Regression with Multiple Variables) 4.1 多维特征 4.2 多变量梯度下降 4.3 梯度下降法实践1-特征缩放 4.4 梯度下降法实践2-学习率 4.5 特征和多项式回归 4.6 正规方程 4.7 正规方程及不可逆性（选修） 五、Octave教程(Octave Tutorial) 5.1 基本操作 5.2 移动数据 5.3 计算数据 5.4 绘图数据 5.5 控制语句：for，while，if语句 5.6 向量化 885.7 工作和提交的编程练习第三周六、逻辑回归(Logistic Regression) 6.1 分类问题 6.2 假说表示 6.3 判定边界 6.4 代价函数 6.5 简化的成本函数和梯度下降 6.6 高级优化 6.7 多类别分类：一对多 七、正则化(Regularization) 7.1 过拟合的问题 7.2 代价函数 7.3 正则化线性回归 7.4 正则化的逻辑回归模型第四周第八、神经网络：表述(Neural Networks: Representation) 8.1 非线性假设 8.2 神经元和大脑 8.3 模型表示1 8.4 模型表示2 8.5 样本和直观理解1 8.6 样本和直观理解II 8.7 多类分类第五周九、神经网络的学习(Neural Networks: Learning) 9.1 代价函数 9.2 反向传播算法 9.3 反向传播算法的直观理解 9.4 实现注意：展开参数 9.5 梯度检验 9.6 随机初始化 9.7 综合起来 9.8 自主驾驶第六周十、应用机器学习的建议(Advice for Applying Machine Learning) 10.1 决定下一步做什么 10.2 评估一个假设 10.3 模型选择和交叉验证集 10.4 诊断偏差和方差 10.5 正则化和偏差/方差 10.6 学习曲线 10.7 决定下一步做什么 十一、机器学习系统的设计(Machine Learning System Design) 11.1 首先要做什么 11.2 误差分析 11.3 类偏斜的误差度量 11.4 查准率和查全率之间的权衡 11.5 机器学习的数据 第7周十二、支持向量机(Support Vector Machines) 12.1 优化目标 12.2 大边界的直观理解 12.3 大边界分类背后的数学（选修） 12.4 核函数1 12.5 核函数2 12.6 使用支持向量机第八周十三、聚类(Clustering) 13.1 无监督学习：简介 13.2 K-均值算法 13.3 优化目标 13.4 随机初始化13.5 选择聚类数 十四、降维(Dimensionality Reduction) 14.1 动机一：数据压缩 14.2 动机二：数据可视化 14.3 主成分分析问题 14.4 主成分分析算法 14.5 选择主成分的数量 14.6 重建的压缩表示 14.7 主成分分析法的应用建议第九周十五、异常检测(Anomaly Detection) 15.1 问题的动机 15.2 高斯分布 15.3 算法 15.4 开发和评价一个异常检测系统 15.5 异常检测与监督学习对比 15.6 选择特征 15.7 多元高斯分布（选修） 15.8 使用多元高斯分布进行异常检测（选修） 十六、推荐系统(Recommender Systems) 16.1 问题形式化 16.2 基于内容的推荐系统 16.3 协同过滤 16.4 协同过滤算法 16.5 向量化：低秩矩阵分解 16.6 推行工作上的细节：均值归一化第十周十七、大规模机器学习(Large Scale Machine Learning) 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 小批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 十八、应用实例：图片文字识别(Application Exam…