datetime:2024/07/14 11:12

author:nzb

本项目源于《动手学深度学习》，添加了一些自己的学习笔记，方便搜索查阅。正版GitHub地址：https://github.com/d2l-ai/d2l-zh

符号

本书中使用的符号概述如下。

数字

• $x$：标量
• $\mathbf{x}$：向量
• $\mathbf{X}$：矩阵
• $\mathsf{X}$：张量
• $\mathbf{I}$：单位矩阵
• $x_i$, $[\mathbf{x}]_i$：向量$\mathbf{x}$第$i$个元素
• $x_{ij}$, $[\mathbf{X}]_{ij}$：矩阵$\mathbf{X}$第$i$行第$j$列的元素

集合论

• $\mathcal{X}$: 集合
• $\mathbb{Z}$: 整数集合
• $\mathbb{R}$: 实数集合
• $\mathbb{R}^n$: $n$维实数向量集合
• $\mathbb{R}^{a\times b}$: 包含$a$行和$b$列的实数矩阵集合
• $\mathcal{A}\cup\mathcal{B}$: 集合$\mathcal{A}$和$\mathcal{B}$的并集
• $\mathcal{A}\cap\mathcal{B}$：集合$\mathcal{A}$和$\mathcal{B}$的交集
• $\mathcal{A}\setminus\mathcal{B}$：集合$\mathcal{A}$与集合$\mathcal{B}$相减，$\mathcal{B}$关于$\mathcal{A}$的相对补集

函数和运算符

• $f(\cdot)$：函数
• $\log(\cdot)$：自然对数，详情见下面
  • log函数表示以e为底的对数函数
  • 与exp互为反函数的关系, log(exp(x)) = x
  • log(MN) = log(M) + log(N)
  • log(M/N) = log(M) - log(N)
  • log(M^N) = Nlog(M)
• $\exp(\cdot)$: 指数函数, $exp(x) = e^{x}$，详情见下面
  • exp函数表示以自然常数e为底的指数函数
  • 与log互为反函数的关系,exp(log(x)) = x
• $\mathbf{1}_\mathcal{X}$: 指示函数
• $\mathbf{(\cdot)}^\top$: 向量或矩阵的转置
• $\mathbf{X}^{-1}$: 矩阵的逆
• $\odot$: 按元素相乘
• $[\cdot, \cdot]$：连结
• $\lvert \mathcal{X} \rvert$：集合的基数
• $\|\cdot\|_p$: ：$L_p$ 正则，防止模型过拟合
• $\|\cdot\|$: $L_2$ 正则，防止模型过拟合
• $\langle \mathbf{x}, \mathbf{y} \rangle$：向量$\mathbf{x}$和$\mathbf{y}$的点积
• $\sum$: 连加
• $\prod$: 连乘
• $\stackrel{\mathrm{def}}{=}$：定义

指数函数

指数函数公式为 $y=a^{x}$，其函数增长性如下

• 指数函数的单调性是递增的，当x=0时，不管a为任何值，其值为1。当a大于1时，随着a越大，其函数值增长越快

• 在x>0部分，a>b其y值也是随着 $f_{a}(x)>f_{b}(x)$

• 在x<0部分 当a="">b时，其 $f_{a}(x)<f_{b}(x)<1$

对数函数

对数函数表达式为：$y=log_{a}x$,其函数图像为如下：

• 当x等于1时 y为0，

• 当x<1时，其y值小于0

• 当x >1时，其值大于0

• 对数函数为单调递增的，当a>1时，随着底数a越小，其函数增长值越快

• 当x>1时， a<b，$f_{a}(x)>f_{b}(x)$

• 当x<1时， a<b , $f_{a}(x)<f_{b}(x)$

• ln是以e为底的对数函数

微积分

• $\frac{dy}{dx}$：$y$关于$x$的导数$f^{'}(x)$
  • 导数是函数在某一点的瞬时变化率,表示函数在该点的斜率。
  • 导数是一个标量值,表示函数在某个点处的微小变化。
  • 导数公式：$f^{'}(x) = lim_{h->0} \frac{f(x+h) - f(x)}{h}$
  • 导数可以描述函数的增减性、极值点、曲率等性质。
• $\frac{\partial y}{\partial x}$：$y$关于$x$的偏导数
  • 偏导数是多变量函数对某一个变量求导时,其他变量视为常量。
  • 偏导数是一个向量值,表示函数在某个点处对某个变量的微小变化。
  • 偏导数公式： $\frac{∂y}{∂x} = lim_{h->0} \frac{f(x+h, y) - f(x, y)}{h}$
  • 偏导数可以描述多变量函数在某个变量上的变化趋势。
• $\nabla_{\mathbf{x}} y$：$y$关于$\mathbf{x}$的梯度，对于一个函数 $y = f(x)$ , 其梯度是指导数 $\nabla_{\mathbf{x}} y = \frac{dy}{dx}$ , 即函数 f(x) 在 x 处的导数。梯度描述了函数在某个点处沿坐标轴正方向的变化率。它是一个标量值,表示函数在该点的瞬时变化速度。
• $\int_a^b f(x) \;dx$: $f$在$a$到$b$区间上关于$x$的定积分，定积分表示函数 $f(x)$ 在区间 $[a, b]$ 上的累积变化量,可以用来计算曲线下的面积或物理量。
  • $a$ 和 $b$ 是积分区间的端点
  • $f(x)$ 是待积函数
  • $dx$ 是微分元素
  • 定积分的几何意义是:
    • 如果 $f(x) ≥ 0$, 则 $\int_a^b f(x) \;dx$ 表示函数图像和 $x$ 轴围成的面积。
    • 如果 $f(x)$ 可能取负值, 则 $\int_a^b f(x) \;dx$ 表示函数图像在 $x$ 轴上方的面积减去在 $x$ 轴下方的面积。
• $\int f(x) \;dx$: $f$关于$x$的不定积分，不定积分是求函数原函数的过程,它是定积分的逆过程。
  • 其中 $f(x)$ 是被积函数,积分符号 $∫$ 表示求原函数。
  • 不定积分的性质包括:
    • 线性性质:$∫ [af(x) + bg(x)] dx = a∫f(x)dx + b∫g(x)dx$
    • 常数项可以提出积分:$∫ c·f(x)dx = c∫f(x)dx$
    • 导数与积分互为逆运算:$\frac{d}{dx}∫f(x)dx = f(x)$
      • 导数和积分是微积分中两个基本运算,它们互为逆运算,即:
        • 导数运算:给定函数 $f(x)$，求它的导数 $f'(x)$。
        • 积分运算:给定函数 $f(x)$，求它的原函数 $F(x)$，即 $∫f(x)dx = F(x) + C$。
      • 导数和积分是相互关联的:
        • 导数是求函数在某点的瞬时变化率。
        • 积分是求函数在某区间上的累积变化量。
      • 根据基本微积分定理:
        • $\frac{d}{dx}∫f(x)dx = f(x)$，对 $∫f(x) dx$ 求导,即求积分函数 $F(x)$ 的导数，结果就是被积函数 $f(x)$
        • $∫\frac{d}{dx}f(x)dx = f(x) + C$，表示对 $\frac{d}{dx} f(x)$ 进行积分,即求函数 $f(x)$ 的原函数 $F(x)$，结果就是函数 $f(x)$ 加上一个任意常数 $C$
        • 这就意味着,如果我们对一个函数求导得到 $f'(x)$，然后再对 $f'(x)$ 积分，就能得到原函数 $f(x)$。同样地,如果我们对一个函数积分得到 $F(x)$，然后再对 $F(x)$ 求导，就能得到原函数 $f(x)$。

概率与信息论

• $P(\cdot)$：概率分布
• $z \sim P$: 随机变量$z$具有概率分布$P$
• $P(X \mid Y)$：$X\mid Y$的条件概率
• $p(x)$: 概率密度函数
• ${E}_{x} [f(x)]$: 函数$f$对$x$的数学期望
• $X \perp Y$: 随机变量$X$和$Y$是独立的
• $X \perp Y \mid Z$: 随机变量$X$和$Y$在给定随机变量$Z$的条件下是独立的
• $\mathrm{Var}(X)$: 随机变量$X$的方差
• $\sigma_X$: 随机变量$X$的标准差
• $\mathrm{Cov}(X, Y)$: 随机变量$X$和$Y$的协方差
• $\rho(X, Y)$: 随机变量$X$和$Y$的相关性
• $H(X)$: 随机变量$X$的熵
• $D_{\mathrm{KL}}(P\|Q)$: $P$和$Q$的KL-散度

复杂度

• $\mathcal{O}$：大O标记