程序員必備的一些數學基礎知識

作為一個標準的程序員,應該有一些基本的數學素養,尤其現在很多人在學習人工智能相關知識,想抓住一波人工智能的機會。很多程序員可能連這樣一些基礎的數學問題都回答不上來。

  • 矩陣A(m,n)與矩陣B(n,k)乘積C維度是多少?
  • 拋一枚硬幣,正面表示1,反面表示0,那么取值的數學期望E(x)是多少?

作為一個傲嬌的程序員,應該要掌握這些數學基礎知識,才更有可能碼出一個偉大的產品。

線性代數

向量 向量(vector)是由一組實數組成的有序數組,同時具有大小和方向。一個n維向量a是由n個有序實數組成,表示為 a = [a1, a2, · · · , an]

矩陣

線性映射 矩陣通常表示一個n維線性空間v到m維線性空間w的一個映射f: v -> w

注:為了書寫方便,X.T,表示向量X的轉置。 這里:X(x1,x2,...,xn).T,y(y1,y2,...ym).T,都是列向量。分別表示v,w兩個線性空間中的兩個向量。A(m,n)是一個m*n的矩陣,描述了從v到w的一個線性映射。

轉置 將矩陣行列互換。

加法 如果A和B 都為m × n的矩陣,則A和B 的加也是m × n的矩陣,其每個元素是A和B相應元素相加。 [A + B]ij = aij + bij .

乘法 如A是k × m矩陣和B 是m × n矩陣,則乘積AB 是一個k × n的矩陣。

對角矩陣 對角矩陣是一個主對角線之外的元素皆為0的矩陣。對角線上的元素可以為0或其他值。一個n × n的對角矩陣A滿足: [A]ij = 0 if i ?= j ?i, j ∈ {1, · · · , n}

特征值與特征矢量 如果一個標量λ和一個非零向量v滿足 Av = λv, 則λ和v分別稱為矩陣A的特征值和特征向量。

矩陣分解 一個矩陣通??梢杂靡恍┍容^“簡單”的矩陣來表示,稱為矩陣分解。

奇異值分解 一個m×n的矩陣A的奇異值分解

其中U 和V 分別為m × m和n×n 的正交矩陣,Σ為m × n的對角矩陣,其對角 線上的元素稱為奇異值(singular value)。

特征分解 一個n × n的方塊矩陣A的特征分解(Eigendecomposition)定義為

其中Q為n × n的方塊矩陣,其每一列都為A的特征向量,^為對角陣,其每一 個對角元素為A的特征值。 如果A為對稱矩陣,則A可以被分解為

其中Q為正交陣。

微積分

導數 對于定義域和值域都是實數域的函數f : R → R,若f(x)在點x0 的某個鄰域?x內,極限

存在,則稱函數f(x)在點x0 處可導,f'(x0)稱為其導數,或導函數。 若函數f(x)在其定義域包含的某區間內每一個點都可導,那么也可以說函數f(x)在這個區間內可導。連續函數不一定可導,可導函數一定連續。例如函數|x|為連續函數,但在點x = 0處不可導。

導數法則

加法法則
y = f(x),z = g(x)

乘法法則

鏈式法則 求復合函數導數的一個法則,是在微積分中計算導數的一種常用方法。若x ∈ R,y = g(x) ∈ R,z = f(y) ∈ R,則

Logistic 函數

Logistic函數是一種常用的S形函數,是比利時數學家 Pierre Fran?ois Verhulst在1844-1845年研究種群數量的增長模型時提出命名的,最初作為一種生 態學模型。 Logistic函數定義為:

當參數為(k = 1, x0 = 0, L = 1)時,logistic函數稱為標準logistic函數,記 為σ(x)。

標準logistic函數在機器學習中使用得非常廣泛,經常用來將一個實數空間的數映射到(0, 1)區間。標準logistic函數的導數為:

softmax 函數

softmax函數是將多個標量映射為一個概率分布。對于K個標量x1, · · · , xK,softmax 函數定義為

這樣,我們可以將K個變量x1, · · · , xK轉換為一個分布:z1, · · · , zK,滿足

當softmax 函數的輸入為K 維向量x時,

其中,1K = [1, · · · , 1]K×1 是K 維的全1向量。其導數為

數學優化

離散優化和連續優化:根據輸入變量x的值域是否為實數域,數學優化問題可以分為離散優化問題和連續優化問題。

無約束優化和約束優化:在連續優化問題中,根據是否有變量的約束條件,可以將優化問題分為無約束優化問題和約束優化問題。 ### 優化算法

全局最優和局部最優

海賽矩陣

《運籌學里面有講》,前面一篇文章計算梯度步長的時候也用到了: 梯度下降算法

梯度

梯度的本意是一個向量(矢量),表示某一函數在該點處的方向導數沿著該方向取得最大值,即函數在該點處沿著該方向(此梯度的方向)變化最快,變化率最大(為該梯度的模)。

梯度下降法
梯度下降法(Gradient Descent Method),也叫最速下降法(Steepest Descend Method),經常用來求解無約束優化的極小值問題。

梯度下降法的過程如圖所示。曲線是等高線(水平集),即函數f為不同常數的集合構成的曲線。紅色的箭頭指向該點梯度的反方向(梯度方向與通過該點的等高線垂直)。沿著梯度下降方向,將最終到達函數f 值的局部最優解。

梯度上升法
如果我們要求解一個最大值問題,就需要向梯度正方向迭代進行搜索,逐漸接近函數的局部極大值點,這個過程則被稱為梯度上升法。

概率論

概率論主要研究大量隨機現象中的數量規律,其應用十分廣泛,幾乎遍及各個領域。

離散隨機變量

如果隨機變量X 所可能取的值為有限可列舉的,有n個有限取值 {x1, · · · , xn}, 則稱X 為離散隨機變量。要了解X 的統計規律,就必須知道它取每種可能值xi 的概率,即

p(x1), · · · , p(xn)

稱為離散型隨機變量X 的概率分布或分布,并且滿足

常見的離散隨機概率分布有:

伯努利分布

二項分布

連續隨機變量
與離散隨機變量不同,一些隨機變量X 的取值是不可列舉的,由全部實數 或者由一部分區間組成,比如

則稱X 為連續隨機變量。

概率密度函數
連續隨機變量X 的概率分布一般用概率密度函數p(x)來描述。p(x)為可積函數,并滿足:

均勻分布 若a, b為有限數,[a, b]上的均勻分布的概率密度函數定義為

正態分布 又名高斯分布,是自然界最常見的一種分布,并且具有很多良好的性質,在很多領域都有非常重要的影響力,其概率密度函數為

其中,σ > 0,μσ 均為常數。若隨機變量X 服從一個參數為μσ 的概率分布,簡記為

μ = 0,σ = 1時,稱為標準正態分布。 均勻分布和正態分布的概率密度函數圖:

累積分布函數
對于一個隨機變量X,其累積分布函數是隨機變量X 的取值小于等于x的概率。

以連續隨機變量X 為例,累積分布函數定義為:

其中p(x)為概率密度函數,標準正態分布的累計分布函數:

隨機向量
隨機向量是指一組隨機變量構成的向量。如果X1, X2, · · · , Xn 為n個隨機變量, 那么稱 [X1, X2, · · · , Xn] 為一個 n 維隨機向量。一維隨機向量稱為隨機變量。隨機向量也分為離散隨機向量和連續隨機向量。 條件概率分布 對于離散隨機向量(X, Y),已知X = x的條件下,隨機變量Y = y的條件概率為:

對于二維連續隨機向量(X, Y ),已知X = x的條件下,隨機變量Y = y 的條件概率密度函數為

期望和方差

期望 對于離散變量X,其概率分布為p(x1), · · · , p(xn),X 的期望(expectation)或均值定義為

對于連續隨機變量X,概率密度函數為p(x),其期望定義為

方差 隨機變量X 的方差(variance)用來定義它的概率分布的離散程度,定義為

標準差 隨機變量 X 的方差也稱為它的二階矩。X 的根方差或標準差。

協方差 兩個連續隨機變量X 和Y 的協方差(covariance)用來衡量兩個隨機變量的分布之間的總體變化性,定義為

協方差經常也用來衡量兩個隨機變量之間的線性相關性。如果兩個隨機變量的協方差為0,那么稱這兩個隨機變量是線性不相關。兩個隨機變量之間沒有線性相關性,并非表示它們之間獨立的,可能存在某種非線性的函數關系。反之,如果X 與Y 是統計獨立的,那么它們之間的協方差一定為0。

隨機過程

隨機過程(stochastic process)是一組隨機變量Xt 的集合,其中t屬于一個索引(index)集合T 。索引集合T 可以定義在時間域或者空間域,但一般為時間域,以實數或正數表示。當t為實數時,隨機過程為連續隨機過程;當t為整數時,為離散隨機過程。日常生活中的很多例子包括股票的波動、語音信號、身高的變化等都可以看作是隨機過程。常見的和時間相關的隨機過程模型包括貝努力過程、隨機游走、馬爾可夫過程等。

馬爾可夫過程 指一個隨機過程在給定現在狀態及所有過去狀態情況下,其未來狀態的條件概率分布僅依賴于當前狀態。

其中X0:t 表示變量集合X0, X1, · · · , Xt,x0:t 為在狀態空間中的狀態序列。

馬爾可夫鏈 離散時間的馬爾可夫過程也稱為馬爾可夫鏈(Markov chain)。如果一個馬爾可夫鏈的條件概率

馬爾可夫的使用可以看前面一篇寫的有意思的文章: 女朋友的心思你能猜得到嗎?——馬爾可夫鏈告訴你隨機過程還有高斯過程,比較復雜,這里就不詳細說明了。

信息論

信息論(information theory)是數學、物理、統計、計算機科學等多個學科的交叉領域。信息論是由 Claude Shannon最早提出的,主要研究信息的量化、存儲和通信等方法。在機器學習相關領域,信息論也有著大量的應用。比如特征抽取、統計推斷、自然語言處理等。

自信息和熵

在信息論中,熵用來衡量一個隨機事件的不確定性。假設對一個隨機變量X(取值集合為C概率分布為p(x), x ∈ C)進行編碼,自信息I(x)是變量X = x時的信息量或編碼長度,定義為 I(x) = ? log(p(x)), 那么隨機變量X 的平均編碼長度,即熵定義為

其中當p(x) = 0時,我們定義0log0 = 0 熵是一個隨機變量的平均編碼長度,即自信息的數學期望。熵越高,則隨機變量的信息越多;熵越低,則信息越少。如果變量X 當且僅當在x時p(x) = 1,則熵為0。也就是說,對于一個確定的信息,其熵為0,信息量也為0。如果其概率分布為一個均勻分布,則熵最大。假設一個隨機變量X 有三種可能值x1, x2, x3,不同概率分布對應的熵如下:

聯合熵和條件熵 對于兩個離散隨機變量X 和Y ,假設X 取值集合為X;Y 取值集合為Y,其聯合概率分布滿足為p(x, y),則X 和Y 的聯合熵(Joint Entropy)為

X 和Y 的條件熵為

互信息 互信息(mutual information)是衡量已知一個變量時,另一個變量不確定性的減少程度。兩個離散隨機變量X 和Y 的互信息定義為

交叉熵和散度 交叉熵 對應分布為p(x)的隨機變量,熵H(p)表示其最優編碼長度。交叉熵是按照概率分布q 的最優編碼對真實分布為p的信息進行編碼的長度,定義為

在給定p的情況下,如果q 和p越接近,交叉熵越??;如果q 和p越遠,交叉熵就越大。






作者:柯廣的網絡日志

微信公眾號:Java大數據與數據倉庫