人工智能之支持向量機(SVM)
--(2)
其中,α, σ 和 b 是訓練數據后產生的值。可以通過調節σ來匹配維度的大小,σ越大,維度越低。
SVM核心思想:
SVM目的是找到一個線性分類的最佳超平面 f(x)=xwT+b=0。求 w 和 b。首先通過兩個分類的最近點,找到f(x)的約束條件。有了約束條件,就可以通過拉格朗日乘子法和KKT條件來求解,這時,問題變成了求拉格朗日乘子αi 和 b。對于異常點的情況,加入松弛變量ξ來處理。使用序列最小化SMO(Sequential Minimal Optimization)來求拉格朗日乘子αi和b。注意:有些αi=0的點,可以不用在分類器中考慮。
1)線性分類可以使用公式(1)和公式(2),對于公式(1)需要求解 w 和 b;對于公式(2)需要求解拉格朗日乘子αi和b;
2)非線性分類只能使用公式(2),不能使用公式(1),因為公式(1)是線性函數。非線性分類的問題將向量映射到高維度,需要使用核函數。

SVM實質:
支持向量機(SVM)將向量映射到一個更高維的空間里,在這個空間里建立有一個最大間隔超平面。在分開數據的超平面的兩邊建有兩個互相平行的超平面。建立方向合適的分隔超平面使兩個與之平行的超平面間的距離最大化。其假定為,平行超平面間的距離或差距越大,分類器的總誤差越小。

SVM關鍵因素:
SVM的關鍵在于核函數。低維空間向量集通常難于劃分,解決的方法是將它們映射到高維空間。但這個辦法帶來的困難就是計算復雜度的增加,而核函數正好巧妙地解決了這個問題。也就是說,只要選用適當的核函數,可以得到高維空間的分類函數。在SVM理論中,采用不同的核函數將導致不同的SVM算法。在確定了核函數之后,由于確定核函數的已知數據也存在一定的誤差,考慮到推廣性問題,因此引入了松弛系數以及懲罰系數兩個參變量來加以校正。在確定了核函數基礎上,再經過大量對比實驗等將這兩個系數取定,則問題基本搞定。
SVM常用方法:
1)一對多法:把某一種類別的樣本當作一個類別,剩余其他類別的樣本當作另一個類別,這樣就變成了一個兩分類問題。然后,在剩余的樣本中重復上面的步驟`這種方法箱要構造k個SVM模型,其中,k是待分類的個數。這種方案的缺點是訓練樣本數目大,訓練困難。
2)一對一法: 在多值分類中,每次只考慮兩類樣本,即對每兩類樣本設計一個SVM模型,因此,總共需要設計k(k一l) /2個SVM模型。需要構造多個二值分類器,且測試時需要對每兩類都進行比較,導致算法計算復雜度很高。
SVM決策樹法:它通常和二叉決策樹結合起來,構成多類別的識別器。這種方法的缺點是如果在某個節點上發生了分類錯誤,將會把錯誤延續下去,該節點后續下一級節點上的分類就失去了意義。weston雖然提出了用一個優化式解多值分類問題,但由于其變量t數目過多,所以只能在小型問題的求解中使用。

SVM是一種基于統計學習理論的模式識別方法,是一個二分類算法,它可以在N維空間找到一個(N-1)維的超平面,這個超平面可以將這些點分為兩類。也就是說,平面內如果存在線性可分的兩類點,SVM可以找到一條最優的直線將這些點分開。它在解決小樣本、非線性及高維模式識別問題中表現出許多特有的優勢,并能夠推廣應用到函數擬合等其他機器學習問題中。SVM應用范圍很廣,已經在許多領域,如生物信息學,文本和手寫識別等中都取得了成功的應用。目前主要應用于模式識別領域。
結語:
在機器學習中,支持向量機(SVM)是與相關的學習算法有關的監督學習模型,可以分析數據,識別模式,用于分類和回歸分析。在解決小樣本、非線性及高維模式識別問題中表現出許多特有的優勢,并能夠推廣應用到函數擬合等其他機器學習問題中。已經在許多領域,比如生物信息學,文本和手寫識別等中都取得了成功的應用。目前主要應用于模式識別領域。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 AI狂歡遇上油價破百,全球股市還能漲多久? | 產聯看全球
- 2 OpenAI深夜王炸!ChatGPT Images 2.0實測:中文穩、細節炸,設計師慌了
- 3 6000億美元估值錨定:字節跳動的“去單一化”突圍與估值重構
- 4 Tesla AI5芯片最新進展總結
- 5 連夜測了一波DeepSeek-V4,我發現它可能只剩“審美”這個短板了
- 6 熱點丨AI“瑜亮之爭”:既生OpenClaw,何生Hermes?
- 7 AI界的殺豬盤:9秒刪庫跑路,全員被封號,還繼續扣錢!
- 8 2026,人形機器人只贏了面子
- 9 DeepSeek降價90%:價格屠夫不是身份,是戰略
- 10 AI Infra產業鏈卡在哪里了?


分享













