概率圖模型介紹[大數(shù)據(jù)培訓(xùn)]

概率圖模型是在概率模型的基礎(chǔ)上，使用了基于圖的方法來(lái)表示概率分布，是一種通用化的不確定性知識(shí)表示和處理方法，在人工智能、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)等領(lǐng)域有廣闊的應(yīng)用前景。

概率圖模型簡(jiǎn)介

根據(jù)圖模型的邊是否有向，概率圖模型通常被劃分為有向概率圖模型和無(wú)向概率圖模型，概率圖模型可以表示如下所示的樹(shù)形結(jié)構(gòu)。

有向圖VS無(wú)向圖

有向圖(Digraph)：若圖G的關(guān)系集合E(G)中，頂點(diǎn)偶對(duì)的v和w之間是有序的，稱圖G是有向圖。

有向圖

無(wú)向圖(Undigraph)： 若圖G的關(guān)系集合E(G)中，頂點(diǎn)偶對(duì)的v和w之間是無(wú)序的，稱圖G是無(wú)向圖。

無(wú)向圖

在概率圖模型中，數(shù)據(jù)(樣本)由公式G=(V,E)建模表示：

·V表示節(jié)點(diǎn)，即隨機(jī)變量(放在此處的，可以是一個(gè)token或者一個(gè)label)，具體地，用Y=(y1,y2…yn)為隨機(jī)變量建模，注意Y現(xiàn)在是代表了一批隨機(jī)變量(想象對(duì)應(yīng)一條sequence，包含了很多的token)， P(Y)為這些隨機(jī)變量的分布;

·E表示邊，即概率依賴關(guān)系。

生成式模型VS判別式模型

生成式模型(或稱產(chǎn)生式模型)與區(qū)分式模型(或稱判別式模型)的本質(zhì)區(qū)別在于模型中觀測(cè)序列x和狀態(tài)序列y之間的決定關(guān)系，前者假設(shè)y決定x，后者假設(shè)x決定y?！就扑]了解：大數(shù)據(jù)培訓(xùn)】

生成式模型以狀態(tài)序列y按照一定的規(guī)律生成觀測(cè)序列x為假設(shè)，針對(duì)聯(lián)合分布p(x,y)進(jìn)行建模，并且通過(guò)估計(jì)使生成概率最大的生成序列來(lái)獲取y。生成式模型是所有變量的全概率模型，因此可以生成所有變量的值。在這類模型中一般都有嚴(yán)格的獨(dú)立假設(shè)，特征是事先給定的，并且特征之間的關(guān)系直接體現(xiàn)在公式中。

這類模型的優(yōu)點(diǎn)是：處理單類問(wèn)題時(shí)比較靈活，模型變量之間的關(guān)系比較清楚，模型可以通過(guò)增量學(xué)習(xí)獲得，可用于數(shù)據(jù)不完整的情況。其弱點(diǎn)在于模型的推導(dǎo)和學(xué)習(xí)比較復(fù)雜。

典型的生成式模型有：n元語(yǔ)法模型、HMM、樸素貝葉斯分類器、概率上下文無(wú)關(guān)文法等。

判別式模型符合傳統(tǒng)的模型分類思想，認(rèn)為y(狀態(tài)序列)由x(觀測(cè)序列)決定，直接對(duì)后驗(yàn)概率p(y|x)進(jìn)行建模，它從x中提取特征，學(xué)習(xí)模型參數(shù)，使得條件概率符合一定形式的最優(yōu)。

這種模型的優(yōu)點(diǎn)是：處理多分類問(wèn)題或分辨某一類與其他類之間的差異比較靈活，模型簡(jiǎn)單，容易建立和學(xué)習(xí)。其弱點(diǎn)在于模型的描述能力有限，變量之間的關(guān)系不清楚，而且大多數(shù)判別式模型是有監(jiān)督的學(xué)習(xí)方法，不能擴(kuò)展成無(wú)監(jiān)督學(xué)習(xí)方法。

典型的判別式模型有：最大熵模型、條件隨機(jī)場(chǎng)、支持向量機(jī)、最大熵馬爾可夫模型、感知機(jī)等。

概率圖模型介紹

動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)用于處理隨時(shí)間變化的動(dòng)態(tài)系統(tǒng)中的推斷和預(yù)測(cè)問(wèn)題。其中，隱馬爾科夫模型(HMM)在語(yǔ)音識(shí)別、漢語(yǔ)自動(dòng)分詞與詞性標(biāo)注和統(tǒng)計(jì)機(jī)器翻譯等若干語(yǔ)音語(yǔ)言處理任務(wù)中得到了廣泛應(yīng)用;卡爾曼濾波器則在信號(hào)處理領(lǐng)域有廣泛的應(yīng)用。

馬爾可夫網(wǎng)絡(luò)下的條件隨機(jī)場(chǎng)廣泛應(yīng)用于自然語(yǔ)言處理中的序列標(biāo)注、特征選擇、機(jī)器翻譯等任務(wù)，玻爾茲曼機(jī)近年來(lái)被用于依存句法分析和語(yǔ)義角色標(biāo)注等。

下圖從縱橫兩個(gè)維度詮釋了概率圖模型的演變過(guò)程。橫向：由點(diǎn)到線(序列結(jié)構(gòu))、到面(圖結(jié)構(gòu))。縱向：在一定條件下生成式模型轉(zhuǎn)變?yōu)榕袆e式模型，樸素貝葉斯演變?yōu)檫壿嫽貧w，隱馬爾可夫模型演變?yōu)榫€性鏈?zhǔn)綏l件隨機(jī)場(chǎng)，生成式有向圖模型演變?yōu)橥ㄓ脳l件隨機(jī)場(chǎng)。