什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘前景怎么樣？

數(shù)據(jù)挖掘的定義

數(shù)據(jù)挖掘可以簡(jiǎn)單的理解為從大量數(shù)據(jù)中提取或挖掘知識(shí)或者說(shuō)是知識(shí)發(fā)現(xiàn)。

數(shù)據(jù)挖掘其實(shí)是一種深層次的數(shù)據(jù)分析方法。數(shù)據(jù)挖掘可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。

數(shù)據(jù)挖掘前景怎么樣

數(shù)據(jù)挖掘利用計(jì)算機(jī)技術(shù)獲取隱藏在大量數(shù)據(jù)背后的信息，滿(mǎn)足一個(gè)行業(yè)或企業(yè)的需求，為企業(yè)或管理層的決策提供依據(jù)。從目前大數(shù)據(jù)公司的發(fā)展來(lái)看，它們正處于信息收集和簡(jiǎn)要分析階段，規(guī)模經(jīng)濟(jì)效應(yīng)相對(duì)較少。

從目前該行業(yè)的發(fā)展前景來(lái)看，未來(lái)是巨大的，能夠產(chǎn)生的經(jīng)濟(jì)效應(yīng)可以說(shuō)是幾何倍數(shù)的。迫切需要的是數(shù)據(jù)分析師或模型架構(gòu)師來(lái)構(gòu)建滿(mǎn)足行業(yè)需求的數(shù)據(jù)挖掘模塊并進(jìn)行需求分析。換言之，前景無(wú)限，目前專(zhuān)業(yè)人才短缺。

數(shù)據(jù)挖掘的應(yīng)用

數(shù)據(jù)挖掘的應(yīng)用場(chǎng)景很多。比如，數(shù)據(jù)挖掘能幫助零售商了解“誰(shuí)是最有價(jià)值的顧客”、“什么產(chǎn)品可以交叉銷(xiāo)售或提升銷(xiāo)售”、“公司明年的營(yíng)收前景如何”；可以幫助地球科學(xué)家了解“干旱和颶風(fēng)等生態(tài)系統(tǒng)擾動(dòng)的頻度和強(qiáng)度與全球變暖之間有何聯(lián)系”、“海洋表面溫度對(duì)地表降水量和溫度有何影響”、“如何準(zhǔn)確地預(yù)測(cè)一個(gè)地區(qū)的生長(zhǎng)季節(jié)的開(kāi)始和結(jié)束？”等等。

數(shù)據(jù)挖掘應(yīng)用了眾多領(lǐng)域的思想，包括來(lái)自統(tǒng)計(jì)學(xué)的抽樣、估計(jì)和假設(shè)檢驗(yàn);來(lái)自人工智能、模式識(shí)別和機(jī)器學(xué)習(xí)的搜索算法、建模技術(shù)和學(xué)習(xí)理論等。

數(shù)據(jù)挖掘的核心思想

貫穿數(shù)據(jù)挖掘的的思想主要有四個(gè)：關(guān)聯(lián)，分類(lèi)，回歸分析和聚類(lèi)。前兩條是為了尋找差異基因，后兩條是預(yù)測(cè)差異基因的可能的屬性。

數(shù)據(jù)挖掘基本步驟

第一步：數(shù)據(jù)清理(消除噪聲和不一致數(shù)據(jù))

第二步：數(shù)據(jù)集成(不同來(lái)源與格式的數(shù)據(jù)組合到一起)

第三步：數(shù)據(jù)選擇(挖掘所需的數(shù)據(jù))

第四步：數(shù)據(jù)變換(數(shù)據(jù)變換成適合挖掘的形式，如匯總，聚集操作)

第五步：數(shù)據(jù)挖掘(方法，建模)

第六步：模式評(píng)估(結(jié)果模型)

第七步：知識(shí)表示(可視化)

數(shù)據(jù)挖掘要學(xué)什么

數(shù)據(jù)挖掘涉及的內(nèi)容比較泛，與之相關(guān)的內(nèi)容包括數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、機(jī)器學(xué)習(xí)、信息檢索。

學(xué)習(xí)數(shù)據(jù)挖掘基礎(chǔ)：數(shù)據(jù)庫(kù)理論、數(shù)學(xué)基礎(chǔ)（包括數(shù)理統(tǒng)計(jì)、概率、圖論等）、熟練掌握一種編程語(yǔ)言（java，python）、會(huì)使用數(shù)據(jù)挖掘工具軟件（weka、matlab、spss）等。

數(shù)據(jù)挖掘的內(nèi)容包括分類(lèi)、關(guān)聯(lián)分析、聚類(lèi)和異常檢測(cè)等幾個(gè)方面。

數(shù)據(jù)挖掘常用算法

分類(lèi)算法：C4.5，樸素貝葉斯(Naive Bayes)，SVM，KNN，Adaboost

聚類(lèi)算法：K-Means，EM

關(guān)聯(lián)分析：  PageRank

……

詳情請(qǐng)參考《數(shù)據(jù)挖掘十大算法》