首頁最新資訊

全部 新聞動態(tài) 技術文章 常見問題 技術問答

    • 在數據處理中哪些場景可以使用Spark?

      在數據科學應用中,數據工程師可以利用Spark進行數據分析與建模,由于Spark具有良好的易用性,數據工程師只需要具備一定的SQL語言基礎、統(tǒng)計學、機器學習等方面的經驗,以及使用Python、Matlab或者R語言的基礎編程能力,就可以使用Spark進行上述工作。查看全文>>

      技術文章2021-03-12 |黑馬程序員 |Spark,大數據,數據處理
    • Watch機制的通知狀態(tài)和事件類型

      同一個事件類型在不同的連接狀態(tài)中代表的含義有所不同,當客戶端斷開連接,這時客戶端和服務器的連接就是Disconnected狀態(tài),說明連接失?。划斂蛻舳撕头掌鞯哪骋粋€節(jié)點建立連接,并完成一次version、zxid的同步,這時客戶端和服務器的連接狀態(tài)就是SyncConnected,說明連接成功;查看全文>>

      技術文章2021-03-11 |黑馬程序員 |Watch機制的通知狀態(tài)和事件類型
    • Hadoop中的Sequence File文件是什么?【大數據面試題】

      Hadoop可以存儲多種文件格式。在存儲結構上,SequenceFile主要由一個Header后跟多條Record組成,Header主要包含了Key classname,value classname,存儲壓縮算法,用戶自定義元數據等信息查看全文>>

      技術文章2021-03-11 |黑馬程序員 |Hadoop,Sequence File文件
    • Hadoop生態(tài)體系有哪些子系統(tǒng)?

      隨著Hadoop的不斷發(fā)展,Hadoop生態(tài)體系越來越完善,現如今已經發(fā)展成一個龐大的生態(tài)體系,Hadoop生態(tài)體系包含了很多子系統(tǒng),下面介紹一些常見的子系統(tǒng),具體如下:查看全文>>

      技術文章2021-03-11 |黑馬程序員 |Hadoop,Hadoop生態(tài)體系
    • Scala的方法和函數講解【黑馬程序員】

      在Scala中,它和Java一樣也是擁有方法和函數。Scala的方法是類的一部分,而函數是一個對象可以賦值給一個變量。換句話來說,在類中定義的函數即是方法。查看全文>>

      技術文章2021-03-08 |黑馬程序員 |Scala的方法和函數
    • RDD數據丟失后如何恢復?RDD容錯機制介紹

      對于迭代式計算和交互式數據挖掘,RDD可以將中間計算的數據結果保存在內存中,當Spark集群中的某一個節(jié)點由于宕機導致數據丟失,就可以通過Spark中的RDD進行容錯恢復已經丟失的數據。RDD提供了兩種故障恢復的方式,分別是血統(tǒng)(Lineage)方式和設置檢查點(checkpoint)方式。下面,我們就來介紹一下這兩種方式。查看全文>>

      技術文章2021-03-05 |黑馬程序員 |RDD,操作,spark,RDD容錯機制
和我們在線交談!