全部 新聞動(dòng)態(tài) 技術(shù)文章 常見(jiàn)問(wèn)題 技術(shù)問(wèn)答

• • 

    RDD轉(zhuǎn)換算子API過(guò)程演示【大數(shù)據(jù)文章】

    RDD處理過(guò)程中的“轉(zhuǎn)換”操作主要用于根據(jù)已有RDD創(chuàng)建新的RDD，每一次通過(guò)Transformation算子計(jì)算后都會(huì)返回一個(gè)新RDD，供給下一個(gè)轉(zhuǎn)換算子使用。面，我們通過(guò)結(jié)合具體的示例對(duì)這些轉(zhuǎn)換算子API進(jìn)行詳細(xì)講解。查看全文>>

    技術(shù)文章2020-12-21 |黑馬程序員 |RDD,轉(zhuǎn)換算子,RDD數(shù)據(jù)處理
  • 

    Spark Shell讀取HDFS文件的步驟有哪些？

    使用Scala語(yǔ)言開(kāi)發(fā)單詞計(jì)數(shù)Spark程序，現(xiàn)有文本文件words.txt(讀者需要在本地創(chuàng)建文件并上傳至指定目錄)在HDFS中的/spark/test路徑下如果使用Spark Shell來(lái)讀取HDFS中的/spark/test/ words.txt文件，具體步驟如下：查看全文>>

    技術(shù)文章2020-12-21 |黑馬程序員 |Shell,Spark
  • 

    Scala的控制結(jié)構(gòu)語(yǔ)句有哪幾種？各語(yǔ)法格式介紹

    在Scala中，控制結(jié)構(gòu)語(yǔ)句包括條件分支語(yǔ)句和循環(huán)語(yǔ)句。其中，條件分支語(yǔ)句有if語(yǔ)句、if...else語(yǔ)句、if...else if...else語(yǔ)句以及if...else嵌套語(yǔ)句;循環(huán)語(yǔ)句有for循環(huán)，while循環(huán)和do...while循環(huán)。條件分支語(yǔ)句和循環(huán)語(yǔ)句的語(yǔ)法格式具體如下。查看全文>>

    技術(shù)文章2020-12-17 |黑馬程序員 |控制結(jié)構(gòu)語(yǔ)句的語(yǔ)法格式
  • 

    如何使用IDEA工具開(kāi)發(fā)一個(gè)WordCount單詞計(jì)數(shù)程序？

    Spark作業(yè)與MapReduce作業(yè)同樣可以先在本地開(kāi)發(fā)測(cè)試，本地執(zhí)行模式與集群提交模式，代碼的業(yè)務(wù)功能相同，因此本書(shū)大多數(shù)采用本地開(kāi)發(fā)模式。下面講解使用IDEA工具開(kāi)發(fā)WordCount單詞計(jì)數(shù)程序的相關(guān)步驟。查看全文>>

    技術(shù)文章2020-12-17 |黑馬程序員 |IDEA工具,WordCount單詞計(jì)數(shù)程序開(kāi)發(fā)
  • 

    Scala在使用聲明值和變量時(shí)的注意事項(xiàng)有哪些？

    Scala有兩種類(lèi)型的變量，一種是使用關(guān)鍵字var聲明的變量，值是可變的;另一種是使用關(guān)鍵字val聲明的變量，也叫常量，值是不可變的。這里需要說(shuō)明的是，雖然聲明值和變量的方式比較簡(jiǎn)單，但是有以下幾個(gè)事項(xiàng)需要注意：查看全文>>

    技術(shù)文章2020-12-17 |黑馬程序員 | Scala聲明值和變量
  • 

    詳解MapReduce編程的Map模型和Reduce模型

    MapReduce是一種編程模型，用于處理大規(guī)模數(shù)據(jù)集的并行運(yùn)算。使用MapReduce執(zhí)行計(jì)算任務(wù)的時(shí)候，每個(gè)任務(wù)的執(zhí)行過(guò)程都會(huì)被分為兩個(gè)階段，分別是Map和Reduce，其中Map階段用于對(duì)原始數(shù)據(jù)進(jìn)行處理，Reduce階段用于對(duì)Map階段的結(jié)果進(jìn)行匯總，得到最終結(jié)果，這兩個(gè)階段的模型如圖1所示。查看全文>>

    技術(shù)文章2020-12-17 |黑馬程序員 |MapReduce編程模型,大規(guī)模數(shù)據(jù)集的運(yùn)算
  << < 1... 7 8 9 10 11 12 13 ...38 > >>