參數(shù)默認(rèn)false。當(dāng)設(shè)為true,parquet會(huì)聚合所有parquet文件的schema,否則是直接讀取parquet summary文件,或者在沒有parquet summary文件時(shí)候隨機(jī)選擇一個(gè)文件的schema作為最終的schema。查看全文>>
Kafka是一個(gè)高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它在實(shí)時(shí)計(jì)算系統(tǒng)中有著非常強(qiáng)大的功能。把topic中一個(gè)parition大文件分成多個(gè)小文件段,通過多個(gè)小文件段,就容易定期清除或刪除已經(jīng)消費(fèi)完文件,減少磁盤占用。查看全文>>
Hadoop實(shí)現(xiàn)join有三種方法,第一種是reduce side join,它是一種最簡(jiǎn)單的join方式,其主要思想如下:查看全文>>
在Spark中,不同的RDD之間具有依賴的關(guān)系。RDD與它所依賴的RDD的依賴關(guān)系有兩種類型,分別是窄依賴(narrow dependency)和寬依賴(wide dependency)。查看全文>>
Spark Streaming提供了一個(gè)高級(jí)抽象的流,即DStream(離散流)。DStream表示連續(xù)的數(shù)據(jù)流,可以通過Kafka、Flume和Kinesis等數(shù)據(jù)源創(chuàng)建,也可以通過現(xiàn)有DStream的高級(jí)操作來創(chuàng)建。查看全文>>
在CSS3之前,我們?cè)O(shè)置顏色的方式包含十六進(jìn)制顏色(如#F00)、rgb模式顏色、或指定顏色的英文名稱(如red),但這些方法無法改變顏色的不透明度。在CSS3中新增了兩種設(shè)置顏色不透明度的方法,一種是使用rgba模式設(shè)置,另一種是使用opacity屬性設(shè)置。下面將詳細(xì)講解兩種設(shè)置方法。查看全文>>