下面哪個程式負責hdfs資料儲存

時間 2021-08-30 11:13:10

1樓:hao大森

負責“hdfs”和“資料儲存”的程式是hdfs。

hadoop分散式檔案系統(hdfs)被設計成適合執行在通用硬體(commodityhardware)上的分散式檔案系統。

它和現有的分散式檔案系統有很多共同點。但同時,它和其他的分散式檔案系統的區別也是很明顯的。hdfs是一個高度容錯性的系統,適合部署在廉價的機器上。

執行在hdfs之上的程式有很大量的資料集。典型的hdfs檔案大小是gb到tb的級別。所以,hdfs被調整成支援大檔案。

它應該提供很高的聚合資料頻寬,一個叢集中支援數百個節點,一個叢集中還應該支援千萬級別的檔案。

大部分的hdfs程式對檔案操作需要的是一次寫多次讀取的操作模式。一個檔案一旦建立、寫入、關閉之後就不需要修改了。

這個假定簡單化了資料一致的問題和並使高吞吐量的資料訪問變得可能。一個map-reduce程式或者網路爬蟲程式都可以完美地適合這個模型。

2樓:暢遊之悠悠

存放到hdfs 一般都是要分析的資料。分析完成的資料直接儲存到mysql 或者oracle 中。這種處理方式是離線處理。

如日誌檔案儲存到hdfs 分析出**的流量 uv pv 等等。一般都是用pig hive 和mr 等進行分析的。 存放到hbase 一般都是資料拿過來直接用...

下面程式輸出結果是,下面程式輸出結果是什麼?

韋榮軒喜昱 當a 14時執行do while迴圈 由於開始時對a賦值10,所以輸出a 10,y 0 堵丹彤牟萱 輸出為 a 16 y 60,分析如下 main while a 14 這裡的迴圈條件不是判斷是否滿足a等於14,而是一個賦值語句,每次執行到這裡都會將14賦值給a,因此這裡的迴圈條件始終都...

學校哪個部門負責休學

負責此項工作的是教務處。你可以帶著休學申請,相關證明等材料前去辦理。 愛問愛答 一般來說由學校教務處來辦理,先需要班主任同意,在拿有關資料去教務處申請,教務處同意方可休學 土流集團 教導處。申請休學應具備的條件 學生因傷病和本人不可抗拒的原因連續缺課累計超過210個學時仍不能上學的,由監護人提出書面...

請問下面這段程式中if else endif是什麼意

應該是c語言的預處理命令,當條件 為真是,按條件真的下分支進行編譯,否則按 else分支編譯.條件是在程式編譯時判斷,而不是程式編譯好後執行時才判斷.換句話說,兩個分支中只有一個分支能成 為 最終程式的 執行2end if 意思就是 如果 條件1 成立,那麼 執行1否則 執行2結束.對於 來說,是從...