想轉行到大資料開發需要學習哪些技術

時間 2021-10-14 23:31:19

1樓:it學生網

找個一門大資料框架,比如hadoop spark

2樓:百越

轉行?那你肯定是 沒有基礎的,你沒基礎不建議個人看書學習,可以去報班。

3樓:四川新華小何

大資料的話jawa這些肯定是要懂的,程式設計,後臺都需要,

4樓:尚矽谷

大資料前景是很不錯的,就業的薪資也是可觀的,大資料開發學習的技術有8個方面,按照順序學習就可以了,選擇大資料培訓機構的時候一定要重點了解口碑情況,希望你早日學有所成。

大資料開發學什麼

j**a轉行大資料要學習哪些技術

5樓:匿名使用者

大資料只是 一個大體方向,,,,,,要看是做分析、還是依然寫**

~~~~~~~~~

要成為一名大資料開發工程師必備哪些技能?

從事大資料開發需要具備哪些技能?

6樓:匿名使用者

資料分析技能,某一種兩種資料分析軟體sas等,還有資料儲存軟體sql等。知識得有資料演算法,數學基礎,相關行業知識

小白想轉行做大資料,怎麼入行

7樓:知於大資料

大資料現在這麼火,想往大資料方面發展,但是英文、數學不好的可以嗎?? 學習大資料該學哪些技術??大資料和程式設計師比哪個要好學點??

等等。。。很多人學大資料的原因就是大資料找工作好找,薪資很高,,當然,為了這個原因也是可以的,畢竟這個時代就業壓力確實很大,為了一個好的工作學一門技術,,但是我想問下你,你的專業是什麼呢??對於計算機/軟體,你的興趣是什麼?

是計算機專業,對作業系統、硬體、網路、伺服器感興趣?是軟體專業,對軟體開發、程式設計、寫**感興趣?還是數學、統計學專業,對資料和數字特別感興趣。。

其實說這些不是為了說明大資料有多難,只是告訴你這就是大資料的三個發展方向,平臺搭建/優化/運維/監控、大資料開發/設計/架構、資料分析/挖掘。。這三個方面沒有哪個容易學些、哪個薪資高些、哪個發展前景好些。。。

現如今大資料開源框架也是越來越多,舉幾個常用的例子:

檔案儲存:hadoop hdfs、tachyon、kfs

流式、實時計算:storm、spark streaming、s4、heron

k-v、nosql資料庫:hbase、redis、mongodb

資源管理:yarn、mesos

日誌收集:flume、scribe、logstash、kibana

訊息系統:kafka、stormmq、zeromq、rabbitmq

查詢分析:hive、impala、pig、presto、phoenix、sparksql、drill、flink、kylin、druid

分散式協調服務:zookeeper

叢集管理與監控:ambari、ganglia、nagios、cloudera manager

資料探勘、機器學習:mahout、spark mllib

資料同步:sqoop

任務排程:oozie

上面有30多種框架了吧,哈哈,是不是有點慌了,雖然有這麼多框架,別說全部精通了,就算是全會用的,估計現在也沒有幾個,就要看你在三個方面往哪個方面發展了。就拿第二個來說(開發/設計、架構),且先聽聽我的建議:

一、初識hadoop

hadoop可以算是大資料儲存和計算的開山鼻祖,現在大多開源的大資料框架都依賴hadoop或者與它能很好的相容。

關於hadoop,你至少需要搞清楚以下是什麼:

hadoop 1.0、hadoop 2.0

mapreduce、hdfs

namenode、datanode

jobtracker、tasktracker

yarn、resourcemanager、nodemanager

自己搭建hadoop,請使用第一步和第二步,能讓它跑起來就行。

建議先使用安裝包命令列安裝,不要使用管理工具安裝。

另外:hadoop1.0知道它就行了,現在都用hadoop 2.0.

二、更高效的wordcount

首先,你得先學習sql,訪問、查詢資料庫的基本語言還是要懂的。。然後sql on hadoop之hive,hive是資料倉儲工具,資料倉儲是邏輯上的概念,底層使用的是資料庫,資料倉儲的特點:資料全(海量)、穩定;所謂穩定,比如資料庫的資料經常要更新,而資料倉儲的資料是不會被更新,只會被查詢,所以說hive適合做資料倉儲。

最後就是了解hive的工作原理,學會hive的工作命令。

三、把別處的資料搞到hadoop上

四、把hadoop上的資料搞到別處去

五、例項分析

六、實時資料

七、更新查詢資料

八、高大上的機器學習

完成了第

一、二,說明你已經快步入大資料的行列了,寫的不好也請多多包涵。

詳細瞭解 可登入**:網頁連結

8樓:加米穀大資料科技

大資料的發展前景很不錯,目前應用領域很廣泛,由於大資料人才的匱乏,很多企業非常苦惱人才的問題,這幾年,大資料從業者的福利待遇幾乎在很多行業中算是最高的。

大資料相關有各方面的工作,有需要用到高深的技術的,也有簡單的工作,主要你願意並且有決心從事大資料相關工作,不管你先前讀什麼專業,一定能找到最適合你的切入點,進入大資料行業工作。

大資料業務流程有4個基本環節,分別是:業務理解、資料準備、資料探勘、分析應用

在這個流程裡有三個職能領域:

大資料系統研發,承擔整個運營系統的構建與維護、資料準備、平臺與工具開發;

大資料探勘,負責關鍵模型應用與研究工作;

大資料分析應用,既是外部需求的接入者,也是解決方案的輸出者,很多時候也會承擔全盤統籌的角色。

9樓:烈火三代

這個要看你具體往哪個方面發展了,建議最好去報個培訓班培訓下,這樣入行就比較簡單了。純手工操作,希望能夠幫到你,謝謝採納!!!

10樓:匿名使用者

可以去培訓機構瞭解下,然後在做對比,給自己先規劃一下

11樓:尊威天下網路

通過cda那邊瞭解到成為一名優秀的資料分析師,應用數學、統計學、數量經濟學專業本科或者工學碩士層次水平的數學知識背景是不可少的。其次,作為一名資料分析師、至少需要熟練spss、statistic、eviews、sas等資料分析軟體中的一門

12樓:長沙新華電腦學院

想學大資料的朋友很多,但是所有想學大資料的朋友,就真的是都適合學大資料嗎?並不是,學大資料的朋友,你得邏輯能力強、具備一定的程式設計能力、還得有著不錯的統計分析能力。

不過這邊是網際網路it學校,初中起步就可以入學大資料等

學習如何大資料,大資料需要學習哪些內容?

大資料需要學習哪些內容?大資料 big data 指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合,是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力的海量 高增長率和多樣化的資訊資產。大資料的5v特點 ibm提出 volume 大量 velocity 高速 varie...

大資料需要掌握哪些技能,從事大資料開發需要具備哪些技能?

尚矽谷 大資料學什麼 大資料需要掌握的內容包括8個方面,你可以根據這個路線圖的順序學習,選擇培訓機構的時候重點關注機構的口碑,希望你早日學有所成。 杭州千峰 想學習大資料技術,是不是首先要知道大資料技術有哪些呢?也好知道自己未來應該往哪個方向發展,應該重點學習哪些知識?抽象而言,各種大資料技術無外乎...

學習大資料需要什麼基礎,大資料學習需要什麼基礎,我沒有基礎,能學習嗎?

要想學0基礎的也可以學啊!大資料學習需要什麼基礎,我沒有基礎,能學習嗎? 沒基礎學習起來肯定有難度的,下定決心了嗎? 千鋒互聯it教育 有相關的基礎學習起來會輕鬆一些,沒有基礎的話,難度會有些,投入努力和汗水,系統的學習大資料開發,是能夠有一定成就的。掌握到大資料開發的專業技術,就業方向有 大資料系...