1樓:匿名使用者
1.找到examples例子
我們需要找打這個例子的位置:首先需要找到你的hadoop資料夾,然後依照下面路徑:
/hadoop/share/hadoop/mapreduce會看到如下圖:
hadoop-mapreduce-examples-2.2.0.jar
第二步:
我們需要需要做一下執行需要的工作,比如輸入輸出路徑,上傳什麼檔案等。
1.先在hdfs建立幾個資料目錄:
hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output/
2.目錄/data/wordcount用來存放hadoop自帶的wordcount例子的資料檔案,執行這個mapreduce任務的結果輸出到/output/wordcount目錄中。
首先新建檔案inputword:
vi /usr/inputword
新建完畢,檢視內容:
cat /usr/inputword
將本地檔案上傳到hdfs中:
hadoop fs -put /usr/inputword /data/wordcount/
可以檢視上傳後的檔案情況,執行如下命令:
hadoop fs -ls /data/wordcount
可以看到上傳到hdfs中的檔案。
通過命令
hadoop fs -text /data/wordcount/inputword
看到如下內容:
下面,執行wordcount例子,執行如下命令:
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.
jar wordcount /data/wordcount /output/wordcount
可以看到控制檯輸出程式執行的資訊
檢視結果,執行如下命令:
hadoop fs -text /output/wordcount/part-r-00000
結果資料示例如下:
登入到web控制檯,訪問連結http.//master:8088/可以看到任務記錄情況。
2樓:三界大亨
1、在linux系統中,所在目錄“/home/kcm”下建立一個檔案input
[ubuntu@701~]$ mkdir input
2.在資料夾input中建立兩個文字檔案file1.txt和file2.
txt,file1.txt中內容是“hello word”,file2.txt中內容是“hello hadoop”、“hello mapreduce”(分兩行)。
[ubuntu@701~]$ cd input
[ubuntu@701~]$ vi file1.txt(編輯檔案並儲存)
[ubuntu@701~]$ vi file2.txt(編輯檔案並儲存)
[ubuntu@701~]$ ls -l /home/kcm/input
file1.txt file2.txt
顯示檔案內容可用:
[ubuntu@701~]$ cat/home/kcm/input/file1.txt
hello word
[ubuntu@701~]$ cat /home/kcm/input/file2.txt
hello mapreduce
hello hadoop
3.在hdfs上建立輸入資料夾wc_input,並將本地資料夾input中的兩個文字檔案上傳到叢集的wc_input下
[ubuntu@701~]$ hadoop fs -mkdir wc_input
[ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input
檢視wc_input中的檔案:
[ubuntu@701~]$ /hadoop fs -ls wc_input
found 2 items
-rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt
-rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt
4.首先,在window下將wordcount進行打包,我們這裡把它打包成wordcount.jar;然後,將wordcount.
jar拷貝到linux系統中,存放的目錄自己決定即可。我們這裡存放到/home/kcm目錄下面。
5.執行wordcount.jar包**到該jar包存放的目錄下):
[ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output
3樓:匿名使用者
jobtracker和tasktracker之間通訊存在問題
如何執行Python程式的方法,如何執行Python程式
冉芷殳鬆雨 linux下 方法一 1python my.py 方法二 在my.py上加上檔案頭 12 usr bin env python.然後12chmod x my.py.my.py方法三 1234mkdir p mylibcp my.py mylibexport pythonpath myli...
制度執行如何落地,如何讓執行力落地?
星願下的期盼 制度執行需要根據以下四個原則來落地 1 經常性原則 由於制度具有重複性的特性,因此制度執行也要貫徹經常性原則。制度執行並非一勞永逸,只要規則中所描述的情況發生,就必須要按規則辦事。2 一視同仁原則 規則的精神就是它對所有人都一樣,正如 法律面前人人平等 不能有任何特權 規則排斥特權,特...
如何提高執行力,如何有效的提高執行力
繁人凡人 1 將自己的表撥快10分鐘。2 為目標設定像1 2 3這樣的優先順序。3 把大目標細分為可以立刻執行出結果的小任務。4 第一次就做對。5 每天自學1小時。6 每天花5分鐘改進自己的工作,在5年裡將使同一個工作被改進1200餘次 如何有效的提高執行力 訾可欣迮詞 一要著眼於 嚴 積極進取,增...