本篇文章981字，讀完約2分鐘
阿里云國(guó)際站經(jīng)銷商，主營(yíng)阿里云，騰訊云，華為云，亞馬遜aws，谷歌云gcp,微軟云az，免費(fèi)開戶，代充值優(yōu)惠大，聯(lián)系客服飛機(jī)@jkkddd
通過DataWorks將Hadoop數(shù)據(jù)同步至Elasticsearch
操作流程準(zhǔn)備工作
搭建Hadoop集群、創(chuàng)建DataWorks工作空間、創(chuàng)建與配置阿里云Elasticsearch實(shí)例。
步驟一：準(zhǔn)備數(shù)據(jù)
在Hadoop集群中創(chuàng)建測(cè)試數(shù)據(jù)。
步驟二：購(gòu)買并創(chuàng)建獨(dú)享資源組
購(gòu)買并創(chuàng)建一個(gè)數(shù)據(jù)集成獨(dú)享資源組，并為該資源組綁定專有網(wǎng)絡(luò)和工作空間。獨(dú)享資源組可以保障數(shù)據(jù)快速、穩(wěn)定地傳輸。
步驟三：添加數(shù)據(jù)源
將Elasticsearch和Hadoop的HDFS數(shù)據(jù)源接入DataWorks的數(shù)據(jù)集成服務(wù)中。
步驟四：配置并運(yùn)行數(shù)據(jù)同步任務(wù)
通過向?qū)Ｊ脚渲脭?shù)據(jù)同步任務(wù)，將數(shù)據(jù)集成系統(tǒng)同步成功的數(shù)據(jù)存儲(chǔ)到Elasticsearch中。將獨(dú)享資源組作為一個(gè)可以執(zhí)行任務(wù)的資源，注冊(cè)到DataWorks的數(shù)據(jù)集成服務(wù)中。這個(gè)資源組將獲取數(shù)據(jù)源的數(shù)據(jù)，并執(zhí)行將數(shù)據(jù)寫入Elasticsearch中的任務(wù)（該任務(wù)將由數(shù)據(jù)集成系統(tǒng)統(tǒng)一下發(fā)）。
步驟五：驗(yàn)證數(shù)據(jù)同步結(jié)果
在Kibana控制臺(tái)中，查看同步成功的數(shù)據(jù)，并按條件查詢數(shù)據(jù)。
步驟一：準(zhǔn)備數(shù)據(jù)
進(jìn)入E-MapReduce控制臺(tái)。
在頂部菜單欄，選擇地域。
在上方菜單欄，單擊數(shù)據(jù)開發(fā)。
在數(shù)據(jù)開發(fā)頁(yè)面，新建一個(gè)數(shù)據(jù)開發(fā)項(xiàng)目，其中資源組選擇默認(rèn)資源組。
具體操作，請(qǐng)參見項(xiàng)目管理。
在項(xiàng)目列表中，單擊目標(biāo)項(xiàng)目右側(cè)操作列下的作業(yè)編輯，新建一個(gè)作業(yè)。
具體操作，請(qǐng)參見作業(yè)編輯。其中作業(yè)類型選擇Hive。
創(chuàng)建數(shù)據(jù)表并插入數(shù)據(jù)。
在代碼編輯區(qū)域中，輸入Hive建表語(yǔ)句，單擊運(yùn)行。
本文檔使用的建表語(yǔ)句如下。
在運(yùn)行作業(yè)對(duì)話框中配置運(yùn)行參數(shù)，單擊確定。
資源組：選擇默認(rèn)資源組。
執(zhí)行集群：選擇您已創(chuàng)建的集群。
重新新建一個(gè)作業(yè)，輸入如下SQL語(yǔ)句，插入測(cè)試數(shù)據(jù)。
您可以選擇從OSS或其他數(shù)據(jù)源導(dǎo)入測(cè)試數(shù)據(jù)，也可以手動(dòng)插入少量的測(cè)試數(shù)據(jù)。本文使用手動(dòng)插入數(shù)據(jù)的方法，腳本如下。
查看數(shù)據(jù)是否插入成功。
新建一個(gè)臨時(shí)查詢作業(yè)。
具體操作，請(qǐng)參見臨時(shí)查詢。
輸入如下SQL語(yǔ)句，單擊運(yùn)行
在頁(yè)面下方，單擊運(yùn)行記錄，再單擊操作列下的詳情。
在運(yùn)維中心，單擊作業(yè)運(yùn)行結(jié)果。
標(biāo)題：阿里云賬號(hào)24h自助充值，阿里云賬號(hào)免費(fèi)注冊(cè)
地址：http://www.pengfei-china.com/kfxw/64137.html
