国产成人综合一区精品,久久精品爱国产免费久久,中文精品视频一区二区在线观看

廣州總校區切換校區
復制成功
微信號:togogoi
添加微信好友, 詳細了解課程
已復制成功,如果自動跳轉微信失敗,請前往微信添加好友
打開微信
圖片
news

新聞資訊

HDFS如何讀數據

發布時間: 2022-11-24

HDFS如何讀數據,如圖1所示,HDFS進行讀數據描述如下。



圖1 HDFS讀數據流程圖

(1)調用FileSystem對象的Open方法,其實獲取的是一個DistributedFileSystem的實例。

(2)DistributedFileSystem通過RPC(遠程過程調用)獲得文件的第一批Block的Locations,同一Block按照重復數會返回多個Locations,這些Locations按照Hadoop拓撲結構排序,距離客戶端近的排在前面。

(3)前兩步會返回一個FSDatalnputStream對象,該對象會被封裝成DFSlnputStream對象,DFSlnputStream可以方便地管理DataNode和NameNode數據流。客戶端調用Read方法,DFSlnputStream就會找出離客戶端最近的DataNode并連接DataNode。

(4)數據從DataNode源源不斷地流向客戶端。

(5)如果第一個Block塊的數據讀完了,就會關閉指向第一個Block塊的DataNode連接,接著讀取下一個Block塊。這些操作對客戶端來說是透明的,從客戶端的角度來看只是讀一個持續不斷的流。

(6)如果第一批Block都讀完了,DFSlnputStream就會去NameNode拿下一批Block的Locations,然后繼續讀,如果所有的Block塊都讀完,這時就會關閉掉所有的流。

上一篇: VLAN優點有哪些

下一篇: 封裝PPP及配置其驗證方式

<
在線咨詢 ×

您好,請問有什么可以幫您?我們將竭誠提供最優質服務!

    <thead id="4fwz0"></thead>
        <abbr id="4fwz0"><input id="4fwz0"></input></abbr>

          1. <thead id="4fwz0"></thead>

            主站蜘蛛池模板: 密云县| 衢州市| 五台县| 额尔古纳市| 阿瓦提县| 合作市| 鲜城| 呼和浩特市| 文安县| 砀山县| 兴安县| 金门县| 新和县| 资中县| 台南市| 桃园县| 松溪县| 盐亭县| 遂平县| 安宁市| 陆川县| 延吉市| 南溪县| 太湖县| 化隆| 蚌埠市| 永寿县| 霍邱县| 迁西县| 五指山市| 谢通门县| 江源县| 邻水| 静乐县| 沁阳市| 宜宾市| 多伦县| 文成县| 岑巩县| 海晏县| 鄂托克前旗|