python訪問(wèn)hdfs的操作
pip install hdfs
python 讀取hdfs目錄或文件
import hdfs client =hdfs.Client('http://10.10.1.4:50070')fileDir='/user/hive/warehouse/house.db/dm_house/dt=201800909'try: status=client.status(fileDir,False) if status: print (status) rst=client.download(fileDir,'/home/dev/gewei') print (rst)exception Exception as e: print (e)
補(bǔ)充知識(shí):用python訪問(wèn)hdfs出現(xiàn)webhdfs找不到的情況
有可能是webhdfs服務(wù)沒(méi)有開啟
向hdfs-site.xml文件中添加屬性:
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
可以使用如下命令檢測(cè),
獲得目錄的列表:
curl -i 'http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS'
以上這篇python訪問(wèn)hdfs的操作就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. XML在語(yǔ)音合成中的應(yīng)用2. docker容器調(diào)用yum報(bào)錯(cuò)的解決辦法3. idea設(shè)置自動(dòng)導(dǎo)入依賴的方法步驟4. 關(guān)于html嵌入xml數(shù)據(jù)島如何穿過(guò)樹形結(jié)構(gòu)關(guān)系的問(wèn)題5. 使用 kind 和 Docker 啟動(dòng)本地的 Kubernetes環(huán)境6. Django中如何使用Channels功能7. PHP Extended CHM 中文手冊(cè)8. intellij idea寫Python教程9. ASP.NET MVC增加一條記錄同時(shí)添加N條集合屬性所對(duì)應(yīng)的個(gè)體10. Python通過(guò)zookeeper實(shí)現(xiàn)分布式服務(wù)代碼解析

網(wǎng)公網(wǎng)安備