文章詳情頁
java - hadoop數(shù)據(jù)查找
瀏覽：213日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應(yīng)的那一行，每條數(shù)據(jù)都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結(jié)果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數(shù)據(jù)導入到hive中，用sql 來解決
標簽：
java
相關(guān)文章：
1. docker api 開發(fā)的端口怎么獲取？2. docker - 如何修改運行中容器的配置3. docker start -a dockername 老是卡住，什么情況？4. macos - mac下docker如何設(shè)置代理5. docker鏡像push報錯6. dockerfile - 我用docker build的時候出現(xiàn)下邊問題 麻煩幫我看一下7. debian - docker依賴的aufs-tools源碼哪里可以找到啊？8. docker網(wǎng)絡(luò)端口映射，沒有方便點的操作方法么？9. angular.js使用$resource服務(wù)把數(shù)據(jù)存入mongodb的問題。10. docker 下面創(chuàng)建的IMAGE 他們的 ID 一樣？這個是怎么回事？？？？
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備