問題描述

想寫一個python分析統計apache 網站日志文件并將統計后的數據存入mysql中的的腳本，有沒有參考的，沒有思路主要是統計 哪些url被爬取了 及 被爬取次數，以及IP這兩個

問題解答

先把原始數據 規整化，然后 key 值自己定，然后用 collections 的 Counter 統計，然后再遍歷寫入 db， 大概代碼如下：

data = [’/a 1.2.1.2’, ’/b 2.2.2.2’, ’/c 1.1.1.1’, ’/d 2.2.2.2’, ’/d 2.2.2.2’]from collections import Counterc = Counter(data)print c

Counter({’/d 2.2.2.2’: 2, ’/b 2.2.2.2’: 1, ’/a 1.2.1.2’: 1, ’/c 1.1.1.1’: 1})

你也可以自己維護字典，鍵為：/PATH:IP 或者什么，自己定，然后一邊遍歷，一邊添加就好了