請問我該如何利用python來制作一個(gè)日志分析程序?
問題描述
近期想做一個(gè)分析小軟件是關(guān)于分析日志文件的,當(dāng)然是用python了,但是捉摸了好久沒有太多的思路,希望各位給我一些建議,我該如何分析這個(gè)日志。
日志的源文件是類似這樣的
$DEBUG 2014-06-24 14:30:01.331@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][319]收到界面Url[ file:///Afc/Run/tvm_ui/tvmticket.html?action=3000&singleprice=200 ]$ INFO 2014-06-24 14:30:01.332@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][298]解析后,收到UI命令碼為[ 3000 ] $ INFO 2014-06-24 14:30:01.332@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][327]界面消息:[ 業(yè)務(wù)START ]消息。$DEBUG 2014-06-24 14:30:01.332@00000000@0000@[InitUITicketSinglePriceInfo][558]乘客選擇價(jià): [ 200 ].................由于日志文件行數(shù)太多中間這部分我就省略了...........................................由于日志文件行數(shù)太多中間這部分我就省略了...........................................由于日志文件行數(shù)太多中間這部分我就省略了..........................$DEBUG 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/businessInterfaceBase/BusinessInterfaceUIBase.cpp][72] 發(fā)送售卡結(jié)果URL,售卡結(jié)果[0]出數(shù)量[1]找零金額[800]$DEBUG 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/businessInterfaceBase/BusinessInterfaceUIBase.cpp][79] 發(fā)送售卡結(jié)果URL[file:///Afc/Run/tvm_ui/response.html?action=3010&errorcode=0&outticket=1&changesum=800]$ INFO 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][251]內(nèi)隊(duì)列消息[ 確定處理消息 ]處理完成。
每一個(gè)乘客在購的時(shí)候,系統(tǒng)會在日志文件中記錄收到乘客操作指令,就是日志文件中的這一行
$DEBUG 2014-06-24 14:30:01.331@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][319]收到界面Url[ file:///Afc/Run/tvm_ui/tvmticket.html?action=3000&singleprice=200 ]
也就代表著一筆交易的START
當(dāng)一筆交易結(jié)束后程序會在日志文件中添加這樣一行記錄作為一筆交易的結(jié)束日志
$ INFO 2014-06-24 14:30:27.849@00000000@0000@[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][251]內(nèi)隊(duì)列消息[ 確定處理消息 ]處理完成。
我現(xiàn)在想的是如何利用python將日志文件中 每一筆完整的交易日志(不是每一行)單獨(dú)提取出來以后,進(jìn)行逐行分析,但是有一個(gè)關(guān)鍵點(diǎn),也是為什么要做這個(gè)日志分析軟件的原因就是這個(gè)系統(tǒng)可能存在bug,導(dǎo)致進(jìn)程之間通信中斷,直接導(dǎo)致某一筆交易日志殘缺不全,也就是說很可能日志文件中某一筆交易沒有“內(nèi)隊(duì)列消息[ 確定處理消息 ]處理完成”這一行或者這一行以上的若干行,那在如何讀取一筆完整交易日志記錄的時(shí)候就存在問題了,如何能實(shí)現(xiàn)在提取日志文件中
[../ticketBusiness/InnerUIMsgProc/InnerUIMsgProc.cpp][319]收到界面Url[ file:///Afc/Run/tvm_ui/tvmticket.html?action=3000&singleprice=200 ]
有這樣字樣的記錄到下一次再次出現(xiàn)這條記錄中間的部分 就可以理解為是一筆交易記錄。
代碼的邏輯這塊沒啥太好的思路希望各位給我一些好的思路。
提示:日志文件是每10MB一個(gè),當(dāng)日志文件容量達(dá)到10MB以后就自動生成下一個(gè)日志文件,tvmticket.log、tvmticket.log.1、tvmticket.log.2、tvmticket.log.3,數(shù)字越大的日志記錄時(shí)間越靠前,如果想合并出一個(gè)完整的日志文件先要讀取tvmticket.log.3然后tvmticket.log.2、tvmticket.log.1、tvmticket.log。
問題解答
回答1:我不知道代碼要什么邏輯,我看你說的挺清晰的,是在問代碼怎么實(shí)現(xiàn)? 解決你的問題 我?guī)仔写a解決。大概代碼
a = log3 + log2 +log1print re.findall(’.+收到界面Url[sS]+?處理完成。’, a) #得到每筆的log, 如果不全 你可以再對它檢驗(yàn)
相關(guān)文章:
1. debian - docker依賴的aufs-tools源碼哪里可以找到啊?2. dockerfile - 我用docker build的時(shí)候出現(xiàn)下邊問題 麻煩幫我看一下3. docker網(wǎng)絡(luò)端口映射,沒有方便點(diǎn)的操作方法么?4. docker-compose 為何找不到配置文件?5. macos - mac下docker如何設(shè)置代理6. docker start -a dockername 老是卡住,什么情況?7. docker 下面創(chuàng)建的IMAGE 他們的 ID 一樣?這個(gè)是怎么回事????8. 如何解決Centos下Docker服務(wù)啟動無響應(yīng),且輸入docker命令無響應(yīng)?9. angular.js使用$resource服務(wù)把數(shù)據(jù)存入mongodb的問題。10. docker gitlab 如何git clone?

網(wǎng)公網(wǎng)安備