日本不卡不码高清免费观看,久久国产精品久久w女人spa,黄色aa久久,三上悠亚国产精品一区二区三区

您的位置:首頁技術文章
文章詳情頁

Python 使用xlwt模塊將多行多列數(shù)據(jù)循環(huán)寫入excel文檔的操作

瀏覽:129日期:2022-07-05 18:38:14

我就廢話不多說了,大家還是直接看代碼吧~

#!/usr/bin/python# -*- coding: utf-8 -*-import xlwtimport redef host_regex(dataline): host_regex = r'<host>(.*?)</host>' host = re.findall(host_regex, dataline) if host: return host[0]def ip_regex(dataline): ip_regex = r'<ip>(.*?)</ip>' ip = re.findall(ip_regex, dataline) if ip: return ip[0]with open('zbx_export_hosts.xml', 'r', encoding='utf8') as f: lines = f.readlines() alldatas = [] hostlist = [] iplist = [] for line in lines: host = host_regex(line) ip = ip_regex(line) if host is not None: hostlist.append(host) if ip is not None: iplist.append(ip) hosts_ip = [] # 構造數(shù)據(jù)結構,形如:[[a,b],[c,d],...] multi_list = map(list, zip(hostlist, iplist)) for multi in multi_list: hosts_ip.append(multi) workbook = xlwt.Workbook() worksheet = workbook.add_sheet(’test’) # 關鍵代碼 for hi in enumerate(hosts_ip): for num in range(len(hi[1])): # 行、列、值 worksheet.write(hi[0], num, hi[1][num]) workbook.save(’excelwrite.xls’)

PS:其實有兩行代碼冗余,就不刪了!

補充知識:通過python寫入xlsx大量數(shù)據(jù)問題簡述

以前批處理生成數(shù)據(jù)文件都是通過c程序直接按照逗號分隔方式寫文本文件以csv保存的。但是由于有些處理的數(shù)據(jù)表直接給業(yè)務人員看,業(yè)務人員習慣使用xls,因此提了些需求改造,對于一些小于100w的數(shù)據(jù)均要求改為xlsx文件格式的報表。

考慮報表文件數(shù)據(jù)處理便捷,因此決定用python實現(xiàn),最初使用了openpyxl庫,這個python庫擁有非常強大的xlsx的讀寫api,能夠很方便的實現(xiàn)讀寫。但是在實際使用中發(fā)現(xiàn)在處理較大行數(shù)的xlsx時,占用內存非常嚴重,8個字段50w行數(shù)據(jù)在運行中內存高達10G,這不是我們應用服務器能夠接受的范圍。

因此尋求改善,在網(wǎng)上了解后,發(fā)現(xiàn)創(chuàng)建xlsx表時,指定write_only參數(shù)是openpyxl提供的大數(shù)據(jù)寫入解決方案,以下摘自官網(wǎng)范例,在選擇了此參數(shù)后,無法通過ws.cell(row=i, column=j).value = ? 的方式復制,只能通過append的方式追加行。關于設置只寫cell設置樣式,可以直接查看官網(wǎng)

>>> from openpyxl import Workbook>>> wb = Workbook(write_only=True)>>> ws = wb.create_sheet()>>>>>> # now we’ll fill it with 100 rows x 200 columns>>>>>> for irow in range(100):... ws.append([’%d’ % i for i in range(200)]) #可以先將一行的數(shù)據(jù)寫在一個list中,直接ws.append(list)>>> # save the file>>> wb.save(’new_big_file.xlsx’) # doctest: +SKIP

不過僅僅按上述范例修改write_only跑數(shù)時發(fā)現(xiàn)內存占用并沒有緩解,再仔細閱讀官網(wǎng)說明時才發(fā)現(xiàn)這么一句話“When you want to dump large amounts of data make sure you have lxml installed.”原來在openpyxl安裝時,并沒有把lxml作為強依賴,只是一個可選包,然后查實發(fā)現(xiàn)確實服務器上并沒有安裝lxml包。

于是與為了解決這個問題先在測試環(huán)境上安裝lxml,安裝過程也不是很順利。

首先先要裝libxml2以及l(fā)ibxslt,因為沒有root權限,均為源碼安裝,且只能安裝在用戶目錄。需要注意的是libxml2在安裝時需要--with-python=’python安裝目錄’,libxslt安裝的時候需要指定libxml2安裝目錄。

尤其最后的lxml安裝也是坑挺多的,主要是指定libxml2和libxslt,安裝lxml時先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安裝完之后,確實openpyxl寫xlsx不再增加內存,先在tmp目錄一個臨時文件中寫,待調用save方法時,保存到正式文件。

此外在這個問題解決中,還了解到writexlsx庫也可以處理大文件xlsx的寫入,并且安裝沒有這么多的依賴,其實還是非常推薦,也很簡介,官網(wǎng)有介紹。

操作大文件時指定{’constant_memory’: True}即可。

filename = ’test.xlsx’wb = xlsxwriter.Workbook(filename, {’constant_memory’: True})ws = wb.add_worksheet(’大文件’)i = 0data= []data.append(’中文’)data.append(1323)data.append(’abc’)ws.write_row(i, 0, data)i = i + 1wb.close() #直接關閉即可,不需要額外save

以上這篇Python 使用xlwt模塊將多行多列數(shù)據(jù)循環(huán)寫入excel文檔的操作就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網(wǎng)。

標簽: python
相關文章:
日本不卡不码高清免费观看,久久国产精品久久w女人spa,黄色aa久久,三上悠亚国产精品一区二区三区
人人爽香蕉精品| 六月婷婷一区| 精品国产亚洲一区二区在线观看| 免费日韩av| 老牛影视一区二区三区| 国产色综合网| 精品一区三区| 狠狠干成人综合网| 蜜桃av一区| 日韩欧美中文字幕一区二区三区| 婷婷综合福利| 国产精品乱战久久久| 激情久久一区二区| 成人午夜国产| 夜久久久久久| 亚州av日韩av| 国产精品乱战久久久| 不卡专区在线| 国产一区日韩一区| 亚洲日本久久| 嫩草伊人久久精品少妇av杨幂| 久久久免费人体| 在线看片福利| 国产亚洲毛片| 亚洲精品极品| 欧美激情一区| 久久青草久久| 先锋影音国产一区| 欧美自拍一区| 国产+成+人+亚洲欧洲在线| 久久国产欧美| 亚洲欧美在线专区| 精品国产亚洲一区二区三区大结局| 久久精品1区| 亚洲精品国产精品粉嫩| 国产精品v一区二区三区| 国产一二在线播放| 99riav国产精品| 国产精品亚洲欧美一级在线 | 亚洲综合另类| 国产精品日韩精品在线播放| 色乱码一区二区三区网站| 精品欧美日韩精品| 香蕉视频亚洲一级| 日韩成人高清| 一级欧美视频| 免费视频一区二区三区在线观看 | 国产极品模特精品一二| 久久电影tv| 喷白浆一区二区| 欧美国产精品| 亚洲欧美日韩精品一区二区| 国产精久久久| 国产亚洲永久域名| 国产一区二区三区不卡视频网站| 亚洲精品小说| 久久精品国产亚洲一区二区三区| 午夜日韩福利| 国产精品a级| 一区二区亚洲精品| 国产欧美日韩在线观看视频| 岛国av在线网站| 日韩精品欧美成人高清一区二区| 亚洲一级少妇| 国产欧美日韩精品一区二区免费| 91久久视频| 成人三级高清视频在线看| 日韩不卡一区二区三区| 久久激情中文| 国产精久久久| 亚洲网址在线观看| 久久久久国产精品一区二区| 日韩三区四区| 999在线观看精品免费不卡网站| 精品淫伦v久久水蜜桃| 久久成人亚洲| 手机在线电影一区| 日韩成人精品一区二区三区 | 欧美激情另类| 欧美亚洲网站| 亚洲欧美日本国产专区一区| 亚洲欧洲高清| 国产日韩亚洲欧美精品| 水蜜桃久久夜色精品一区的特点 | 精品一区二区三区中文字幕视频| 免费在线观看精品| 麻豆网站免费在线观看| 青草久久视频| 免费人成网站在线观看欧美高清| 国产精品黑丝在线播放| 91亚洲无吗| 亚洲综合中文| 亚洲激精日韩激精欧美精品| 秋霞影视一区二区三区| 美女视频一区在线观看| 人人精品久久| 亚洲1区在线观看| 午夜在线一区| 国产精品毛片在线看| 午夜精品一区二区三区国产| а√天堂8资源中文在线| 日本强好片久久久久久aaa| 亚洲一区二区网站| 好吊一区二区三区| 免费欧美一区| 亚洲天堂成人| 久久久久国产精品一区二区| 四虎8848精品成人免费网站| 国内精品美女在线观看| 美女在线视频一区| 国产精品亚洲综合在线观看| 欧美日韩a区| 国产亚洲字幕| 日本午夜精品久久久| 日韩高清三区| 日韩国产精品久久久| 日韩美女国产精品| 婷婷视频一区二区三区| 日韩免费精品| 亚洲精品乱码| 日韩精品国产精品| 青草国产精品| 国产伦乱精品| 国产精品网址| 精品国产一级| 亚洲天堂资源| 91精品一区二区三区综合| 久久理论电影| 亚洲一区二区三区免费在线观看| 麻豆精品网站| 亚洲+小说+欧美+激情+另类| 久久精品97| 国产日韩欧美一区| 国产在线日韩精品| 欧美黄色网页| 午夜国产精品视频免费体验区| 久久福利一区| 日韩精品视频网| 麻豆精品久久久| 日韩在线观看| 亚洲免费播放| 日韩av不卡在线观看| 久久精品三级| 欧美三级网址| 丝袜美腿亚洲色图| 欧美天堂在线| 国产中文在线播放| 日本久久成人网| 欧美日韩一区二区三区在线电影| 久久亚洲道色| 亚洲精品一二三区区别| 日韩在线麻豆| 精品91福利视频| 欧美在线资源| 国产日韩在线观看视频| 国产高清不卡| 亚洲在线一区| 国产精品videossex久久发布| 岛国av在线网站| 久久国产精品毛片| 久久不见久久见中文字幕免费| 日本免费久久| 亚洲作爱视频| 国产精品欧美日韩一区| 在线观看精品| 亚洲精品少妇| 国产一区二区三区久久| 亚洲激情黄色| 欧美极品中文字幕| 国产精品88久久久久久| 日韩欧美在线精品| 日本一区二区高清不卡| 欧美中文日韩| 久久中文精品| 久久99久久人婷婷精品综合| 日韩激情综合| 免费日韩视频| 九九久久婷婷| 久久wwww| jiujiure精品视频播放| 日韩毛片网站| a天堂资源在线| 蜜桃久久久久久| 国产精品调教| 99亚洲精品| 精品视频一区二区三区在线观看| 亚洲成人免费| 免费一级欧美片在线观看网站| 黄色日韩精品| 精品国产aⅴ| 伊人久久亚洲| 蜜桃视频在线网站| 免费观看日韩电影| 福利一区视频| 亚州精品视频| 天堂资源在线亚洲| 麻豆中文一区二区| 亚洲区欧美区| 免费不卡中文字幕在线| 欧美国产精品|