文章詳情頁
python該種情形下應該使用pickle還是csv
瀏覽:192日期:2022-07-01 10:52:25
問題描述
我手頭有許多個上百M的csv存儲一些數據,需要經常使用pandas和matplotlib對這些數據讀取并進行繪圖。在繪圖之前,通常要進行預處理,切片等等清洗操作,因為要經常對figure進行交互操作和作報告,所以我在jupyter notebook中使用%matplotlib notebook進行操作和交互,我是將這些由原始數據產生的中間數據由csv保存,以便下次展示時直接讀取csv獲得中間數據,還是使用pickle保存,后續使用時讀取pickle更快?
問題解答
回答1:肯定是csv安全啊,pickle似乎換一個python版本都可能導致讀取失敗的,這個不是通用格式。幾百兆的話,csv其實讀取速度不慢。更何況還有hdf5,這些才是正經的數據交換格式。
回答2:csv夠用了,如果你覺得還不夠快可以試試hdf5文件
相關文章:
1. docker gitlab 如何git clone?2. docker鏡像push報錯3. docker api 開發的端口怎么獲取?4. macos - mac下docker如何設置代理5. debian - docker依賴的aufs-tools源碼哪里可以找到啊?6. dockerfile - 我用docker build的時候出現下邊問題 麻煩幫我看一下7. docker - 如何修改運行中容器的配置8. docker start -a dockername 老是卡住,什么情況?9. angular.js使用$resource服務把數據存入mongodb的問題。10. docker 下面創建的IMAGE 他們的 ID 一樣?這個是怎么回事????
排行榜

網公網安備