python封裝利用begin end執(zhí)行多條sql

因?yàn)闃I(yè)務(wù)需求，優(yōu)化模型運(yùn)行時(shí)間。考慮到sql語(yǔ)句每一次執(zhí)行都要建立連接，查詢，獲取數(shù)據(jù)耗時(shí)過(guò)多。就想到將sql一起提交上去運(yùn)行，能夠節(jié)省很多時(shí)間。原本1.6-2.5秒耗時(shí)的sql語(yǔ)句經(jīng)過(guò)修改后時(shí)間降到0.3-0.6秒，感覺性能提升挺好的。

當(dāng)然還有一種想法，如果有python框架的orm可能會(huì)更快，相比來(lái)說(shuō)耗時(shí)基本看不到了吧，這只是我的猜想，僅僅為了優(yōu)化一個(gè)模型寫一個(gè)框架的話 代碼可能需要改的比較多，自我感覺付出和收獲不一定會(huì)成正比，當(dāng)然以后有時(shí)間可以試試。

這次優(yōu)化基本代碼邏輯沒(méi)有動(dòng)，利用了begin end進(jìn)行sql整合。

公司用的是oracle，之前沒(méi)用過(guò)但是感覺和mysql基本類似，如果是mysql的話該方法也可用

sql_str = ‘beginn’sql_str += ‘這里時(shí)需要執(zhí)行的sql語(yǔ)句’sql_str += ‘ncommit;end;’

中間sql有多少條無(wú)所謂，看了一下運(yùn)行時(shí)間感覺 我的一千行sql耗時(shí) 幾乎就是這一千行里面耗時(shí)最長(zhǎng)那個(gè)時(shí)間。是異步完成還是什么這個(gè)就不是很清楚了，主要是一次建立連接，省去網(wǎng)絡(luò)傳輸數(shù)據(jù)和請(qǐng)求數(shù)據(jù)庫(kù)的過(guò)程

網(wǎng)上好多begin end都是在可視化工具中的sql執(zhí)行的，并不能在command中執(zhí)行，這就意味中我們代碼中封裝的語(yǔ)句沒(méi)有卵用，還好沒(méi)放棄當(dāng)時(shí)就研究了一下找到了解決辦法

在end 提交一下就ok了，如果在command中運(yùn)行一直未結(jié)束的話加一個(gè) / 斜線就ok了

本次內(nèi)容就此結(jié)束，下面是一些題外話。

在說(shuō)一個(gè)其中遇到的問(wèn)題吧，在進(jìn)行sql封裝后，其中很多表都很亂，約束很亂 而且邏輯并不嚴(yán)謹(jǐn)，但是模型正在運(yùn)行還不讓動(dòng) 那只能按照這個(gè)規(guī)則來(lái)了

ORA 00001 違反唯一約束條件 其中出現(xiàn)了這個(gè)問(wèn)題，意思就是唯一約束重復(fù)了，因?yàn)槟Ｐ洼斎雴?wèn)題，處理出來(lái)的結(jié)果之前可能剛插入到數(shù)據(jù)庫(kù)中（也就是 上面的sql_str 出現(xiàn)了兩天相同的insert），這個(gè)東西很簡(jiǎn)單，加一個(gè)set判斷一下就行，但是到這之后，一個(gè)bug就跳出來(lái)了，這個(gè)腳本計(jì)算的是因子重要度，結(jié)果預(yù)測(cè)可能每次都不相同，有些數(shù)據(jù)很小的可能就當(dāng)成0扔進(jìn)去了，所以我需要做的是將 相同數(shù)據(jù)的情況下插入較為重要的因子重要度（也無(wú)需要 ），這樣的話簡(jiǎn)簡(jiǎn)單單的set就不行了，但是也不難 用來(lái)一下字典

importance_map = ｛｝ 實(shí)現(xiàn)創(chuàng)建好字典 if feature in importance_map:if importance_map[feature] < importance: sql_str +=‘***************‘’’ 這里就是insert語(yǔ)句了else: continue else:importance_map[feature] = importance

其實(shí)這個(gè)東西也沒(méi)有什么難點(diǎn)，但是做到這之后就有很多想法折射出來(lái)。

數(shù)據(jù)處理原本也可以用pandas進(jìn)行，但是pandas是對(duì)所有數(shù)據(jù)進(jìn)行操作，我一個(gè)set只對(duì)重復(fù)數(shù)據(jù)進(jìn)行操作，切pandas內(nèi)存消耗極為嚴(yán)重，前兩天寫的特征工程內(nèi)存炸裂。表數(shù)據(jù)用完后內(nèi)存并沒(méi)有得到釋放，這里面就涉及到python的垃圾回收，用法至今沒(méi)有搞懂，還需要研究研究，gc是對(duì)循環(huán)引用進(jìn)行垃圾回收，內(nèi)存釋放。但是這個(gè)pandas并不是循環(huán)引用，我認(rèn)為是在存儲(chǔ)在緩存區(qū)中，位置占死了，就很煩

模型畢竟是在服務(wù)器上面跑，盡量快切省內(nèi)存，不然你把內(nèi)存占了 別人的項(xiàng)目怎么玩。所以就用這種方法。

很少寫博客，主要是記錄一下問(wèn)題以后 再出現(xiàn)了好應(yīng)對(duì)。當(dāng)然如果能夠幫助正在修復(fù)bug中的你，也是樂(lè)意至極。那塊說(shuō)的有問(wèn)題或者解釋不清楚，可以留言。

補(bǔ)充知識(shí)：postgreSQL sql使用 %s時(shí)務(wù)必加引號(hào)，即為‘%s’,否則報(bào)錯(cuò)

postgre sql使用 %s時(shí)務(wù)必加引號(hào)，即為‘%s’,否則報(bào)錯(cuò)

if name == ‘main’:

t='TDD-LTE_MRO'sql='select * from lastftp where enbid = %d and keytype = %s'%(110001,t)print(selectOperate(sql))

結(jié)果：

Traceback (most recent call last):File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 84, inprint(selectOperate(sql))File “/home/eyann/mypython/t1/pgSQLoperate.py”, line 45, in selectOperatecursor.execute(sql)psycopg2.ProgrammingError: column “tdd” does not existLINE 1: …* from lastftp where enbid = 110001 and keytype = TDD-LTE_MR…^

if name == ‘main’:

t='TDD-LTE_MRO'sql='select * from lastftp where enbid = %d and keytype = ’%s’'%(110001,t)print(selectOperate(sql))

結(jié)果：

[(‘test3’, ‘TDD-LTE_MRO’, ‘0114123000’, ‘0012’, 110001)][Finished in 0.1s]

以上這篇python實(shí)現(xiàn)一次性封裝多條sql語(yǔ)句(begin end)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持好吧啦網(wǎng)。