日本不卡不码高清免费观看,久久国产精品久久w女人spa,黄色aa久久,三上悠亚国产精品一区二区三区

您的位置:首頁技術文章
文章詳情頁

java代碼實現mysql分表操作(用戶行為記錄)

瀏覽:205日期:2022-08-16 15:58:32
設置項目氣動執行次方法(每天檢查一次表記錄)

public class DayInterval implements ServletContextListener{private static SimpleDateFormat simpleDateFormat=new SimpleDateFormat('yyyy-MM-dd HH:mm:ss');public static void showDayTime() {Timer dTimer = new Timer();dTimer.schedule(new TimerTask() {@Overridepublic void run() { System.out.println('每日任務執行:'+simpleDateFormat.format(new Date())); LogTableCreate logTableCreate = new LogTableCreate(); Thread thread=new Thread(logTableCreate); thread.start();}}, 1000 , 24* 60* 60 * 1000);//24* 60* 60 * 1000(第一次一秒后執行,以后每次一天后執行)}@Overridepublic void contextDestroyed(ServletContextEvent arg0) {//showDayTime();}@Overridepublic void contextInitialized(ServletContextEvent arg0) {showDayTime();}}

LogTableCreate 用來做表分表是否已經創建,如現在是9月在啟動時檢查是否存在當月表記錄,不存在則創建存在則不創建,另外檢查是否存在10月份表記錄,不存在則創建(提前創建一個也空表,以此類推)。

拷貝代碼修改createsql(建表sql),URL (數據庫地址),USER (數據庫連接用戶),PASSWORD(數據庫連接密碼)

public class LogTableCreate extends TimerTask {private static final Log log = LogFactory.getLog(LogTableCreate.class);public static final String TBASENAME='tb_log';private String createsql = ' (rn' + ' `ID` varchar(64) NOT NULL COMMENT ’主鍵id’,rn' + ' `userid` varchar(255) DEFAULT NULL COMMENT ’用戶id’,rn' + ' `username` varchar(255) DEFAULT NULL COMMENT ’用戶姓名’,rn' + ' `useridcard` varchar(255) DEFAULT NULL COMMENT ’用戶身份證號碼’,rn' + ' `realname` varchar(64) DEFAULT NULL COMMENT ’真實姓名’,rn' + ' `logintime` varchar(255) DEFAULT NULL COMMENT ’登錄時間’,rn' + ' `exittime` varchar(64) DEFAULT NULL COMMENT ’退出時間’,rn' + ' `ippath` varchar(255) DEFAULT NULL COMMENT ’ip地址’,rn' + ' `macpath` varchar(255) DEFAULT NULL COMMENT ’mac地址’,rn' + ' `usercreatedtime` varchar(255) DEFAULT NULL COMMENT ’用戶創建時間’,rn' + ' `userbusidaddress` varchar(255) DEFAULT NULL COMMENT ’用戶錢包地址’,rn' + ' `member` int(11) DEFAULT NULL COMMENT ’是否是會員’,rn' + ' `membertype` int(11) DEFAULT NULL COMMENT ’會員類型’,rn' + ' `spare1` varchar(255) DEFAULT NULL,rn' + ' `spare2` varchar(255) DEFAULT NULL,rn' + ' `spare3` varchar(255) DEFAULT NULL,rn' + ' PRIMARY KEY (`ID`)rn' + ')'; private SimpleDateFormat sdyyyy = new SimpleDateFormat('yyyy'); private SimpleDateFormat sdmm = new SimpleDateFormat('MM'); private static final String URL = ''; private static final String USER = ''; private static final String PASSWORD = ''; //得到表名 public static String gettable() { Date date = new Date(); LogTableCreate logTableCreate=new LogTableCreate();String yyyy = logTableCreate.sdyyyy.format(date);String mm = logTableCreate.sdmm.format(date);String nmm = logTableCreate.getNextMM(mm);return TBASENAME+yyyy+mm; } //得到下一個月private String getNextMM(String mm){String nmm = '';int imm = Integer.parseInt(mm);if(imm>=12){nmm = '01';}else{imm++;if(imm>9)nmm = ''+imm;elsenmm = '0'+imm;}return nmm;} @Overridepublic void run() {Date date = new Date();String yyyy = sdyyyy.format(date);String mm = sdmm.format(date);String nmm = getNextMM(mm);String nyyyy = '';if('01'.equals(nmm)){nyyyy = ''+(Integer.parseInt(yyyy)+1);}else{nyyyy = yyyy;}log.info('日志表檢查及創建:'+yyyy+' - '+mm+' | '+nyyyy+'-'+nmm);String temp = TBASENAME+yyyy+mm; //日志表名稱boolean has = false;try{has = hasTable(temp);}catch(Exception e){log.error('當前操作日志表是否存在判斷時發生錯誤:'+e.getMessage());return;}if(!has){try{createTable(temp);}catch(Exception e){log.error('當前操作日志表創建時發生錯誤:'+e.getMessage());return;}}temp = TBASENAME+nyyyy+nmm;has = false;try{has = hasTable(temp);}catch(Exception e){log.error('待用日志表是否存在判斷時發生錯誤:'+e.getMessage());return;}if(!has){try{createTable(temp);}catch(Exception e){log.error('待用日志表創建時發生錯誤:'+e.getMessage());return;}}log.info('日志表檢查及創建結束');}public boolean hasTable(String table) throws Exception{Class.forName('com.mysql.jdbc.Driver'); //2. 獲得數據庫連接 Connection conn = DriverManager.getConnection(URL, USER, PASSWORD);boolean state = false;DatabaseMetaData meta = conn.getMetaData();ResultSet set;set = meta.getTables(null, null, table.toLowerCase(), null);while (set.next()) {state = true;break;}Statement stmt = null;try{stmt = conn.createStatement();}catch(Exception e){log.error('檢查日志表是否存在時發生錯誤:'+e.getMessage());throw e;}finally{if(stmt!=null)try {stmt.close();} catch (Exception e) {//e.printStackTrace();}}conn.close();return state;}public void createTable(String table)throws Exception{try{Class.forName('com.mysql.jdbc.Driver'); //2. 獲得數據庫連接 Connection conn = DriverManager.getConnection(URL, USER, PASSWORD);String sql = 'create table '+table+createsql;Statement stmt = null;stmt = conn.createStatement();stmt.execute(sql);}catch(Exception e){log.error('初始化日志表時發生錯誤:'+e.getMessage());throw e;}}}

補充:java水平分表_Java開發分庫分表需要解決的問題及mycat是怎樣實現分庫分表的

引言

從字面上簡單理解,就是把原本存儲于一個庫的數據分塊存儲到多個庫上,把原本存儲于一個表的數據分塊存儲到多個表上。

數據庫中的數據量不一定是可控的,在未進行分庫分表的情況下,隨著時間和業務的發展,庫中的表會越來越多,表中的數據量也會越來越大,相應地,數據操作,增刪改查的開銷也會越來越大;

另外,由于無法進行分布式式部署,而一臺服務器的資源(CPU、磁盤、內存、IO等)是有限的,最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。

分庫分表的必要性

首先我們來了解一下為什么要做分庫分表。在我們的業務(web應用)中,關系型數據庫本身比較容易成為系統性能瓶頸,單機存儲容量、連接數、處理能力等都很有限,數據庫本身的“有狀態性”導致了它并不像Web和應用服務器那么容易擴展。那么在我們的業務中,是否真的有必要進行分庫分表,就可以從上面幾個條件來考慮。

單機儲存容量。您的數據量是否在單機儲存中碰到瓶頸。比如餓了么一天產生的用戶行為數據就有24T,那么在傳統的單機儲存中肯定是不夠的。

連接數、處理能力。在我們的用戶量達到一定程度時,特定時間的并發量又成了一個大問題,在一個高并發的網站中秒級數十萬的并發量都是很正常的。在普通的單機數據庫中秒級千次的操作問題都很大。

所以在我們進行分庫分表之前我們最好考慮一下,我們的數據量是不是夠大,并發量是不是夠大。如果您的回答是肯定的,那我們就開始做吧。

事務問題

解決事務問題目前有兩種可行的方案:分布式事務和通過應用程序與數據庫共同控制實現事務下面對兩套方案進行一個簡單的對比。

方案一:使用分布式事務

優點:交由數據庫管理,簡單有效

缺點:性能代價高,特別是shard越來越多時

方案二:由應用程序和數據庫共同控制

原理:將一個跨多個數據庫的分布式事務分拆成多個僅處 于單個數據庫上面的小事務,并通過應用程序來總控 各個小事務。

優點:性能上有優勢

缺點:需要應用程序在事務控制上做靈活設計。如果使用 了spring的事務管理,改動起來會面臨一定的困難。

分庫分表的實施策略。

分庫分表有垂直切分和水平切分兩種。

3.1 何謂垂直切分,即將表按照功能模塊、關系密切程度劃分出來,部署到不同的庫上。

例如,我們會建立定義數據庫workDB、商品數據庫payDB、用戶數據庫userDB、日志數據庫logDB等,分別用于存儲項目數據定義表、商品定義表、用戶數據表、日志數據表等。

3.2 何謂水平切分,當一個表中的數據量過大時,我們可以把該表的數據按照某種規則,例如userID散列,進行劃分,然后存儲到多個結構相同的表,和不同的庫上。

例如,我們的userDB中的用戶數據表中,每一個表的數據量都很大,就可以把userDB切分為結構相同的多個userDB:part0DB、part1DB等,再將userDB上的用戶數據表userTable,切分為很多userTable:userTable0、userTable1等,然后將這些表按照一定的規則存儲到多個userDB上。

3.3 應該使用哪一種方式來實施數據庫分庫分表,這要看數據庫中數據量的瓶頸所在,并綜合項目的業務類型進行考慮。

如果數據庫是因為表太多而造成海量數據,并且項目的各項業務邏輯劃分清晰、低耦合,那么規則簡單明了、容易實施的垂直切分必是首選。

而如果數據庫中的表并不多,但單表的數據量很大、或數據熱度很高,這種情況之下就應該選擇水平切分,水平切分比垂直切分要復雜一些,它將原本邏輯上屬于一體的數據進行了物理分割,除了在分割時要對分割的粒度做好評估,考慮數據平均和負載平均,后期也將對項目人員及應用程序產生額外的數據管理負擔。

在現實項目中,往往是這兩種情況兼而有之,這就需要做出權衡,甚至既需要垂直切分,又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分,我們首先對數據庫進行垂直切分,然后,再針對一部分表,通常是用戶數據表,進行水平切分。

mycat是怎樣實現分庫分表的?mycat里面通過定義路由規則來實現分片表(路由規則里面會定義分片字段,以及分片算法)。分片算法有多種,你所說的hash是其中一種,還有取模、按范圍分片等等。在mycat里面,會對所有傳遞的sql語句做路由處理(路由處理的依據就是表是否分片,如果分片,那么需要依據分片字段和對應的分片算法來判斷sql應該傳遞到哪一個、或者哪幾個、又或者全部節點去執行)

總結

以上就是我對Java開發分庫分表需要解決的問題及mycat是怎樣實現分庫分表的 問題及其優化總結,如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Java
相關文章:
日本不卡不码高清免费观看,久久国产精品久久w女人spa,黄色aa久久,三上悠亚国产精品一区二区三区
亚洲深夜视频| 中文不卡在线| 美女精品在线| 不卡一区2区| 婷婷综合激情| 欧美午夜不卡| 先锋亚洲精品| 亚洲一区区二区| 国产精品婷婷| 日本精品在线中文字幕| 日韩高清一级| 欧美日韩少妇| 日韩a一区二区| 日韩成人精品一区| 欧美久久天堂| 伊人久久视频| 免费观看久久久4p| 另类专区亚洲| 亚洲不卡av不卡一区二区| 欧美日韩在线播放视频| 欧美精品一二| 欧美中文日韩| 奇米狠狠一区二区三区| 久久精品国产网站| 亚洲精品国产嫩草在线观看| 狠狠色狠狠色综合日日tαg| 一区二区国产精品| 久久国产欧美日韩精品| 精品国产乱码久久久久久1区2匹| 久久精品亚洲人成影院| 久久国产精品99国产| 日韩欧美2区| 国产精品探花在线观看| 国产精品99久久精品| 日本精品影院| 天堂av在线一区| 日本成人一区二区| 国产a亚洲精品| 自由日本语亚洲人高潮| 亚洲三级在线| 精品视频97| 午夜久久免费观看| 天堂久久一区| 成人在线免费观看91| 亚洲欧洲午夜| 国产欧美一级| 不卡一二三区| 另类亚洲自拍| 国产精品1区| 激情偷拍久久| 久久成人一区| 欧美在线91| 日韩av不卡一区二区| 久久国产小视频| 麻豆国产精品777777在线| 亚洲三区欧美一区国产二区| 日韩精品一二区| 不卡中文一二三区| 性一交一乱一区二区洋洋av| 青青青免费在线视频| 日韩天堂在线| 亚洲男女av一区二区| 亚洲成人精品| 亚洲91网站| 麻豆久久一区| 欧美精品国产白浆久久久久| 蜜桃av一区| 中文字幕一区二区精品区| 久久久久久久久久久妇女 | 亚洲香蕉网站| 国产欧美一区二区精品久久久| 精品国产乱码久久久久久樱花| 中文字幕日韩高清在线| 九九九精品视频| 综合色一区二区| 日韩午夜在线| 国产精品一区二区三区av麻| 久久久一二三| 欧美国产亚洲精品| 亚洲精品视频一二三区| 日韩精品麻豆| 国产欧美视频在线| 伊人久久在线| 日韩专区欧美专区| 久久电影tv| 中文一区一区三区免费在线观| 国产精品22p| 国产精品色网| 国产 日韩 欧美 综合 一区| 精品一区免费| 91精品国产自产精品男人的天堂 | 国产不卡精品| 水蜜桃久久夜色精品一区| 88xx成人免费观看视频库| 国产精品乱战久久久| 精品欠久久久中文字幕加勒比| 欧美黄色网页| 1000部精品久久久久久久久| 日本欧美一区| 丝袜a∨在线一区二区三区不卡| 久久久久蜜桃| 国产一区二区三区黄网站| 久久精品 人人爱| 天堂成人免费av电影一区| 精品久久久久久久| 国产欧美三级| 日韩中文字幕一区二区高清99| 亚洲少妇自拍| 精品在线播放| 91精品国产91久久久久久黑人| 色综合五月天| 国产精品1区在线| 日韩一区网站| 蜜桃视频在线观看一区| 亚洲一区二区三区四区五区午夜| 婷婷精品视频| 日韩一区二区三区免费播放| 久久精品伊人| 久久不见久久见国语| 日韩av一区二| 性感美女一区二区在线观看| 久久精品国产99国产精品| 日本三级亚洲精品| 日韩欧美中文字幕电影| 色8久久久久| 亚洲ww精品| 亚洲精品少妇| 日韩超碰人人爽人人做人人添| 日韩国产精品久久久| 久久国产精品色av免费看| 国产欧美另类| 一区二区三区四区日韩| 免费久久精品| 日本一区二区三区视频在线看| 国产精品视频一区二区三区| 欧美影院三区| 99在线精品免费视频九九视| 日本在线精品| 欧美日韩在线二区| 国产精成人品2018| 亚洲精品第一| 久久97视频| 蜜臀av性久久久久蜜臀aⅴ流畅| 久久久久91| 日本成人在线视频网站| 欧美久久久网站| 亚洲1区在线观看| 日本一区二区中文字幕| 欧美日一区二区三区在线观看国产免| 日韩黄色av| 亚洲tv在线| 国产精品亚洲欧美一级在线| 精品国产精品国产偷麻豆| 深夜福利视频一区二区| 伊人久久大香线蕉av不卡| 午夜欧美精品| 日韩欧美中文字幕电影| 国产精区一区二区| 中文字幕色婷婷在线视频| 欧美1级日本1级| 亚洲精品在线a| 久久影院资源站| 99久久精品网| 亚洲色图综合| 老司机免费视频一区二区三区| 日韩成人精品一区二区| 午夜日韩福利| 国产免费av国片精品草莓男男| 91亚洲自偷观看高清| 欧美日韩国产高清| 日本欧美一区二区| 国产一区二区三区91| 五月天综合网站| 91精品国产自产精品男人的天堂| 精品国产aⅴ| 欧美日韩国产亚洲一区| 日韩精品一二三| 国产一区二区三区四区五区传媒| 欧美美女一区| 国产精品4hu.www| 精品无人区麻豆乱码久久久| 欧美日韩激情在线一区二区三区| 日韩精品一区二区三区免费视频| 麻豆精品av| 午夜精品一区二区三区国产| 婷婷精品在线观看| 97国产精品| 免费一区二区视频| 久久免费影院| 99成人在线| 久久亚洲人体| 午夜在线播放视频欧美| 国产精品高潮呻吟久久久久| 日韩中文av| 亚洲一区欧美激情| 日韩欧美高清一区二区三区| 自拍日韩欧美| 久久美女性网| 亚洲欧美日韩国产一区二区| 国产农村妇女精品一二区|