目錄

• Mysql遷移歷史數據
• 需求陳述
• 心路歷程
• 最終實現
• 總結

Mysql遷移歷史數據

記錄一下工作中由于業務需要以及系統的數據庫模型變更，導致需要做一下歷史數據遷移的解決辦法

需求陳述

• 一共涉及到三張表，分別稱為A、B、C
• 歷史數據在表A中。
• A表中存的數據有兩部分，通過一個busi_reg_province_code 字段來區分
• 一部分插入到B表，一部分插入到C表（就是用busi_reg_province_code來區分的兩部分）
• 存入B中的部分，對于存入C中的部分是一對多的關系。（相當于B是做個匯總，C是詳細情況）
• 存入B的要計算存入C的某一字段值的總和

其實就是將一張表中的數據，拆分分別存入B和C中。但是B和C是一對多的關系。

心路歷程

Step1

• 說到數據遷移，第一想法就是通過insert into select 的語法形式來做數據遷移。
• 但是因為B是C數據的匯總，所以不免需要使用一些聚合函數做計算，還要分組。
• 嗯～想想就頭大。
• 嘗試著寫了一下以后，最后還是放棄了。（突然覺得自己對SQL是一無所知，菜的摳jio）

Step2

• 放棄了寫SQL，怎么辦呢？需求還得做。
• 那作為一名JAVA開發，于是寫一個接口的想法誕生了。
• 整理一下思路，發現用JAVA寫，嗯～（會心一笑）還是很容易的。
• 畢竟java8的流式處理還是很方便的。但是就在這時，心里突然又覺得 emm～ 我這樣逃避好像也不好啊。
• 沒有長進都，而且這個接口就調用一次，屬實是有點不合適。
• 所以覺得還是放棄JAVA方式。

Step3

• 既然還是用SQL語句來寫，但是什么sum、count、group by、case when 摻在一起又那么復雜又理不清，可咋辦呢？
• 那只好 必應一下。剛好查到了存儲結構。
• 但是此時思想還是停留在insert into select 的階段，但是因為主鍵并不是自增的，這個主鍵的問題得解決。

整理一下問題：

• 主鍵非自增，所以怎么賦值？
• 需要計算總值的列怎么計算？
• 怎么能寫一個SQL把兩個表都插入完成？

上面這幾個問題一出現，似乎已經沒辦法再使用insert into select的形式了。

所以只能一個一個循環處理。那怎么循環呢？

這個時候就行到了游標。可是這兩個東西，不管是觸發器，還是游標這個技能都已經封存已久，一點不記得了。所以重新學習一下

學習參考了一下這個文章。我覺得寫的還是蠻細致的

最終實現

下面是我最終寫完的存儲過程。用了游標的嵌套

#  --------------------------歷史數據遷移----------------------
# 刪除存儲過程
drop procedure if exists convertHistory;
# 創建一個存儲過程
create procedure convertHistory()
begin
  #   定義一個主鍵
  declare outerId bigint default (select min(RESOURCE_ID) from mkt_resource_conf);
  # 定義查詢插入的列
  declare caseName varchar(32);
  declare gradeId varchar(32);
  declare flowGrade bigint(10);
  declare allocateNum bigint(10);
  declare province varchar(8);
  declare flowUnit varchar(4);
  #   是否完成
  declare done int default false;
  # 創建游標
  declare orignData cursor for select CASE_NAME,
      FLOW_GRADE,
      GRADE_ID,
      QUANTITY,
      BUSI_REG_PROVINCE_CODE,
      FLOW_UNIT
       from prd_flow_info
       where BUSI_REG_PROVINCE_CODE = "100";
  #   指定游標循環結束時的返回值
  declare continue HANDLER FOR not found set done = true;
  #   把初始值ID減一個數目
  set outerId = outerId - 100;
  #   先把之前遷移的刪掉
  delete from mkt_resource_conf where REMARK = "歷史數據割接";
  #     刪掉之前的
  delete from mkt_resource_store_conf where REMARK = "歷史數據割接";
  # 打開游標
  open orignData;
  fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
  while (not done) do
  #     具體的業務邏輯
  #     查詢的都是配置項，那么插入到配置表
  #     配置項需要查詢一下該配置的總量
  select sum(QUANTITY)
  from prd_flow_info
  where FLOW_GRADE = flowGrade
    and BUSI_REG_PROVINCE_CODE = "99" into allocateNum;
  #     1、2G 的流量直接做轉換,轉為MB
  if flowUnit = "G" then
    set flowGrade = flowGrade * 1024;
  end if;

  insert into mkt_resource_conf
  values (outerId, caseName, gradeId, flowGrade, allocateNum, allocateNum, 1, "沒什么說明", "system", "system", sysdate(),
  "system", "system",
  sysdate(), "1", "歷史數據割接");
  #     查詢門店的配置，并且插入到門店的配置信息表
  #     這里就要寫一個嵌套的游標了
  begin
    #       定義一個配置表的ID
    declare storeConfId bigint default (select min(STORE_CONF_ID) from mkt_resource_store_conf);
    declare storeCode varchar(32);
    declare alloNum bigint(10);
    declare usedNum bigint(10);
    declare storeDone int default false;
    declare storeName varchar(128);
    #     定義游標
    declare storeData cursor for select store_code,QUANTITY,USE_NUM
 from prd_flow_info
 where GRADE_ID = gradeId
   and BUSI_REG_PROVINCE_CODE = "99";
    declare continue HANDLER FOR not found set storeDone = true;
    #     select gradeId;

    set storeConfId = storeConfId - 100;

    # 開始游標了
    open storeData;
    fetch storeData into storeCode,alloNum,usedNum;

    while (not storeDone) do
    #       從表里查一下storeName，沒有就沒轍了
    select STORE_NAME from mkt_resource_store_conf where STORE_CODE = storeCode limit 1 into storeName;
    #       開始保存到門店配置表
    insert into `mkt_resource_store_conf` (`store_conf_id`, `resource_id`, `store_code`, `STORE_NAME`,
   `allocated_res_num`,
   `used_res_num`,
   `create_id`, `create_name`, `create_time`, `update_id`, `update_name`,
   `update_time`,
   `state`, `remark`)
    values (storeConfId, outerId, storeCode, storeName, alloNum, usedNum, "system", "system", sysdate(), "system",
    "system",
    sysdate(),
    1, "歷史數據割接");
    commit ;
    #       ID -1
    set storeConfId = storeConfId - 1;
    fetch storeData into storeCode,alloNum,usedNum;
    end while;
    #     重置變量
    set storeDone = false;
    #     關閉內層游標
    close storeData;
  end;
  #   把初始值ID減一
  set outerId = outerId - 1;
  fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
  end while;
  #   關閉游標
  close orignData;

  SELECT * FROM mkt_resource_conf where REMARK = "歷史數據割接";
  SELECT * FROM mkt_resource_store_conf where REMARK = "歷史數據割接";
end;

call convertHistory();

總結

沒開始的時候覺得會很難，但是真的邊學邊寫的時候，心情就會逐漸轉變。萬事開頭難說的不錯，一旦開始獲得正向反饋，問題也就慢慢的迎刃而解了。

其實這個寫的并不復雜，只是代碼比較長。

總結一下：

• 首先要克服自己的心里恐懼
• 定義存儲過程的語法declare procedure
• 了解游標及存儲過程的使用場景
• 定義游標的過程declare 游標名 cursor for (select 語句)
• 打開游標open 游標名 關閉游標close 游標名
• 將游標中查詢的字段事先定義好，然后通過fetch 游標名 into 事先定義的變量 來獲得每一條數據（有點像ES6的generator，走一步踢一腳）
• 變量賦值select xxx into 變量 和 set xxx = 變量值
• 其他的就是條件控制語句loop 、while、if、else等

總的來說掌握基本語法，或者看一眼別人的格式，就可以模仿出來了。

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持。