色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MyBatis批量插入別再亂用foreach了

jf_ro2CN3Fa ? 來源:CSDN ? 2023-03-13 09:47 ? 次閱讀

c1d45698-c02f-11ed-bfe3-dac502259ad0.jpg


近日,項目中有一個耗時較長的Job存在CPU占用過高的問題,經排查發現,主要時間消耗在往MyBatis中批量插入數據。mapper configuration是用foreach循環做的,差不多是這樣。(由于項目保密,以下代碼均為自己手寫的demo代碼)

<insertid="batchInsert"parameterType="java.util.List">
insertintoUSER(id,name)values
<foreachcollection="list"item="model"index="index"separator=",">
(#{model.id},#{model.name})
foreach>
insert>

這個方法提升批量插入速度的原理是,將傳統的:

INSERTINTO`table1`(`field1`,`field2`)VALUES("data1","data2");
INSERTINTO`table1`(`field1`,`field2`)VALUES("data1","data2");
INSERTINTO`table1`(`field1`,`field2`)VALUES("data1","data2");
INSERTINTO`table1`(`field1`,`field2`)VALUES("data1","data2");
INSERTINTO`table1`(`field1`,`field2`)VALUES("data1","data2");

轉化為:

INSERTINTO`table1`(`field1`,`field2`)
VALUES("data1","data2"),
("data1","data2"),
("data1","data2"),
("data1","data2"),
("data1","data2");

在MySql Docs中也提到過這個trick,如果要優化插入速度時,可以將許多小型操作組合到一個大型操作中。理想情況下,這樣可以在單個連接中一次性發送許多新行的數據,并將所有索引更新和一致性檢查延遲到最后才進行。

乍看上去這個foreach沒有問題,但是經過項目實踐發現,當表的列數較多(20+),以及一次性插入的行數較多(5000+)時,整個插入的耗時十分漫長,達到了14分鐘,這是不能忍的。在資料中也提到了一句話:

Of course don't combine ALL of them, if the amount is HUGE. Say you have 1000 rows you need to insert, then don't do it one at a time. You shouldn't equally try to have all 1000 rows in a single query. Instead break it into smaller sizes.

它強調,當插入數量很多時,不能一次性全放在一條語句里。可是為什么不能放在同一條語句里呢?這條語句為什么會耗時這么久呢?我查閱了資料發現:

Insert inside Mybatis foreach is not batch, this is a single (could become giant) SQL statement and that brings drawbacks:

  • some database such as Oracle here does not support.
  • in relevant cases: there will be a large number of records to insert and the database configured limit (by default around 2000 parameters per statement) will be hit, and eventually possibly DB stack error if the statement itself become too large.

Iteration over the collection must not be done in the mybatis XML. Just execute a simple Insertstatement in a Java Foreach loop. The most important thing is the session Executor type.

SqlSessionsession=sessionFactory.openSession(ExecutorType.BATCH);
for(Modelmodel:list){
session.insert("insertStatement",model);
}
session.flushStatements();

Unlike default ExecutorType.SIMPLE, the statement will be prepared once and executed for each record to insert.

從資料中可知,默認執行器類型為Simple,會為每個語句創建一個新的預處理語句,也就是創建一個PreparedStatement對象。在我們的項目中,會不停地使用批量插入這個方法,而因為MyBatis對于含有的語句,無法采用緩存,那么在每次調用方法時,都會重新解析sql語句。

Internally, it still generates the same single insert statement with many placeholders as the JDBC code above.

MyBatis has an ability to cache PreparedStatement, but this statement cannot be cached because it contains element and the statement varies depending on the parameters. As a result, MyBatis has to 1) evaluate the foreach part and 2) parse the statement string to build parameter mapping [1] on every execution of this statement.

And these steps are relatively costly process when the statement string is big and contains many placeholders.

[1] simply put, it is a mapping between placeholders and the parameters.

從上述資料可知,耗時就耗在,由于我foreach后有5000+個values,所以這個PreparedStatement特別長,包含了很多占位符,對于占位符和參數的映射尤其耗時。并且,查閱相關資料可知,values的增長與所需的解析時間,是呈指數型增長的。

c1e8ecb6-c02f-11ed-bfe3-dac502259ad0.png

所以,如果非要使用 foreach 的方式來進行批量插入的話,可以考慮減少一條 insert 語句中 values 的個數,最好能達到上面曲線的最底部的值,使速度最快。一般按經驗來說,一次性插20~50行數量是比較合適的,時間消耗也能接受。

重點來了。上面講的是,如果非要用的方式來插入,可以提升性能的方式。而實際上,MyBatis文檔中寫批量插入的時候,是推薦使用另外一種方法。(可以看 http://www.mybatis.org/mybatis-dynamic-sql/docs/insert.html 中 Batch Insert Support 標題里的內容)

SqlSessionsession=sqlSessionFactory.openSession(ExecutorType.BATCH);
try{
SimpleTableMappermapper=session.getMapper(SimpleTableMapper.class);
Listrecords=getRecordsToInsert();//notshown

BatchInsertbatchInsert=insert(records)
.into(simpleTable)
.map(id).toProperty("id")
.map(firstName).toProperty("firstName")
.map(lastName).toProperty("lastName")
.map(birthDate).toProperty("birthDate")
.map(employed).toProperty("employed")
.map(occupation).toProperty("occupation")
.build()
.render(RenderingStrategy.MYBATIS3);

batchInsert.insertStatements().stream().forEach(mapper::insert);

session.commit();
}finally{
session.close();
}

即基本思想是將 MyBatis session 的 executor type 設為 Batch ,然后多次執行插入語句。就類似于JDBC的下面語句一樣。

Connectionconnection=DriverManager.getConnection("jdbc//127.0.0.1:3306/mydb?useUnicode=true&characterEncoding=UTF-8&useServerPrepStmts=false&rewriteBatchedStatements=true","root","root");
connection.setAutoCommit(false);
PreparedStatementps=connection.prepareStatement(
"insertintotb_user(name)values(?)");
for(inti=0;i1,name);
ps.addBatch();
}
ps.executeBatch();
connection.commit();
connection.close();

經過試驗,使用了 ExecutorType.BATCH 的插入方式,性能顯著提升,不到 2s 便能全部插入完成。

總結一下,如果MyBatis需要進行批量插入,推薦使用 ExecutorType.BATCH 的插入方式,如果非要使用 的插入的話,需要將每次插入的記錄控制在 20~50 左右。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/yudao-cloud
  • 視頻教程:https://doc.iocoder.cn/video/


審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 參數
    +關注

    關注

    11

    文章

    1832

    瀏覽量

    32197
  • MySQL
    +關注

    關注

    1

    文章

    804

    瀏覽量

    26542

原文標題:求求你們了,MyBatis 批量插入別再亂用 foreach 了,5000 條數據花了 14 分鐘。。

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    MyBatis Oracle解析Excel文件

    MyBatis Oracle批量插入數據
    發表于 09-06 09:10

    MyBatis的整合

    SpringBoot-15-之整合MyBatis-注解篇+分頁
    發表于 10-28 08:09

    Mybatis是什么

    Mybatis第一講
    發表于 06-04 15:33

    接地磁珠不要亂用

    開關電源的相關知識學習教材資料——接地磁珠不要亂用
    發表于 09-20 16:10 ?0次下載

    mybatis快速入門

    本文詳細介紹mybatis相關知識,以及mybatis快速入門步驟詳解。
    的頭像 發表于 02-24 09:41 ?3522次閱讀
    <b class='flag-5'>mybatis</b>快速入門

    MyBatis的實現原理

    本文主要詳細介紹MyBatis的實現原理。mybatis底層還是采用原生jdbc來對數據庫進行操作的,只是通過 SqlSessionFactory,SqlSession Executor
    的頭像 發表于 02-24 11:25 ?6485次閱讀
    <b class='flag-5'>MyBatis</b>的實現原理

    Java的iterator和foreach遍歷集合源代碼

    Java的iterator和foreach遍歷集合源代碼
    發表于 03-17 09:16 ?9次下載
    Java的iterator和<b class='flag-5'>foreach</b>遍歷集合源代碼

    MySQL 批量插入不重復數據的解決方法

    業務很簡單:需要批量插入一些數據,數據來源可能是其他數據庫的表,也可能是一個外部excel的導入
    的頭像 發表于 07-02 15:28 ?2276次閱讀
    MySQL <b class='flag-5'>批量</b><b class='flag-5'>插入</b>不重復數據的解決方法

    PHP教程:foreach使用引用注意的問題

    PHP教程:foreach使用引用注意的問題(電源技術期刊查詢)-該文檔為PHP教程:foreach使用引用注意的問題總結文檔,是一份不錯的參考資料,感興趣的可以下載看看,,,,,,,,,,,,,,,,,
    發表于 09-22 12:28 ?9次下載
    PHP教程:<b class='flag-5'>foreach</b>使用引用注意的問題

    MyBatis批量插入數據的3種方法你知道幾種

    批量插入功能是我們日常工作中比較常見的業務功能之一, 今天 來一個 MyBatis 批量插入的匯總篇,同時對 3 種實現方法做一個性能測試,
    的頭像 發表于 12-08 17:56 ?4248次閱讀
    <b class='flag-5'>MyBatis</b><b class='flag-5'>批量</b><b class='flag-5'>插入</b>數據的3種方法你知道幾種

    Fluent Mybatis、原生MybatisMybatis Plus對比

    mapper中再組裝參數。那對比原生Mybatis, Mybatis Plus或者其他框架,FluentMybatis提供哪些便利呢?
    的頭像 發表于 09-15 15:41 ?1431次閱讀

    for循環和forEach的差異

    for循環是js提出時就有的循環方法。forEach是ES5提出的,掛載在可迭代對象原型上的方法,例如Array Set Map。forEach是一個迭代器,負責遍歷可迭代對象。那么遍歷 ,迭代 ,可迭代對象 分別是什么呢。
    的頭像 發表于 10-11 11:10 ?1338次閱讀

    MyBatis、JDBC等做大數據量數據插入的案例和結果

    30萬條數據插入插入數據庫驗證 實體類、mapper和配置文件定義 不分批次直接梭哈 循環逐條插入 MyBatis實現插入30萬條數據 JD
    的頭像 發表于 05-22 11:23 ?1075次閱讀
    <b class='flag-5'>MyBatis</b>、JDBC等做大數據量數據<b class='flag-5'>插入</b>的案例和結果

    如何調優MyBatis 25倍性能

    最近在壓測一批接口,發現接口處理速度慢的有點超出預期,感覺很奇怪,后面定位發現是數據庫批量保存這塊很慢。 這個項目用的是 mybatis-plus,批量保存直接用的是 mybatis
    的頭像 發表于 05-30 09:56 ?603次閱讀
    如何調優<b class='flag-5'>MyBatis</b> 25倍性能

    mybatis框架的主要作用

    MyBatis框架的主要作用包括以下幾個方面。 數據庫操作的簡化和標準化: MyBatis框架提供一種簡單的方式來執行數據庫操作,包括插入、更新、刪除和查詢等操作。通過使用
    的頭像 發表于 12-03 14:49 ?2025次閱讀
    主站蜘蛛池模板: 专干老肥熟女视频网站300部| 美女被抽插到哭内射视频免费| 抽插内射高潮呻吟V杜V| 66美女人体| 6080yy 久久 亚洲 日本| 伊人精品视频直播| 亚洲片在线观看| 亚洲精品一二三区-久久| 亚洲成av人影院| av影音先锋天堂网| GOGOGO高清在线播放韩国| 99久久久免费精品免费| 99久久综合精品免费| a级毛片黄免费a级毛片| my pico未删减在线观看| xx69美国| 公和熄洗澡三级中文字幕| 国产成人免费观看| 国产午夜在线观看视频| 国产在线精品亚洲第1页| 果冻传媒最新视频在线观看| 花蝴蝶在线观看免费8 | 亚洲spank男男实践网站| 亚洲福利精品电影在线观看| 亚洲国产系列一区二区三区| 亚洲日韩国产精品乱-久| 在线观看永久免费网址| 99精品视频在线观看| jizz非洲| 国产精品久久久久久人妻精品蜜桃| 国产精品自在在线午夜蜜芽tv在线| 国产精品青草久久福利不卡 | PORN白嫩内射合集| 东京热影院| 国产欧美一区二区精品仙草咪 | 99在线免费| 国产成人精品电影| 韩国伦理电影在线神马网| 久久青草免费线观最新 | 国产偷国产偷亚州清高APP| 极品美女穴|