色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

MySQL 批量插入不重復數據的解決方法

Android編程精選 ? 來源:JAVA葵花寶典 ? 作者:JAVA葵花寶典 ? 2021-07-02 15:28 ? 次閱讀

來源丨JAVA葵花寶典

知識這個東西,看來真的要溫故而知新,一直不用,都要忘記了

業務很簡單:需要批量插入一些數據,數據來源可能是其他數據庫的表,也可能是一個外部excel的導入

那么問題來了,是不是每次插入之前都要查一遍,看看重不重復,在代碼里篩選一下數據,重復的就過濾掉呢?

向大數據數據庫中插入值時,還要判斷插入是否重復,然后插入。如何提高效率

看來這個問題不止我一個人苦惱過。

解決的辦法有很多種,不同的場景解決方案也不一樣,數據量很小的情況下,怎么搞都行,但是數據量很大的時候,這就不是一個簡單的問題了。

幾百萬的數據,不可能查出來,做去重處理

說一下我Google到的解決方案

1、insert ignore into

當插入數據時,如出現錯誤時,如重復數據,將不返回錯誤,只以警告形式返回。所以使用ignore請確保語句本身沒有問題,否則也會被忽略掉。例如:

INSERT IGNORE INTO user (name) VALUES (‘telami’)

這種方法很簡便,但是有一種可能,就是插入不是因為重復數據報錯,而是因為其他原因報錯的,也同樣被忽略了~

2、on duplicate key update

當primary或者unique重復時,則執行update語句,如update后為無用語句,如id=id,則同1功能相同,但錯誤不會被忽略掉。

例如,為了實現name重復的數據插入不報錯,可使用一下語句:

INSERT INTO user (name) VALUES (‘telami’) ON duplicate KEY UPDATE id = id

這種方法有個前提條件,就是,需要插入的約束,需要是主鍵或者唯一約束(在你的業務中那個要作為唯一的判斷就將那個字段設置為唯一約束也就是unique key)。

3、insert … select … where not exist

根據select的條件判斷是否插入,可以不光通過primary 和unique來判斷,也可通過其它條件。例如:

INSERT INTO user (name) SELECT ‘telami’ FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)

這種方法其實就是使用了mysql的一個臨時表的方式,但是里面使用到了子查詢,效率也會有一點點影響,如果能使用上面的就不使用這個。

4、replace into

如果存在primary or unique相同的記錄,則先刪除掉。再插入新記錄。

REPLACE INTO user SELECT 1, ‘telami’ FROM books

這種方法就是不管原來有沒有相同的記錄,都會先刪除掉然后再插入。

實踐

選擇的是第二種方式

pYYBAGDewGiAD4ryAAAloA9QPzg560.png

這里用的是Mybatis,批量插入的一個操作,mobile_number 已經加了唯一約束。這樣在批量插入時,如果存在手機號相同的話,是不會再插入了的。

責任編輯:gt

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據庫
    +關注

    關注

    7

    文章

    3794

    瀏覽量

    64363
  • 大數據
    +關注

    關注

    64

    文章

    8883

    瀏覽量

    137407

原文標題:MySQL 批量插入:如何不插入重復數據?

文章出處:【微信號:AndroidPush,微信公眾號:Android編程精選】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    數據數據恢復—Mysql數據庫表記錄丟失的數據恢復流程

    Mysql數據庫故障: Mysql數據庫表記錄丟失。 Mysql數據庫故障表現: 1、
    的頭像 發表于 12-16 11:05 ?115次閱讀
    <b class='flag-5'>數據</b>庫<b class='flag-5'>數據</b>恢復—<b class='flag-5'>Mysql</b><b class='flag-5'>數據</b>庫表記錄丟失的<b class='flag-5'>數據</b>恢復流程

    Ubuntu系統常見問題及解決方法

    連接到互聯網 問題描述: 用戶在安裝Ubuntu后發現無法連接到互聯網。 解決方法: 檢查網絡連接: 確保網線已正確插入或Wi-Fi已連接。 檢查網絡設置: 打開“設置”>“網絡”,檢查網絡配置是否正確。 重啟網絡服務: 打開終端,輸入 sudo service netw
    的頭像 發表于 12-12 14:32 ?244次閱讀

    數據數據恢復—MYSQL數據庫ibdata1文件損壞的數據恢復案例

    mysql數據庫故障: mysql數據庫文件ibdata1、MYI、MYD損壞。 故障表現:1、數據庫無法進行查詢等操作;2、使用my
    的頭像 發表于 12-09 11:05 ?137次閱讀

    以太網組網常見故障及解決方法

    相互通信。 解決方法: 檢查網線是否損壞,使用網線測試儀進行測試。 確保網線插頭(RJ45)插入到位,沒有松動。 更換網線或接口,排除物理損壞的可能性。 檢查交換機和路由器的端口狀態,確保它們正常工作。 2. IP地址沖突 故障現象: 網絡中
    的頭像 發表于 11-08 09:13 ?625次閱讀

    數據中心提高存儲性能的方法是什么?

    這些技術是走向云計算的重要的第一步。 重復數據刪除 在任何數據存儲系統最大的阻礙是相關的冗余數據。采用智能壓縮技術,可以刪除重復數據,只保留在磁盤上的
    的頭像 發表于 08-05 11:40 ?403次閱讀

    ESP32-C3使用http OTA時串口無法接收數據,請問有解決方法嗎?

    在使用http OTA時串口無法接收數據,TX可以正常發送.請問有解決方法
    發表于 06-19 06:36

    鴻蒙OpenHarmony:【常見編譯問題和解決方法

    常見編譯問題和解決方法
    的頭像 發表于 05-11 16:09 ?2151次閱讀

    Tektronix示波器無法檢測到探頭的可能原因及解決方法

    的通道插口。 探頭連接松動或接觸不良。 探頭線纜損壞導致連接問題。 解決方法: 確保探頭正確插入到示波器的通道插口,并旋緊插頭。 檢查探頭連接是否緊固,確保良好的接觸。 如果發現探頭線纜有損壞,及時更換或修復。 2. 探頭校準問題 原因: 探
    的頭像 發表于 05-08 11:09 ?734次閱讀
    Tektronix示波器無法檢測到探頭的可能原因及<b class='flag-5'>解決方法</b>

    分析電源電感發熱解決方法

    電子發燒友網站提供《分析電源電感發熱解決方法.docx》資料免費下載
    發表于 03-29 14:39 ?3次下載

    EMI電磁干擾:原理、影響及解決方法詳解?

    EMI電磁干擾:原理、影響及解決方法詳解?|深圳比創達電子
    的頭像 發表于 03-21 10:02 ?875次閱讀
    EMI電磁干擾:原理、影響及<b class='flag-5'>解決方法</b>詳解?

    激光打標機紅光與激光不重合:原因及解決方案

    激光打標機紅光和激光不在一個位置的問題可能由多種原因導致。以下是一些可能的原因和解決方法:1.激光器光路調整不當:激光器光路調整不當會導致激光束偏移,從而使紅光與激光不重合。解決方法是重新調整激光器
    的頭像 發表于 03-09 16:35 ?1146次閱讀
    激光打標機紅光與激光<b class='flag-5'>不重</b>合:原因及解決方案

    MySQL密碼忘記了怎么辦?MySQL密碼快速重置方法步驟命令示例!

    MySQL密碼忘記了怎么辦?MySQL密碼快速重置方法步驟命令示例! MySQL是一種常用的關系型數據庫管理系統,如果你忘記了
    的頭像 發表于 01-12 16:06 ?743次閱讀

    PCB壓合問題解決方法

    PCB壓合問題解決方法
    的頭像 發表于 01-05 10:32 ?1056次閱讀

    導致MySQL索引失效的情況以及相應的解決方法

    導致MySQL索引失效的情況以及相應的解決方法? MySQL索引的目的是提高查詢效率,但有些情況下索引可能會失效,導致查詢變慢或效果不如預期。下面將詳細介紹導致MySQL索引失效的情況
    的頭像 發表于 12-28 10:01 ?752次閱讀

    mysql密碼忘了怎么重置

    mysql密碼忘了怎么重置? MySQL是一種開源的關系型數據庫管理系統,密碼用于保護數據庫的安全性和保密性。如果你忘記了MySQL的密碼,
    的頭像 發表于 12-27 16:51 ?6668次閱讀
    主站蜘蛛池模板: 亚洲 日本 天堂 国产 在线| 日本漫画母亲口工子全彩| 女配穿书病娇被强啪h| 十二月综合缴缴情| 亚洲色播永久网址大全| a级男女性高爱潮高清试看| 国产高潮国产高潮久久久久久| 久久久久久久尹人综合网亚洲| 青草久久影院| 亚洲色噜噜狠狠网站| 被肉日常np高h| 精品国产乱码久久久久久免费| 男生插曲女生身全过程| 亚洲AV精品无码成人| 99热久久爱五月天婷婷| 国产无遮挡又黄又爽在线视频| 免费鲁丝片一级在线观看| 亚洲 欧美 清纯 校园 另类| [高清无码] 波多野结衣| 日本xxx护士与黑人| 亚洲精品理论电影在线观看| jizz丝袜| 久久精品一本到99热| 特级做A爰片毛片免费69| 2020精品国产视| 国产午夜人成在线视频麻豆| 欧美兽交YOYO| 又大又硬又爽免费视频| 国产成人片视频一区二区青青| 麻豆XXXX乱女少妇精品| 午夜深情在线观看免费| jizz女学| 伦理片飘花免费影院| 亚洲第一国产| 沟沟人体一区二区| 免费A级毛片无码无遮挡| 老太婆风流特黄一级| 亚洲AV无码一区二区三区牛牛 | 116美女写真午夜电影z| 国产午夜视频| 色综合伊人色综合网站下载|