一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務器之家:專注于服務器技術及軟件下載分享
分類導航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|數據庫技術|

服務器之家 - 數據庫 - Mysql - MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式詳解

MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式詳解

2019-12-30 15:44MYSQL教程網 Mysql

本篇文章是對使用MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式進行了詳細的分析介紹,需要的朋友參考下

我們知道可以將一個海量記錄的 MySQL 大表根據主鍵、時間字段,條件字段等分成若干個表甚至保存在若干服務器中。 
唯一的問題就是跨服務器批量查詢麻煩,只能通過應用程序來解決。談談在Java中的解決思路。其他語言原理類似。
這里說的分表不是 MySQL 5.1 的 partition,而是人為把一個表分開存在若干表或不同的服務器。
1. 應用程序級別實現
見示意圖

MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式詳解

electThreadManager 分表數據查詢管理器
它為分表的每個database or server 建立一個 thread pool
addTask() - 添加任務
stopTask() - 停止任務
getResult() - 獲取執行結果
最快的執行時間 = 最慢的 MySQL 節點查詢消耗時間
最慢的執行時間 = 超時時間

某個 ThreadPool 忙時候處理流程
1. 假如 ThreadPoolN 非常忙,(也意味 DB N 非常忙);
2. 新的查詢任務到來,addTask(), 新的任務的一個thread加到ThreadPoolN任務排隊中
3. 外層應用已經獲得其他 thread 返回結果,繼續等待
4. 外層應用等待超時的時間到,調用 stopTask() 設置該任務全部 thread 中的停止標志, 外層應用返回。
5. 若干時間后,ThreadPoolN取到該排隊 Thread, 因為設置了停止位,線程直接運行完成。
2. JDBC 層實現
做一個 JDBC Driver 的包裝,攔截 PreparedStatement, Statement 的 executeQuery()
然后調用 SelectThreadManager 完成
3. MySQL partition
MySQL 5.1 的 partition 功能由于單張表的數據跨文件,批量查詢時候同樣存在上述問題,不過它是在 MySQL 內部實現的,不需要外部調用者關心。其查詢實現的原理應該大致類似。
但 partition 只解決了 IO 的瓶頸,并不能解決 CPU 計算的瓶頸,因此無法代替傳統的手工分表方式。

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 69短视频| 东方影视欧美天天影院 | 精品AV无码一二三区视频 | 欧美成人免费观看国产 | 日本激情小说 | 桃花岛在线 | 国产成人h视频在线播放网站 | 2022最新国产在线 | 99热精品成人免费观看 | 西野翔全部作品在线观看 | 青青草原在线 | 欧美特黄三级在线观看 | 亚洲26uuuu最新地址 | 免费看国产精品麻豆 | 亚洲欧美另类在线观看 | 99精品在线视频观看 | 男男同志gaysxxx| 韩国三级做爰 | 免费二区 | 5g影院天天5g爽天天看 | 175m美女被网友灌醉啪啪玩脚 | 欧美二区三区 | 国产亚洲一欧美一区二区三区 | 视频一区精品 | 亚洲精品乱码久久久久久蜜桃欧美 | 婷婷久久综合 | 国产精视频 | 无人区国产大片 | 国产精品综合在线 | 成人私人影院www片免费高清 | 98pao强力打造高清免费 | 国产精品国语自产拍在线观看 | 99福利影院| 白丝h视频 | 日本人交换乱理伦片 | 欧美亚洲一区二区三区在线 | 久久99热狠狠色一区二区 | 国产在线精品成人一区二区三区 | 天天综合天天综合色在线 | 亚洲风情无码免费视频 | 草莓永久地域网名入2022 |