結(jié)論：
1、 200w數(shù)據(jù)，合理使用索引的情況下，單個stationId下4w數(shù)據(jù)。mongodb查詢和排序的性能理想，無正則時client可以在600ms+完成查詢，qps300+。有正則時client可以在1300ms+完成查詢，qps140+。
2、 Mongodb的count性能比較差，非并發(fā)情況下client可以在330ms完成查詢，在并發(fā)情況下則需要1-3s?？梢钥紤]估算總數(shù)的方法，http://blog.sina.com.cn/s/blog_56545fd30101442b.html
測試環(huán)境：mongodb使用 replica set，1主2從，96G內(nèi)存，版本2.6.5
Mem消耗（4個200w數(shù)據(jù)的collection）：
空間消耗（測試數(shù)據(jù)最終選定的collection）：
Jvm: -Xms2G -Xmx2G
Ping延遲33ms
查詢都使用ReadPreference.secondaryPreferred()
無正則
1、 創(chuàng)建stationId, firmId復合引查詢場景（200w集合，12個字段）
查詢次數(shù)：20000
查詢條件：多條件查詢10條記錄，并逐條獲取記錄
|
1
2
3
4
5
6
|
String key = "清泉" + r.nextInt(1000);Pattern pattern = Pattern.compile(key);BasicDBObject queryObject = new BasicDBObject("stationId",new BasicDBObject("$in", new Integer[]{20})).append("firmId", new BasicDBObject("$gt", 5000)).append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2); |
并發(fā)：200
耗時：61566
單次耗時（server）：124ms
Qps:324.85
2、 創(chuàng)建stationId, firmId復合引查詢場景（200w集合，12個字段）
查詢次數(shù)：20000
查詢條件：多條件查詢10條記錄排序，并逐條獲取記錄
|
1
2
3
4
5
6
7
|
String key = "清泉" + r.nextInt(100);Pattern pattern = Pattern.compile(key);BasicDBObject queryObject = new BasicDBObject("stationId",new BasicDBObject("$in", new Integer[]{4, 20})).append("firmId", new BasicDBObject("$gt", 5000)).append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).sort(new BasicDBObject("firmId", 1)).limit(10).skip(2); |
并發(fā)：200
耗時：63187
單次耗時（server）：119ms
Qps:316.52
3、 創(chuàng)建stationId, firmId復合引查詢場景（200w集合，12個字段）
查詢次數(shù)：2000
查詢條件：多條件查詢記錄數(shù)
|
1
2
3
4
5
6
7
|
String key = "清泉" + r.nextInt(100);Pattern pattern = Pattern.compile(key);BasicDBObject queryObject = new BasicDBObject("stationId",new BasicDBObject("$in", new Integer[]{4, 20})).append("firmId", new BasicDBObject("$gt", 5000)).append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); long count = collection.count(queryObject); |
并發(fā)：200
耗時：21887
單次耗時（client）：280ms
Qps:91.38
有正則
4、 創(chuàng)建stationId, firmId復合引查詢場景（200w集合，12個字段）
查詢次數(shù)：20000
查詢條件：多條件查詢10條記錄，并逐條獲取記錄
|
1
2
3
4
5
6
7
8
|
String key = "清泉" + r.nextInt(1000);Pattern pattern = Pattern.compile(key);BasicDBObject queryObject = new BasicDBObject("stationId",new BasicDBObject("$in", new Integer[]{20})).append("firmId", new BasicDBObject("$gt", 5000)).append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))).append("firmName", pattern);DBCursor cursor = collection.find(queryObject).limit(10).skip(2); |
并發(fā)：200
耗時：137673
單次耗時（server）：225ms
Qps:145.27
5、 創(chuàng)建stationId, firmId復合引查詢場景（200w集合，12個字段）
查詢次數(shù)：20000
查詢條件：多條件查詢10條記錄排序，并逐條獲取記錄
|
1
2
3
4
5
6
7
8
9
|
String key = "清泉" + r.nextInt(1000);Pattern pattern = Pattern.compile(key);BasicDBObject queryObject = new BasicDBObject("stationId",new BasicDBObject("$in", new Integer[]{4, 20})).append("firmId", new BasicDBObject("$gt", 5000)).append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))).append("firmName", pattern);DBCursor cursor = collection.find(queryObject).sort(new BasicDBObject("firmId", 1)).limit(10).skip(2); |
并發(fā)：200
耗時：138673
單次耗時（server）：230ms
Qps:144.22
6、 創(chuàng)建stationId, firmId復合引查詢場景（200w集合，12個字段）
查詢次數(shù)：2000
查詢條件：多條件查詢記錄數(shù)
|
1
2
3
4
5
6
7
8
|
String key = "清泉" + r.nextInt(1000);Pattern pattern = Pattern.compile(key);BasicDBObject queryObject = new BasicDBObject("stationId",new BasicDBObject("$in", new Integer[]{4, 20})).append("firmId", new BasicDBObject("$gt", 5000)).append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))).append("firmName", pattern);long count = collection.count(queryObject); |
并發(fā)：200
耗時：23155
單次耗時（client）：330ms
Qps:86.37
MongoDB索引特點
1、 復合索引必須命中首字段，否則無法生效。后面的字段可以不按順序命中。
2、 復合索引字段越多占用空間越大，但對查詢性能影響不大（數(shù)組索引除外）。
3、 會根據(jù)sort字段選擇索引，優(yōu)先級超過復合索引中的非首字段。
4、 命中復合索引的情況下，數(shù)據(jù)量<10w的情況下，過濾非索引字段，效率也比較高。
5、 全文檢索性能比較差，200w數(shù)據(jù)命中50w的情況下，全文檢索需要10+s，正則需要1s。
MongoDB客戶端配置，可以提出來做成spring注入，設置最大連接數(shù)什么的。
|
1
2
3
4
5
6
7
|
MongoClientOptions options =MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2).connectionsPerHost(500).build();mongoClient = new MongoClient(Arrays.asList(new ServerAddress("10.205.68.57", 8700),new ServerAddress("10.205.68.15", 8700),new ServerAddress("10.205.69.13", 8700)), options);mongoClient.setReadPreference(ReadPreference.secondaryPreferred()); |
mongoDB調(diào)研_結(jié)論.docx為最終場景下的測試數(shù)據(jù)，分為有正則和無正則。
mongoDB調(diào)研_remote.docx為測試驗證過程中的數(shù)據(jù)，有可能存在緩存等情況，不一定準確，功參考。
關(guān)于MongoDB 查詢優(yōu)化原則的大家了解嗎？下文給大家介紹下，具體內(nèi)容如下所示：
1.在查詢條件、排序條件、統(tǒng)計條件的字段上選擇創(chuàng)建索引，可以顯著提高查詢效率。
2.用$or時把匹配最多結(jié)果的條件放在最前面，用$and時把匹配最 少 結(jié)果的條件放在最前面。
3.使用limit()限定返回結(jié)果集的大小，減少數(shù)據(jù)庫服務器的資源消耗，以及網(wǎng)絡傳輸?shù)臄?shù)據(jù)量。
4.盡量少用$in，而是分解成一個一個的單一查詢。尤其是在分片上，$in會讓你的查詢?nèi)ッ恳粋€分片上查一次，如果實在要用的話，先在每個分片上建索引。
5.盡量不用模糊匹配查詢，用其它精確匹配查詢代替，比如$in、$nin。
6.查詢量大、并發(fā)大的情況，通過前端加緩存解決。
7.能不用安全模式的操作就不用安全模式，這樣客戶端沒必要等待數(shù)據(jù)庫返回查詢結(jié)果以及處理異常，快了一個數(shù)量級。
8.MongoDB的智能查詢優(yōu)化，判斷粒度為query條件，而skip和limit都不在其判斷之中，當分頁查詢最后幾頁時，先用order反向排序。
9.盡量減少跨分片查詢，balance均衡次數(shù)少。
10.只查詢要使用的字段，而不查詢所有字段。
11.更新字段的值時，使用$inc比update效率高。
12.apped collections比普通collections的讀寫效率高。
13.server-side processing類似于SQL查詢的存儲過程，可以減少網(wǎng)絡通訊的開銷。
14.必要時使用hint()強制使用某個索引查詢。
15.如果有自己的主鍵列，則使用自己的主鍵列作為id，這樣可以節(jié)約空間，也不需要創(chuàng)建額外的所以。
16.使用explain，根據(jù)exlpain plan進行優(yōu)化。
17.范圍查詢的時候盡量用$in、$nin代替。
18.查看數(shù)據(jù)庫查詢?nèi)罩?，具體分析的效率低的操作。
19.mongodb有一個數(shù)據(jù)庫優(yōu)化工具database profiler，能夠檢測數(shù)據(jù)庫操作的性能?？梢园l(fā)現(xiàn)query或者write操作中執(zhí)行效率低的，從而針對這些操作進行優(yōu)化。
20.盡量把更多的操作放在客戶端，當然這就是mongodb設計的理念之一。
