In sharded clusters, if you do not use the _id field as the shard key, then your application must ensure the uniqueness of the values in the _id field to prevent errors.
This is most-often done by using a standard auto-generated ObjectId.
在分片中,也要保证object id的唯一性
整理自:
https://www.cnblogs.com/chenmh/p/8954584.html
https://cloud.tencent.com/developer/article/1451897
《MongoDB权威指南》
MongoDB拆分数据常用的数据分发方式有三种:
升序片键
随机分发片键
基于位置片键
一、升序片键
1.1 什么是升序片键
升序片键通常有点类似于date字段或者时objectId,是一种随着时间稳定增长的字段。
1.2 升序片键数据插入表现
升序片键在数据插入会带来一些属性,通常是不良属性
1、最大快现象
假设要建立一个新文档,它会位于哪个块?答案是范围为objectId("5115aa552cascsa222")到
$maxkey的块。这个块叫做最大快。因为此块包含$maxkey。
所有的写都会被路由到一个分片中。该块是唯一一个不断增长和拆分的块,因为他是唯一一个能够接收到插入请求的块。
随着新数据的不断插入,该最大块会不断拆分处新的小块。
2、分片内的数据块不均匀
这种模式经常导致MongoDB的数据均匀处理变得更为困难,因为所有的新块都是由同一分片创建。因此,
MongoDB必须不断将一些块移入其他分片,而不能像在一个比较均匀的分发系统中那样,只需纠正那些
比较小的不均衡就好了。
二、随机分发的片键
2.1 什么是随机分发片键
随即分发的键可以是用户名、邮件地址、UDID(唯一设备标识符)、MD5散列值,或者是数据集中其他一些
没有规律的键。
2.2 随即分发片键数据插入表现
1、写入数据是随机分发,各个片键增长速度应大致相同,减少了需要进行迁移的次数
2、随即分发唯一弊端在于
MongoDB在随机访问超出RAM大小的数据失效率不高。然而,如果拥有足够多的RAM或者是并不介意系统
性能的话,使用随机片键在集群上分配负载是非常好的。
三、基于位置的片键
3.1 什么是基于位置的片键
基于位置的片键可以是用户的IP、经纬度、或者是地址。
位置片键不必与实际的物理位置字段相关:这里的位置比较抽象,数据会依据这个位置进行分组。无论
如何,所有与该键值比较接近的文档都会被保存在同一范围的块中。这样可以比较方便的将数据与相应的
用户,以及相关联的数据保存在一起。
3.2 基于位置的片键数据插入表现
1、使用tag将特定范围的块出现在特定的分片中。
比如:IP段,让“56.*.*.*"(美国邮政署的IP段)出现在shard0000,让"17.*.*.*"(苹果公司的IP段)出现在
shard0000或者shard0002上。
>sh.addShardTag("shard0000","USPS")
>sh.addShardTag("shard0000","Apple")
>sh.addShardTag("shard0002","Apple")
四、片键策略
针对不同类型应用程序的几种片键选项
4.1 散列片键
1、散列片键特性
优点:
如果追求数据加载速度的极致,那么散列片键(Hashed Shard Key)是最佳选择。
散列片键可使其他任何键随机分发,因此,如果打算在大量查询中使用升序键,但同时又希望写入
数据随机分发的话,散列片键是个非常好的选择。
弊端:
无法使用散列片键做指定目标的范围查询。如果无需做范围查询,那么散列片键就非常适合。
2、创建一个散列片键
1)数据库启用分片
>sh.enableSharding("app")
2)在已经存在集合上面使用散列片键
创建散列索引
>sh.users.ensureIndex({"username":"hashed"})
然后对集合分片
>sh.shardCollection("app.users",{"username":"hashed"})
3)在不存在的集合上面使用散列片键
语法同上,但是有如下注意点
MongoDB假设我们希望对数据块进行均衡分发,所以他会立即创建一些空的块,并将这些块分发在集群
中。
3、散列分片的局限
1)不能使用unique选项
2)与其他分片键一样,不能使用数组字段
3)浮点型的值会被取证,然后才进行散列,所以1和1.999会得到形同的散列值
4.2 Ranged Sharding 范围片键
通过分片键的值来将数据分成不同的范围。它可以提供比较快的范围查询,但是当分片键选择不好的时候,也会降低读写性能 。 如果没有配置Hashed Sharding或者zones(https://docs.mongodb.com/manual/core/zone-sharding/#zone-sharding)它是默认的分片键方法。
sh.shardCollection( "database.collection", { <shard key> } )
大致分布见下图:
4.3zones sharding(列表分区)
The following image illustrates a sharded cluster with three shards and two zones. The A zone represents a range with a lower boundary of 1 and an upper bound of 10. The B zone represents a range with a lower boundary of 10 and an upper boundary of 20. Shards Alpha and Beta have the A zone. Shard Beta also has the B zone. Shard Charlie has no zones associated with it. The cluster is in a steady state and no chunks violate any of the zones.
For example, given a shard key { a : 1, b : 2, c : 3 }, creating or updating a zone to cover values of b requires including a as the prefix. Creating or updating a zone to covers values of c requires including a and b as the prefix. 创建shard tag:
sh.addShardTag("shard0000", "NYC")sh.addShardTag("shard0001", "NYC")sh.addShardTag("shard0002", "SFO")sh.addShardTag("shard0002", "NRT")
创建zone rang:
sh.addTagRange("records.users", { zipcode: "10001" }, { zipcode: "10281" }, "NYC")sh.addTagRange("records.users", { zipcode: "11201" }, { zipcode: "11240" }, "NYC")sh.addTagRange("records.users", { zipcode: "94102" }, { zipcode: "94135" }, "SFO")
参考:https://docs.mongodb.com/manual/tutorial/manage-shard-zone/
与hashed shard key一起使用时,zone的范围一般要覆盖minKey和maxKey才可以。 参考:https://docs.mongodb.com/manual/core/zone-sharding/#zone-sharding
比如对于一些日志非查询文档,可以通过标签将其只插入到某个分片中。例如
sh.addTagRange("test.log",{ "_id" : { "$minKey" : 1 } }, { "_id" : { "$maxKey" : 1 } },"tag_rs-a");
可以在config库中的tag文档中查看设置的标签信息。
use config db.tags.find();
4.4 组合片键
数据库中没有比较合适的片键供选择,或者是打算使用的片键基数太小(即变化少如星期只有7天可变化),可以选另一个字段使用组合片键,甚至可以添加冗余字段来组合。一般是粗粒度+细粒度进行组合。
组合片键的创建,对GridFS的chunks集合使用files_id和n组合分片。
组合分片是比较好的一种分片的选择,好的组合分片可以同时解决热点和随机读IO问题。例
1)数据库启用分片
sh.enableSharding("test")
2)集合设置分片键(新建分片情况)
sh.shardCollection("test.bbbb",{"username":1,"_id":1});
3)查分片信息
sh.status()