MONGO before background CREATE INDEX--noindexbuildretry

In the case of a large amount of data, any database system is a time-consuming project when creating an index. MongoDB is no exception. Therefore, the creation of MongoDB index has two choices, one is the foreground mode, and the other is the backstage mode. What is the difference between these two approaches, and is it possible to see the progress of indexing completion when creating an index? This article will be a description based on this and also describes the considerations related to index creation.

First, how to create the index

1. 前台方式

2. 缺省情况下，当为一个集合创建索引时，这个操作将阻塞其他的所有操作。即该集合上的无法正常读写，直到索引创建完毕

3. 任意基于所有数据库申请读或写锁都将等待直到前台完成索引创建操作

5. 后台方式

6. 将索引创建置于到后台，适用于那些需要长时间创建索引的情形

7. 这样子在创建索引期间，MongoDB依旧可以正常的为提供读写操作服务

8. 等同于关系型数据库在创建索引的时候指定online，而MongoDB则是指定background

9. 其目的都是相同的，即在索引创建期间，尽可能的以一种占用较少的资源占用方式来实现，同时又可以提供读写服务

10. 后台创建方式的代价：索引创建时间变长

12. 后台创建索引的示例

13. db.people.createIndex( { zipcode: 1}, {background: true} )

14. db.people.createIndex( { city: 1}, {background: true, sparse: true } )

16. 缺省情况下background选项的值为false

Ii. Considerations during index creation

1. 如前所述，基于后台创建索引时，其他的数据库操作能被完成。但是对于mongo shell会话或者你正在创建索引的这个连接

2. 将不可用，直到所有创建完毕。如果需要做一些其它的操作。则需要再建立其它的连接。

4. 在索引创建期间，即使完成了部分索引的创建，索引依旧不可用，但是一旦创建完成即可使用。

6. 基于后台创建索引期间不能完成涉及该集合的相关管理操作

7. repairDatabase

8. db.collection.drop()

9. compact

11. 意外中断索引创建

12. 如果在后台创建索引期间，mongod实例异常终止，当mongod实例重新启动后，未完成的索引创建将作为前台进程来执行

13. 如果索引创建失败，比如由于重复的键等，mongod将提示错误并退出

14. 在一个索引创建失败后启动mongod，可以使用storage.indexBuildRetry or --noIndexBuildRetry跳过索引创建来启动

Iii. performance during index creation

1. 后台创建索引比前台慢，如果索引大于实际可用内存，则需要更长的时间来完成索引创建

2. 所有涉及到该集合的相关操作在后台期间其执行效能会下降，应在合理的维护空挡期完成索引的创建

Iv. naming rules for indexes

1. 缺省情况下，索引名以键名加上其创建顺序(1或者-1)组合而成。

2. db.products.createIndex( { item: 1, quantity: -1 } )

3. 比如上面的索引创建后，其索引名为item_1_quantity_-1

4. 可以指定自定义的索引名称

6. db.products.createIndex( { item: 1, quantity: -1 } , { name: "inventory_idx" } )

8. 如上方式，我们指定了了索引名称为inventory_idx

V. View index Creation Progress

2. 可使用 db.currentOp() 命令观察索引创建的完成进度

6. > db.currentOp(

8. {

10. $or: [

12. { op: "command", "query.createIndexes": { $exists: true } },

14. { op: "insert", ns: /\.system\.indexes\b/ }

16. ]

18. }

20. )

24. //下面通过一个索引创建示例来查看索引完成进度

26. //首选创建一个500w文档的集合

30. > db.version() // Author : Leshami

32. 3.2.10 // Blog : http://blog.csdn.net/leshami

36. > for (var i=1;i<=5000000;i++){

38. db.inventory.insert({id:i,item:"item"+i,stock:Math.floor(i*Math.random())})

40. }

42. WriteResult({ "nInserted" : 1 })

46. > db.inventory.find().limit(3)

48. { "_id" : ObjectId("581bfc674b0d633653f4427e"), "id" : 1, "item" : "item1", "stock" : 0 }

50. { "_id" : ObjectId("581bfc674b0d633653f4427f"), "id" : 2, "item" : "item2", "stock" : 0 }

52. { "_id" : ObjectId("581bfc674b0d633653f44280"), "id" : 3, "item" : "item3", "stock" : 1 }

56. > db.inventory.find().count()

58. 5000000

62. //下面开始创建索引

64. > db.inventory.createIndex({item:1,unique:true})

68. //使用下面的命令查看索引完成进度

70. > db.currentOp(

72. {

74. $or: [

76. { op: "command", "query.createIndexes": { $exists: true } },

78. { op: "insert", ns: /\.system\.indexes\b/ }

80. ]

82. }

84. )

88. //结果如下

90. {

92. "inprog" : [

94. {

96. "desc" : "conn1", //连接描述

98. "threadId" : "139911670933248", //线程id

100. "connectionId" : 1,

102. "client" : "127.0.0.1:37524", //ip及端口

104. "active" : true, //活动状态

106. "opid" : 5014925,

108. "secs_running" : 21, //已执行的时间

110. "microsecs_running" : NumberLong(21800738),

112. "op" : "command",

114. "ns" : "test.$cmd",

116. "query" : {

118. "createIndexes" : "inventory", //这里描述了基于inventory正在创建索引

120. "indexes" : [

122. {

124. "ns" : "test.inventory",

126. "key" : {

128. "item" : 1,

130. "unique" : true

132. },

134. "name" : "item_1_unique_true"

136. }

138. ]

140. },

142. "msg" : "Index Build Index Build: 3103284/5000000 62%", //这里是完成的百分比

144. "progress" : {

146. "done" : 3103722,

148. "total" : 5000000

150. },

152. "numYields" : 0,

154. "locks" : { //当前持有的锁

156. "Global" : "w",

158. "Database" : "W",

160. "Collection" : "w"

162. },

164. "waitingForLock" : false,

166. "lockStats" : { //锁的状态信息

168. "Global" : {

170. "acquireCount" : {

172. "r" : NumberLong(1),

174. "w" : NumberLong(1)

176. }

178. },

180. "Database" : {

182. "acquireCount" : {

184. "W" : NumberLong(1)

186. }

188. },

190. "Collection" : {

192. "acquireCount" : {

194. "w" : NumberLong(1)

196. }

198. }

200. }

202. }

204. ],

206. "ok" : 1

208. }

212. //基于后台方式创建索引

216. > db.inventory.createIndex({item:1,unique:true},{background: true})

Vi. Creating a terminating Index

MONGO before background CREATE INDEX--noindexbuildretry