【注意】最后更新于 November 2, 2018,文中内容可能已过时,请谨慎使用。
我们上一篇主要分析了boltdb初始化,也就是创建一个新的数据库的过程。
读取
数据库如果直接从文件读取,会效率低下,因此bolt做了一个mmap,也就是将数据使用内存映射的方法读取对应的数据。
我们接着第一篇的脚步,往后面执行。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
// Initialize page pool.
db.pagePool = sync.Pool{
New: func() interface{} {
return make([]byte, db.pageSize)
},
}
// Memory map the data file.
if err := db.mmap(options.InitialMmapSize); err != nil {
_ = db.close()
return nil, err
}
// Read in the freelist.
db.freelist = newFreelist()
db.freelist.read(db.page(db.meta().freelist))
|
创建pagePool就忽略吧,页面池创建一个新的页面。
接下来是mmap
了,我们看下是如何工作的。
mmap
首先我们看下mmap是如何工作的
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
func (db *DB) mmap(minsz int) error {
db.mmaplock.Lock()
defer db.mmaplock.Unlock()
info, err := db.file.Stat()
if err != nil {
return fmt.Errorf("mmap stat error: %s", err)
} else if int(info.Size()) < db.pageSize*2 {
return fmt.Errorf("file size too small")
}
// Ensure the size is at least the minimum size.
var size = int(info.Size())
if size < minsz {
size = minsz
}
size, err = db.mmapSize(size)
if err != nil {
return err
}
// Dereference all mmap references before unmapping.
if db.rwtx != nil {
db.rwtx.root.dereference()
}
// Unmap existing data before continuing.
if err := db.munmap(); err != nil {
return err
}
// Memory-map the data file as a byte slice.
if err := mmap(db, size); err != nil {
return err
}
// Save references to the meta pages.
db.meta0 = db.page(0).meta()
db.meta1 = db.page(1).meta()
// Validate the meta pages. We only return an error if both meta pages fail
// validation, since meta0 failing validation means that it wasn't saved
// properly -- but we can recover using meta1. And vice-versa.
err0 := db.meta0.validate()
err1 := db.meta1.validate()
if err0 != nil && err1 != nil {
return err0
}
return nil
}
|
程序首先加了一个锁,也就是说,从文件往内存映射的时候,一次只允许映射一次。
我们从前文知道,创建文件的时候至少创建了4个pageSize,而且options的默认InitialMmapSize没有指定,因此判断一次映射多大的时候就是用文件大小进行判断。
文件映射的大小从32K逐次翻倍直到1G,然后如果文件大小大于1G,就直接每次增加1G。
再对文件进行映射前,先解除引用,然后再进行映射。
我们之前知道,文件的前两页是metaPage,因此读取出来即可。
freelist
程序接下来创建freelist页面,我们看下freelist的结构
1
2
3
4
5
|
type freelist struct {
ids []pgid
pending map[txid][]pgid
cache map[pgid]bool
}
|
结构比较简单。
ids
是指可用的页面的Id
pending
指将要空闲的页面,由于数据库中的各种事务,一些操作后部分页面就可以被释放了。
cache
就是做了一个缓存,看一个页面是否可用。
我们在配置metaPage的时候强行指定了freelist的page位置是2,
1
|
db.freelist.read(db.page(db.meta().freelist))
|
由于我们在创建的时候没有对freelist进行配置,因此freelist读取之后也没有什么变化
结构
通过我们之前的阅读,我们知道目前的数据库结构如下
1
2
3
4
5
6
7
8
9
10
11
12
13
|
+----------+------------+-----------+-----------+
| | | | |
| | | | |
| | | | |
| | | | |
| meta | meta | freelist | leafpage |
| | | | |
| | | | |
| | | | |
| | | | |
| | | | |
| | | | |
+----------+------------+-----------+-----------+ |
到此为止,一个数据库的初始工作结束了。