buffer_pool_test.go 22 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672
  1. package pool
  2. import (
  3. "sync"
  4. "testing"
  5. "time"
  6. )
  7. // newTestPool 构造一个带内存"磁盘"的缓冲池,便于观察缓存与落盘行为。
  8. func newTestPool(t *testing.T, capacity int) (*BufferPool, *diskStub) {
  9. t.Helper()
  10. d := &diskStub{pages: map[uint32][]byte{}}
  11. return NewBufferPool(capacity, d.read, d.write), d
  12. }
  13. type diskStub struct {
  14. mu sync.Mutex
  15. pages map[uint32][]byte
  16. }
  17. func (d *diskStub) read(pageID uint32, buf []byte) error {
  18. d.mu.Lock()
  19. defer d.mu.Unlock()
  20. if data, ok := d.pages[pageID]; ok {
  21. copy(buf, data)
  22. }
  23. return nil
  24. }
  25. func (d *diskStub) write(pageID uint32, buf []byte) error {
  26. d.mu.Lock()
  27. defer d.mu.Unlock()
  28. data := make([]byte, len(buf))
  29. copy(data, buf)
  30. d.pages[pageID] = data
  31. return nil
  32. }
  33. // TestCollectDirtyKeepsDirtyPagesReadable 收集脏页快照之后, 脏页必须【仍然留在缓存里】
  34. // 且内容可读 —— 这是"并发写 + 提交"崩溃的直接回归点。
  35. //
  36. // 旧实现把脏页移出缓存, 于是从收集完到 WAL 逐页回写完成(中间隔着两次 fsync)这段窗口
  37. // 里, 这些页既不在缓存、也还没落盘: 并发的读一旦未命中就回源, 拿到的是旧内容, 对
  38. // 一页本会话刚分配、盘上从没写过的页则直接是全零。btree 把全零页当成 EntryLen==0 的
  39. // 节点, 接着就在 btPID 里切片越界 panic; 文件还没长到那个偏移时则读出错, 表现为
  40. // "insert: load failed"。
  41. //
  42. // 注意旧版本的这条用例恰好把 bug 当成预期钉住了: 它断言"脏页回落到磁盘, 期望 0"。
  43. func TestCollectDirtyKeepsDirtyPagesReadable(t *testing.T) {
  44. bp, _ := newTestPool(t, 64)
  45. _ = bp.WritePage(1, []byte{1}) // 脏页 (盘上还没有)
  46. bp.UpdatePage(2, []byte{9, 9}) // 干净页 (WAL 回填/回收页回填)
  47. _ = bp.WritePage(3, []byte{7}) // 脏页 (盘上还没有)
  48. if bp.Len() != 3 || bp.DirtyCount() != 2 {
  49. t.Fatalf("收集前期望池内 3 页 / 脏页 2, 实际 %d / %d", bp.Len(), bp.DirtyCount())
  50. }
  51. dirty := bp.CollectDirty()
  52. if len(dirty) != 2 {
  53. t.Fatalf("期望取出 2 个脏页, 实际 %d", len(dirty))
  54. }
  55. // 快照不等于"页离开了池子": 页数与脏页数都不该变。
  56. if bp.Len() != 3 {
  57. t.Fatalf("收集后页仍应全部留在池中, 实际 %d", bp.Len())
  58. }
  59. if bp.DirtyCount() != 2 {
  60. t.Fatalf("收集后脏页计数不该清零 (它们还没落盘), 实际 %d", bp.DirtyCount())
  61. }
  62. // 干净页 2 命中缓存
  63. out2 := make([]byte, 16)
  64. if err := bp.ReadPage(2, out2); err != nil {
  65. t.Fatalf("ReadPage(2): %v", err)
  66. }
  67. if out2[0] != 9 || out2[1] != 9 {
  68. t.Fatalf("干净页应命中缓存并返回回填值, 实际 %v", out2[:2])
  69. }
  70. // 脏页 1 / 3 也必须命中缓存并读到真实内容 —— 拿到 0 就说明又出现"两头都不在"。
  71. for _, c := range []struct {
  72. pageID uint32
  73. want byte
  74. }{{1, 1}, {3, 7}} {
  75. out := make([]byte, 16)
  76. if err := bp.ReadPage(c.pageID, out); err != nil {
  77. t.Fatalf("ReadPage(%d): %v", c.pageID, err)
  78. }
  79. if out[0] != c.want {
  80. t.Fatalf("收集快照后读取页 %d 应当是 %d, 实际 %d (页被移出缓存就会出现这种全零读)",
  81. c.pageID, c.want, out[0])
  82. }
  83. }
  84. }
  85. // TestMarkCleanOnlyClearsUnchangedPages 提交成功收脏标记时必须按版本号逐页判定:
  86. // 提交窗口里被写入线程重新改过的页要继续留脏。
  87. //
  88. // 反例就是 ClearAll 式的"提交成功 → 整个缓存标干净": 那些页并不在本笔 WAL 里, 标干净
  89. // 等于宣布"已持久化" —— 新内容再也不会被写盘, 页被淘汰时静默消失。
  90. func TestMarkCleanOnlyClearsUnchangedPages(t *testing.T) {
  91. bp, _ := newTestPool(t, 64)
  92. _ = bp.WritePage(1, []byte{1}) // 会被重新改脏
  93. _ = bp.WritePage(2, []byte{2}) // 保持原样
  94. dirty := bp.CollectDirty()
  95. if len(dirty) != 2 {
  96. t.Fatalf("期望 2 个脏页, 实际 %d", len(dirty))
  97. }
  98. // 模拟"提交进行中, 写入线程又改了页 1"
  99. _ = bp.WritePage(1, []byte{0xFF})
  100. // 提交成功 → WAL 回填步骤 (WritePageHome) 已在盘上写下快照内容
  101. bp.MarkClean(dirty)
  102. if bp.DirtyCount() != 1 {
  103. t.Fatalf("被重新改脏的页必须继续留脏, 期望脏页 1, 实际 %d", bp.DirtyCount())
  104. }
  105. out := make([]byte, 16)
  106. if err := bp.ReadPage(1, out); err != nil {
  107. t.Fatalf("ReadPage(1): %v", err)
  108. }
  109. if out[0] != 0xFF {
  110. t.Fatalf("页 1 应保留提交窗口里写入的新内容 0xFF, 实际 %d", out[0])
  111. }
  112. // 页 2 没被改过 → 转干净页 (内容不受影响)
  113. if entry, ok := bp.pages[2]; !ok || entry.dirty {
  114. t.Fatalf("未被改动的页应转成干净页, 实际 %+v (存在=%v)", entry, ok)
  115. }
  116. }
  117. // TestFlushWritesAndClearsDirty Flush 必须真的落盘, 并且把写出去的页转成干净页 ——
  118. // CollectDirty 不再移出缓存, 少了收尾这一步, 同一批内容会被下一次提交再写一遍。
  119. func TestFlushWritesAndClearsDirty(t *testing.T) {
  120. bp, disk := newTestPool(t, 64)
  121. _ = bp.WritePage(1, []byte{0x11})
  122. _ = bp.WritePage(2, []byte{0x22})
  123. bp.Flush()
  124. if bp.DirtyCount() != 0 {
  125. t.Fatalf("Flush 后不该还有脏页, 实际 %d", bp.DirtyCount())
  126. }
  127. for _, c := range []struct {
  128. pageID uint32
  129. want byte
  130. }{{1, 0x11}, {2, 0x22}} {
  131. got, ok := disk.pages[c.pageID]
  132. if !ok {
  133. t.Fatalf("页 %d 没有被写盘", c.pageID)
  134. }
  135. if got[0] != c.want {
  136. t.Fatalf("页 %d 落盘内容应当是 %#x, 实际 %#x", c.pageID, c.want, got[0])
  137. }
  138. }
  139. }
  140. // TestWritePageThresholdCountsOnlyDirty 验证自动提交阈值只由脏页数决定,
  141. // 常驻的干净页不会把阈值反复顶爆、导致提交频率失控。
  142. func TestWritePageThresholdCountsOnlyDirty(t *testing.T) {
  143. bp, _ := newTestPool(t, 1000)
  144. triggers := 0
  145. bp.SetDirtyThreshold(10, func() { triggers++ })
  146. // 灌入大量干净页 (模拟大量回收页经 UpdatePage 回填缓存)
  147. for i := uint32(0); i < 200; i++ {
  148. bp.UpdatePage(1000+i, []byte{1})
  149. }
  150. // 9 张脏页 —— 未达阈值,不应触发
  151. for i := uint32(0); i < 9; i++ {
  152. _ = bp.WritePage(i, []byte{2})
  153. }
  154. if triggers != 0 {
  155. t.Fatalf("干净页不应触发阈值, 实际触发 %d 次", triggers)
  156. }
  157. // 第 10 张脏页 → 命中阈值,触发一次
  158. _ = bp.WritePage(9, []byte{2})
  159. if triggers != 1 {
  160. t.Fatalf("脏页达阈值应触发 1 次, 实际 %d 次", triggers)
  161. }
  162. if bp.DirtyCount() != 10 {
  163. t.Fatalf("期望脏页计数 10, 实际 %d", bp.DirtyCount())
  164. }
  165. if bp.Len() < 200 {
  166. t.Fatalf("干净页应保留在池中, 实际池内仅 %d 页", bp.Len())
  167. }
  168. }
  169. // countingRead 包装 diskStub.read 计数 (用于断言"命中缓存后不再走磁盘")。
  170. type countingRead struct {
  171. d *diskStub
  172. n int
  173. }
  174. func (c *countingRead) read(pageID uint32, buf []byte) error {
  175. c.n++
  176. return c.d.read(pageID, buf)
  177. }
  178. // TestReadPageCachesCleanPages 读未命中必须把磁盘内容作为干净页载入缓存:
  179. // 第二次读同一页必须命中缓存 (磁盘读次数不增加), 这是"LRU BufferPool"读路径
  180. // 收益的主体 (B+ 树下降 / Hash 目录链 / 堆页 Load 都是重复读)。
  181. func TestReadPageCachesCleanPages(t *testing.T) {
  182. d := &diskStub{pages: map[uint32][]byte{42: {0x2A}}}
  183. cr := &countingRead{d: d}
  184. bp := NewBufferPool(8, cr.read, d.write)
  185. buf := make([]byte, 1)
  186. if err := bp.ReadPage(42, buf); err != nil {
  187. t.Fatalf("第一次读: %v", err)
  188. }
  189. if buf[0] != 0x2A {
  190. t.Fatalf("读到 %d, 想要 0x2A", buf[0])
  191. }
  192. if cr.n != 1 {
  193. t.Fatalf("第一次读应走 1 次磁盘, 实际 %d", cr.n)
  194. }
  195. // 第二次读: 必须命中缓存
  196. if err := bp.ReadPage(42, buf); err != nil {
  197. t.Fatalf("第二次读: %v", err)
  198. }
  199. if cr.n != 1 {
  200. t.Fatalf("第二次读应命中缓存 (磁盘读仍为 1), 实际 %d", cr.n)
  201. }
  202. // 载入的是干净页: 不占脏页计数, 可被 LRU 淘汰
  203. if bp.DirtyCount() != 0 {
  204. t.Fatalf("读缓存页不应计脏, 实际脏页 %d", bp.DirtyCount())
  205. }
  206. }
  207. // TestLRUEvictsColdestPage LRU 淘汰必须按"最久未用"顺序: 最近读过的热页留下,
  208. // 最冷的页被淘汰。旧实现按 map 随机序淘汰, 热页与冷页同等概率被丢。
  209. func TestLRUEvictsColdestPage(t *testing.T) {
  210. d := &diskStub{pages: map[uint32][]byte{}}
  211. cr := &countingRead{d: d}
  212. bp := NewBufferPool(3, cr.read, d.write)
  213. // 三张干净页入池 (模拟读缓存), lru 序: [1, 2, 3]
  214. bp.UpdatePage(1, []byte{1})
  215. bp.UpdatePage(2, []byte{2})
  216. bp.UpdatePage(3, []byte{3})
  217. // 读页 1 → 它变热: lru 序 [2, 3, 1]
  218. if err := bp.ReadPage(1, make([]byte, 1)); err != nil {
  219. t.Fatalf("ReadPage(1): %v", err)
  220. }
  221. // 写页 4 (触发容量淘汰): 最冷的页 2 必须先被淘汰
  222. if err := bp.WritePage(4, []byte{4}); err != nil {
  223. t.Fatalf("WritePage(4): %v", err)
  224. }
  225. if _, ok := bp.pages[2]; ok {
  226. t.Fatalf("最久未用的页 2 应被淘汰, 却仍在池中")
  227. }
  228. for _, pid := range []uint32{1, 3, 4} {
  229. if _, ok := bp.pages[pid]; !ok {
  230. t.Fatalf("页 %d 应在池中 (淘汰顺序错误)", pid)
  231. }
  232. }
  233. // 淘汰后 pool 长度应等于 capacity (3)
  234. if bp.Len() != len(bp.pages) {
  235. t.Fatalf("pool.Len() (%d) 与页表 (%d) 长度不一致", bp.Len(), len(bp.pages))
  236. }
  237. // 当前时间戳序: 页 3 最久未用 → 读页 2 (miss, 重新入池) 应淘汰最冷的页 3
  238. cr.n = 0
  239. if err := bp.ReadPage(2, make([]byte, 1)); err != nil {
  240. t.Fatalf("ReadPage(2): %v", err)
  241. }
  242. if cr.n != 1 {
  243. t.Fatalf("被淘汰的页 2 应重新走磁盘 1 次, 实际 %d 次", cr.n)
  244. }
  245. if _, ok := bp.pages[3]; ok {
  246. t.Fatalf("页 3 现在是最冷的, 应被页 2 的入池挤掉")
  247. }
  248. if err := bp.ReadPage(1, make([]byte, 1)); err != nil {
  249. t.Fatalf("ReadPage(1): %v", err)
  250. }
  251. if cr.n != 1 {
  252. t.Fatalf("热页 1 应命中缓存, 实际磁盘读 %d 次", cr.n)
  253. }
  254. }
  255. // TestReadPageNeverOverwritesConcurrentDirty 读盘期间另一线程写入了同一页时,
  256. // ReadPage 必须以池内 (更新) 内容为准 —— 绝不能用更旧的读盘结果覆盖脏页。
  257. func TestReadPageNeverOverwritesConcurrentDirty(t *testing.T) {
  258. d := &diskStub{pages: map[uint32][]byte{7: {0x07}}}
  259. started := make(chan struct{}, 1)
  260. release := make(chan struct{})
  261. bp := NewBufferPool(8, func(pageID uint32, buf []byte) error {
  262. started <- struct{}{}
  263. <-release // 卡住读盘, 制造并发窗口
  264. return d.read(pageID, buf)
  265. }, d.write)
  266. out := make([]byte, 1)
  267. done := make(chan error, 1)
  268. go func() { done <- bp.ReadPage(7, out) }()
  269. <-started // 读盘进行中 (页 7 尚未入池)
  270. // 并发写入同页 (单写入者模型下不该发生, 但缓冲池是并发的最后防线)
  271. if err := bp.WritePage(7, []byte{0x99}); err != nil {
  272. t.Fatalf("WritePage(7): %v", err)
  273. }
  274. close(release)
  275. if err := <-done; err != nil {
  276. t.Fatalf("ReadPage(7): %v", err)
  277. }
  278. if out[0] != 0x99 {
  279. t.Fatalf("读到的是旧读盘内容 %#x, 池内新内容 0x99 被覆盖了", out[0])
  280. }
  281. if bp.DirtyCount() != 1 {
  282. t.Fatalf("页 7 必须保持脏, 实际脏页 %d", bp.DirtyCount())
  283. }
  284. // 再读一次: 必须命中且仍是新内容
  285. if err := bp.ReadPage(7, out); err != nil {
  286. t.Fatalf("重读: %v", err)
  287. }
  288. if out[0] != 0x99 {
  289. t.Fatalf("重读拿到 %#x", out[0])
  290. }
  291. }
  292. // TestWriteOverReadCachedPageKeepsLRUConsistent 读缓存的干净页被 WritePage 改脏后,
  293. // 条目原地复用: lru 链表与页表保持一致, 不泄漏孤儿节点。
  294. func TestWriteOverReadCachedPageKeepsLRUConsistent(t *testing.T) {
  295. d := &diskStub{pages: map[uint32][]byte{5: {0x05}}}
  296. bp := NewBufferPool(8, d.read, d.write)
  297. // 读入池 (干净页)
  298. if err := bp.ReadPage(5, make([]byte, 1)); err != nil {
  299. t.Fatalf("ReadPage(5): %v", err)
  300. }
  301. // 改脏
  302. if err := bp.WritePage(5, []byte{0x55}); err != nil {
  303. t.Fatalf("WritePage(5): %v", err)
  304. }
  305. if bp.DirtyCount() != 1 {
  306. t.Fatalf("改脏后脏页应计 1, 实际 %d", bp.DirtyCount())
  307. }
  308. if bp.Len() != len(bp.pages) {
  309. t.Fatalf("pool.Len() (%d) 与页表 (%d) 长度不一致", bp.Len(), len(bp.pages))
  310. }
  311. // 淘汰路径上它现在是脏页: 容量满时不得被淘汰
  312. bp.UpdatePage(100, []byte{1})
  313. if err := bp.WritePage(6, []byte{6}); err != nil {
  314. t.Fatalf("WritePage(6): %v", err)
  315. }
  316. if _, ok := bp.pages[5]; !ok {
  317. t.Fatalf("脏页 5 绝不能被容量淘汰")
  318. }
  319. }
  320. // TestReadPageConcurrentHot 验证多个 goroutine 同时读热页真的并行。
  321. // mu 从 sync.Mutex 改成 sync.RWMutex + atomic touch 后, cache-hit 路径
  322. // 不应该互相阻塞。8 个 goroutine 并发读同一页应该 ≈ 单次耗时, 而不是 8×。
  323. //
  324. // 注意: 纯无工作量的 RLock+atomic 是纳秒级, 在 Windows Go timer 精度 (~15ms)
  325. // 下 baseline 和 elapsed 会同时被 round 成 0, 加速比算 NaN 或 0.00x —— 这不是
  326. // "并发没生效", 是 timer 没东西可量。所以这里给每次 ReadPage 加一段 workload,
  327. // 让每次访问约 50µs (和 TestBufferPoolHotConcurrencyWithWork 同套路)。
  328. func TestReadPageConcurrentHot(t *testing.T) {
  329. d := &diskStub{pages: map[uint32][]byte{42: {0x2A}}}
  330. bp := NewBufferPool(64, d.read, d.write)
  331. // 先把页 42 读入池 (让它变热)
  332. buf := make([]byte, 1)
  333. if err := bp.ReadPage(42, buf); err != nil {
  334. t.Fatalf("warmup: %v", err)
  335. }
  336. const perRead = 50 * time.Microsecond // 每次读后睡一下, 让 timer 有东西量
  337. readers := 8
  338. baselineN := 20
  339. var baseline time.Duration
  340. for i := 0; i < baselineN; i++ {
  341. start := time.Now()
  342. _ = bp.ReadPage(42, buf)
  343. time.Sleep(perRead)
  344. baseline += time.Since(start)
  345. }
  346. baseline /= time.Duration(baselineN)
  347. start := time.Now()
  348. var wg sync.WaitGroup
  349. wg.Add(readers)
  350. errs := make([]error, readers)
  351. for i := 0; i < readers; i++ {
  352. go func(idx int) {
  353. defer wg.Done()
  354. out := make([]byte, 1)
  355. errs[idx] = bp.ReadPage(42, out)
  356. time.Sleep(perRead)
  357. }(i)
  358. }
  359. wg.Wait()
  360. elapsed := time.Since(start)
  361. for i, e := range errs {
  362. if e != nil {
  363. t.Fatalf("reader %d error: %v", i, e)
  364. }
  365. }
  366. speedup := float64(baseline*time.Duration(readers)) / float64(elapsed)
  367. t.Logf("单 ReadPage baseline (含 %v workload): %v", perRead, baseline)
  368. t.Logf("8 并发读同一热页: %v", elapsed)
  369. t.Logf("串行预估 (baseline × 8): %v", baseline*time.Duration(readers))
  370. t.Logf("加速比: %.2fx (并行 ≈ %.1f× 单次)", speedup, float64(elapsed)/float64(baseline))
  371. // RWMutex 的 cache-hit 路径应该真并行 —— 8 并发耗时不应是串行的 8 倍,
  372. // 至少小于串行预估的一半 (speedup >= 2.0)
  373. if elapsed >= baseline*time.Duration(readers) {
  374. t.Errorf("读没有真的并行! 耗时 %v >= 串行预估 %v (speedup=%.2f)", elapsed, baseline*time.Duration(readers), speedup)
  375. } else {
  376. t.Logf("ReadPage cache-hit 路径真正并行!")
  377. }
  378. }
  379. // TestBufferPoolHotConcurrencyDirect 直接测 BufferPool 热缓存并发读 —— 绕过 TsDB2 上层
  380. // 模拟 8 个 goroutine 并发 ReadPage 不同页 + 同页 (热缓存, 应该全是 RLock)。
  381. //
  382. // 和 TestReadPageConcurrentHot 同套路: 纯 RLock+atomic 是纳秒级, 在 Windows timer
  383. // 精度 (~15ms) 下 baseline/elapsed 会被 round 成 0 —— 加 workload 让 timer 有东西量。
  384. func TestBufferPoolHotConcurrencyDirect(t *testing.T) {
  385. // 模拟: 先预热 50 页 (相当于 B+ 树节点 + 数据页全进池)
  386. d := &diskStub{pages: map[uint32][]byte{}}
  387. for i := uint32(1); i <= 50; i++ {
  388. d.pages[i] = []byte{byte(i)}
  389. }
  390. bp := NewBufferPool(100, d.read, d.write)
  391. // 预热: 把 50 页全读进池
  392. buf := make([]byte, 1)
  393. for i := uint32(1); i <= 50; i++ {
  394. _ = bp.ReadPage(i, buf)
  395. }
  396. t.Logf("预热后 BufferPool Len=%d, DirtyCount=%d", bp.Len(), bp.DirtyCount())
  397. const pageWork = 50 * time.Microsecond // 每页 50µs workload, 让 timer 有东西量
  398. const pagesPerScan = 50
  399. // baseline: 单 goroutine 读 50 页 + 每页 workload
  400. baselineN := 20
  401. var baseline time.Duration
  402. for i := 0; i < baselineN; i++ {
  403. start := time.Now()
  404. for p := uint32(1); p <= pagesPerScan; p++ {
  405. _ = bp.ReadPage(p, buf)
  406. time.Sleep(pageWork)
  407. }
  408. baseline += time.Since(start)
  409. }
  410. baseline /= time.Duration(baselineN)
  411. t.Logf("单 goroutine 读 %d 页 baseline (含 workload): %v", pagesPerScan, baseline)
  412. // 8 goroutine 并发: 每个读 50 页 + 每页 workload
  413. readers := 8
  414. start := time.Now()
  415. var wg sync.WaitGroup
  416. wg.Add(readers)
  417. errs := make([]error, readers)
  418. for i := 0; i < readers; i++ {
  419. go func(idx int) {
  420. defer wg.Done()
  421. out := make([]byte, 1)
  422. for p := uint32(1); p <= pagesPerScan; p++ {
  423. if e := bp.ReadPage(p, out); e != nil {
  424. errs[idx] = e
  425. return
  426. }
  427. time.Sleep(pageWork)
  428. }
  429. }(i)
  430. }
  431. wg.Wait()
  432. elapsed := time.Since(start)
  433. for i, e := range errs {
  434. if e != nil {
  435. t.Fatalf("reader %d error: %v", i, e)
  436. }
  437. }
  438. speedup := float64(baseline*time.Duration(readers)) / float64(elapsed)
  439. t.Logf("8 并发各读 %d 页: %v", pagesPerScan, elapsed)
  440. t.Logf("串行预估: %v", baseline*time.Duration(readers))
  441. t.Logf("加速比: %.2fx", speedup)
  442. if elapsed >= baseline*time.Duration(readers) {
  443. t.Errorf("BufferPool 热缓存没真并行! 耗时 %v >= 串行预估 %v (speedup=%.2f)", elapsed, baseline*time.Duration(readers), speedup)
  444. } else {
  445. t.Logf("BufferPool 热缓存并发加速比 %.2fx —— RLock 真并行!", speedup)
  446. }
  447. }
  448. // TestBufferPoolHotConcurrencyWithWork 测 BufferPool 热缓存 + CPU 密集工作的并发度
  449. // 在 ReadPage cache-hit 路径加 sleep 模拟 B+ 树遍历的 CPU 工作
  450. func TestBufferPoolHotConcurrencyWithWork(t *testing.T) {
  451. d := &diskStub{pages: map[uint32][]byte{}}
  452. for i := uint32(1); i <= 50; i++ {
  453. d.pages[i] = []byte{byte(i)}
  454. }
  455. bp := NewBufferPool(100, d.read, d.write)
  456. // 预热
  457. buf := make([]byte, 1)
  458. for i := uint32(1); i <= 50; i++ {
  459. _ = bp.ReadPage(i, buf)
  460. }
  461. // baseline: 单 goroutine 读 50 页 + 每页 sleep 50μs (模拟 CPU 工作)
  462. readers := 8
  463. const pageWork = 50 * time.Microsecond // 50μs per page (模拟 B+ 树节点处理)
  464. const pagesPerScan = 50
  465. baselineN := 20
  466. var baseline time.Duration
  467. for i := 0; i < baselineN; i++ {
  468. start := time.Now()
  469. for p := uint32(1); p <= pagesPerScan; p++ {
  470. _ = bp.ReadPage(p, buf)
  471. time.Sleep(pageWork) // 模拟 CPU 工作
  472. }
  473. baseline += time.Since(start)
  474. }
  475. baseline /= time.Duration(baselineN)
  476. t.Logf("单 goroutine 读 %d 页 + %v/页 sleep: baseline %v", pagesPerScan, pageWork, baseline)
  477. // 8 goroutine 并发
  478. start := time.Now()
  479. var wg sync.WaitGroup
  480. wg.Add(readers)
  481. errs := make([]error, readers)
  482. for i := 0; i < readers; i++ {
  483. go func(idx int) {
  484. defer wg.Done()
  485. out := make([]byte, 1)
  486. for p := uint32(1); p <= pagesPerScan; p++ {
  487. if e := bp.ReadPage(p, out); e != nil {
  488. errs[idx] = e
  489. return
  490. }
  491. time.Sleep(pageWork)
  492. }
  493. }(i)
  494. }
  495. wg.Wait()
  496. elapsed := time.Since(start)
  497. for i, e := range errs {
  498. if e != nil {
  499. t.Fatalf("reader %d error: %v", i, e)
  500. }
  501. }
  502. speedup := float64(baseline*time.Duration(readers)) / float64(elapsed)
  503. t.Logf("8 并发耗时: %v", elapsed)
  504. t.Logf("串行预估: %v", baseline*time.Duration(readers))
  505. t.Logf("加速比: %.2fx", speedup)
  506. if speedup < 2.0 {
  507. t.Errorf("并发加速比 %.2fx < 2x! BufferPool RLock 可能没真并行", speedup)
  508. } else {
  509. t.Logf("BufferPool RLock 真并行! 加速比 %.2fx", speedup)
  510. }
  511. }
  512. // TestEvictBurstAfterCommit 采样淘汰的正确性: Commit 把一批脏页变干净留在池里,
  513. // 池子超出容量; 下一次写入必须在一轮内把容量压回来, 且被丢的只能是干净页。
  514. // (这正是旧实现 O(n×淘汰数) 退化的场景 —— 500 次淘汰 × 全表扫; 采样后 O(K×淘汰数))
  515. func TestEvictBurstAfterCommit(t *testing.T) {
  516. d := &diskStub{pages: map[uint32][]byte{}}
  517. cr := &countingRead{d: d}
  518. const poolCap = 1000
  519. bp := NewBufferPool(poolCap, cr.read, d.write)
  520. // 塞 1500 张脏页: 全脏时允许临时超容量, 所以能超过 1000
  521. for i := 1; i <= 1500; i++ {
  522. if err := bp.WritePage(uint32(i), []byte{byte(i)}); err != nil {
  523. t.Fatalf("WritePage(%d): %v", i, err)
  524. }
  525. }
  526. if got := bp.Len(); got != 1500 {
  527. t.Fatalf("全脏时应允许超容量, 实际 %d 页", got)
  528. }
  529. bp.ClearAll() // 模拟 Commit 后脏页变干净、留在池里
  530. // 下一次写入: WritePage 先淘汰再插入 —— 一轮把 1500 压到 999,
  531. // 插入新页后回到恰 capacity (这是池的稳态不变量)
  532. if err := bp.WritePage(2000, []byte{0x7f}); err != nil {
  533. t.Fatalf("触发淘汰的 WritePage: %v", err)
  534. }
  535. if got := bp.Len(); got != poolCap {
  536. t.Fatalf("淘汰+插入后应恰为容量 %d, 实际 %d", poolCap, got)
  537. }
  538. // 触发写入的那页必须还在
  539. if _, ok := bp.pages[2000]; !ok {
  540. t.Fatalf("刚写入的页 2000 不应被淘汰")
  541. }
  542. // 剩下的页都能读回 —— 没有脏页被静默丢掉
  543. for pid := range bp.pages {
  544. if err := bp.ReadPage(pid, make([]byte, 1)); err != nil {
  545. t.Fatalf("读回页 %d: %v", pid, err)
  546. }
  547. }
  548. }
  549. // TestEvictSkipsDirtyPages 样本里的脏页绝不被淘汰: 池满时若没有干净候选,
  550. // 宁可临时超容量也不丢未落盘的修改。
  551. func TestEvictSkipsDirtyPages(t *testing.T) {
  552. d := &diskStub{pages: map[uint32][]byte{}}
  553. cr := &countingRead{d: d}
  554. bp := NewBufferPool(4, cr.read, d.write)
  555. for i := 1; i <= 4; i++ {
  556. if err := bp.WritePage(uint32(i), []byte{byte(i)}); err != nil {
  557. t.Fatal(err)
  558. }
  559. }
  560. // 4 张全是脏页, 再写一张: 样本抽到的全是脏页 → 不做淘汰, 允许临时超容量
  561. if err := bp.WritePage(5, []byte{5}); err != nil {
  562. t.Fatal(err)
  563. }
  564. if got := bp.Len(); got != 5 {
  565. t.Fatalf("全脏时应允许临时超容量 (5 页), 实际 %d", got)
  566. }
  567. }
  568. // BenchmarkEvictBurst 一轮淘汰 ~2000 页的成本 (白盒直接测淘汰循环):
  569. // 6000 页干净池 / 容量 4000, evictCleanForRoomLocked 一轮要淘汰 2001 页。
  570. // 全表精确最小 = 2001 × 6000 ≈ 1200 万次条目扫描 (~0.5-1s);
  571. // 采样 32 = 2001 × 32 ≈ 6.4 万次 (~0.3-0.6ms) —— 与池大小脱钩。
  572. func BenchmarkEvictBurst(b *testing.B) {
  573. d := &diskStub{pages: map[uint32][]byte{}}
  574. cr := &countingRead{d: d}
  575. bp := NewBufferPool(4000, cr.read, d.write)
  576. fillN := 1000000 // 单调发号: 用 len 当页号会在第二轮与幸存页碰撞 (死循环), 必须独立递增
  577. fill := func(n int) {
  578. bp.mu.Lock()
  579. defer bp.mu.Unlock()
  580. for len(bp.pages) < n {
  581. pid := uint32(fillN)
  582. fillN++
  583. e := &pageEntry{data: []byte{1}, pageLen: 1}
  584. bp.stampLocked(e)
  585. bp.pages[pid] = e
  586. bp.touchLocked(e)
  587. }
  588. }
  589. fill(6000)
  590. b.ResetTimer()
  591. for n := 0; n < b.N; n++ {
  592. fill(6000) // 每轮先把池子重新撑到 6000, 再测一轮 2001 次采样淘汰
  593. bp.mu.Lock()
  594. bp.evictCleanForRoomLocked()
  595. bp.mu.Unlock()
  596. }
  597. }