header_crc_test.go 5.2 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194
  1. package core
  2. import (
  3. "encoding/binary"
  4. "errors"
  5. "os"
  6. "testing"
  7. "git.ycl.pub/yl32940/TsDB2/DB/core/page"
  8. "git.ycl.pub/yl32940/TsDB2/DB/core/types"
  9. )
  10. // 直接读写盘上头页某偏移的辅助 (绕过引擎, 模拟损坏/旧库)。
  11. func corruptHeaderByte(t *testing.T, path string, off int64, xor byte) {
  12. t.Helper()
  13. f, err := os.OpenFile(path, os.O_RDWR, 0)
  14. if err != nil {
  15. t.Fatal(err)
  16. }
  17. defer f.Close()
  18. var b [1]byte
  19. if _, err := f.ReadAt(b[:], off); err != nil {
  20. t.Fatal(err)
  21. }
  22. b[0] ^= xor
  23. if _, err := f.WriteAt(b[:], off); err != nil {
  24. t.Fatal(err)
  25. }
  26. }
  27. // zeroHeaderCrc 把盘上 HeaderCrc 字段清零, 模拟"没有 CRC 字段的旧 v11 库"。
  28. func zeroHeaderCrc(t *testing.T, path string) {
  29. t.Helper()
  30. f, err := os.OpenFile(path, os.O_RDWR, 0)
  31. if err != nil {
  32. t.Fatal(err)
  33. }
  34. defer f.Close()
  35. zero := make([]byte, 4)
  36. if _, err := f.WriteAt(zero, 84); err != nil {
  37. t.Fatal(err)
  38. }
  39. }
  40. // seedCrcDB 建一个带数据的库并正常关闭, 返回路径。
  41. func seedCrcDB(t *testing.T) string {
  42. t.Helper()
  43. path := t.TempDir() + "/crc.db"
  44. db, err := Open(path)
  45. if err != nil {
  46. t.Fatal(err)
  47. }
  48. db.SetAutoCommitDelay(0)
  49. tbl, err := db.CreateTable("t", []types.FieldInfo{
  50. {FieldType: types.FieldType_Uint64, FieldName: []byte("id")},
  51. {FieldType: types.FieldType_Int64, FieldName: []byte("v")},
  52. })
  53. if err != nil {
  54. t.Fatal(err)
  55. }
  56. if _, err := tbl.CreateIndex("pk", page.IndexTypePrimary, []byte{0}); err != nil {
  57. t.Fatal(err)
  58. }
  59. for i := 1; i <= 50; i++ {
  60. if _, err := tbl.InsertRowWithID(uint64(i), []types.FieldValue{
  61. {FieldName: []byte("id"), Value: uint64(i)},
  62. {FieldName: []byte("v"), Value: int64(i)},
  63. }); err != nil {
  64. t.Fatal(err)
  65. }
  66. }
  67. if err := db.Commit(); err != nil {
  68. t.Fatal(err)
  69. }
  70. if err := db.Close(); err != nil {
  71. t.Fatal(err)
  72. }
  73. return path
  74. }
  75. // TestHeaderCrcRoundtrip 新建库: 首次落盘的头页 CRC 自洽, 打开通过。
  76. func TestHeaderCrcRoundtrip(t *testing.T) {
  77. path := seedCrcDB(t)
  78. db, err := Open(path)
  79. if err != nil {
  80. t.Fatalf("正常库打开失败: %v", err)
  81. }
  82. defer db.Close()
  83. // 内存头页 CRC 与重算值一致
  84. if db.header.HeaderCrc == 0 {
  85. t.Fatal("新建库的 HeaderCrc 不应为 0")
  86. }
  87. if got := db.header.CalcHeaderCrc(); got != db.header.HeaderCrc {
  88. t.Fatalf("内存头页 CRC %08x 与重算 %08x 不一致", db.header.HeaderCrc, got)
  89. }
  90. if err := db.header.Validate(); err != nil {
  91. t.Fatalf("Validate: %v", err)
  92. }
  93. }
  94. // TestHeaderCrcCorrupted 损坏头页数据 → 正常打开拒绝 → force-inspect 只读抢救:
  95. // 读可用、写报 ErrReadOnly。
  96. func TestHeaderCrcCorrupted(t *testing.T) {
  97. path := seedCrcDB(t)
  98. // 损坏头页 Comment 区的一个字节 (CRC 必不匹配)
  99. corruptHeaderByte(t, path, 500, 0xFF)
  100. if _, err := Open(path); err == nil {
  101. t.Fatal("CRC 损坏的库正常模式必须拒绝打开")
  102. }
  103. db, err := OpenWithOptions(path, OpenOptions{ForceInspect: true})
  104. if err != nil {
  105. t.Fatalf("force-inspect 应能打开: %v", err)
  106. }
  107. defer db.Close()
  108. // 读正常
  109. tbl, ok := db.FindTable("t")
  110. if !ok {
  111. t.Fatal("抢救模式找不到表")
  112. }
  113. if c := vacCountOf(t, tbl); c != 50 {
  114. t.Fatalf("抢救模式读到 %d 行, 想要 50", c)
  115. }
  116. // 写被禁
  117. if _, err := tbl.InsertRowWithID(999, []types.FieldValue{
  118. {FieldName: []byte("id"), Value: uint64(999)},
  119. {FieldName: []byte("v"), Value: int64(1)},
  120. }); err == nil {
  121. t.Fatal("抢救模式插入应失败")
  122. }
  123. if err := db.Commit(); !errors.Is(err, ErrReadOnly) {
  124. t.Fatalf("抢救模式 Commit 应返回 ErrReadOnly, 得到 %v", err)
  125. }
  126. if err := db.SetComment("x"); !errors.Is(err, ErrReadOnly) {
  127. t.Fatalf("抢救模式 SetComment 应返回 ErrReadOnly, 得到 %v", err)
  128. }
  129. }
  130. // TestHeaderCrcLegacyV11 旧 v11 库 (HeaderCrc==0) 加载跳过校验; 第一次写头页
  131. // 自动生成 CRC, 之后打开走校验。
  132. func TestHeaderCrcLegacyV11(t *testing.T) {
  133. path := seedCrcDB(t)
  134. zeroHeaderCrc(t, path)
  135. // 旧库正常打开 (跳过 CRC)
  136. db, err := Open(path)
  137. if err != nil {
  138. t.Fatalf("旧 v11 库应跳过 CRC 打开: %v", err)
  139. }
  140. // 任意触发头页写 (SetComment 直写头页)
  141. if err := db.SetComment("升级后的介绍"); err != nil {
  142. t.Fatalf("SetComment: %v", err)
  143. }
  144. _ = db.Close()
  145. // 现在盘上已有 CRC: 正常打开且 CRC 参与校验
  146. db2, err := Open(path)
  147. if err != nil {
  148. t.Fatalf("自动生成 CRC 后应正常打开: %v", err)
  149. }
  150. defer db2.Close()
  151. if db2.header.HeaderCrc == 0 {
  152. t.Fatal("首次写头页后 CRC 应已生成")
  153. }
  154. if err := db2.header.Validate(); err != nil {
  155. t.Fatalf("升级后 Validate: %v", err)
  156. }
  157. if db2.Comment() != "升级后的介绍" {
  158. t.Fatalf("Comment = %q", db2.Comment())
  159. }
  160. }
  161. // TestHeaderCrcCoversFullPage CRC 覆盖整页: 改数据页内容不影响头页校验,
  162. // 改头页任意字节 (含尾部) 都会失配。
  163. func TestHeaderCrcCoversFullPage(t *testing.T) {
  164. path := seedCrcDB(t)
  165. // 读出头页 CRC
  166. raw, err := os.ReadFile(path)
  167. if err != nil {
  168. t.Fatal(err)
  169. }
  170. stored := binary.LittleEndian.Uint32(raw[84:88])
  171. if stored == 0 {
  172. t.Fatal("新建库头页 CRC 不应为 0")
  173. }
  174. // 改头页尾部保留区的一个字节 → 失配
  175. corruptHeaderByte(t, path, 4000, 0x01)
  176. db, err := Open(path)
  177. if err == nil {
  178. db.Close()
  179. t.Fatal("头页尾部字节被改后应校验失败")
  180. }
  181. }