orphan_pages_test.go 4.1 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149
  1. package migrate
  2. // 回归: sqlite → VRTX 迁移 (含 VACUUM) 之后, blob 感知口径的孤儿页必须为 0。
  3. //
  4. // 样本刻意覆盖 DockerManager 案的要素:
  5. // - payload TEXT 列里有一行 >16360 字节 (动态列单值上限) —— 按三态分流落成
  6. // Blob 链式列, 迁移产生 Type=9 blob 链页;
  7. // - 一个带 UNIQUE 索引的表 + 普通表。
  8. //
  9. // 判据: orphancheck 的 analyzer 口径 (不走 blob 链) 会报出这些活链页 —— 这正是
  10. // analyzer 用户看到的"孤儿页"; 而 blob 感知口径 (走行内 BlobRef → 链) 必须为 0,
  11. // 非 0 即迁移/引擎在成功路径上泄漏了页。
  12. import (
  13. "bytes"
  14. "database/sql"
  15. "fmt"
  16. "path/filepath"
  17. "testing"
  18. "git.ycl.pub/yl32940/TsDB2/DB/core"
  19. "git.ycl.pub/yl32940/TsDB2/internal/orphancheck"
  20. )
  21. // buildSQLiteSource 造一个 sqlite 源库, 返回路径。
  22. func buildSQLiteSource(t *testing.T) string {
  23. t.Helper()
  24. path := filepath.Join(t.TempDir(), "src.db")
  25. db, err := sql.Open("sqlite", path)
  26. if err != nil {
  27. t.Fatal(err)
  28. }
  29. defer db.Close()
  30. stmts := []string{
  31. `CREATE TABLE configs (id INTEGER PRIMARY KEY, name VARCHAR(64), payload TEXT)`,
  32. `CREATE TABLE svc (
  33. id INTEGER PRIMARY KEY,
  34. host VARCHAR(128),
  35. port INTEGER,
  36. UNIQUE(host)
  37. )`,
  38. }
  39. for _, s := range stmts {
  40. if _, err := db.Exec(s); err != nil {
  41. t.Fatalf("建源表: %v", err)
  42. }
  43. }
  44. // 大 payload: 40KB > 16360 单值上限 → 迁移时落 Blob 链式列。
  45. big := bytes.Repeat([]byte("0123456789abcdef"), 2560) // 40960 字节
  46. for i := 1; i <= 20; i++ {
  47. var payload any
  48. if i == 1 {
  49. payload = big
  50. } else {
  51. payload = fmt.Sprintf(`{"i":%d,"s":"small"}`, i)
  52. }
  53. if _, err := db.Exec(`INSERT INTO configs (id, name, payload) VALUES (?, ?, ?)`,
  54. i, fmt.Sprintf("cfg-%d", i), payload); err != nil {
  55. t.Fatal(err)
  56. }
  57. }
  58. for i := 1; i <= 50; i++ {
  59. if _, err := db.Exec(`INSERT INTO svc (id, host, port) VALUES (?, ?, ?)`,
  60. i, fmt.Sprintf("host-%d.example", i), 10000+i); err != nil {
  61. t.Fatal(err)
  62. }
  63. }
  64. return path
  65. }
  66. // migrateToVRTX 跑一次官方迁移, 返回目标 VRTX 路径。
  67. func migrateToVRTX(t *testing.T, srcPath string) string {
  68. t.Helper()
  69. dstPath := filepath.Join(t.TempDir(), "out.db")
  70. src, err := OpenSQLite(srcPath, nil)
  71. if err != nil {
  72. t.Fatalf("打开 sqlite 源: %v", err)
  73. }
  74. dst, err := OpenVRTX(dstPath, nil)
  75. if err != nil {
  76. t.Fatalf("打开 VRTX 目标: %v", err)
  77. }
  78. if _, err := Run(src, dst, quiet()); err != nil {
  79. t.Fatalf("迁移: %v", err)
  80. }
  81. if err := dst.Close(); err != nil {
  82. t.Fatalf("关闭目标: %v", err)
  83. }
  84. if err := src.Close(); err != nil {
  85. t.Fatalf("关闭源: %v", err)
  86. }
  87. return dstPath
  88. }
  89. func checkOrphans(t *testing.T, dbPath string) *orphancheck.Result {
  90. t.Helper()
  91. R, err := orphancheck.Run(dbPath, orphancheck.Options{EngineBlobScan: true, SamplesPerType: 3})
  92. if err != nil {
  93. t.Fatalf("取证 %s: %v", dbPath, err)
  94. }
  95. return R
  96. }
  97. func TestMigrateLeavesNoOrphanPages(t *testing.T) {
  98. src := buildSQLiteSource(t)
  99. dst := migrateToVRTX(t, src)
  100. R := checkOrphans(t, dst)
  101. t.Logf("analyzer 口径孤儿=%d %v; blob 感知真实孤儿=%d %v",
  102. len(R.AnalyzerOrphans), R.AnalyzerByType, len(R.Orphans), R.ByType)
  103. if len(R.AnalyzerOrphans) == 0 {
  104. t.Log("注意: 样本未产生 analyzer 口径孤儿 (blob 链页), 误报对照组失效 —— 加大样本")
  105. }
  106. if len(R.Orphans) > 0 {
  107. var ids []uint32
  108. for _, p := range R.Orphans {
  109. ids = append(ids, p.ID)
  110. }
  111. t.Fatalf("迁移后存在 %d 页真实孤儿 %v (按类型 %v) —— 成功路径泄漏页",
  112. len(R.Orphans), ids, R.ByType)
  113. }
  114. }
  115. func TestMigrateVacuumLeavesNoOrphanPages(t *testing.T) {
  116. src := buildSQLiteSource(t)
  117. dst := migrateToVRTX(t, src)
  118. db, err := core.Open(dst)
  119. if err != nil {
  120. t.Fatalf("打开迁移产物: %v", err)
  121. }
  122. if _, err := db.VACUUM(); err != nil {
  123. t.Fatalf("VACUUM: %v", err)
  124. }
  125. if err := db.Close(); err != nil {
  126. t.Fatalf("关闭: %v", err)
  127. }
  128. R := checkOrphans(t, dst)
  129. if len(R.Orphans) > 0 {
  130. var ids []uint32
  131. for _, p := range R.Orphans {
  132. ids = append(ids, p.ID)
  133. }
  134. t.Fatalf("迁移+VACUUM 后存在 %d 页真实孤儿 %v (按类型 %v)", len(R.Orphans), ids, R.ByType)
  135. }
  136. }