dialector.go 15 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468
  1. // Package gormvrtx 把 TsDB2 (vrtxsql database/sql 驱动) 接入 GORM:
  2. // CRUD 走 GORM 生成 SQL → vrtx 驱动执行; schema 自省 (AutoMigrate) 不经过 SQL,
  3. // 由 Migrator 直接调引擎 API。
  4. //
  5. // 引擎是嵌入式单写者存储, 与 mysql/pgx 这类网络库有两个本质差别, 本包据此裁剪:
  6. // - 无版本协商、无嵌套事务 (SavePoint/RollbackTo 不声明, 让 GORM 默认行为生效);
  7. // - 行存储即主键索引, 表必须有整型主键列承载。
  8. package gormvrtx
  9. import (
  10. "context"
  11. "database/sql"
  12. "fmt"
  13. "reflect"
  14. "regexp"
  15. "strconv"
  16. "strings"
  17. "time"
  18. "gorm.io/gorm"
  19. "gorm.io/gorm/callbacks"
  20. "gorm.io/gorm/clause"
  21. "gorm.io/gorm/schema"
  22. "git.ycl.pub/yl32940/TsDB2/DB/core"
  23. "git.ycl.pub/yl32940/TsDB2/DB/core/types"
  24. vrtxsql "git.ycl.pub/yl32940/TsDB2/DB/driver"
  25. )
  26. // DriverName 是 vrtxsql 注册的 database/sql 驱动名。
  27. const DriverName = "vrtx"
  28. // Config Dialector 配置。
  29. type Config struct {
  30. DriverName string // database/sql 驱动名, 默认 "vrtx"
  31. DSN string // 数据库文件路径 (可带 ?mode=ro / ?cache=private)
  32. }
  33. // Dialector 实现 gorm.Dialector。
  34. type Dialector struct {
  35. *Config
  36. db *core.DB // Initialize 时经 SharedDB 取得的引擎实例, Migrator 直接用
  37. sqlDB *sql.DB // 连接池本体 (供调用方 Close 时正确释放)
  38. }
  39. var _ gorm.Dialector = (*Dialector)(nil)
  40. // Open 以默认配置打开: DriverName="vrtx", DSN=文件路径。
  41. func Open(dsn string) gorm.Dialector {
  42. return &Dialector{Config: &Config{DriverName: DriverName, DSN: dsn}}
  43. }
  44. // New 按配置构造 Dialector; DriverName 为空时用 "vrtx"。
  45. func New(config Config) gorm.Dialector {
  46. if config.DriverName == "" {
  47. config.DriverName = DriverName
  48. }
  49. return &Dialector{Config: &config}
  50. }
  51. // Name 方言名。
  52. func (d *Dialector) Name() string { return "vrtx" }
  53. // Initialize 打开驱动连接池与引擎实例。不做任何 SELECT VERSION() 探测 ——
  54. // 引擎无版本概念, 打开时的 CRC/WAL 恢复即完整性校验。
  55. //
  56. // 两个引擎相关的适配点:
  57. // - SetMaxOpenConns(1): 引擎是单写者模型, 连接池压成 1 让所有 SQL 串行;
  58. // - ConnPool 包一层 rewritePool: 内联 LIMIT/OFFSET 整数参数 (驱动解析器支持限定名)
  59. // (旧解析器只认裸列名/字面量 LIMIT, 该包装让 GORM 的 SQL 形态稳定可用)。
  60. func (d *Dialector) Initialize(db *gorm.DB) error {
  61. if d.DriverName == "" {
  62. d.DriverName = DriverName
  63. }
  64. sqlDB, err := sql.Open(d.DriverName, d.DSN)
  65. if err != nil {
  66. return err
  67. }
  68. sqlDB.SetMaxOpenConns(1)
  69. eng, err := vrtxsql.SharedDB(d.DSN)
  70. if err != nil {
  71. _ = sqlDB.Close()
  72. return fmt.Errorf("vrtx: 打开引擎 %s: %w", d.DSN, err)
  73. }
  74. d.db = eng
  75. d.sqlDB = sqlDB
  76. db.ConnPool = rewritePool{DB: sqlDB}
  77. // GORM v1.25 的 Open 不注册默认回调 —— 由 Dialector 负责 (与 mysql/sqlite 驱动一致)。
  78. callbacks.RegisterDefaultCallbacks(db, &callbacks.Config{})
  79. // vrtx 的 SQL INSERT 语义要求显式提供整型主键 (引擎行存储定位键), 不像
  80. // AUTO_INCREMENT 那样省略列由库自增回填; 而 gorm 只有 tag 显式 autoIncrement
  81. // 才认为主键有库侧默认值 (LastInsertId 回填路径只对这类字段生效)。
  82. // 折衷: 建 create 前回调, 用引擎游标预分配主键写进对象 —— INSERT 带上该值走
  83. // 显式主键路径 (预留号免查重), 行为对齐"自增主键 + 回填"的直觉。
  84. db.Callback().Create().Before("gorm:create").Register("vrtx:assign_pk", d.assignPKCallback)
  85. return nil
  86. }
  87. // assignPKCallback create 前回调: 零值整型主键 → 引擎 AllocPKID 预分配并写回对象。
  88. func (d *Dialector) assignPKCallback(tx *gorm.DB) {
  89. stmt := tx.Statement
  90. if stmt == nil || stmt.Schema == nil || stmt.DryRun {
  91. return
  92. }
  93. pk := stmt.Schema.PrioritizedPrimaryField
  94. if pk == nil {
  95. return
  96. }
  97. kind := pk.IndirectFieldType.Kind()
  98. isUint := kind == reflect.Uint || kind == reflect.Uint8 || kind == reflect.Uint16 ||
  99. kind == reflect.Uint32 || kind == reflect.Uint64
  100. isInt := kind == reflect.Int || kind == reflect.Int8 || kind == reflect.Int16 ||
  101. kind == reflect.Int32 || kind == reflect.Int64
  102. if !isUint && !isInt {
  103. return
  104. }
  105. // 列被 Select/Omit 排除时跳过 (INSERT 不会带它, 预分配反而写错对象)。
  106. selectColumns, restricted := stmt.SelectAndOmitColumns(true, false)
  107. if v, present := selectColumns[pk.DBName]; present {
  108. if !v {
  109. return
  110. }
  111. } else if restricted {
  112. return
  113. }
  114. tbl, ok := d.db.FindTable(stmt.Table)
  115. if !ok {
  116. return // 表不存在: 让 INSERT 自己报错
  117. }
  118. id := tbl.AllocPKID()
  119. assign := func(rv reflect.Value) {
  120. _, isZero := pk.ValueOf(stmt.Context, rv)
  121. if !isZero {
  122. return
  123. }
  124. if isUint {
  125. tx.AddError(pk.Set(stmt.Context, rv, id))
  126. } else {
  127. tx.AddError(pk.Set(stmt.Context, rv, int64(id)))
  128. }
  129. }
  130. rv := stmt.ReflectValue
  131. for rv.Kind() == reflect.Ptr {
  132. if rv.IsNil() {
  133. return
  134. }
  135. rv = rv.Elem()
  136. }
  137. switch rv.Kind() {
  138. case reflect.Struct:
  139. assign(rv)
  140. case reflect.Slice, reflect.Array:
  141. for i := 0; i < rv.Len(); i++ {
  142. assign(rv.Index(i))
  143. }
  144. }
  145. }
  146. // Migrator 返回自定义 Migrator: schema 自省直接调引擎 API (不经 SQL)。
  147. func (d *Dialector) Migrator(db *gorm.DB) gorm.Migrator {
  148. return Migrator{db: db, eng: d.db, dsn: d.DSN, dialector: d}
  149. }
  150. // explicitTypeMapping 小型 SQL 类型映射: 把 gorm:"type:..." 标签里用户显式声明的
  151. // SQL 类型归一化成引擎侧类型名 (前缀 = 空白或 '(' 之前的部分, 故 "bigint unsigned"
  152. // 归 BIGINT、"varchar(500)" 归 VARCHAR 且宽度取括号值)。独立实现, 不依赖 DB/driver
  153. // 的 SQL 文本解析。第三个返回值为 false 表示不认识 (decimal/json/...), 调用方落回
  154. // Go 类型的默认映射并注释说明。
  155. func explicitTypeMapping(tag string) (string, int, bool) {
  156. t := strings.ToLower(strings.TrimSpace(tag))
  157. if t == "" {
  158. return "", 0, false
  159. }
  160. name := t
  161. if i := strings.IndexAny(name, "( "); i >= 0 {
  162. name = name[:i]
  163. }
  164. size := 0
  165. if i := strings.IndexByte(t, '('); i >= 0 {
  166. if j := strings.IndexByte(t[i:], ')'); j > 0 {
  167. size, _ = strconv.Atoi(strings.TrimSpace(t[i+1 : i+j]))
  168. }
  169. }
  170. switch name {
  171. case "bigint":
  172. return "BIGINT", 0, true
  173. case "int":
  174. return "INT", 0, true
  175. case "varchar", "char":
  176. return "VARCHAR", size, true
  177. case "text":
  178. return "TEXT", 0, true
  179. case "double":
  180. return "DOUBLE", 0, true
  181. case "bool", "boolean":
  182. return "BOOLEAN", 0, true
  183. case "datetime":
  184. return "DATETIME", 0, true
  185. }
  186. return "", 0, false
  187. }
  188. // DataTypeOf GORM 字段 → 引擎理解的 SQL 类型名 (供 FullDataTypeOf / 高级用法;
  189. // 建表本身走引擎 API, 不经 SQL)。
  190. //
  191. // 显式 gorm:"type:..." 标签优先 (报告 #10 的逃生门: string 字段默认无 size 会落成
  192. // Blob 链式列, 带索引时引擎拒绝建索引 —— 用 type:varchar(500) 精确声明即可绕过
  193. // 默认映射): 按 explicitTypeMapping 解析, 认识 → 按其返回; 不认识 → 保持默认映射
  194. // 并附注释说明。
  195. // 默认映射: string 带尺寸 → VARCHAR(size), 超过引擎行内定长上限 2048 时截断声明并
  196. // 注释说明; 无尺寸 → BLOB (链式存储)。
  197. //
  198. // 无尺寸 string 落 BLOB 而不是旧行为的 TEXT (动态列): 动态列单值上限 16360 字节
  199. // (types.MaxStringSize), 运行时写入更大的文本会撞墙; Blob 列行内 8B 引用 + 链页,
  200. // 单值上限约 4GB。读回时驱动把链内容物化成 []byte, GORM 照常扫进 string。
  201. // 权衡: 该列失去 LIKE 与索引能力 (行内只有引用, 按值查不到) —— 需要可搜索的大文本
  202. // 请给 size:1..2048 走定长档, 或把检索字段拆出来单独建列。
  203. func (d *Dialector) DataTypeOf(field *schema.Field) string {
  204. if tag, ok := field.TagSettings["TYPE"]; ok {
  205. if name, size, ok := explicitTypeMapping(tag); ok {
  206. switch name {
  207. case "TEXT":
  208. // 显式 type:text 与无 size 默认同一归宿: Blob 链式列 (权衡见上)。
  209. return "BLOB /* 不定长大文本: 链式存储, 单值上限 ~4GB; 失去 LIKE/索引能力, 需要可搜索文本请用 size:1..2048 */"
  210. case "VARCHAR":
  211. switch {
  212. case size <= 0:
  213. return "VARCHAR /* 声明无宽度, 建列按动态列处理 */"
  214. case size > types.MaxInlineColumnWidth:
  215. return fmt.Sprintf("VARCHAR(2048) /* 声明 %d 超引擎行内上限 2048, 截断 */", size)
  216. default:
  217. return fmt.Sprintf("VARCHAR(%d)", size)
  218. }
  219. default:
  220. return name
  221. }
  222. }
  223. return fmt.Sprintf("%s /* 未知 type:%s, 按 Go 类型默认映射 */", d.defaultDataTypeOf(field), tag)
  224. }
  225. return d.defaultDataTypeOf(field)
  226. }
  227. // defaultDataTypeOf 按 Go 类型给默认 SQL 类型名 (DataTypeOf 的回落分支)。
  228. //
  229. // 无尺寸 string 落 BLOB (链式存储): 动态列单值上限 16360 字节, 不定长大文本运行时会
  230. // 撞墙; Blob 列行内 8B 引用 + 链页 (~4GB)。代价是失去 LIKE/索引能力 —— 需要可搜索
  231. // 文本时给 size:1..2048 走定长档。读回经驱动物化成 []byte, GORM 可扫进 string。
  232. func (d *Dialector) defaultDataTypeOf(field *schema.Field) string {
  233. switch field.DataType {
  234. case schema.Uint:
  235. return "BIGINT UNSIGNED"
  236. case schema.Int:
  237. return "BIGINT"
  238. case schema.Float:
  239. return "DOUBLE"
  240. case schema.String:
  241. if field.Size > 0 {
  242. if field.Size > types.MaxInlineColumnWidth {
  243. return fmt.Sprintf("VARCHAR(2048) /* 声明 %d 超引擎行内上限 2048, 截断 */", field.Size)
  244. }
  245. return fmt.Sprintf("VARCHAR(%d)", field.Size)
  246. }
  247. return "BLOB"
  248. case schema.Bool:
  249. return "BOOLEAN"
  250. case schema.Time:
  251. return "DATETIME" // 引擎约定: 行内 8B Unix 毫秒
  252. case schema.Bytes:
  253. return "BLOB"
  254. default:
  255. // struct / JSON 等: 序列化为文本存动态列
  256. return "TEXT"
  257. }
  258. }
  259. // DefaultValueOf 引擎不支持列级 DEFAULT (未提供的列按 NULL/零值裁决), 给出占位表达式。
  260. func (d *Dialector) DefaultValueOf(field *schema.Field) clause.Expression {
  261. return clause.Expr{SQL: "DEFAULT"}
  262. }
  263. // BindVarTo 占位符: 与 mysql 一致, 一律 "?" (驱动只认 ? 占位符)。
  264. func (d *Dialector) BindVarTo(w clause.Writer, stmt *gorm.Statement, v interface{}) {
  265. w.WriteByte('?')
  266. }
  267. // QuoteTo 反引号包裹; 含 "." 时按段分别引用: t.col → `t`.`col`。
  268. func (d *Dialector) QuoteTo(w clause.Writer, s string) {
  269. for i, part := range strings.Split(s, ".") {
  270. if i > 0 {
  271. w.WriteByte('.')
  272. }
  273. w.WriteByte('`')
  274. w.WriteString(strings.ReplaceAll(part, "`", "``"))
  275. w.WriteByte('`')
  276. }
  277. }
  278. // Explain 把 "?" 按序替换为字面值 (字符串单引号包裹并转义, 数字直写,
  279. // bool → 1/0, nil → NULL)。仅用于 SQL 日志展示。
  280. func (d *Dialector) Explain(sql string, vars ...interface{}) string {
  281. var sb strings.Builder
  282. idx := 0
  283. for i := 0; i < len(sql); i++ {
  284. c := sql[i]
  285. if c != '?' || idx >= len(vars) {
  286. sb.WriteByte(c)
  287. continue
  288. }
  289. sb.WriteString(literalOf(vars[idx]))
  290. idx++
  291. }
  292. return sb.String()
  293. }
  294. // literalOf 把一个参数值格式化为 SQL 字面量。
  295. func literalOf(v interface{}) string {
  296. switch x := v.(type) {
  297. case nil:
  298. return "NULL"
  299. case string:
  300. return "'" + strings.ReplaceAll(x, "'", "''") + "'"
  301. case []byte:
  302. return "'" + strings.ReplaceAll(string(x), "'", "''") + "'"
  303. case bool:
  304. if x {
  305. return "1"
  306. }
  307. return "0"
  308. case time.Time:
  309. return "'" + x.Format("2006-01-02 15:04:05.999") + "'"
  310. }
  311. rv := reflect.ValueOf(v)
  312. switch rv.Kind() {
  313. case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
  314. return strconv.FormatInt(rv.Int(), 10)
  315. case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
  316. return strconv.FormatUint(rv.Uint(), 10)
  317. case reflect.Float32, reflect.Float64:
  318. return strconv.FormatFloat(rv.Float(), 'g', -1, 64)
  319. }
  320. return "'" + strings.ReplaceAll(fmt.Sprint(v), "'", "''") + "'"
  321. }
  322. // =============================================================================
  323. // rewritePool: SQL 进驱动前的轻量改写 (内联 LIMIT/OFFSET 整数参数)
  324. // =============================================================================
  325. // 注: 早期驱动解析器不支持表限定列名, 这里曾剥掉 "`t`." 前缀; 驱动现已原生
  326. // 支持限定名 (单表剥限定 + JOIN 按别名归属), 剥前缀反而会制造歧义 (JOIN 下
  327. // 两表同名列), 故只保留 LIMIT/OFFSET 参数内联。
  328. // limitClauseRe 匹配 LIMIT/OFFSET 占位符形态 (GORM 把 Limit(1) 编成 "LIMIT ?",
  329. // 而 vrtx 解析器只接受字面量整数, 需要按参数内联)。
  330. var limitClauseRe = regexp.MustCompile(`(?i)\b(LIMIT|OFFSET)[ \t\r\n]+\?`)
  331. // rewriteSQL 进驱动前的统一改写: 内联 LIMIT/OFFSET 整数参数 (限定名保持原样)。
  332. func rewriteSQL(query string, args []interface{}) (string, []interface{}) {
  333. if !limitClauseRe.MatchString(query) {
  334. return query, args
  335. }
  336. // 找出 LIMIT/OFFSET 子句里 '?' 是整条 SQL 的第几个 '?' (即参数下标),
  337. // 把它替换成字面量并把对应参数从 args 剔除 (后面的参数依次前移)。
  338. mark := map[int]string{} // 第k个 '?' → 字面量
  339. for _, loc := range limitClauseRe.FindAllStringSubmatchIndex(query, -1) {
  340. qpos := strings.IndexByte(query[loc[0]:loc[1]], '?')
  341. if qpos < 0 {
  342. continue
  343. }
  344. abs := loc[0] + qpos
  345. k := 0
  346. for i := 0; i < abs; i++ {
  347. if query[i] == '?' {
  348. k++
  349. }
  350. }
  351. if k >= len(args) {
  352. continue
  353. }
  354. mark[k] = intLiteral(args[k])
  355. }
  356. if len(mark) == 0 {
  357. return query, args
  358. }
  359. var sb strings.Builder
  360. argIdx := 0
  361. for i := 0; i < len(query); i++ {
  362. c := query[i]
  363. if c != '?' {
  364. sb.WriteByte(c)
  365. continue
  366. }
  367. if lit, ok := mark[argIdx]; ok {
  368. sb.WriteString(lit)
  369. } else {
  370. sb.WriteByte('?')
  371. }
  372. argIdx++
  373. }
  374. kept := make([]interface{}, 0, len(args)-len(mark))
  375. for i, a := range args {
  376. if _, ok := mark[i]; !ok {
  377. kept = append(kept, a)
  378. }
  379. }
  380. return sb.String(), kept
  381. }
  382. // intLiteral 把 LIMIT/OFFSET 参数格式化为整数字面量; 不认识的类型原样占位返回 "0"。
  383. func intLiteral(v interface{}) string {
  384. switch x := v.(type) {
  385. case int:
  386. return strconv.Itoa(x)
  387. case int8:
  388. return strconv.FormatInt(int64(x), 10)
  389. case int16:
  390. return strconv.FormatInt(int64(x), 10)
  391. case int32:
  392. return strconv.FormatInt(int64(x), 10)
  393. case int64:
  394. return strconv.FormatInt(x, 10)
  395. case uint:
  396. return strconv.FormatUint(uint64(x), 10)
  397. case uint8:
  398. return strconv.FormatUint(uint64(x), 10)
  399. case uint16:
  400. return strconv.FormatUint(uint64(x), 10)
  401. case uint32:
  402. return strconv.FormatUint(uint64(x), 10)
  403. case uint64:
  404. return strconv.FormatUint(x, 10)
  405. case float64:
  406. return strconv.FormatInt(int64(x), 10)
  407. case string:
  408. return x
  409. }
  410. return "0"
  411. }
  412. // rewritePool 包装 *sql.DB, SQL 进驱动前统一过 rewriteSQL (剥 “ `t`. “ 限定前缀、
  413. // 内联 LIMIT/OFFSET)。嵌入 *sql.DB 顺带获得 BeginTx (TxBeginner) 等全部池能力。
  414. type rewritePool struct {
  415. *sql.DB
  416. }
  417. func (p rewritePool) PrepareContext(ctx context.Context, query string) (*sql.Stmt, error) {
  418. q, _ := rewriteSQL(query, nil)
  419. return p.DB.PrepareContext(ctx, q)
  420. }
  421. func (p rewritePool) ExecContext(ctx context.Context, query string, args ...interface{}) (sql.Result, error) {
  422. q, a := rewriteSQL(query, args)
  423. return p.DB.ExecContext(ctx, q, a...)
  424. }
  425. func (p rewritePool) QueryContext(ctx context.Context, query string, args ...interface{}) (*sql.Rows, error) {
  426. q, a := rewriteSQL(query, args)
  427. return p.DB.QueryContext(ctx, q, a...)
  428. }
  429. func (p rewritePool) QueryRowContext(ctx context.Context, query string, args ...interface{}) *sql.Row {
  430. q, a := rewriteSQL(query, args)
  431. return p.DB.QueryRowContext(ctx, q, a...)
  432. }